一、角色分配

Cloudera Manager Agent:向server端报告当前机器服务状态。

Cloudera Manager Server:接受agent角色报告服务状态,以视图界面展现,方便管理员查看。

  master slave1 slave2
Server Y    
Agent Y Y Y

二、准备CDH安装包

本文档采用离线安装方式,所需安装包上传到/root/soft/cdh/目录下

创建目录(所以节点都要执行)

  1. [root@master ~]# mkdir /root/soft/cdh

上传以下安装包:

CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel

CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel.sha

cloudera-manager-el6-cm5.9.3_x86_64.tar.gz

manifest.json

三、安装 Cloudera Manager Server&Agent(所有节点)

拷贝 cloudera-manager-el6-cm5.9.3_x86_64.tar.gz到所有 Server、Agent 节点

  1. [root@master ~]# scp -r cloudera-manager-el6-cm5..3_x86_64.tar.g slave1:$PWD
  2. [root@master ~]# scp -r cloudera-manager-el6-cm5..3_x86_64.tar.g slave2:$PWD

3.1 创建CM目录(所有节点)

  1. [root@master ~]# mkdir /opt/cloudera-manager

3.2 解压CM安装包(所有节点)

  1. [root@master cdh]# tar -zxvf cloudera-manager-el6-cm5..3_x86_64.tar.gz -C /opt/cloudera-manager/

3.3 创建用户 cloudera-scm (所有节点)

  1. [root@master cdh]# useradd --system --home=/opt/cloudera-manager/cm-5.9./run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3.4 配置 CM Agent(所有节点)

修改文件/opt/cloudera-manager/cm-5.9.3/etc/cloudera-scm-agent/config.ini 中的server_host。(server_port使用默认的7182即可,不要改为7180,否则会导致在管理界面无法看到相应的主机。)

server_host=master

  1. [root@master cdh]# vi /opt/cloudera-manager/cm-5.9./etc/cloudera-scm-agent/config.ini 

四、配置 CM Server 的数据库(master节点)

4.1 创建目录(所有节点)

  1. [root@master cdh]# mkdir /usr/share/java

4.2 拷贝mysql连接驱动包(所有节点)

将驱动包拷贝到目录下(注意拷贝过去的驱动包名字一定要和下边的一样,否则会报错):

  1. [root@master cdh]# cp /root/soft/mysql-connector-java-5.1.-bin.jar /usr/share/java/mysql-connector-java.jar

4.3 MySQL中创建临时用户

  1. mysql> grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;

4.4 创建CM server数据库

  1. [root@master java]# cd /opt/cloudera-manager/cm-5.9./share/cmf/schema/
  2. [root@master schema]# ./scm_prepare_database.sh mysql -h master -utemp -ptemp --scm-host master scm scm scm

(对应于:数据库类型、数据库服务器、用户名、密码、CMServer 所在节点.......)

4.5 删除MySQL临时用户

  1. mysql> drop user 'temp'@'%';

若上步失败或过程中操作中断,删除所有库、重头来过。

五、创建Parcel目录

5.1 在master节点执行

Manager 节点(master)创建目录/opt/cloudera/parcel-repo

  1. [root@master ~]# mkdir -p /opt/cloudera/parcel-repo
  2. [root@master ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

5.2 在Agent节点执行

Agent 节点(所有节点)创建目录/opt/cloudera/parcels

  1. [root@master ~]# mkdir -p /opt/cloudera/parcels
  2. [root@master ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

5.3 拷贝文件

将 下 载 好 的 文 件 (

CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel

CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel.sha

manifest.json

)拷贝到master的/opt/cloudera/parcel-repo

  1. [root@master ~]# cd soft/cdh5.9.3/
  2. [root@master cdh]# cp CDH-5.9.-.cdh5.9.3.p0.-el6.parcel* /opt/cloudera/parcel-repo/
  3. [root@master cdh]# cp manifest.json /opt/cloudera/parcel-repo/

六、启动 CM Manager&Agent 服务

6.1 启动manager

在master上执行以下启动命令

  1. #启动
  2. [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-server start
  3. #查看状态
  4. [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-server status
  5. #停止
  6. [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-server stop
  7. 重启
  8. [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-server restart

6.2 启动Agent

在所有服务器上执行以下启动命令

  1. #启动
  2. [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-agent start
  3. #查看状态
  4. [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-agent status
  5. #停止
  6. [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-agent stop
  7. 重启
  8. [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-agent restart

6.3 访问界面

访问:http://IP(master):7180,若可以访问(用户名、密码:admin),则安装成功。

Manager 启动成功需要等待一段时间,过程中会在数据库中创建对应的表需要耗费一些时间。 (不支持IE浏览器,可用火狐或谷歌)

离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(六)CM的安装的更多相关文章

  1. 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...

  2. 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(一)环境说明

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...

  3. 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(四)数据库安装(单节点)

    一.卸载CentOS自带的MySQL 1.1 查看之前是否安装过mysql [root@master mysql]# rpm -qa|grep -i mysql mysql-libs--.el6.x8 ...

  4. 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(七)界面安装

    一.安装过程 1.1 登录 1.2 接受许可协议 1.3 选择免费版本 1.4 选择下一步 1.5 选择当前管理的主机 1.6 选择使用Parcel安装,选择CDH版本,点击继续 1.7 等待安装 此 ...

  5. 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(二)基础环境安装

    一.安装CentOS 6.5 x64 具体安装过程自行百度 1.1 修改IP地址 [root@master ~]# vi /etc/sysconfig/network DEVICE=eth0 TYPE ...

  6. 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(五)数据库安装(双节点)

    一.方案选择 通过Lvs+keepalived+mysql(主主同步)实现数据库层面的高可用方案,需要两台服务器作为数据库提供业务数据的存储,应用服务器通过vip访问数据库,允许同一时间内一台数据库服 ...

  7. 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(三)重新分配磁盘空间(可选)

    一.查看文件系统 [root@master ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/vg_master-lv_ ...

  8. 离线安装 Cloudera Manager 5 和 CDH5.10

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...

  9. 离线安装Cloudera Manager 5和CDH5

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Cloudera 完全开源的Hadoop  ...

随机推荐

  1. Linux进程间通信(System V) --- 信号量

    信号量 IPC 原理 信号量通信机制主要用来实现进程间同步,避免并发访问共享资源.信号量可以标识系统可用资源的个数.最简单的信号量为二元信号量 下图为 Linux 信号量通信机制的概念图.在实际应用中 ...

  2. C# ACtiveMQ 收发数据

    1.下载ActiveMQ 官方网站下载地址:http://activemq.apache.org/ 2.运行ActiveMQ 解压缩apache-activemq-5.10.0-bin.zip,然后双 ...

  3. Flask 中的 特殊装饰器before_request/after_request

    before_request :在请求收到之前绑定一个函数做一些事情. after_request: 每一个请求之后绑定一个函数,如果请求没有异常. teardown_request: 每一个请求之后 ...

  4. python中的清屏函数

    一:cmd中python的清屏函数 import os os.system("cls") cmd中演示 1.在cmd中输入命令行: 2.执行后: 3.为什么会遗留一个0? 因为函数 ...

  5. 【读书笔记】iOS-Game Kit

    名字虽然叫Game Kit,但是Game Kit并不是仅仅开发游戏用的,它为开发者提供了两个非常实用的功能:使用Bonjour通过蓝牙进行点对点的网络传输功能,以及应用内语音聊天功能.有意思的是,语音 ...

  6. Python之历史

    一.python简单介绍 python的创始人:吉多·范罗苏姆(Guido van Rossum),于1989年开始编写,到1991年完成了第一个python编译器.它是用C语言实现的,并能够调用C语 ...

  7. CSS--选择符大全(常用css选择符)

    (一)元素选择符 E(某个元素,如p) id(使用id,如#idName) class(使用class,如.myclass) 通配符:* (二)关系选择符 包含选择符:E F(E所有的F包含子代,孙代 ...

  8. 给 Linux 系统“减肥”,系统垃圾清理_系统安装与配置管理_Linux Today - Google Chrome

    给 Linux 系统"减肥",系统垃圾清理  2013/10/16  linux  系统安装与配置管理  评论  15,555 Linux 计算机安装后,在我们不断的使用过程中,因 ...

  9. TensorFlow实现Softmax回归(模型存储与加载)

    # -*- coding: utf-8 -*- """ Created on Thu Oct 18 18:02:26 2018 @author: zhen "& ...

  10. tkinter中frame布局控件

    frame控件 frame控件是将窗口分成好几个小模块,然后每个小模块中添加控件. 也就是将窗口合理的布局 由于和其他控件的操作基本一致,就不做注释了 import tkinter wuya = tk ...