离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(六)CM的安装
一、角色分配
Cloudera Manager Agent:向server端报告当前机器服务状态。
Cloudera Manager Server:接受agent角色报告服务状态,以视图界面展现,方便管理员查看。
master | slave1 | slave2 | |
Server | Y | ||
Agent | Y | Y | Y |
二、准备CDH安装包
本文档采用离线安装方式,所需安装包上传到/root/soft/cdh/目录下
创建目录(所以节点都要执行)
- [root@master ~]# mkdir /root/soft/cdh
上传以下安装包:
CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel
CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel.sha
cloudera-manager-el6-cm5.9.3_x86_64.tar.gz
manifest.json
三、安装 Cloudera Manager Server&Agent(所有节点)
拷贝 cloudera-manager-el6-cm5.9.3_x86_64.tar.gz到所有 Server、Agent 节点
- [root@master ~]# scp -r cloudera-manager-el6-cm5..3_x86_64.tar.g slave1:$PWD
- [root@master ~]# scp -r cloudera-manager-el6-cm5..3_x86_64.tar.g slave2:$PWD
3.1 创建CM目录(所有节点)
- [root@master ~]# mkdir /opt/cloudera-manager
3.2 解压CM安装包(所有节点)
- [root@master cdh]# tar -zxvf cloudera-manager-el6-cm5..3_x86_64.tar.gz -C /opt/cloudera-manager/
3.3 创建用户 cloudera-scm (所有节点)
- [root@master cdh]# useradd --system --home=/opt/cloudera-manager/cm-5.9./run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
3.4 配置 CM Agent(所有节点)
修改文件/opt/cloudera-manager/cm-5.9.3/etc/cloudera-scm-agent/config.ini 中的server_host。(server_port使用默认的7182即可,不要改为7180,否则会导致在管理界面无法看到相应的主机。)
server_host=master
- [root@master cdh]# vi /opt/cloudera-manager/cm-5.9./etc/cloudera-scm-agent/config.ini
四、配置 CM Server 的数据库(master节点)
4.1 创建目录(所有节点)
- [root@master cdh]# mkdir /usr/share/java
4.2 拷贝mysql连接驱动包(所有节点)
将驱动包拷贝到目录下(注意拷贝过去的驱动包名字一定要和下边的一样,否则会报错):
- [root@master cdh]# cp /root/soft/mysql-connector-java-5.1.-bin.jar /usr/share/java/mysql-connector-java.jar
4.3 MySQL中创建临时用户
- mysql> grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
4.4 创建CM server数据库
- [root@master java]# cd /opt/cloudera-manager/cm-5.9./share/cmf/schema/
- [root@master schema]# ./scm_prepare_database.sh mysql -h master -utemp -ptemp --scm-host master scm scm scm
(对应于:数据库类型、数据库服务器、用户名、密码、CMServer 所在节点.......)
4.5 删除MySQL临时用户
- mysql> drop user 'temp'@'%';
若上步失败或过程中操作中断,删除所有库、重头来过。
五、创建Parcel目录
5.1 在master节点执行
Manager 节点(master)创建目录/opt/cloudera/parcel-repo
- [root@master ~]# mkdir -p /opt/cloudera/parcel-repo
- [root@master ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
5.2 在Agent节点执行
Agent 节点(所有节点)创建目录/opt/cloudera/parcels
- [root@master ~]# mkdir -p /opt/cloudera/parcels
- [root@master ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
5.3 拷贝文件
将 下 载 好 的 文 件 (
CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel
CDH-5.9.3-1.cdh5.9.3.p0.4-el6.parcel.sha
manifest.json
)拷贝到master的/opt/cloudera/parcel-repo
- [root@master ~]# cd soft/cdh5.9.3/
- [root@master cdh]# cp CDH-5.9.-.cdh5.9.3.p0.-el6.parcel* /opt/cloudera/parcel-repo/
- [root@master cdh]# cp manifest.json /opt/cloudera/parcel-repo/
六、启动 CM Manager&Agent 服务
6.1 启动manager
在master上执行以下启动命令
- #启动
- [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-server start
- #查看状态
- [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-server status
- #停止
- [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-server stop
- 重启
- [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-server restart
6.2 启动Agent
在所有服务器上执行以下启动命令
- #启动
- [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-agent start
- #查看状态
- [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-agent status
- #停止
- [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-agent stop
- 重启
- [root@master ~]# /opt/cloudera-manager/cm-5.9./etc/init.d/cloudera-scm-agent restart
6.3 访问界面
访问:http://IP(master):7180,若可以访问(用户名、密码:admin),则安装成功。
Manager 启动成功需要等待一段时间,过程中会在数据库中创建对应的表需要耗费一些时间。 (不支持IE浏览器,可用火狐或谷歌)
离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(六)CM的安装的更多相关文章
- 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...
- 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(一)环境说明
关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...
- 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(四)数据库安装(单节点)
一.卸载CentOS自带的MySQL 1.1 查看之前是否安装过mysql [root@master mysql]# rpm -qa|grep -i mysql mysql-libs--.el6.x8 ...
- 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(七)界面安装
一.安装过程 1.1 登录 1.2 接受许可协议 1.3 选择免费版本 1.4 选择下一步 1.5 选择当前管理的主机 1.6 选择使用Parcel安装,选择CDH版本,点击继续 1.7 等待安装 此 ...
- 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(二)基础环境安装
一.安装CentOS 6.5 x64 具体安装过程自行百度 1.1 修改IP地址 [root@master ~]# vi /etc/sysconfig/network DEVICE=eth0 TYPE ...
- 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(五)数据库安装(双节点)
一.方案选择 通过Lvs+keepalived+mysql(主主同步)实现数据库层面的高可用方案,需要两台服务器作为数据库提供业务数据的存储,应用服务器通过vip访问数据库,允许同一时间内一台数据库服 ...
- 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(三)重新分配磁盘空间(可选)
一.查看文件系统 [root@master ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/vg_master-lv_ ...
- 离线安装 Cloudera Manager 5 和 CDH5.10
关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...
- 离线安装Cloudera Manager 5和CDH5
关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Cloudera 完全开源的Hadoop ...
随机推荐
- Linux进程间通信(System V) --- 信号量
信号量 IPC 原理 信号量通信机制主要用来实现进程间同步,避免并发访问共享资源.信号量可以标识系统可用资源的个数.最简单的信号量为二元信号量 下图为 Linux 信号量通信机制的概念图.在实际应用中 ...
- C# ACtiveMQ 收发数据
1.下载ActiveMQ 官方网站下载地址:http://activemq.apache.org/ 2.运行ActiveMQ 解压缩apache-activemq-5.10.0-bin.zip,然后双 ...
- Flask 中的 特殊装饰器before_request/after_request
before_request :在请求收到之前绑定一个函数做一些事情. after_request: 每一个请求之后绑定一个函数,如果请求没有异常. teardown_request: 每一个请求之后 ...
- python中的清屏函数
一:cmd中python的清屏函数 import os os.system("cls") cmd中演示 1.在cmd中输入命令行: 2.执行后: 3.为什么会遗留一个0? 因为函数 ...
- 【读书笔记】iOS-Game Kit
名字虽然叫Game Kit,但是Game Kit并不是仅仅开发游戏用的,它为开发者提供了两个非常实用的功能:使用Bonjour通过蓝牙进行点对点的网络传输功能,以及应用内语音聊天功能.有意思的是,语音 ...
- Python之历史
一.python简单介绍 python的创始人:吉多·范罗苏姆(Guido van Rossum),于1989年开始编写,到1991年完成了第一个python编译器.它是用C语言实现的,并能够调用C语 ...
- CSS--选择符大全(常用css选择符)
(一)元素选择符 E(某个元素,如p) id(使用id,如#idName) class(使用class,如.myclass) 通配符:* (二)关系选择符 包含选择符:E F(E所有的F包含子代,孙代 ...
- 给 Linux 系统“减肥”,系统垃圾清理_系统安装与配置管理_Linux Today - Google Chrome
给 Linux 系统"减肥",系统垃圾清理 2013/10/16 linux 系统安装与配置管理 评论 15,555 Linux 计算机安装后,在我们不断的使用过程中,因 ...
- TensorFlow实现Softmax回归(模型存储与加载)
# -*- coding: utf-8 -*- """ Created on Thu Oct 18 18:02:26 2018 @author: zhen "& ...
- tkinter中frame布局控件
frame控件 frame控件是将窗口分成好几个小模块,然后每个小模块中添加控件. 也就是将窗口合理的布局 由于和其他控件的操作基本一致,就不做注释了 import tkinter wuya = tk ...