CDH6.1.0离线安装——笔记
一、 概述
该文档主要记录大数据平台的搭建CDH版的部署过程，以供后续部署环境提供技术参考。
1.1 主流大数据部署方法
目前主流的hadoop平台部署方法主要有以下三种:
- Apache hadoop
- CDH (Cloudera’s Distribution Including Apache Hadoop)
- HDP (Hortonworks Data Platform)
1.2 部署方法的比较
手工部署: 需要配置太多参数，配置繁琐，建议初学者部署方式
工具部署：比如Ambari和clouder Manger当前两大最主流的集群管理工具，前者是Hortonworks公司，后者是Cloudera公司）使用工具来，可以说是一键操作，难点都在工具Ambari或Cloudera Manger本身部署上。
两种部署方式的优缺点如下表1所示:
表1-1:手工方式和工具部署方式比较
|
内容 |
手工方式 |
工具方式 |
|
难易度 |
难，几乎不可能成功 |
简单 易行 |
|
兼容性 |
自己解决兼容性的问题 |
自动安装兼容组件 |
|
组件支持数 |
支持全部组件 |
支持常用组件 |
|
优点 |
对组件和集群管理深刻 |
简单 容易 可行 |
|
缺点 |
太复杂，不可能成功 |
屏蔽太多的细节，妨碍对组件的理解 |
CDH和DHP比较如下表1-2所示
表1-2：CDH和DHP部署方式比较，如表2所示：
|
工具名 |
所属机构 |
开源性 |
社区 |
易用及稳定性 |
占有率 |
|
Cloudera Manger |
Cloudera |
商用 |
不支持 |
易用，稳定 |
高 |
|
Ambari |
Hortonwork |
开源 |
支持 |
较易用，较稳定 |
较高 |
二、 各节点环境配置
本节主要描述部署CDH系统环境配置及前期准备工作
2.1 CDH 部署基本要求
- 机器数：3台
- 内存：最少2GB（官方建议8GB）
- 磁盘：100G
2.2 测试环境配置
测试部署环境基本配置，如下表2-1：
表2-1 部署环境基本参数
|
参数 |
数值 |
说明 |
|
机器数 |
3台 |
192.168.8[154,156,157] |
|
内存 |
20GB |
|
|
磁盘 |
300G |
|
|
系统 |
Centos 7.3.1708 |
|
|
CDH版本 |
CDH-6.1.0 |
CDH目前支持100台免费支持 |
2.3 修改IP和主机名称
修改三台主机节点的名称和ip地址映射。
1) 第一步：修改主机名称(永久生效)
分别在三台主机(192.168.8.154,1192.168.8.156, 192.168.8.157)执行命令:
# hostnamectl set-hostname asiainfo-157
2) 第二步：修改hosts
分别在三台主机(192.168.8.154,1192.168.8.156, 192.168.8.157)执行命令：
# vim /etc/hosts
在文件末尾添加地址映射,务必主机名小写
3) 第三步: 重启网关
# systemctl restart network
2.4 关闭防火墙
分别在三台主机节点上执行如下命令关闭防火墙：
# systemctl stop firewalld.service #停止firewall
# systemctl disable firewalld.service #禁止firewall开机启动
# firewall-cmd --state #查看默认防火墙状态（关闭后显示not running，开启后显示running）
2.5 修改内核参数
- 修改transparent_hugepage参数(透明大页面压缩)
修改系统参数，这一参数默认值可能会导致CDH性能下降。
执行如下命令：
# echo never > /sys/kernel/mm/transparent_hugepage/defrag
# echo never > /sys/kernel/mm/transparent_hugepage/enabled
关闭告警：
# echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.d/rc.local
# echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.d/rc.local
# echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf
# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
- 修改swap空间的swappiness=0
该配置的目的为CDH最大限度的使用环境内存，执行如下命名：
# cat /proc/sys/vm/swappiness
# sysctl vm.swappiness=0
# echo 0 > /proc/sys/vm/swappiness
关闭告警：
# echo never > /sys/kernel/mm/transparent_hugepage/defrag
2.6 ssh免密码登陆
1）第一步:利用ssh-kegen生成秘钥
# ssh-keygen -t rsa -P ""
2）第二步：在三台主机节点上分别拷贝公钥文件
# cat ~/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
3) 第三步：将三台主机节点上id_rsa.pub公钥都复制三台节点上的authorized_keys文件中
# vim /root/.ssh/authorized_keys
每个节点上添加如下秘钥内容
# ssh asiainfo-154 // 测试ssh
2.7 时间同步NTP服务器
采用搭建内网NTP服务器，内网服务器通过此NTP服务器进行时间同步
在测试环境中选定主服务器(192.168.8.154),其他服务器(156,157)都同步这台主服务器的时间来使得三台节点的时间同步。
1) 第一步: NTP服务器端配置首先确定服务器的时区正确
# timedatectl //查看具体时间时区
# timedatectl list-timezones //查看具所有时区
# timedatectl set-timezone Asia/Shanghai //设置时区
2) 第二步: 在三台主机节点上安装ntp服务器端
# yum -y install ntp
3）第三步: 在主服务器上配置NTP
# vim /etc/ntp.conf
a).注意红色部分为需修改部分
|
driftfile /var/lib/ntp/drift restrict default nomodify notrap nopeer noquery restrict 192.168.8.156 nomodify notrap nopeer noquery ## 本机地址 restrict 127.0.0.1 restrict ::1 restrict 192.168.8.0 mask 255.255.255.0 nomodify notrap #网管地址，限制范围route查看 # server 120.25.115.20 prefer # 优先选择阿里ntp服务 server 127.127.1.0 ## 本机服务 fudge 127.127.1.0 stratum 10 includefile /etc/ntp/crypto/pw keys /etc/ntp/keys disable monitor |
b) 启动ntp服务
# sudo service ntpd start
c) 查看服务连接与监听端口
# netstat -tlunp | grep ntp
第一行说明ntp服务已经启动，ntp默认监听123端口。
4）第四步：ntp客户端配置
a) 修改ntp.conf，按照上面的方法配置server为刚才设置的服务器ip，并增加restrict配置（参数nomodify noquery notrap）
# vim /etc/ntp.conf
|
# 文件内容，修改为红色部分 driftfile /var/lib/ntp/drift restrict default nomodify notrap nopeer noquery restrict 192.168.8.154 nomodify notrap nopeer noquery #本机地址 restrict 127.0.0.1 restrict ::1 server 192.168.8.156 ## 服务器地址 Fudge 192.168.8.156 stratum 10 includefile /etc/ntp/crypto/pw keys /etc/ntp/keys disable monitor |
b) 启动ntp服务
# service ntpd start
c) 手动同步
# ntpdate -u 192.168.8.154
d）查看ntp服务器与上层ntp的状态
# ntpq -p
# ntpstat
4) 第四步: 三台主机节点重启ntp服务并设置为开机启动
# systemctl ntpd restart // 重启
# systemctl ntpd enable // 开机启动
2.8 mysql 服务器
Mysql安装要求
- 名称：mysql
- 版本：5.7.11
- 系统：cennts 7
- 部署机器: 192.168.8.156
下载地址:
#wget http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz
1) 第一步：卸载本系统mysql
# rpm -qa | grep -i mysql 查看本地mysql
mysql-libs-5.1.61-4.el6.x86_64
#rpm -e mysql-libs-5.1.61-4.el6.x86_64 --nodeps 卸载mysql
1) 第二步: 解压安装
# tar -zxvf mysql-5.6.33-linux-glibc2.5-x86_64.tar.gz
# cp -r mysql-5.6.33-linux-glibc2.5-x86_64 /usr/local/mysql 复制解压后的指定目录
3) 第三步: linux上添加用户组和用户
#添加用户组
# groupadd mysql
#添加用户mysql 到用户组mysql
# useradd -g mysql mysql
4) 第四步: 创建目录并初始化(注意密码)使用及配置
# cd /usr/local/mysql/
# mkdir ./data/mysql
# chown -R mysql:mysql ./*
# ./bin/mysqld --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/mysql
--initialize
# cat support-files/mysql.server >> /etc/init.d/mysqld 添加到服务项中
修改启动脚本
# vi /etc/init.d/mysqld
|
#修改项： basedir=/usr/local/mysql/ datadir=/usr/local/mysql/data/mysql |
# chmod 755 /etc/init.d/mysqld
# cp support-files/my-default.cnf /etc/my.cnf #拷贝配置文件
# vim /etc/my.cnf
添加如下内容：
|
basedir=/usr/local/mysql/ datadir=/usr/local/mysql/data/mysql |
5) 第五步: 加入环境变量，编辑/etc/profile，这样可以在任何地方用mysql命令了
# vim /etc/profile
MYSQL_HOME =/usr/local/mysql/bin
PATH=.:$MYSQL_HOME/bin:$PATH
# source /etc/profile 生效配置文件
6) 第六步: 启动数据库
# service mysqld start 启动mysql
# service mysqld stop 关闭mysql
# service mysqld status 查看运行状态
7) 第七步: root用户授权
# mysql –uroot –p
- 给所有主机登录的权限
>GRANT ALL PRIVILEGES ON *.* TO ‘root’@'%’ IDENTIFIED BY ‘123456’;
> flush privileges;
- 给用户所有表的所有权限
>GRANT ALL PRIVILEGES ON *.* TO ‘root’@'%’ IDENTIFIED BY ‘123456’ WITH GRANT OPTION;
> flush privileges;
2.9 java 运行环境
注意：CDH6安装下载中有oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm安装包
1) 下载java jdk,版本为jdk1.8，注意必须为oracle
2)卸载系统自带的jdk
# rpm –qa | grep java
# rpm –e –nodes java-version
3）三个节点上进行解压并安装
# cd /usr/java
注意:一定要安装在这个目录下，如果没有java自己创建java目录，否则后续CDH找不到
# tar zxvf jdk-8u181-linux-x64.tar.gz
编辑配置环境变量
# vim /etc/profile
JAVA_HOME=/usr/java/jdk1.8.0_181
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar ### jps使用
PATH=$JAVA_HOME/bin:$HOME/bin:$HOME/.local/bin
# source /etc/profile
三、CDH部署配置
3.1 CDH安装概述
CDH 安装版本描述
- Linux版本: centos 7
- CDH 版本：CDH6.1.0
- 安装工具：CM6(clouldera manager)
- 安装方式: 离线/repo源安装，可选择一种
3.2 下载CDH6安装包
CDH6采用的是RPM包进行安装，可到官网下载RPM包进行安装
下面是安装包下载地址
|
下载CM6.1的安装包 https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-db-2-6.1.0-769885.el7.x86_64.rpm https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm https://archive.cloudera.com/cm6/6.1.0/allkeys.asc 下载CDH6.1的安装包 https://archive.cloudera.com/cdh6/6.1.0/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel https://archive.cloudera.com/cdh6/6.1.0/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256 https://archive.cloudera.com/cdh6/6.1.0/parcels/manifest.json CDH6.1.0 rpm软件包下载 https://archive.cloudera.com/cdh6/6.1.0/redhat7/yum/RPMS/noarch/ https://archive.cloudera.com/cdh6/6.1.0/redhat7/yum/RPMS/x86_64/ |
3.2.1 rpm包安装
l 下载文件
下载服务地址：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/
下载文件列表：
- cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm
- cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm
- cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm
- cloudera-manager-server-db-2-6.1.0-769885.el7.x86_64.rpm
- oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm
下载离线安装地址：https://archive.cloudera.com/cdh6/6.1.0/parcels/
下载文件列表：
- CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel
- CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256
- manifest.json
注意：*.sha256中的hash值应该与manifest.json中的一致。
下载mysql驱动
mysql-connector-java-5.1.39.jar
上传到安装包
将服务安装包上传到每台机器目录/opt/cloudera-manager下，没有的创建
|
# mkdir /opt/cloudera-manager |
安装服务包(顺序不可变)
- 安装java包
|
# rpm –ivh oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm |
- 安装daemons包
|
# rpm -ivh cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm |
- 主机上安装server服务
|
# rpm -ivh cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm |
- 每台机器上安装agent服务
|
# rpm -ivh cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm |
移动paracel包到parcel-repo、
在安装服务后会自动生成/opt/cloulera/parcel-repo目录，将parcel移动到此目录
|
# 将三个包移动到/opt/cloulder目录下 # mv CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256 manifest.json /opt/clouldera/parcel-repo |
修改parcel-repo的目录权限
|
# chmod –R cloudera-scm: cloudera-scm /opt/clouldera/parcel-repo |
重名名*.sha256文件为*.sha后缀文件
# mv CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256
CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha
注意：这里*.sha有两个要求，否则无法找到本地parcels目录文件
1) /opt/cloudera/parcel-repo的目录及子目录的权限为clouldera-scm
2) CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha中的hash码，必须与manifest.json中的码一致
拷贝到到所有节点目录
# scp -r /opt/cloudera/parcel-repo/* root@asiainfo-154:/opt/cloudera/parcel-repo
# scp -r /opt/cloudera/parcel-repo/* root@asiainfo-157:/opt/cloudera/parcel-repo
3.2.2 repo源安装
可用vftp搭建一个ftp服务器来配置repos服务或使用python搭建一个HTTPServer
通过可以联网的机器各类安装包下载
|
# mkdir -p /var/www/html/cloudera-repos #wget https://archive.cloudera.com/cm6/6.1.1/allkeys.asc -P /var/www/html/cloudera-repos/cm6/6.1.1/ #wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/gplextras6/6.1.1/redhat7/ -P /var/www/html/cloudera-repos #wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh6/6.1.1/redhat7/ -P /var/www/html/cloudera-repos #wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cm6/6.1.1/redhat7/ -P /var/www/html/cloudera-repos |
拷贝到一台网路环境比较好的机器上
将cloudera-repos文件夹，打包拷到内网环境中，因为大小超过4G ,所以可以采用压缩软件分包或者直接用一个NTFS格式的U盘。
|
# mkdir -p /var/www/html/cloudera-repos 将下载的文件拷贝到此目录下 |
解压缩，建立rpm包服务器
在内网环境中cd到 cloudera-repos 同级目录
|
# cd /var/www/html/cloudera-repos # python -m SimpleHTTPServer 8900 ##搭建一个临时HTTP服务 |
这里就是一个临时的服务，安装完成CDH所有组件之后，可以ctrl + c 就停止了
每台机器上都配置repo源
删除CenteOS 自带的源，因为你无法访问外网，不删除会报错
|
# rm -rf /etc/yum.repos.d/Centos* # vim /etc/yum.repos.d/cloudera-repo.repo |
添加yum配置
|
[cloudera-repo] name=cloudera-repo baseurl=http://127.0.0.1:8900/cloudera-repos/cm6/6.1.1/redhat7/yum/ #里面的IP对应的是你的rpm包的服务器ip enabled=1 gpgcheck=0 |
在添加一个CDH组件的包源
|
# vi /etc/yum.repos.d/cloudera-repo-cdh.repo [cloudera-repo-cdh] name=cloudera-repo-cdh baseurl=http://127.0.0.1:8900/cloudera-repos/cdh6/6.1.1/redhat7/yum/ enabled=1 gpgcheck=0 |
清理 repos 源
|
Yum clean all |
自此，所有的配置都已经结束，开始安装！！！！CM的安装就找集群里面的一台机器安装，成功之后，通过web页面可以可视化的自动把集群中其他机器安装CM服务和CDH组件。
安装服务包
- 安装JDK
|
# yum install oracle-j2sdk1.8 |
- 所有的master节点
|
# yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-serve |
- 所有的datanode节点
|
#yum install cloudera-manager-daemons cloudera-manager-agent |
3.3 cm中mysql配置
1) mysql中创建cloudera hadoop,cm 所需的数据库
|
grant all privileges on *.* to 'root'@'%' identified by '123456'; create database scm default character set utf8 default collate utf8_general_ci; grant all on scm.* to 'scm'@'%' identified by '123456'; create database amon default character set utf8 default collate utf8_general_ci; grant all on amon.* to 'amon'@'%' identified by '123456'; create database rman default character set utf8 default collate utf8_general_ci; grant all on rman.* to 'rman'@'%' identified by '123456'; create database hue default character set utf8 default collate utf8_general_ci; grant all on hue.* to 'hue'@'%' identified by '123456'; create database metastore default character set utf8 default collate utf8_general_ci; grant all on metastore.* to 'hive'@'%' identified by '123456'; create database sentry default character set utf8 default collate utf8_general_ci; grant all on sentry.* to 'sentry'@'%' identified by '123456'; create database nav default character set utf8 default collate utf8_general_ci; grant all on nav.* to 'nav'@'%' identified by '123456'; create database oozie default character set utf8 default collate utf8_general_ci; grant all on oozie.* to 'oozie'@'%' identified by '123456'; flush privileges; |
2) mysql 驱动放置位置(两个位置)
位置1：
# mv /tmp/mysql-connector-java-5.1.39.jar /opt/cloudera-manager/cm-5.14.2/share/cmf/lib/
位置2：（注意将MySQL包重命名为mysql-connector-java.jar）：
# mv /tmp/mysql-connector-java-5.1.39.jar /tmp/mysql-connector-java.jar
# mv /tmp/mysql-connector-java.jar /usr/share/java/ # 如果没有目录自己创建
3）使用cm初始化mysql（建议在192.168.8.156（主节点）的主机mysql安装机器）
# /opt/cloudera-manager/cm-5.14.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
3.4 cdh rpm依赖包
1) 安装 cdh cdm所需的rpm 包，不安装会出现相关的问题
yum -y install chkconfig
yum -y install python
yum -y install bind-utils
yum -y install psmisc
yum -y install libxslt
yum -y install zlib
yum -y install sqlite
yum -y install cyrus-sasl-plain
yum -y install cyrus-sasl-gssapi
yum -y install fuse
yum -y install portmap
yum -y install fuse-libs
yum -y install redhat-lsb
yum -y install bind-utils
yum -y install libxslt
yum -y install sqlite
yum -y install cyrus-sasl-plain
yum -y install cyrus-sasl-gssapi
yum -y install fuse
yum -y install fuse-libs
yum -y install httpd
yum -y install mod_ssl
yum -y install openssl-devel
yum -y install python-psycopg2
yum -y install MySQL-python
yum -y install libpq.so.5()(64bit)
3.5 cm中agent和server服务
0）agent节点配置服务
|
#vim /etc/cloudera-scm-agent/config.ini |
1）主节点执行(192.168.8.156)
|
启动cloudera-scm-server # systemctl start cloudera-scm-server 查看启动日志 # tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log |
2）各子节点(192.168.8.156, 192.168.8.154, 192.168.8.157)
|
启动cloudera-scm-agent # systemctl start cloudera-scm-agent 查看启动日志 # tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log |
3) 查看状态(192.168.8.156)
|
# systemctl start cloudera-scm-agent # systemctl start cloudera-scm-server |
4) 关闭服务
|
5) # systemctl stop cloudera-scm-agent 6) # systemctl stop cloudera-scm-server |
5) 开机启动
|
# systemctl enable cloudera-scm-agent # systemctl enable cloudera-scm-server |
3.6 cm中存在的目录汇总
|
目录 |
作用 |
说明 |
|
/run/cloudera-scm-agent |
Agent服务运行的目录 |
|
|
/run/cloudera-scm-agent/process |
Agent维护程序目录 |
|
|
/run/cloudera-scm-server |
Server运行维护目录 |
|
|
/etc/cloudera-scm-agent |
Agent 配置目录 |
|
|
/etc/cloudera-scm-server |
Server配置目录 |
|
|
/var/lib/cloudera-scm-server |
Agent 运行文件目录 |
|
|
/var/lib/cloudera-scm-agent |
Server 运行文件目录 |
|
|
/var/log/cloudera-scm-server |
Agent日志文件目录 |
|
|
/var/log/cloudera-scm-agent |
Server日志文件目录 |
|
|
/opt/cloudera |
安装文件目录 |
四、cm部署CDH集群
4.1 cm 界面化部署
搭建时，忘记截图，就用以前的CHD5的图片吧，操作和界面差不多，撮合看
在浏览器中输入cm地址:,cm登陆地址:
http://192.168.8.156:7180/cmf/home
1) 第一步: 输入cm 地址，可以看到登陆界面
CM初始用户和密码为:admin/admin，登陆
2) 第二步: 许可界面，点击同意条款，点击继续，进行下一步
3) 第三步：选择cdh的版本
cdh提供三个版本:免费版和收费版，此次选择免费版，点击继续
4) 第四步：版权许可声明，点击继续
5) 第五步: 指定安装主机
6) 也可以查看当前的主机列表
选择主机列表后，点击继续
7) 第六步: 集群安装界面
- 选择方式:使用parcel方式
- 选择CDH的版本: CHD-6.1.0.p0.1
- 其他parcel：都选”无”
- 选择后，点击继续
8) 第七步:集群安装界面，安装时间比较长
9) 第八步：集群设置
本次安装选择含spark的内核
9） 第九步：集群安装正确性检查
如果出现警告标示，可按照提示进行配置。
10) 第十步：集群角色的划分，可选择默认角色分配方案
也可查看每台机器中的角色分配情况。
设置完毕后，点击继续
11）第十一步：配置和测试数据库连接
选择配置好的数据看名称、账号和密码。点击测试连接，如果测试通过，点击继续。如果不通过，可以查看日志文件
# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
排查错误。
12） 第十二步：集群的自动安装
安装进度界面
等到集群整个安装完毕后，点击完成。
即可完成整个集群的搭建。
13) 第十三步：集群登陆
输入账号和密码admin/admin，点击登录，如果看到下面的界面，集群正确搭建完毕。
五、CDH 6.X完全卸载步骤
8.1 关闭集群中的所有服务
这个可以通过clouder manger 主页关闭集群
8.2 卸载
[root@master ~]# systemctl enable cloudera-scm-server
[root@slave1 ~]#systemctl enable cloudera-scm-agent
[root@slave2~]# systemctl enable cloudera-scm-agent
一下都是所有要卸载的集群均要执行清除工作：
[root@master ~]# umount /var/run/cloudera-scm-agent/process
[root@slave1 ~]# umount /var/run/cloudera-scm-agent/process
[root@slave2 ~]# umount /var/run/cloudera-scm-agent/process
[root@master ~]# rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/x86_64/6/cloudera* /var/log/cloudera* /var/run/cloudera* /etc/cloudera* /var/log/hadoop-*
8.3 卸载安装包：
[root@slave1 ~]# rpm -qa | grep cloudera
[root@slave2 ~]# for f in `rpm -qa | grep cloudera ` ; do rpm -e ${f} ; done #（如果有保存，在执行一遍）
8.4 清除安装文件
# rm -rf /var/lib/hadoop-* /var/lib/impala /var/lib/solr /var/lib/zookeeper /var/lib/hue /var/lib/oozie /var/lib/pgsql /var/lib/sqoop2 /data/dfs/ /data/impala/ /data/yarn/ /dfs/ /impala/ /yarn/ /var/run/hadoop-*/ /var/run/hdfs-*/ /usr/bin/hadoop* /usr/bin/zookeeper* /usr/bin/hbase* /usr/bin/hive* /usr/bin/hdfs /usr/bin/mapred /usr/bin/yarn /usr/bin/sqoop* /usr/bin/oozie /etc/hadoop* /etc/zookeeper* /etc/hive* /etc/hue /etc/impala /etc/sqoop* /etc/oozie /etc/hbase* /etc/hcatalog
//只删除hadoop系列的，不要删除其他软件的，否则其他软件的版本控制会被破坏
[root@master alternatives]# rm -rf ` find /var/lib/alternatives/* ! -name "mta" ! -name "print" ! -name "zlibrary-ui" -mtime -3`
[root@master alternatives]# rm -rf /etc/alternatives/*
8.5. 杀死相关进程：
for u in hdfs mapred cloudera-scm hbase hue zookeeper oozie hive impala flume; do sudo kill $(ps -u $u -o pid=); done
8.6. 删除parcel包分发文件和解压文件
rm -rf /opt/cloudera
CDH6.1.0离线安装——笔记的更多相关文章
- CDH6.2.0离线安装（详细）
目录 01 准备工作 02 环境配置 03 CDH安装 报错 01 准备工作 官网地址下载页面:https://www.cloudera.com/downloads/cdh.html,现在下载好像需要 ...
- Eclipse 4.5.0 离线安装 Veloeclipse 插件
下载 Veloeclipse 在 Eclipse eclipse-jee-mars-R-win32-x86_64 版本 4.5.0,Build id 为 20150621-1200,离线安装 Velo ...
- CDH5.10.0 离线安装(共3节点) 转
1.安装方式 CDH的离线部署安装,即Parcel包(推荐) 2.角色规划 三个节点对应的角色: 3.基本环境配置(在每个节点上都要配置) (1)关闭防火墙 #/etc/init.d/iptables ...
- Kubernetes 1.10.0离线安装
讲述如何通过离线的方式安装Kubernetes,主要用于对Kubernetes的研究学习,不建议在生产环境使用,安装包获取地址: 链接:https://pan.baidu.com/s/1nX5_mem ...
- CM5.7.2 yum离线安装笔记
一.建立yum本地服务源(yum支持http和ftp两种协议,这里使用http协议) 1.启动httpd服务 启动命令:service httpd start 关闭命令:service ht ...
- Apache Ambari 2.7.3.0 离线安装
1. 准备 (内存 3G 硬盘 40G) 0)设置ssh无密码 ssh-keygencat id_rsa.pub >> authorized_keyschmod 700 ~/.sshchm ...
- gcc 5.2.0 编译安装笔记-20151110
**转载请注明出处** by.haunying3 系统版本号 CentOS-6.6-x86_64-minimal 编译器 gcc-4.4.7通过yum安装 rpm -qa | grep gcc gcc ...
- pip 9.0 离线安装Python3的环境库
到客户现场实施,很多情况下是没有网络的,我们需要在办公室准备好离线安装包. 假设现有已联网的客户机A,一台无网络的客户机B 客户机A 1.生成本地环境的包清单 pip3 freeze > req ...
- Eclipse4.8.0的svn插件离线安装说明
Eclipse4.8.0离线安装Subclipse(SVN插件)的方法: Subclipse迁到github上了,地址:https://github.com/subclipse/subclipse/w ...
随机推荐
- Angularjs可以查看scope的插件AngularJS Batarang
AngularJS Batarang是一个显示AngularJS的scope 层次的Chrome插件,有效的快速查看一个page 中有多少Scope能够帮助我们快速方便调试AngularJS程序. 插 ...
- 2019杭电多校第四场hdu6623 Minimal Power of Prime
Minimal Power of Prime 题目传送门 解题思路 先打\(N^\frac{1}{5}\)内的素数表,对于每一个n,先分解\(N^\frac{1}{5}\)范围内的素数,分解完后n变为 ...
- Apache的虚拟主机功能（基于IP、域名、端口号）
Apache虚拟主机就是在一个Apache服务器上配置多个虚拟主机,实现一个服务器提供多站点服务,其实就是访问同一个服务器上的不同目录. 主要有三种方法: 1.通过不同的IP地址 2.通过不同的域名 ...
- Windows7下移植Qt4.8.4项目到QT5.2上时遇到的一些问题
最近在Windows7下将Qt4.8.4+MSVC2008的项目移植到QT5.2下时,遇到了一些小问题: 问题一:错误:C1083: 无法打开包括文件:"QApplication&q ...
- socket中的绑定
- element 的时间快捷键
1. <div> <el-date-picker v-model="value4" type="month" :picker-options= ...
- k8s集群的搭建之三：flannel
一介绍 flannel是CoreOS提供用于解决Dokcer集群跨主机通讯的覆盖网络工具.它的主要思路是:预先留出一个网段,每个主机使用其中一部分,然后每个容器被分配不同的ip:让所有的容器认为大家在 ...
- Java IO之处理流
一.处理流: 增强功能,提供性能,在节点流之上. 二.节点流与处理流的关系 节点流(字节流.字符流)处于IO操作的第一线,所有操作必须通过它们进行: 处理流可以对其他流进行处理(提高效率或操作灵活性) ...
- Flink Kafka Connector 与 Exactly Once 剖析
Flink Kafka Connector 是 Flink 内置的 Kafka 连接器,它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka T ...
- C++ STL(一)介绍及string
STL: C++标准模板库的简称,它是C++的一部份.标准C++库的所有的标识符都是在一个名为std的命名空间中定义的 在使用STL中相关模板时,需要包含相关头文件,然后using namespace ...