1.安装环境和软件准备
 CentOS release 7.4
 JDK1.8.0_121
 mysql-connector-java-5.1.40-bin.jar
 CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel
 CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel.sha
 manifest.json
 MySQL
 cloudera-manager-centos7-cm5.10.2_x86_64.tar

2.机器配置
2.1 主机名 IP 地址规划
主机名 节点类型 IP 地址 主要存储
hadoop01 主节点 192.168.52.60 Namenode(名字节点)
hadoop02 从节点 192.168.52.61 Datanode(数据节点)
hadoop03 从节点 192.168.52.62 Datanode(数据节点)
其他要求:8GB 内存、100GB 数据盘、4 核 cpu
1)三台机器分别修改主机名
hostnamectl set-hostname hadoop01
hostnamectl set-hostname hadoop02
hostnamectl set-hostname hadoop03
或者 vim /etc/sysconfig/network 加入 HOSTNAME=hadoop01/02/03 等

2)三台机器分别加入主机映射
vim /etc/hosts
192.168.52.60 hadoop01
192.168.52.61 hadodp02
192.168.52.62 hadoop03

2.2 关闭 selinux
1)三台机器分别修改 selinux 安全控制配置
vim /etc/sysconfig/selinux
设置 SELINUX=disabled
2)立即生效
sudo setenforce 0

2.3 关闭防火墙
1)三台机器执行关闭防火墙命令
systemctl stop firewalld
systemctl disable firewalld

2.4 新建目录
1)三台机器分别新建目录
 mkdir /opt/cloudera/parcels -p
 mkdir /opt/cloudera/parcel-cache -p
 mkdir /opt/jdk
2)hadoop01 上新建目录
 mkdir /opt/cloudera/parcel-repo -p

2.5 配置 JDK
1)三台机器分别配置 JDK 环境变量
1.1)从其他主机拷贝 jdk 文件到三台服务器上
scp -r /usr/local/jdk root@192.168.52.60:/opt/cloudera/
scp -r /opt/jdk root@192.168.52.61:/opt/
scp -r /opt/jdk root@192.168.52.62:/opt/
vim /etc/profile

JAVA_HOME=/opt/jdk
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
export JAVA_HOME CLASSPATH PATH

1.2)生效并测试
#source /etc/profile
#java -version

2.6 配置 NTP 服务
1)三台机器分别配置 ntp 时钟服务
#yum -y install ntp ---安装 ntp
#ntpdate -u ntp1.aliyun.com ---配置阿里云时钟
#systemctl status ntpd.service 开启 ntpd 服务

3.主节点配置 MySQL
#wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
#yum -y install mysql57-community-release-el7-10.noarch.rpm
#yum -y install mysql-community-server

#systemctl start mysqld.service 启动服务
#systemctl status mysqld.service 查看服务状态

#为了加强安全性,MySQL5.7 为 root 用户随机生成了一个密码,在 error log 中,
关于 error log 的位置,如果安装的是 RPM 包,则默认是/var/log/mysqld.log。
只有启动过一次 mysql 才可以查看临时密码
#通过下面的命令查看初始密码,冒号后面的字符就是密码
grep 'temporary password' /var/log/mysqld.log
#登录 mysql 修改 root 密码
# mysql -u root -p
#validate_password_policy 代表密码策略,默认是 1:符合长度,且必须含有数
字,小写或大写字母,特殊字符。设置为 0 判断密码的标准就基于密码的长度了。
一定要先修改两个参数再修改密码
#mysql> set global validate_password_policy=0;
#validate_password_length 代表密码长度,最小值为 4
#mysql> set global validate_password_length=4;
#mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'root123456';
#mysql>flush privileges;
#mysql>exit;
mysql -uroot -proot123456

#授予权限
grant all privileges on *.* to 'root'@'hadoop01' identified by 'root123456' with
grant option;
grant all privileges on *.* to 'root'@'%' identified by 'root123456' with grant
option;
grant all privileges on *.* to 'root'@localhost identified by 'root123456' with
grant option;
#刷新权限列表
flush privileges
exit
4.安装 cloudera manager
4.1 拷贝文件
1)上传文件到服务器并拷贝到主机里指定目录下
2)拷贝 cdh 包文件
scp -r
/data/cm/app/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel
root@192.168.52.60:/opt/cloudera/parcel-repo/
scp -r
/data/cm/app/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel.sh

a root@192.168.52.60:/opt/cloudera/parcel-repo/
scp -r /data/cm/app/cloudera/parcel-repo/manifest.json
root@192.168.52.60:/opt/cloudera/parcel-repo/
3)拷贝 cloudera manager 管理器程序文件
scp -r /root/cloudera-manager-centos7-cm5.10.2_x86_64.tar
root@192.168.52.60:/opt/cloudera/
然后执行 tar xvf cloudera-manager-centos7-cm5.10.2_x86_64.tar 为 cm-5.10.2
scp -r /opt/cm-5.10.2 root@192.168.52.61:/opt/cloudera/
scp -r /opt/cm-5.10.2 root@192.168.52.62:/opt/cloudera/
4.2 主节点添加 scm 用户
useradd --system --home=/opt/cm-5.10.2/run/cloudera-scm-server/ --no-create-home
--shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
4.3 拷贝驱动文件
cp mysql-connector-java-5.1.40-bin.jar /opt/cm-5.10.2/share/cmf/lib/
4.4 初始化 cm 数据库
#/opt/cm-5.10.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot
-proot123456 --scm-host localhost scm scm scm

4.5 主节点启动 cloudera-scm-server
1)在 hadoop01 执行
#/opt/cm-5.10.2/etc/init.d/cloudera-scm-server start
#/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start

4.6 从节点启动 cloudera-scm-agent
1)从节点 hadoop02/03 cloudera-manger-agent 指向主节点服务器
vim /opt/cm-5.10.2/etc/cloudera-scm-agent/config.ini
将 server_host 改为 CMS 所在的主机名即 hadoop01
2)在 hadoop02、hadoop03 上执行
#/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start

4.7 安装 cloudera manager service 服务
cdh 包高度集成 hadoop 生态组件,cloudera manager 管理器进行安装 cdh 包。
1)打开浏览器输入以下地址进入 cloudera manager web 管理端
http://192.168.52.60:7180/cmf/login ---用户和密码都是 admin

2)添加 cloudera manager service

3)添加集群

4)三台机器分别拷贝 mysql 连接库到 hive/lib 下
#cp /opt/cm-5.10.2/share/cmf/lib/mysql-connector-java-5.1.40-bin.jar
/opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/lib/hive/lib/

5.添加 zookeeper 服务

6.添加 HDFS 服务
添加 HDFS 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 HDFS 服务-分配服务角色

7.添加 Hbase 服务
添加 Hbase 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Hbase 服务-分配服务角色

8.添加 Yarn 服务
添加 Yarn 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Yarn 服务-分配服务角色

9.添加 Hive 服务
添加 Hive 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Hive 服务-分配服务角色-需要创建数据库

9.添加 Hive 服务
添加 Hive 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Hive 服务-分配服务角色

CM记录-CDH部署手册的更多相关文章

  1. CM记录-CDH大数据平台实施经验总结2016(转载)

    CDH大数据平台实施经验总结2016(转载) 2016年负责实施了一个生产环境的大数据平台,用的CDH平台+docker容器的方式,过了快半年了,现在把总结发出来. 1. 平台规划注意事项 1.1 业 ...

  2. CM记录-CDH故障修复处理记录

    CDH大数据集群修复记录 1)cm web打不开,查看监听7180端口产生了很多进程,于是kill进程:重启cloudera-cmf-server服务,几秒钟就挂了,查看cloudera-scm-se ...

  3. LVS+MYCAT+读写分离+MYSQL主备同步部署手册

    LVS+MYCAT+读写分离+MYSQL主备同步部署手册 1          配置MYSQL主备同步…. 2 1.1       测试环境… 2 1.2       配置主数据库… 2 1.2.1  ...

  4. 【转载】LVS+MYCAT+读写分离+MYSQL主备同步部署手册(邢锋)

    LVS+MYCAT+读写分离+MYSQL主备同步部署手册 1          配置MYSQL主备同步…. 2 1.1       测试环境… 2 1.2       配置主数据库… 2 1.2.1  ...

  5. product of大数据平台搭建------CM 和CDH安装

    一.安装说明 CM是由cloudera公司提供的大数据组件自动部署和监控管理工具,相应的和CDH是cloudera公司在开源的hadoop社区版的基础上做了商业化的封装的大数据平台. 采用离线安装模式 ...

  6. Kubernetes 1.13 的完整部署手册

    前言: 非常详细的K8s的完整部署手册,由于Kubernetes版本和操作系统的版本关系非常敏感,部署前请查阅版本关系对应表 地址:https://github.com/kubernetes/kube ...

  7. MariaDB Galera Cluster部署手册

    MariaDB Galera Cluster部署手册 galara保证双主数据库的同步及一致性 1.环境准备 基于新部署.最小化安装centos6.5 1>  yum install opens ...

  8. NEV_SDK开发环境部署手册

    根据项目开发需求,要在MEC服务器上部署如下内容:Nginx.Nginx push stream module.Jason CPP.Spawn-fcgi.libfcgi.Redis.Hiredis.B ...

  9. OpenStack Kilo版加CEPH部署手册

    OpenStack Kilo版加CEPH部署手册 作者: yz联系方式: QQ: 949587200日期: 2015-7-13版本: Kilo 转载地址: http://mp.weixin.qq.co ...

随机推荐

  1. HDFS的NameNode中的Namespace管理

    在NameNode中的Namespace管理层是负责管理整个HDFS集群文件系统的目录树以及文件与数据块的映射关系.以下就是Namespace的内存结构: 以上是一棵文件目录树,可见Namespace ...

  2. ContextLoaderListener解析

    推荐:spring源码 每一个整合spring框架的项目中,总是不可避免地要在web.xml中加入这样一段配置. <!-- Spring配置文件开始 --> <context-par ...

  3. vue3 RFC初尝试

    由于vue3.x还没有正式发布,所以可以通过安装包vue-function-api提前尝试 npm install vue-function-api --save main.js import Vue ...

  4. java之比较器

    java中的比较器有两种: 1.实体类实现Comparable接口,并实现其中的compareTo方法 2.在外部定义实现Comparator接口的比较器类,并实现其中的compare方法 Compa ...

  5. HIVE 乱码以及 HUE SQL 语句兼容性的记录(遇到应该会一直更新)

    最近在 HUE 里面查询有中文字段相关的东西被报错警告... (1366, Incorrect string value: \\xE4\\xBA\\xAC\\xE4\\xB8\\x9C... for ...

  6. 1054 The Dominant Color (20)(20 分)

    Behind the scenes in the computer's memory, color is always talked about as a series of 24 bits of i ...

  7. LOJ#565. 「LibreOJ Round #10」mathematican 的二进制 分治,FFT,概率期望

    原文链接www.cnblogs.com/zhouzhendong/p/LOJ565.html 前言 标算真是优美可惜这题直接暴力FFT算一算就solved了. 题解 首先,假装没有进位,考虑解决这个问 ...

  8. 域渗透复盘(安洵CTF线下)

    复盘线下域渗透环境Write Up 0x01 外网web到DMZ进域 外网web入口 joomla应用   192.168.0.5 反序列化打下来 GET /index.php HTTP/1.1 Ho ...

  9. Win7如何设置怎样在局域网内共享打印机

    首先进入桌面,点击开始按钮,然后打开控制面板 2 在控制面板设置界面,找到“管理工具”选项 3 接着打开“计算机管理”   选择“本地用户和组”的Guest账户   确保Guest账户被禁用   下面 ...

  10. tecplot不能导入fluent多面体的解决办法

    多面体网格在fluent当中计算完成,如果保存cas和dat文件,如果直接将cas和dat文件导入tecplot进行后处理,tecplot会提示多面体网格在fluent当中计算完成,如果保存cas和d ...