Ubuntu16.04安装CDH5.14.2

　一、安装cloudera manager（下文简称cm）

　　　（一）.环境及软件准备：

　　　　　　1.环境：Ubuntu16.04 desktop x 3 台

- - ip分别为：10.132.226.121，10.132.226.122，10.132.226.123
  - 用户统一使用root用户

　　　　　　2.需下载安装的软件：

- - cm压缩包：cloudera-manager-xenial-cm5.14.2_amd64.tar.gz
  - CDH离线资源包（parcels）：
  - cloudera-manager-daemons(主节点）
  - cloudera-manager-server（主节点）
  - cloudera-manager-agent（主节点和从节点）
  - 注意：Ubuntu有多个版本：16.04代号为Xenial Xerus——好客的非洲地松鼠14.04代号为Trusty Tahr——值得信赖的塔尔羊12.04代号为Precise Pangolin——精准的穿山甲，因此16.04需下载xenial版本的文件，否则可能会出现不兼容的问题。
  - ssh服务
  - ntp服务
  - oracle-java
  - mariadb

　　　（二）.主机环境配置：

修改hostname：

主节点 master：

root@master:~# vim /etc/hostname
 
~~~~~~~内容~~~~~~~
master
~~~~~~~内容~~~~~~~

从节点 slave[1-2]:

root@slave1:~# vim /etc/hostname
 
~~~~~~~内容~~~~~~~
slave1
~~~~~~~内容~~~~~~~

修改hosts（所有节点）：

 root@master:~# vim /etc/hosts
 ~~~~~~~~~~~内容~~~~~~~~~~~
 127.0.0.1       localhost
 10.132.226.121  master
 10.132.226.122  slave1
 10.132.226.123  slave2
 
 # The following lines are desirable for IPv6 capable hosts
 ::     ip6-localhost ip6-loopback
 fe00:: ip6-localnet
 ff00:: ip6-mcastprefix
 ff02:: ip6-allnodes
 ff02:: ip6-allrouters
 ~~~~~~~~~~~内容~~~~~~~~~~~

注意：部分主机含有127.0.1.1 的地址用#注释或删除

更新软件包（所有节点）：
```
root@master:~# apt update
```
注意：如果有涉及内核的更新需要重启一下系统

关闭防火墙（所有节点）：

root@slave1:~# ufw disable
Firewall stopped and disabled on system startup

重启系统：reboot 因为更改/etc/hostname必须要重启系统才能生效，更新软件包，以及关闭防火墙有时也需要重启系统来应用部分配置，因此在这步进行系统重启。

ssh服务配置：

如果未安装ssh服务则先进行安装（所有节点）：
```
root@master:~# apt install openssh-server openssh-client
```

修改/etc/ssh/sshd_config配置文件中的以下选项（所有节点）：

 root@master:~# vim /etc/ssh/sshd_config
 ~~~~~~~~查找并修改~~~~~~~~
 PermitRootLogin yes
 PasswordAuthentication yes
 ~~~~~~~~查找并修改~~~~~~~~
 root@master:~# /etc/init.d/ssh restart

若有#号注释的删除#号并更改即可

配置各节点之间的免密登陆（只在主节点操作）：

 root@master:~# ssh-keygen -t rsa
 //生成密钥 一路回车，如果之前已有生成，提示是否重新生成时填y即可
 root@master:~# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
 root@master:~# chmod  ~/.ssh/authorized_keys
 root@master:~# scp -r /root/.ssh root@slave1:/root/
 root@master:~# scp -r /root/.ssh root@slave2:/root/

注意：如果出现无法连接的 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED 错误时清楚~/.ssh 文件下know_hosts文件找到与登录错误的IP的公钥删除即可　　

配置ntp服务：

安装ntp服务（所有节点）：
```
 root@master:~# apt-get install ntp
```

修改/etc/ntp.conf配置文件：

master：

 root@master:~# vim /etc/ntp.conf
 //用#注释掉所有的pool和server
 ~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~~
 restrict 10.132.226.0 mask 255.255.255.0
 server 202.120.2.101
 server cn.pool.ntp.org
 server 127.0.0.1
 ~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~~

slave：

1 root@slave1:~# vim /etc/ntp.conf
2 //用#注释掉所有pool与server添加一下内容
3 ~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~
4 server master
5 ~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~

重启ntp服务：
```
 root@master:~t# service ntp restart
```

安装配置JAVA（所有节点）:

安装java：

 root@master:~# add-apt-repository ppa:webupd8team/java
 //因为cm需要安装oracle的java，二ubuntu的源中默认只有openjdk所以需要添加源
 root@master:~# apt-get update
 root@master:~# apt-get install oracle-java8-installer

修改/etc/profile文件添加JAVA_HOME:

 root@master:~# vim /etc/profile
 ~~~~~~~~~~~~~~~~~~~~~~文末添加~~~~~~~~~~~~~~~~~~~~~~
 export JAVA_HOME=/usr/lib/jvm/java--oracle
 export JRE_HOME=${JAVA_HOME}/jre
 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
 export PATH=$PATH:${JAVA_HOME}/bin:{JRE_HOME}/bin:$PATH
 ~~~~~~~~~~~~~~~~~~~~~~文末添加~~~~~~~~~~~~~~~~~~~~~~

若不知道java的位置可通过update-alternatives --config java 来查看java信息

 root@master:~# update-alternatives --config java
 有  个候选项可用于替换 java (提供 /usr/bin/java)。
 
   选择       路径                                          优先级  状态
 ------------------------------------------------------------
               /usr/lib/jvm/java--oracle/jre/bin/java                自动模式
               /usr/java/jdk1..0_121/bin/java                         手动模式
               /usr/lib/jvm/j2sdk1.-oracle/jre/bin/java               手动模式
               /usr/lib/jvm/java--openjdk-amd64/jre/bin/java         手动模式
 *             /usr/lib/jvm/java--oracle/jre/bin/java                手动模式
 
 要维持当前值[*]请按<回车键>，或者键入选择的编号：

安装配置Mariadb（主节点）：

安装Mariadb：

root@master:/home/jy# apt-get install mariadb-server

修改/etc/mysql/mariadb.conf.d/50-server.cnf配置文件使数据库可远程访问：

 root@master:~# vim /etc/mysql/mariadb.conf.d/-server.cnf
 
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 [mysqld]
 
 #
 # * Basic Settings
 #
 user            = mysql
 pid-file        = /var/run/mysqld/mysqld.pid
 socket          = /var/run/mysqld/mysqld.sock
 port            =
 basedir         = /usr
 datadir         = /var/lib/mysql
 tmpdir          = /tmp
 lc-messages-dir = /usr/share/mysql
 skip-external-locking
 
 # Instead of skip-networking the default is now to listen only on
 # localhost which is more compatible and is not less secure.
 bind-address            = 0.0.0.0  #修改此项，可用#注释，或改成本实例内容
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

使用mysql_secure_installation进行数据库初始化设置：

 root@master:~# mysql_secure_installation
 ~~~~省略部分内容~~~~
 Enter current password for root (enter for none):     //此处直接回车，默认root密码为空
 OK, successfully used password, moving on...
 
 Setting the root password ensures that nobody can log into the MariaDB
 root user without the proper authorisation.
 
 Set root password? [Y/n] y   //选择y更改root密码
 New password:
 Re-enter new password:
 Password updated successfully!
 Reloading privilege tables..
  ... Success!
 ~~~~省略部分内容~~~~
 Remove anonymous users? [Y/n] n
  ... skipping.
 ~~~~省略部分内容~~~~
 Disallow root login remotely? [Y/n] n  //选 n 为允许root用户远程登录
  ... skipping.
 ~~~~省略部分内容~~~~
 Remove test database and access to it? [Y/n] y
  ~~~~省略部分内容~~~~
 Reload privilege tables now? [Y/n] y
  ... Success!
 
 Cleaning up...
 
 All done!  If you've completed all of the above steps, your MariaDB
 installation should now be secure.
 
 Thanks for using MariaDB!

增加可远程访问的root用户：

 root@master:~# mysql -u root -p
 Enter password:
 MariaDB [(none)]> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root123' WITH GRANT OPTION;
 Query OK,  rows affected (0.00 sec
 MariaDB [(none)]> flush privileges;

创建需要的数据库：

 MariaDB [(none)]> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 MariaDB [(none)]> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 MariaDB [(none)]> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 MariaDB [(none)]> create database manager DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 MariaDB [(none)]> create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 //后续其他选中的服务需要数据库可以自己再次创建

安装JDBC：

root@master:~# apt install libmysql-java

　　　（三）.配置与安装cm：

1.配置本地源：

解压下载的cm包到指定目录：

 root@master:~# mkdir /opt/cloudera-manager //所有节点创建
 root@master:~# tar -xzvf cloudera-manager-xenial-cm5..2_amd64.tar.gz -C /opt/cloudera-manager

修改/opt/cloudera-manager/cm-5.14.2/etc/cloudera-scm-agent/config.ini文件：

 root@master:~# vim /opt/cloudera-manager/cm-5.14./etc/cloudera-scm-agent/config.ini
 ~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~
 [General]
 # Hostname of the CM server.
 server_host=master
 
 # Port that the CM server is listening on.
 server_port=
 ~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~
 //server_host 更改为主节点的ip或者host名
 //server_port 默认为7182 若端口被占，则改成其他

把主节点的cloudera-manager文件夹拷贝到其他节点：

 root@master:~# scp -r /opt/cloudera-manager root@slave1:/opt/cloudera-manager/
 root@master:~# scp -r /opt/cloudera-manager root@slave2:/opt/cloudera-manager/

创建parcle-repo本地CDH源（主节点）：

 root@master:~# mkdir -p /opt/cloudera/parcel-repo  //在所有节点创建
 //将sha1更名为sha否则无法识别,并将资源包拷贝到/opt/cloudera/parcel-repo
 root@master:~# mv CDH-5.14.-.cdh5.14.0.p0.-xenial.parcel.sha1 CDH-5.14.-.cdh5.14.0.p0.-xenial.parcel.sha
 root@master:~# cp CDH-5.14.-.cdh5.14.0.p0.-xenial.parcel CDH-5.14.-.cdh5.14.0.p0.-xenial.parcel.sha manifest.json /opt/cloudera/parcel-repo

创建parcels目录（所有节点）：

 root@master:~# mkdir -p /opt/cloudera/parcels

创建cloudera-scm用户（所有节点）：

root@master:~# useradd --system --home=/opt/cloudera-manager/cm-5.14./run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

更改文件夹所有用户与用户组（所有节点）：

 root@master:~# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
 root@master:~# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
 root@master:~# chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager

2.安装cloudera manager*

添加cloudera仓库：从 Cloudera Manager Version and Download Information 找到适合当前操作系统版本的cloudera包文件,如本例的包文件地址为：https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list，将文件中的内容复制到/etc/apt/sources.list.d/cloudera-manager.list中（没有则新建）

 root@master:/etc/apt/sources.list.d# vim /etc/apt/sources.list.d/cloudera-manager.list
 ~~~~~~~~~~~~~~~~~~~~添加内容~~~~~~~~~~~~~~~~~~~~
 # Packages for Cloudera Manager, Version , on Ubuntu 16.04 amd64
 deb [arch=amd64] http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm xenial-cm5 contrib
 deb-src http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm xenial-cm5 contrib
 ~~~~~~~~~~~~~~~~~~~~添加内容~~~~~~~~~~~~~~~~~~~~

安装cloudera-manager-daemons(主节点) cloudera-manager-server（主节点） coudera-manager-agent（主节点和从节点）：

 root@master:~# apt-get install cloudera-manager-daemons cloudera-manager-server
 root@master:~# apt-get install cloudera-manager-agent

修改/opt/cloudera-manager/cm-5.14.2/etc/cloudera-scm-agent/config.ini文件：

 1 root@master:~# vim /etc/cloudera-scm-agent/config.ini
 2 ~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~
 3 [General]
 4 # Hostname of the CM server.
 5 server_host=master
 6
 7 # Port that the CM server is listening on.
 8 server_port=7182
 9 ~~~~~~~~~~~~~~内容~~~~~~~~~~~~~~
10 //server_host 更改为主节点的ip或者host名
11 //server_port 默认为7182 若端口被占，则改成其他

3.配置cm数据库账户：

创建scm账户：

 root@master:~# mysql -uroot -p
 Enter password:
 MariaDB [(none)]> grant all on *.* to 'scm'@'%' identified by 'scm' with grant option;
 MariaDB [(none)]> flush privileges;

通过scm_prepare_database.sh 创建数据库及数据库用户：

 root@master:~# /usr/share/cmf/schema/scm_prepare_database.sh mysql -hmaster -uroot -p --scm-host master scm scm scm
 JAVA_HOME=/usr/lib/jvm/java--oracle
 Verifying that we can write to /etc/cloudera-scm-server
 log4j:ERROR Could not find value for key log4j.appender.A
 log4j:ERROR Could not instantiate appender named "A".
 Creating SCM configuration file in /etc/cloudera-scm-server
 Executing:  /usr/lib/jvm/java--oracle/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
 log4j:ERROR Could not find value for key log4j.appender.A
 log4j:ERROR Could not instantiate appender named "A".
 [2018-05-20 02:19:36,840] INFO     0[main] - com.cloudera.enterprise.dbutil.DbCommandExecutor.testDbConnection(DbCommandExecutor.java) - Successfully connected to database.
 All done, your SCM database is configured correctly!
 //这里出现的ERROR暂时没发现影响后面的操作，可以忽略

说明：

脚本用来创建和配置CMS需要的数据库。各参数是指：
mysql：数据库用的是mysql，如果安装过程中用的oracle，那么该参数就应该改为oracle。
-uroot：root身份运行mysql。-proot：mysql的root密码是root。
--scm-host localhost ：CMS的主机，一般是和mysql安装的主机是在同一个主机上。
最后三个参数是：数据库名，数据库用户名，数据库密码。

4.启动cloudera manager服务：

主节点启动：cloudera-scm-server：

 root@master:~# service cloudera-scm-server start

这步启动时间有点长，可以查看日志来看服务是否启动完成：

root@master:/# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

所有节点启动 cloudera-scm-agent：

 root@master:~# service cloudera-scm-agent start

（二）安装CDH5：

1. 1. 进入CMS管理界面：通过http：主节点ip:7180 进入用户名和密码均为admin　
  2. 选择版本：
  3. 选择安装的主机：如果没有启动cloudera-scm-agent服务会出现部分节点不在以管理的主机中，启动再刷新就可以了
  4. 选择cdh的版本，选择自己下载在parcels-repo包中的cdh版本，这里应该选CDH-5.14.2-cdh5.14.2p0.3
  5. 进行集群安装，刚开始可能会出现connect refused 再等待一会应该就会重新进行分配
  6. 集群安装检查主机正确性，确保所有验证都为绿色。
    
    注意：Cloudera 建议将 /proc/sys/vm/swappiness 设置为 10。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。
    
    解决方法在出现问题的节点上运行：echo 10 > /proc/sys/vm/swappiness
    echo后面的10 为需要的设置的值。
  7. 选择自己需要的服务
  8. 数据库设置：
    
    数据库名为之前创建的数据库名，若没有创建你需要的服务所需的数据库，可自行再进行创建，用户名这里使用root。也可自己创建新的用户
  9. 之后一直继续即可
  10. 完成安装部署：
  11. 进入cms管理界面：