CDH5.2+CM5.2+impala2+Spark1.1 集群搭建基础环境准备

測试集群简单介绍：一共同拥有4台机器：10.10.244.136、10.10.244.137、10.10.244.138、10.10.244.139。

10.10.244.136是管理节点。另外3台是存储节点。准备工作详情例如以下：

1 在四台机器上安装CentOS release 6.5 (Final)  64位（管理节点须要安装Mysql\Postgresql\redhat_lsb）

2 CDH5.2（包括了Spark1.1） YUM源搭建、CM5.2 YUM源搭建、impala2 YUM 源搭建

CDH5.2仓库地址：http://archive-primary.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/

CM5.2仓库地址：http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/

impala2仓库地址：http://archive-primary.cloudera.com/impala/redhat/6/x86_64/impala/2/

3 关闭4台机器的selinux

cd /etc/selinux; vi config;SELINUX=disabled(找到它，改动成这样)

4 关闭4台机器的iptables(防火墙。CentoOS7.0 中就不是它了，好像是firewalk)

chkconfig --level 35 iptables off;

5 改动四台机器的hostname分别为master01.pmsc.gov.cn、datanode01.pmsc.gov.cn、datanode02.pmsc.gov.cn、 datanode03.pmsc.gov.cn

cd /etc/sysconfig; vi network;HOSTNAME=master01.pmsc.gov.cn(类似于这样改动)

6 在4台机器分别创建cloudera用户

groupadd cloudera;useradd -g cloudera cloudera;passwd cloudera;

7 让4台机器上的cloudera用户能够无password获得sudo权限

cd /etc;chmod u+w sudoers;vi sudoers;cloudera    ALL=(ALL)   ALL；%cloudera    ALL=(ALL)NOPASSWD : ALL（这两句话加入在root    ALL=(ALL)       ALL下方）;chmod u-w sudoers

8 在4台机器间配置cloudera用户的SSH无password通信

cd /etc;vi hosts;加入例如以下内容

10.10.244.136 master01.pmsc.gov.cn

   10.10.244.137 datanode01.pmsc.gov.cn

   10.10.244.138 datanode02.pmsc.gov.cn

   10.10.244.139 datanode03.pmsc.gov.cn

   10.10.244.129 archive.cloudera.com  (YUM源本地机器)

cd /home/cloudera/.ssh;rm -rf *;ssh-keygen -t rsa -P '';cat id_rsa.pub>>authorized_keys（在4台机器上运行同样的操作，合并authorized_keys文件内容，并覆盖每一个机器上的authorized_keys文件）；chmod 600 authorized_keys；

9 在4台机器之间做时钟同步。保证时间的一致性（136 自己同步自己。其他机器同步136的时间。

）

136上的配置（/etc/ntp.conf）

#server 0.centos.pool.ntp.org iburst

            #server 1.centos.pool.ntp.org iburst

            #server 2.centos.pool.ntp.org iburst

            #server 3.centos.pool.ntp.org iburst

            server 127.127.1.0

            fudge 127.127.1.0 stratum 8

137\138\139上的配置（/etc/ntp.conf）

#server 0.centos.pool.ntp.org iburst

            #server 1.centos.pool.ntp.org iburst

            #server 2.centos.pool.ntp.org iburst

            #server 3.centos.pool.ntp.org iburst

            server 10.10.244.136

            fudge 10.10.244.136 stratum 8

136\137\138\139设置ntpd服务开机自启动

sudo chkconfig ntpd on

137\138\139上在cloudera用户下每天同步一次时间(使用crontab)

30 21 * * * sudo ntpdate 10.10.244.131

10 在4台机器上安装JDK(最小版本号1.7.0_67)

sudo vi /etc/profile;加入例如以下配置

export JAVA_HOME=/usr/local/jdk1.7.0_71

      export PATH=$JAVA_HOME/bin:$PATH

      export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

11 Mysql数据的安装配置

默认字符编码设置为utf-8：

[mysqld]

            character-set-server=utf8

             # Disabling symbolic-links is recommended to prevent assorted security risks

             symbolic-links=0

            [client]

            port = 3306

            socket = /var/lib/mysql/mysql.sock

            default-character-set=utf8

            [mysql]

            no-auto-rehash

            default-character-set=utf8

改动root账户password：update user set Password = Password('test') where Host = '%' and User = 'root';flush privileges;

开启远程登录：update user set host = ‘%’ where user = ‘root’;flush privileges;

改动数据文件存储位置：

[mysqld]

             datadir=/home/mysql

socket=/home/mysql/mysql.sock

设置开机自启动：sudo chkconfig mysqld on