hadoop完全分步式搭建

实验环境介绍

4台机器，规划如下：

计算机名	IP地址	角色
master	192.168.138.200	NameNode,SecondaryNameNode,ResourceManager
slave	192.168.138.201	DataNode,NodeManager
ha1	192.168.138.202	DataNode,NodeManager
ha2	192.168.138.203	DataNode,NodeManager

第一步：配置/etc/hosts文件

cat /etc/hosts

192.168.138.200	master

192.168.138.201	slave

192.168.138.202	ha1

192.168.138.203	ha2

由于4台主机hosts文件相同，这里使用saltstack等工具将文件分发到其他3台机器上。

salt '*' cp.get_file salt://files/hosts /etc/hosts

第二步：安装java-1.8.0-openjdk和java-1.8.0-openjdk-devel

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

其它机器使用saltstack批量安装：

cat /srv/salt/base/top.sls

base:

  'L@ha1,ha2,slave':

    - add_pkgs

[root@master base]# cat add_pkgs.sls

add_java_1.8:

  pkg.installed:

    - pkgs: ['java-1.8.0-openjdk','java-1.8.0-openjdk-devel']

salt '*' state.highstate saltenv=base test=False

检查一下是否安装成功

java -version

openjdk version "1.8.0_161"

OpenJDK Runtime Environment (build 1.8.0_161-b14)

OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)

以上信息表示安装成功。

第三步：下载hadoop二进制包

下载地址：https://hadoop.apache.org/releases.html

选择一个适合的版本下载，本文选择的是2.7.5的二进制版本，二进制包无需编译可直接运行。

解压包到/usr/local/hadoop

tar xvf hadoop-2.7.5.tar.gz -C /usr/local/

mv /usr/local/hadoop-2.7.5 /usr/local/hadoop

第四步：配置master到其它主机包括自己的SSH免密免yes登录

ssh-keygen -b 2048 -t rsa -N ''

ssh-copy-id -i ~/.ssh/id_rsa.pub root@master

ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave

ssh-copy-id -i ~/.ssh/id_rsa.pub root@ha1

ssh-copy-id -i ~/.ssh/id_rsa.pub root@ha2

编辑/etc/ssh/ssh-config修改或新增如下2行

Host *

    GSSAPIAuthentication no

    StrictHostKeyChecking no

测试一下：

[root@master ~]# ssh master

Last login: Mon Jan 29 10:55:36 2018 from master

[root@master ~]# logout

Connection to master closed.

[root@master ~]# ssh slave

Last login: Mon Jan 29 10:55:43 2018 from master

[root@slave ~]# logout

Connection to slave closed.

[root@master ~]# ssh ha1

Last login: Mon Jan 29 10:56:24 2018 from slave

[root@ha1 ~]# logout

Connection to ha1 closed.

[root@master ~]# ssh ha2

Last login: Sun Jan 28 18:28:59 2018 from master

[root@ha2 ~]# logout

Connection to ha2 closed.

[root@master ~]#

这里需要注意的一点是：有时候配置好登录仍然会提示输入密码的问题，主要原因在于用户家目录不能带有w权限，把w权限去掉就可以了。

第五步：配置/usr/local/hadoop/etc/hadoop/hadoop-env.sh

这是hadoop环境变量脚本，其中需要配置的是:

export JAVA_HOME=""             #这行信息需要配置JAVA1.8的库环境路径

export HADOOP_CONF_DIR=""       #这行配置hadoop配置文件路径

JAVA_HOME查找方法：

[root@master base]# which java

/usr/bin/java

[root@master base]# ll /usr/bin/java

lrwxrwxrwx. 1 root root 22 Jan 22 20:21 /usr/bin/java -> /etc/alternatives/java

[root@master base]# readlink /etc/alternatives/java

/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64/jre/bin/java

这样就得出JAVA_HOME的路径为：

/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64/jre

HADOOP_CONF_DIR配置文件路径直接填写：/usr/local/hadoop/etc/hadoop即可。

所以//usr/local/hadoop/etc/hadoop/hadoop-env.sh需要修改的两行如下：

export JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64/jre"

export HADOOP_CONF_DIR="/usr/local/hadoop/etc/hadoop"

第六步：配置/usr/local/hadoop/etc/hadoop/core-site.xml

cat //usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://master:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/var/hadoop</value>

        <description>A base for other temporary directories.</description>

    </property>

</configuration>

在所有机器上创建/var/hadoop文件夹

salt '*' cmd.run "mkdir -p /var/hadoop"

第七步：配置/usr/local/hadoop/etc/hadoop/hdfs-site.xml

cat /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>

    <property>

        <name>dfs.namenode.http-address</name>

        <value>master:50070</value>

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>master:50090</value>

    </property>

    <property>

        <name>dfs.replication</name>

        <value>2</value>

    </property>

</configuration>

第八步：把/usr/local/hadoop/etc/hadoop文件夹同步到所有机器

salt '*' cp.get_dir salt://files/hadoop/ /usr/local/hadoop/etc/

第九步：在namenode上执行格式化操作

/usr/local/hadoop/bin/hdfs namenode -format

在没有报错的情况启动集群

/usr/local/hadoop/sbin/start-dfs.sh

第十步：验证

在所有机器上执行 jps

salt '*' cmd.run "jps"

[root@master ~]# jps

93353 SecondaryNameNode

123000 Jps

95210 ResourceManager

94332 NameNode

[root@master ~]# salt '*' cmd.run "jps"

ha1:

    10292 Jps

    9484 NodeManager

    9279 DataNode

slave:

    22323 DataNode

    23369 Jps

    22522 NodeManager

ha2:

    8594 Jps

    7715 NodeManager

    7512 DataNode

能看到节点信息说明搭建成功。