centos6.2 下安装并配置hadoop1.0.4（32位安装）

 

一，环境准备

1、  集群内所有电脑需要设置防火墙，下面以master为例说明：

切换到root用户下，执行setup指令：

（1）       选择Firewall  configuration，Run  Tool。用上下键控制选项的选择，用Tab键进行确认和取消选择，空格键点击确认。

（2）       进入Firewall  Configuration 设置，使用空格将Firewall设置上的星号去掉，变成disable，OK确认。

（3）       点击“yes“

（4）       之后回到第一步，选择退出即可。

2、  Hadoop集群由3个节点（同构、异构均可）构成，它们之间通过以太网进行通讯。图1 中每个节点下部的标签为该节点的主机名，其对应的IP 地址如表1 所示：

主机名	IP地址
master	172.22.12.72
slave1	172.22.12.71
slave2	172.22.12.70

表1

我们需要在每台机器上配置hosts文件，配置操作相同，下面以master为例介绍：

以root 身份打开/etc /hosts 文件，命令：

[root @masterDesktop]#  vim  /etc /hosts

将文件修改为如下内容：

172.22.12.72   master

172.22.12.71   slave1

172.22.12.70   slave2

之后，slave1和salve2执行上述操作。

判断配置是否成功，在集群内任一电脑，ping其他电脑用户名，如果ping通了，则说明成功。比如在master上ping  slave1

如上图说明成功了。

二，CentOS下安装JDK

软件准备：jdk-6u38-linux-i585.bin，集群内所有电脑都需要安装JDK，我们可以在master上安装好JDK后，将安装文件复制到其他电脑相同目录下即可。将hadoop统一安装在所有电脑的/usr/local目录下;下面以master电脑安装JDK为例介绍：

1、  查看默认的JDK命令：

[hadoop@masterDesktop]$  java  -version

提示现在的jdk版本是1.6.0_22

2、  使用root帐号将jdk-6u38-linux-i585.bin放到/usr/local目录下，命令：

[hadoop@masterDesktop]$  su root

[root@masterDesktop]#  mv  jdk-6u38-linux-i585.bin  /usr/local

3、  安装jdk

进入到/usr/local目录下，将压缩包安装到该目录下

[root @masterDesktop]#  cd  /usr/local

[root @master  local]#  ./jdk-6u38-linux-i585.bin

安装完成后，在/usr/local目录下产生一个新的 jdk1.0. 6_38文件夹

4、  设置环境变量

打开配置文件profile，命令：

[root @master  local]#  vim  /etc/profile

移至文件末尾插入一个空行：输入字母o。输入以下配置信息：（注：这里的分隔符是冒号不是分号）

JAVA_HOME=/usr/local/jdk1.6.0_38

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME

export PATH

export CLASSPATH

编辑完后，先按Esc退出编辑模式，再保存退出输入：wq !（冒号也要输入）

至此，新的JDK环境设置完毕。

5、  让系统配置立即生效，不用重启系统，终端输入命令：

[root @master  local]#  source  /etc/profile

6、  查看jdk是否安装成功，命令：

[root @master  local]#  java

[root @master  local]#  javac

如果出现配置信息，说明安装成功

7、  查看版本：

[root @master  local]#  java -version

显示我们安装的新版本是jdk1.6.0_38

8、  将主节点master上安装好的jdk复制到其他两台上相同目录下。此处以复制到slave1为例。

a)         将jdk的解压缩文件复制到slave1电脑上

[root @master  local]#  scp -r  jdk1.6.0_38  root@slave1:/usr/local

这样，子节点上的同目录下也安装了jdk。注意，复制文件夹一定要加-r，表示将jdk1.6.0_38文件夹和其文件夹里的所有文件都拷贝到slave1节点上。

a)         将主节点master上的jkd配置文件拷贝到其他子节点上

[root @master  local]#  scp  /etc/profile  slave1:/etc/profile

注意，此处profile文件不是文件夹，因此不用加-r。

b)         在子节点上查看jdk是否安装成功

[root @slave1  Desktop]#  source  /etc/profile

[root @slave1Desktop]#  java

[root @slave1Desktop]#  javac

[root @slave1Desktop]#  java  –version

9、执行步骤8，将jdk文件复制到slave2.。

三，CentOS下配置ssh

1、  在Hadoop集群中，需要集群内一台电脑无密码登录其他电脑，我们使用Linux自带的ssh指令远程连接其他电脑（在安装CentOs系统时候，会默认安装SSH服务，如果没有，则需要手动安装Openssh），SSH默认需要输入密码，因此我们配置一下SSH，即可无密码登录。下面讲解如何通过SSH无密码登录其他电脑：

2、  如果master电脑通过SSH无密码远程连接slave1电脑，需要在master电脑上生成密码对，然后将私钥留下，公钥发送给slave1后，实现了无密码登录slave1电脑。即如果电脑a无密码连接电脑b，需要将电脑a生成的私钥留给自己，公钥发给电脑b。因此欲实现集群内电脑的相互无密码登录，只需要每台电脑生成一个公钥对，将各自私钥不要动，所有公钥（公钥类似windows系统的记事本）的内容复制到同一个文本文件中，此文本文件名字必须为authorized_keys，不能变；然后将authorized_keys复制到集群内的每台电脑即可。注意：我们每台电脑使用hadoop用户连接，因此生成公钥和authorized_keys必须属于hadoop用户。具体流程如下：

3、  在master上生成密码对流程如下：

（1） 确保.ssh文件夹属于hadoop用户，如果不是，需要修改：

a)跳转到/home/hadoop目录下：

b)查看.ssh文件夹属性：

c)如果标记处为hadoop则说明.ssh文件夹属于hadoop用户。

如果标记处不为hadoop，则需要切换到root用户，进行修改：

d)切换到root用户：

e)将.ssh用户赋予hadoop：

f)赋予hadoop用户权限，可以操作.ssh文件夹：

之后再利用ls -al查看.ssh文件夹，确保文件夹如上c)图符合要求。

（2） 生成密钥对：

a)确保是hadoop用户操作，如果不是，切换到hadoop用户下：

b)再跳转到.ssh目录下进行操作：

c)在.ssh文件夹下生成密钥对

[hadoop @master  .ssh]$  ssh-key gen -t  rsa

之后一直点击回车键默认，效果如下：

此时，会在/home/hadoop/.ssh下生成了id_rsa（私钥），id_rsa.pub（公钥）；

4、  分别在slabe1和slave2中执行第三步操作，都会生成密钥对id_rsa.pub和id_rsa，

5、  配置authorized_keys

(1)在master电脑上，把生成的id_ras.pub内容复制到authorized _keys中；执行指令：

如果authorized_keys不存在，则生成authorized_keys,再将id_rsa.pub内容复制到authorized_keys中。

(2)将authorized_keys复制到slave1电脑上：

将slave1生成密钥对添加到authorized_keys：

(3)将slave1上authorized_keys复制到slave2上：

将将slave2生成密钥对添加到authorized_keys：

至此slave2上authorized_keys文件已经包含集群中所有三台电脑的公钥了，是最新的文件。

下一步，将master和slave1电脑上authorized_keys文件删除，将slave2上的最新authorized_keys复制到master和slave1上。

(4）master上删除旧的authorized_keys：

slave1中删除旧的authorized_keys：

Slave2中authorized_keys复制到master：

Slave2中authorized_keys复制到slave1：

(5)将集群内所有电脑上设定authorized_keys所属用户为hadoop，hadoop用户对其读写权限，在所有电脑上执行以下操作，以master为例：

再执行ls –al查看authorized_keys文件，如果如下图所示，则符合要求：

四，CentOS下安装和配置hadoop

1、  集群内所有电脑都需要安装hadoop，我们可以在master上安装好hadoop后，将安装文件复制到其他电脑相同目录下即可。将hadoop统一安装在所有电脑的/usr/local目录下;下面以master电脑安装hadoop为例介绍：

2、  将用户切换到root用户：

3、  将桌面上的hadoop-1.0.4-bin.tar.gz复制到/usr/local目录下：

3、  跳转到/usr/local目录下，解压缩hadoop-1.0.4-bin.tar.gz：

4、  解压缩后生成hadoop-1.0.4文件夹，跳转到 hadoop-1.0.4/conf目录下，

配置hadoop配置文件，总共需要配置6个。

（1）       配置hadoop-env.sh

# set java environment

export JAVA_HOME=/usr/local/jdk1.6.0_38

（2）       配置core-site.xml，修改每个属性的value值

<!—core-site.xml-->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoopl/tmp</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://172,.22.12.72:9000</value>

</property>

（3）       设置完步骤（2）后，用root账号在/home/hadoop目录下创建一个名为tmp的文件夹，

将tmp文件夹赋予hadoop用户，并赋予hadoop用户操作该文件夹的权限

（4）       跳转到hadoop-1.0.4/conf目录下

继续配置hdfs-site.xml

<!—hdfs-site.xml-->

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

注：副本个数，不配置默认是3,应小于等于datanode机器数量，本集群datanode机器数为2。

（5）       配置mapred-site.xml

<!—mapred-site.xml-->

<property>

<name>mapred.job.tracker</name>

<value>http://172.22.12.72:9001</value>

</property>

（6）       配置masters文件,加入namenode的节点名,并删除前面的内容

172.22.12.72

注：此处填写主节点ip

（7）       配置slaves文件, 加入所有datanode的节点名

[hadoop @master  conf]$  vim  slaves

172.22.12.71

172.22.12.70

注：此处填写所有数据节点ip

5、  将hadoop-1.0.4赋予用户hadoop，并且赋予hadoop对文件夹的操作权限。

6、  将hadoop-1.0.4分别复制到slave1和slave2相应目录下：

7、  分别在slave1和slave2上以root用户执行操作步骤5。

8、  分别在slave1和slave2上执行操作步骤4中第(3)步。

9、  启动hadoop集群（只需在主节点启动hadoop即可）

（1）       以hadoop用户，跳转到hadoop-1.0.4的bin目录下：

（2）       格式化文件系统：

注：在第一次启动hadoop集群时候，需要格式化文件系统，其他时间不需要启动。

（3）       启动hadoop集群

10、              在主节点master上用java自带的小工具jps查看进程

进程中必须包含NameNode和JobTracker这两个，不然说明安装失败。

在salve1上或slave2上用java自带的小工具jps查看进程：

进程必须包含DataNode和TaskTracker两个，不然说明安装失败。