一：系统安装与配置

Hadoop选择下载2.4.0　　http://hadoop.apache.org　/　http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/

JDK我用的是1.7u64 　　http://www.oracle.com/technetwork/java/javase/downloads/index.html

　　在安装系统时，每个虚拟机的用户名都应尽量设置为一样的。因为，ssh默认以当前用户名去登录另外的主机，如果“另外的主机”没有“当前用户名”这样一个用户，后果可想而知！我的用户名都设置为：Hadoop，登录名是hadoop

我的主机名：master节点的主机名是Master,slaves节点的主机名分别为：Node1

在每台主机上，

检测系统是否开启ipv6：

cat /proc/sys/net/ipv6/conf/all/disable_ipv6

如果结果显示0表示已开启，若为1表示已关闭

关闭ipv6：

sudo vim /etc/sysctl.conf

加入如下内容：

net.ipv6.conf.all.disable_ipv6 = 

net.ipv6.conf.default.disable_ipv6 = 

net.ipv6.conf.lo.disable_ipv6 =

重启系统

至于为什么要关闭ipv6，后面再说。

二、主机互Ping

编辑/etc/hosts文件：

在终端中输入：

sudo vim /etc/hosts

在其中以“ip地址主机名”的格式加入每个主机的信息，

我的Master主机中的hosts文件内容如下：

127.0.0.1       TENCENT64.site TENCENT64

127.0.0.1       Master

10.221.32.234   Node1

我的Node1主机中的hosts文件内容如下：

127.0.0.1       TENCENT64.site TENCENT64

10.207.160.34   Master

127.0.0.1       Node1

每台主机都添加相应的主机信息后，重启，测试：

每台上依次都ping一下，看是否是通的。

三：主机无密码登录节点

在master节点上执行：

ssh-keygen -t rsa -P ''

一直回车默认，生成的密钥对保存在~/.ssh目录下

root@VM_160_34_centos:~/tools> ssh-keygen -t rsa -P ''

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):

Created directory '/root/.ssh'.

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

:bd:1e:e4:d3:::f5:da:b1::::bf::3b root@VM_160_34_centos

The key's randomart image is:

+--[ RSA ]----+

|              .oo|

|         + . o .o|

|        o = = oo.|

|         + B o o+|

|        S * + ...|

|         . E     |

|          . .    |

|                 |

|                 |

在slaves节点上执行：

mkdir ~/.ssh

生成用于保存密钥的文件夹

把公钥复制到所有Slave上（需要输入密码）：

hadoop@VM_160_34_centos:~> scp /home/hadoop/.ssh/id_rsa.pub hadoop@Node1:~/

The authenticity of host 'node1 (10.221.32.234)' can't be established.

RSA key fingerprint is 4a:bc:1e:ca::::af:e4:dd:c4:ce:c1:7b:c7:.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added 'node1,10.221.32.234' (RSA) to the list of known hosts.

hadoop@node1's password:

id_rsa.pub                                                                                                                           %       .4KB/s   :

hadoop@VM_160_34_centos:~>

在Slave机上把把id_rsa.pub追加到授权的key里面去：

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

测试是否成功：

ssh Node1

依次测试一下

默认以当前用户登录，所以要求Master机和Slave机的用户名一致，

若Master机需无密码登录自己:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

四：JAVA环境安装

见: Linux下配置jdk1.7 这里不多做解释,

五：Hadoop安装与配置

先在Master机上安装配置

安装和配置Hadoop需要以"root"的身份进行

把Hadoop包文件解压到/usr/local下

tar -zvxf hadoop-2.4..tar.gz  -C /usr/local/

以hadoop在/usr/local/hadoop-2.4.0 下创建“tmp”、“dfs”文件夹，在“dfs”下创建“name”、“data”文件夹：

hadoop@VM_160_34_centos:/usr/local/hadoop-2.4.> mkdir tmp dfs

hadoop@VM_160_34_centos:/usr/local/hadoop-2.4.> cd dfs

hadoop@VM_160_34_centos:/usr/local/hadoop-2.4./dfs> mkdir name data

加入 hadoop环境变量:

编辑 vi /etc/profile.d/hadoop-development.sh

export HADOOP_HOME=/usr/local/hadoop-2.4.

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_YARN_HOME=$HADOOP_HOME

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

重启"/etc/profile":

source /etc/profile

配置Hadoop

这里要涉及到的配置文件有7个：

hadoop-env.sh

yarn-env.sh

slaves

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

配置文件说明如下:

都在/usr/local/hadoop-2.4.0/etc/hadoop目录下

以下行为以hadoop用户进行，切换到/usr/local/hadoop-2.4.0/etc/hadoop目录下

1.vim hadoop-env.sh

加入如下内容(这里要写上绝对路径, 不要看他里面有写 : export JAVA_HOME=${JAVA_HOME} ,但启动的时候还是告诉你,找不到JAVA_HOME)：

export JAVA_HOME=/usr/local/java/jdk1.7.0_55

export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true

　　添加JDK的环境变量和让Hadoop优先使用ipv4，因为后面的配置文件中的网络端口号系统默认是piv6的，而ipv6是不通的，所以之前已经关闭ipv6，否则，在进行Hadoop测试时会反复连接根本连不通的ipv6端口。

2.vim yarn-env.sh

加入如下内容:( 这里要写上绝对路径, 不要看他里面有写 : export JAVA_HOME=${JAVA_HOME} ,但启动的时候还是告诉你,找不到JAVA_HOME)：)：

export JAVA_HOME=/usr/local/java/jdk1.7.0_55

3.配置masters和slaves文件

把salve节点的主机名加入，把原来的“localhost”删掉。

root@VM_160_34_centos:/usr/local/hadoop-2.4./etc/hadoop> vim slaves

localhost

改为:

node1

同理，在masters文件中填入：

master

接下来，需要对默认的core-site.xml、yarn-site.xml、hdfs-site.xml和mapred-site.xml进行适当的修改，否则仍然无法启动成功。

4.vim core-site.xml

该文件是 hadoop core的配置项，例如hdfs和mapreduce常用的i/o设置等，

详情见后面附表1;

配置如下:

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->

<!-- Put site-specific property overrides in this file. -->

<!-- Put site-specific property overrides in this file. -->

<configuration>

  <property>

    <name>fs.default.name</name>

    <!-- fs.default.name -这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号)，集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册，这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互，以取得文件的块列表。master上这里最好写IP , 否则可能会出现 监听127.0.0.1 的情况-->

    <value>hdfs://10.207.160.34:9000</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <!--

hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配 置namenode和datanode的存放位置，默认就放在这个路径中Hadoop的默认临时路径，这个最好配置，然后在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。

不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令了。

-->

    <value>/usr/local/hadoop-2.4.0/tmp</value>

    <description>A base for other temporary directories.</description>

  </property>

  <property>

    <name>io.file.buffer.size</name>

    <value>131072</value>

  </property>

  <!-- 添加httpfs的选项 -->

  <property>

    <name>hadoop.proxyuser.hduser.hosts</name>

    <value>*</value>

  </property>

  <property>

    <name>hadoop.proxyuser.hduser.groups</name>

    <value>*</value>

  </property> 

  <property>

     <name>hadoop.native.lib</name>

     <value>true</value>

      <description>Should native hadoop libraries, if present, be used.</description>

  </property>

</configuration>

5.vim hdfs-site.xml

这里配置的是HDFS的地址和端口号。

hadoop守护进程的配置项，包括namenode、辅助namenode和datanode等。

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->

<!-- Put site-specific property overrides in this file. -->

<configuration>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>Master:9001</value>

    </property>

    <property>

        <name>dfs.webhdfs.enabled</name>

        <value>true</value>

    </property>

  <property>

    <name>dfs.replication</name>

    <!--

dfs.replication -它决定着 系统里面的文件块的数据备份个数。

对于一个实际的应用，它应该被设为3（这个 数字并没有上限，但更多的备份可能并没有作用，而且会占用更多的空间）。

少于三个的备份，可能会影响到数据的 可靠性(系统故障时，也许会造成数据丢失)

-->

    <value>1</value>

  </property>

    <property>

    <name>hadoop.tmp.dir</name>  

    <value>/usr/local/hadoop-2.4.0/tmp</value>

    <description>A base for other temporary directories.</description>

  </property>

  <property>

    <name>dfs.name.dir</name>

    <!--

dfs.name.dir - 这是NameNode结点存储hadoop文件系统信息的本地系统路径。

这个值只对NameNode有效，DataNode并不需要使用到它。

上面对于/temp类型的警告，同样也适用于这里。在实际应用中，它最好被覆盖掉。

-->

    <value>/usr/local/hadoop-2.4.0/dfs/name</value>

  </property>

  <property>

    <name>dfs.data.dir</name>

    <!-- dfs.data.dir -

这是DataNode结点被指定要存储数据的本地文件系统路径。

DataNode结点上 的这个路径没有必要完全相同，因为每台机器的环境很可能是不一样的。

但如果每台机器上的这 个路径都是统一配置的话，会使工作变得简单一些。

默认的情况下，它的值hadoop.tmp.dir, 这 个路径只能用于测试的目的，因为，它很可能会丢失掉一些数据。所以，这个值最好还是被覆 盖。

-->

    <value>/usr/local/hadoop-2.4.0/dfs/data</value>

  </property>

  <!--

解决：org.apache.hadoop.security.AccessControlException:Permission denied:user=Administrator,access=WRITE,inode="tmp":root:supergroup:rwxr-xr-x。因为Eclipse使用hadoop插件提交作业时，会默认以 DrWho身份去将作业写入hdfs文件系统中，对应的也就是 HDFS 上的/user/hadoop , 由于 DrWho用户对hadoop目录并没有写入权限，所以导致异常的发生。解决方法为：放开 hadoop 目录的权限， 命令如下 ：$ hadoop fs -chmod 777 /user/hadoop

-->

  <property>

    <name>dfs.permissions</name>

    <value>false</value>

    <description>If "true", enable permission checking in HDFS. If "false", permission checking is turned off, but all other behavior is unchanged. Switching from one parameter value to the other does not change the mode, owner or group of files or directories</description>

  </property> 

</configuration>

在Hadoop中HDFS的默认备份方式为3，

6.vim mapred-site.xml

mapreduce守护进程的配置项，包括jobtracker和tasktracker。

<?xml version="1.0" encoding="utf-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->

<!-- Put site-specific property overrides in this file. -->

<configuration>

  <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.address</name>

    <value>Master:10020</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>Master:19888</value>

  </property>

</configuration>

7.vim yarn-site.xml

<?xml version="1.0" encoding="utf-8"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->

<configuration>

  <!-- Site specific YARN configuration properties -->

  <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

  </property>

  <property>

    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

  </property>

  <property>

    <name>yarn.resourcemanager.address</name>

    <value>Master:8032</value>

  </property>

  <property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>Master:8030</value>

  </property>

  <property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>Master:8031</value>

  </property>

  <property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>Master:8033</value>

  </property>

  <property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>Master:8088</value>

  </property>

</configuration>

注意：原来文件中的<configuration></configuration>对是存在的，不要重复加入：

原来系统内的mapred-site.xml文件是mapred-site.xml.template应用下面的命令对其重命名：

mv mapred-site.xml.template mapred-site.xml

配置其余机器：

将 master节点上配置好的hadoop所在文件夹"/usr/local/hadoop"复制到所有的slave的"/usr/local"目录下（实际上Slave机器上的slavers文件是不必要的，复制了也没问题）

scp -r /usr/local/hadoop root@Node1:/usr/local

以root用户登录"Slave

chown -R hadoop:hadoop（用户名：用户组） hadoop（文件夹）

启动及验证:

在启动前关闭集群中所有机器的防火墙

sudo ufw disable

在"Master"上使用普通用户hadoop进行操作。（备注：只需一次，下次启动不再需要格式化，只需 start-all.sh）

hadoop namenode -format

启动hadoop:

start-all.sh

hadoop@VM_160_34_centos:/usr/local/hadoop-2.4.> sbin/start-all.sh

This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh

Starting namenodes on [Master]

Master: namenode running as process . Stop it first.

node1: starting datanode, logging to /usr/local/hadoop-2.4./logs/hadoop-hadoop-datanode-VM_32_234_centos.out

Starting secondary namenodes [0.0.0.0]

0.0.0.0: secondarynamenode running as process . Stop it first.

starting yarn daemons

resourcemanager running as process . Stop it first.

node1: starting nodemanager, logging to /usr/local/hadoop-2.4./logs/yarn-hadoop-nodemanager-VM_32_234_centos.out

查看已启用的服务：

jps

master

hadoop@VM_160_34_centos:/usr/local/hadoop-2.4.> jps

 NodeManager

 Jps

 ResourceManager

 SecondaryNameNode

node1

[root@VM_32_234_centos hadoop-2.4.0]# jps

10343 Jps

10322 NodeManager

10235 DataNode

当然这个安装过程肯定不会很顺利,起码我的是这样, 出现了很多问题, 详细的请见我的其他hadoop底下的其他博文.

查看DataNode的信息：

hadoop dfsadmin -report

hadoop@VM_160_34_centos:/usr/local/hadoop-2.4./etc> hadoop dfsadmin -report

DEPRECATED: Use of this script to execute hdfs command is deprecated.

Instead use the hdfs command for it.

Configured Capacity:  (7.87 GB)

Present Capacity:  (4.50 GB)

DFS Remaining:  (4.50 GB)

DFS Used:  ( KB)

DFS Used%: 0.00%

Under replicated blocks:

Blocks with corrupt replicas:

Missing blocks: 

-------------------------------------------------

Datanodes available:  ( total,  dead)

Live datanodes:

Name: 10.221.32.234: (Node1)

Hostname: TENCENT64.site

Decommission Status : Normal

Configured Capacity:  (7.87 GB)

DFS Used:  ( KB)

Non DFS Used:  (3.37 GB)

DFS Remaining:  (4.50 GB)

DFS Used%: 0.00%

DFS Remaining%: 57.18%

Configured Cache Capacity:  ( B)

Cache Used:  ( B)

Cache Remaining:  ( B)

Cache Used%: 100.00%

Cache Remaining%: 0.00%

Last contact: Fri Aug  :: CST

输入 http://203.195.148.135:50070/

输入 http://203.195.148.135:8088/

停用Hadoop:

stop-all.sh

附表1 : core-site