本文旨在提供最基本的,可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用。

基础环境

JDK的安装与配置

  现在直接到Oracle官网(http://www.oracle.com/)寻找JDK7的安装包不太容易,因为现在官方推荐JDK8。找了半天才找到JDK下载列表页的地址(http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html)。因为选择Linux操作系统作为部署环境,所以选择64位的版本。我选择的是jdk-7u79-linux-x64.gz。
使用以下命令将jdk-7u79-linux-x64.gz下载到Linux下的/home/jiaan.gja/software目录

wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz

然后使用以下命令将jdk-7u79-linux-x64.gz解压缩到/home/jiaan.gja/install目录

tar zxvf jdk-7u79-linux-x64.gz -C ../install

回到/home/jiaan.gja目录,配置java环境变量,命令如下:

cd ~
vim .bash_profile

在.bash_profile中加入以下内容:


立刻让java环境变量生效,执行如下命令:

source .bash_profile

最后验证java是否安装配置正确:

Host

  由于我搭建Hadoop集群包含三台机器,所以需要修改调整各台机器的hosts文件配置,命令如下:

vi /etc/hosts

如果没有足够的权限,可以切换用户为root。

如果禁止使用root权限,则可以使用以下命令修改:

sudo vi /etc/hosts

三台机器的内容统一增加以下host配置:

SSH

  由于NameNode与DataNode之间通信,使用了SSH,所以需要配置免登录。
首先登录Master机器,生成SSH的公钥,命令如下:

ssh-keygen -t rsa

执行命令后会在当前用户目录下生成.ssh目录,然后进入此目录将id_rsa.pub追加到authorized_keys文件中,命令如下:

cd .ssh
cat id_rsa.pub >> authorized_keys

最后将authorized_keys文件复制到其它机器节点,命令如下:

scp authorized_keys jiaan.gja@Slave1:/home/jiaan.gja/.ssh
scp authorized_keys jiaan.gja@Slave2:/home/jiaan.gja/.ssh

文件目录

  为了便于管理,给Master的hdfs的NameNode、DataNode及临时文件,在用户目录下创建目录:
/home/jiaan.gja/hdfs/name
/home/jiaan.gja/hdfs/data
/home/jiaan.gja/hdfs/tmp
然后将这些目录通过scp命令拷贝到Slave1和Slave2的相同目录下。

Hadoop的安装与配置

下载

  首先到Apache官网(http://www.apache.org/dyn/closer.cgi/hadoop/common/)下载Hadoop,从中选择推荐的下载镜像(http://mirrors.hust.edu.cn/apache/hadoop/common/),我选择hadoop-2.6.0的版本,并使用以下命令下载到Master机器的
/home/jiaan.gja/software目录:

cd ~/software/
wget http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

然后使用以下命令将hadoop-2.6.0.tar.gz解压缩到/home/jiaan.gja/install目录

tar zxvf hadoop-2.6..tar.gz -C ../install/

环境变量

  回到/home/jiaan.gja目录,配置hadoop环境变量,命令如下:

cd ~
vim .bash_profile

在.bash_profile中加入以下内容:


立刻让hadoop环境变量生效,执行如下命令:

source .bash_profile

Hadoop的配置

  进入hadoop-2.6.0的配置目录:

cd ~/install/hadoop-2.6./etc/hadoop/

依次修改core-site.xml、hdfs-site.xml、mapred-site.xml及yarn-site.xml文件。

core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/jiaan.gja/hdfs/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://Master:9000</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/jiaan.gja/hdfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/jiaan.gja/hdfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>Master:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

yarn-site.xml

<configuration>

  <!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.address</name>
<value>Master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>Master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>Master:18088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>Master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>Master:18141</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce.shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

由于我们已经配置了JAVA_HOME的环境变量,所以hadoop-env.sh与yarn-env.sh这两个文件不用修改,因为里面的配置是:

export JAVA_HOME=${JAVA_HOME}

最后,将整个hadoop-2.6.0文件夹及其子文件夹使用scp复制到两台Slave的相同目录中:

scp -r hadoop-2.6. jiaan.gja@Slave1:/home/jiaan.gja/install/
scp -r hadoop-2.6. jiaan.gja@Slave2:/home/jiaan.gja/install/

运行Hadoop

运行HDFS

格式化NameNode

  执行命令:

hadoop namenode -format

执行过程如下图:

最后的执行结果如下图:

启动NameNode

  执行命令如下:

hadoop-daemon.sh start namenode

执行结果如下图:


最后在Master上执行ps -ef | grep hadoop,得到如下结果:

在Master上执行jps命令,得到如下结果:

说明NameNode启动成功。

启动DataNode

  执行命令如下:

hadoop-daemons.sh start datanode

执行结果如下:

在Slave1上执行命令,如下图:

在Slave2上执行命令,如下图:

说明Slave1和Slave2上的DataNode运行正常。
以上启动NameNode和DataNode的方式,可以用start-dfs.sh脚本替代:

运行YARN

  运行Yarn也有与运行HDFS类似的方式。启动ResourceManager使用以下命令:

yarn-daemon.sh start resourcemanager

批量启动多个NodeManager使用以下命令:

yarn-daemons.sh start nodemanager

以上方式我们就不赘述了,来看看使用start-yarn.sh的简洁的启动方式:

在Master上执行jps:

说明ResourceManager运行正常。
在两台Slave上执行jps,也会看到NodeManager运行正常,如下图:

测试Hadoop

测试HDFS

  最后测试下亲手搭建的Hadoop集群是否执行正常,测试的命令如下图所示:

测试YARN

  可以访问YARN的管理界面,验证YARN,如下图所示:

测试mapreduce

  本人比较懒,不想编写mapreduce代码。幸好Hadoop安装包里提供了现成的例子,在Hadoop的share/hadoop/mapreduce目录下。运行例子:


配置运行Hadoop中遇见的问题

JAVA_HOME未设置?

  我在启动Hadoop时发现Slave2机器一直启动不了,然后登录Slave2,在~/install/hadoop-2.6.0/logs目录下查看日志,发现了以下错误:

Error: JAVA_HOME is not set and could not be found.

如果我执行echo $JAVA_HOME或者查看.bash_profile文件,都证明正确配置了JAVA_HOME的环境变量。无奈之下,只能将Slave2机器的hadoop-env.sh硬编码为如下的配置:

# The java implementation to use.
export JAVA_HOME=/home/jiaan.gja/install/jdk1..0_79

然后问题就解决了。虽然解决了,但是目前不知道所以然,有好心的同仁,告诉我下。。。

Incompatible clusterIDs

  由于配置Hadoop集群不是一蹴而就的,所以往往伴随着配置——>运行——>。。。——>配置——>运行的过程,所以DataNode启动不了时,往往会在查看日志后,发现以下问题:

此问题是由于每次启动Hadoop集群时,会有不同的集群ID,所以需要清理启动失败节点上data目录(比如我创建的/home/jiaan.gja/hdfs/data)中的数据。

NativeCodeLoader的警告

  在测试Hadoop时,细心的人可能看到截图中的警告信息:

我也是查阅网络资料,得知以下解决办法:
1、下载hadoop-native-64-2.6.0.tar:
在网站http://dl.bintray.com/sequenceiq/sequenceiq-bin/可以找到下载的相应版本,由于我是2.6.0的Hadoop,所以选择下载
2、停止Hadoop,执行命令如下:

下载完以后,解压到hadoop的native目录下,覆盖原有文件即可。操作如下:

tar xvf hadoop-native--2.6..tar -C /home/jiaan.gja/install/hadoop-2.6./lib/native/

令人失望的是,这种方式并不好使,看到最后的解决方案是需要下载Hadoop源码,重新编译,但这种方式有些重,我不打算尝试了。有没有简便的解决方案,还希望知道的同学告诉一下。

yarn.nodemanager.aux-services错误

  在执行start-yarn.sh脚本启动YARN时,在Slave1和Slave2机器上执行jps命令未发现NodeManager进程,于是登录Slave机器查看日志,发现以下错误信息:

参考网上的解决方式,是因为yarn.nodemanager.aux-services对应的值mapreduce.shuffle已经被替换为mapreduce_shuffle。有些参考用书上也错误的写为另一个值mapreduce-shuffle。

鸣谢

  我在试验的过程中,遇到很多问题。但是很多问题在网络上都能找到,特此感谢在互联网上分享经验的同仁们。

后记:个人总结整理的《深入理解Spark:核心思想与源码分析》一书现在已经正式出版上市,目前京东、当当、天猫等网站均有销售,欢迎感兴趣的同学购买。


京东:http://item.jd.com/11846120.html
当当:http://product.dangdang.com/23838168.html

Linux下Hadoop2.6.0集群环境的搭建的更多相关文章

  1. Linux下Hadoop2.7.3集群环境的搭建

    Linux下Hadoop2.7.3集群环境的搭建 本文旨在提供最基本的,可以用于在生产环境进行Hadoop.HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用. 基础环境 JDK的安 ...

  2. Linux下Hadoop2.7.1集群环境的搭建(超详细版)

                                本文旨在提供最基本的,可以用于在生产环境进行Hadoop.HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用. 一.基础环境 ...

  3. Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作

    前言 安装Apache Hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可,安装前需保证Hadoop已启(动文中用到了hadoop的hdfs命 ...

  4. CentOS下Hadoop-2.2.0集群安装配置

    对于一个刚开始学习Spark的人来说,当然首先需要把环境搭建好,再跑几个例子,目前比较流行的部署是Spark On Yarn,作为新手,我觉得有必要走一遍Hadoop的集群安装配置,而不仅仅停留在本地 ...

  5. 分享一份关于Hadoop2.2.0集群环境搭建文档

    目录 一,准备环境 三,克隆VM 四,搭建集群 五,Hadoop启动与测试 六,安装过程中遇到的问题及其解决方案 一,准备环境 PC基本配置如下: 处理器:Intel(R) Core(TM) i5-3 ...

  6. centos下hadoop2.6.0集群搭建详细过程

    一 .centos集群环境配置 1.创建一个namenode节点,5个datanode节点 主机名 IP namenodezsw 192.168.129.158 datanode1zsw 192.16 ...

  7. 搭建hadoop2.6.0集群环境

    一.规划 (一)硬件资源 10.171.29.191 master 10.171.94.155  slave1 10.251.0.197 slave3 (二)基本资料 用户:  jediael 目录: ...

  8. 搭建hadoop2.6.0集群环境 分类: A1_HADOOP 2015-04-20 07:21 459人阅读 评论(0) 收藏

    一.规划 (一)硬件资源 10.171.29.191 master 10.171.94.155  slave1 10.251.0.197 slave3 (二)基本资料 用户:  jediael 目录: ...

  9. 基于原生态Hadoop2.6 HA集群环境的搭建

    hadoop2.6  HA平台搭建   一.条件准备 软件条件: Ubuntu14.04 64位操作系统, jdk1.7 64位,Hadoop 2.6.0,  zookeeper 3.4.6 硬件条件 ...

随机推荐

  1. MySQL中存储过程+事件的使用方法

    一.背景 将界面操作日志存储在MySQL数据库中的operationlog表中,如果该表不能自动备份,表中的数据会越来越多,影响速度.可以定期将表中数据备份到另外一个表中来解决. 二.解决方案 1.使 ...

  2. JavaScript的eval函数

    eval() 函数可将字符串转换为代码执行,并返回一个或多个值 函数原型为: 返回值 = eval( codeString ) 函数说明: 如果eval函数在执行时遇到错误,则抛出异常给调用者. 类似 ...

  3. 文本换行word-wrap、word-break与white-space

    本文同步至微信公众号:http://mp.weixin.qq.com/s?__biz=MzAxMzgwNDU3Mg==&mid=401671055&idx=1&sn=b88c9 ...

  4. vc++ 判断文件或是文件夹是否存在,比较好的做法

    #include <windows.h> void main() { //文件或文件夹都可以判断,最后的\\号有无都没关系 !=GetFileAttributes("D:\\My ...

  5. 运行Java cmd程序 找不到或无法加载主类怎么解决

    //这个问题原因有以下几种,但是和环境变量并没有太大的关系 //能够执行java 和 javac 就证明你的环境变量已经配置好了,其实 classpath 可以不配置 //假如有如下文件:H:\cod ...

  6. 源码编译Nodejs 4.6 on CentOS6

    1.本来是要按照个newman程序,无奈newman必须要node版本>=4,所以不得不安装node4.6 下载地址:https://nodejs.org/dist/v4.6.0/node-v4 ...

  7. List<Object> to JSONArray一

    package com.beijxing.TestMain; import java.util.ArrayList; import java.util.List; import com.beijxin ...

  8. 如何在HTML中加载Flash(2种实现方法)_HTML/Xhtml_网页制作

    点评:如何在HTML中加载Flash,为网页添加更多的色彩,普通的网页以无法满足用户的需求,接下来为大家介绍下2种在HTML中加载Flash的方法,感兴趣的各位可以适当参考下,希望对你有所帮助 第一种 ...

  9. CC1310之使用SMARTRF STUDIO

    SMARTRF STUDIO是TI提供的射频测试软件,在调射频的时候非常非常非常好用,推荐每一个使用TI射频芯片的工程师都要掌握. 1 如何使用? 要使用SMARTRF STUDIO,硬件必须连接仿真 ...

  10. JS逻辑运算符&&与||的短路运算

    最近看到一个360面试题,题目如下: 下面代码的输出值是? alert(1&&2); 正确的结果是 2. 1.后来仔细研究了一下JS逻辑运算的相关内容,在MDN上面找到相应描述: 下面 ...