hadoop分布式的环境搭建

版本: 使用hadoop1.1.2    JDK为java7

1.下载hadoop

2.配置hadoop文件

3测试

1.下载hadoop:

1.1

在https://archive.apache.org/dist/hadoop/common/   中下载hadoop1.1.2 , 这里注意要下载 hadoop的bin,而不是带有src的文件 ,src的文件是未经编译的hadoop

1.2

解压hadoop , 把hadoop的压缩包放在/opt下面 ,然后 使用命令解压 tar –zvxf hadoop-x.y.z.tar.gz

2  hadoop的环境设置

2.1配置环境变量:

这一步其实是可以不要的, 为了方便使用hadoop的shell命令,要在/etc/profile添加hadoop的的命令到path中;

export HADOOP_INSTSALL="opt/hadoop/hadoop1.1.2"

export PATH=${HADOOP_INSTALL}/bin:${PATH}

2.2配置集群的主机名:

在/etc/hosts中添加主机与IP的映射关系:

vim /etc/hosts

配置完成之后 , 可以使用个ping <主机名> 来检测一下

2.3建立ssh的免密码互联 , UbuntuDesktop是没有sshServer的,只有SshClient ,但是UbuntuServer是可以选择安装SShServer的

因此要先安装sshServer , 使用命令apt-get ssh

在ubuntu14.10的时候,ssh会出现版本不一致而无法使用, 可以把原来的ssh全部删除,然后重新安装就行勒

安装好ssh之后 , 可以使用建立免密码互联了 , 具体步骤参照下一篇

在${HADOOP_INSTALL}/conf中修改core-site.xml为

hadoop.tmp.dir是必须要指明的 ,否则重启的时候datanod无法启动 ,

在${HADOOP_INSTALL}/conf中修改hdfs-site.xml为

在hadoop-env.sh中加入

export JAVA_HOME=${JAVA_HOME}  ####前提是你已经在系统中设置JAVA_HOME, 如果没有 就直接写自己的JAVA_HOME所在地

有关这个文件的详情， 可以查看 http://www.cnblogs.com/greentomlee/p/4481636.html

然后 刷新 source ./hadoop-env.sh

在msters中设置master的Ip

指明datanode的节点

最后  , 关机重启 . 或者是使用 source /etc/profile