Hadoop 搭建集群的步骤

1、安装jdk,配置环境变量

root@localhost java]# vi /etc/profile

在profile中添加如下内容:

#set java environment
export  JAVA_HOME=/usr/java/jdk1.7.0_79
export  JRE_HOME=$JAVA_HOME/jre
export  CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export  PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

搭建步骤指南：

http://blog.csdn.net/ab198604/article/details/8250461

http://www.powerxing.com/install-hadoop/

https://www.cnblogs.com/DreamDriver/p/6597020.html

2、新建hadoop 用户，赋给管理员权限

$sudo useradd -m hadoop -s /bin/bash

sudo passwd hadoop

sudo adduser hadoop sudo

3、配置单机hadoop环境

1. 进入hadoop 安装目录，输入在本地机器(192.168.211.128)上使用ssh-keygen产生公钥私钥对

　　　　$ ssh-keygen -t rsa

1. 用ssh-copy-id将公钥复制到远程机器中　

　　　　ssh-copy-id hadoop@192.168.211.129 ( 复制到远程服务器 salve1 )  ## 输入远程服务器的密码，最后一次输入密码，复制成功之后，就再不用输入密码了

4、手动下载hadoop安装包，本人下载的是 hadoop-2.6.5.tar.gz 包，解压包

　　hadoop@ubuntu-virtual-machine:~$ ls
　　hadoop-2.6.5 hadoop-2.6.5.tar.gz
　　hadoop@ubuntu-virtual-machine:~$ tar zxvf hadoop-2.6.5.tar.gz

5、修改hadoop中的配置文件:

• hadoop 目录 etc文件夹下的 hadoop-env.sh，增加  export JAVA_HOME=/usr/java/jdk1.8.0_152）
• etc文件夹下的core-site.xml文件用文本编辑器打开，添加如下语句
  <property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
  </property>

  这是hadoop核心的配置文件，这里配置的是HDFS的地址和端口号。

• etc文件夹下的hdfs-site.xml文件用文本编辑器打开，添加如下语句
  <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>

  这是Hadoop中的HDFS的配置，配置的备份方式默认为3，在单机版的Hadoop中，需要将其改为1.

• etc文件夹下的mapred-site.xml文件用文本编辑器打开，添加如下语句

  <property>

        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
     </property>
  这是Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。
• 在 sbin目录下打开 hadoop-env.sh  yarn-env.sh中添加  export JAVA_HOME=/usr/java/jdk1.8.0_152

6、在初次安装和使用Hadoop之前，需要格式化分布式文件系统HDFS。使用如下命令：

　　# bin/hadoop namenode -format

7、启动Hadoop守护进程，命令如下

# bin/start-all.sh

 

在本地浏览器，输入地址进行验证

http://192.168.211.128:50070/

http://192.168.211.128:8088/