Hadoop2.x伪分模式部署

hadoop伪分布模式，只有一个节点，通常用来做测试。

一、环境准备

Linux网络配置已完成，可参见CentOS7网络配置；

yum源成功挂载,可参见CentOS7本地yum源挂载；

Linux已安装OracleJDK1.8+，可参见OracleJDK1.8安装；

zookeeper-3.4.6.tar.gz安装包,hadoop安装包下载；

二、创建Hadoop用户(以后有关集群的操作都只用此用户)；

su 到root用户下，并创建用户；

三、配置SSH互相(免密登录)；

生成SSH密钥对(公钥/私钥)，在Hadoop用户下；

进入ssh目录；

测试ssh 主机名；

四、解压Hadoop安装包；

在Hadoop用户家目录下创建安装目录；

解压Hadoop安装包(可用xshell等工具将安装包上传到Linux);

五、修改配置文件；

1. 修改hadoop-env.sh,配置jdk位置;
   



2. 修改core-site.xml;
   



<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:9000</value>
    <!—- hadoop01:主机名,9000:端口 -->
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/data/hadoop/tmp</value>
</property>

3. hdfs-site.xml配置；
   



<property>
      <!-- 数据冗余一份 -->
      <name>dfs.replication</name>
      <value>1</value>
</property>

4. 配置Mapreduce调用方式；
   



<property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
</property>

5. yarn有关的配置；
   



<property>
      <name>yarn.resourcemanager.hostname</name>
      <value>hadoop01</value>
      <!—hadoop01:主机名 -->
</property>

<property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
</property>

六、创建Hadoop数据目录(su到root用户下)；

1. su – root

七、配置系统环境变量；

1. 在root用户下修改环境变量，并使生效；
   

八、格式化namenode节点(注意：只能格式化一次);

1. 在hodoop用户下，格式化namenode(执行一次命令即可)；
   

九、启动集群；

1. 使用hadoop用户启动集群；
   

十、验证集群是否部署成功；

1. 从Windows访问HDFS页面；
   
2. 从Windows访问yarn页面；
   

能出来以上界面，表明伪分布模式部署成功；

3. 停止集集群：