hadoop2.7伪分布式搭建

0、配置主机名

hostnamectl set-hostname spark1

1、上传hadoop-2.7.1.tar.gz文件并解压

tar -xvf hadoop-2.7.1.tar.gz

2、 编辑环境配置文件

vi etc/hadoop/hadoop-env.sh

进行配置

export JAVA_HOME=/usr/software/jdk1.8.0_51/

export HADOOP_CONF_DIR=/usr/software/hadoop-2.7.1/etc/hadoop

3、编辑core-site.xml，增加访问链接

vi etc/hadoop/core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://192.168.163.101:9000</value>

</property>

</configuration>

4、编辑hdfs-site.xml

vi etc/hadoop/hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

5、将mapred-site.xml.template复制一份并将名称修改为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

6、编辑slaves文件

vi slaves

spark1     #将localhost改为hostname名

7、修改yarn-site.xml

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>spark1</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

8、在/etc/profile中进行配置

#hadoop
export HADOOP_HOME=/usr/software/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

9、格式化文件系统

hdfs namenode -format

10、启动

start-all.sh

**********************************

测试：

创建一个目录：hadoop fs -mkdir /test

查看目录：hadoop fs -ls /

如果没有报错就说明成功了

**********************************