非root用户搭建hadoop伪分布式

0、安装软件列表

jdk-7u25-linux-x64.tar.gz

hadoop-2.5.0.tar.gz

hadoop-native-64-2.5.0.tar

 

1、准备Linux环境（root用户）

1.1、修改主机名：vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=hadoop1

 

1.2、修改上网IP

#windows端：

打开虚拟软件VMware，Edit --> Virtual Network Editor下点击Restore Default。打开网络和共享中心 -> 更改适配器设置 -> 将连接网线的连接设置为“共享”，并共享给VMware Network Adapter VMnet8，此时IP为：192.168.137.1。

#Linux端：

修改配置文件方式：vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

BOOTPROTO="static"

HWADDR="00:0C:29:3C:BF:E7"

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"

IPADDR="192.168.137.31"

NETMASK="255.255.255.0"

GATEWAY="192.168.137.1"

 

1.3、修改主机名和IP的映射关系：vim /etc/hosts

192.168.137.31 hadoop1

 

1.4、关闭防火墙

#查看防火墙状态

service iptables status

#关闭防火墙

service iptables stop

#关闭防火墙开机启动

chkconfig iptables off

#查看防火墙开机启动状态

chkconfig iptables --list

 

1.5、重启系统：reboot

 

2、配置ssh免登陆（非root用户，这里用户名为hadoop）

2.1、生成ssh免登陆密钥

ssh-keygen -t rsa -P ''

执行完这个命令后，在~/.ssh目录下生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

 

2.2、将公钥拷贝到要免登陆的机器上

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 

2.3、修改文件authorized_keys权限，如果不设置，在验证时仍提示输入密码。

chmod 600 ~/.ssh/authorized_keys

 

2.4、用root用户设置SSH配置文件/etc/ssh/sshd_config

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile      .ssh/authorized_keys

 

2.5、重启SSH服务，使刚才设置有效。

service sshd restart

 

2.6、退出root登录，使用hadoop普通用户验证是否成功。

ssh localhost

 

3、安装JDK（非root用户，这里用户名为hadoop）

3.1、上传到/home/hadoop/soft

 

3.2、解压安装：tar -xvf jdk-7u25-linux-x64.tar.gz

 

3.3、将java添加到环境变量中：vim ~/.bash_profile

#在文件最后添加

export JAVA_HOME=/home/hadoop/jdk1.7.0_25

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

 

3.4、刷新配置：source ~/.bash_profile

 

3.5、检验安装结果：java -version

java version "1.7.0_25"

Java(TM) SE Runtime Environment (build 1.7.0_25-b15)

Java HotSpot(TM) 64-Bit Server VM (build 23.25-b01, mixed mode)

 

4、安装hadoop（非root用户，这里用户名为hadoop）

4.1、上传到/home/hadoop/soft

 

4.2、解压安装：tar -xvf hadoop-2.5.0.tar.gz

 

4.3、配置hadoop（配置文件目录$HADOOP_HOME/etc/hadoop）

第一个：hadoop-env.sh

export JAVA_HOME=/home/hadoop/jdk1.7.0_25

 

第二个：core-site.xml

    <!-- 制定HDFS的老大（NameNode）的地址 -->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop1:9000</value>

    </property>

    <!-- 指定hadoop运行时产生文件的存储目录 -->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/home/hadoop/hadoop-2.5.0/tmp</value>

    </property>

 

第三个：hdfs-site.xml

    <!-- 指定HDFS副本的数量 -->

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

 

第四个：mapred-site.xml

    mv mapred-site.xml.template mapred-site.xml

    vim mapred-site.xml

    <!-- 指定mr运行在yarn上 -->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

 

第五个：yarn-site.xml

    <!-- 指定YARN的老大（ResourceManager）的地址 -->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop1</value>

    </property>

    <!-- reducer获取数据的方式 -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

 

4.4、将hadoop添加到环境变量：vim ~/.bash_profile

export JAVA_HOME=/home/hadoop/jdk1.7.0_25

export HADOOP_HOME=/home/hadoop/hadoop-2.5.0

export PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

使配置生效：source ~/.bash_profile

 

4.5、格式化namenode（是对namenode进行初始化）

hdfs namenode -format

 

4.6、启动hadoop

先启动HDFS：sbin/start-dfs.sh

 

再启动YARN：sbin/start-yarn.sh

 

4.7、使用jps命令验证是否启动成功

27408 NameNode

28218 Jps

27643 SecondaryNameNode

28066 NodeManager

27803 ResourceManager

27512 DataNode

 

4.8、打开管理界面验证是否启动成功

http://192.168.137.31:50070/dfshealth.jsp（HDFS管理界面）

http://192.168.137.31:8088/cluster（MR管理界面）

 

4.9、执行相关操作验证是否启动成功

第一种：上传文件。创建文件words并上传到hdfs，执行：hadoop fs -put ~/doc/words /test

第二种：统计字符。创建文件words并已经上传到hdfs，进入$HADOOP_HOME/share/hadoop/mapreduce，执行：

hadoop jar hadoop-mapreduce-examples-2.5.0.jar wordcount /words /wordCount

 

部署过程中问题

1、hadoop “util.NativeCodeLoader: Unable to load native-hadoop library for your platform”

hadoop安装完以后，经常会提示一下警告：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...using builtin-java classes where applicable

搜了好多文章，都说是跟系统位数有关系，但我使用的Liunx、JDK、Hadoop都是64位。

【解决方式】需要下载hadoop-native-64-2.5.0.tar：http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.5.0.tar。下载完以后，解压到hadoop的native目录下，覆盖原有文件即可。操作如下：tar -xvf hadoop-native-64-2.5.0.tar -C /home/hadoop/hadoop-2.5.0/lib/native/。