Ubuntu 13.10下Hadoop 2.2 安装、配置、编译（伪分布式）

1、安装JDK。在此不做解说，上篇博文里已介绍过。http://www.cnblogs.com/lifeinsmile/p/3578677.html

2、配置ssh。

　　ssh服务，用于管理远程Hadoop守护进程。

2.1安装ssh server：$sudo apt-get install openssh-server

2.2免密码ssh的设置: $ssh-keygen –t rsa  (输入命令后一路回车即可)。

2.3设置密钥授权：

　　　　$ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

　　   $cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

2.4安装完成后，测试运行：$ ssh localhost  (尝试用ssh连接本机，如果不需要输入密码则成功)

3、hadoop 2.2.0编译。

　　可参考：http://blog.csdn.net/cruise_h/article/details/18709969

　　需要注意的是，在进行编译时，一定要进入解压目录，确保当前目录下存在pom.xml，否则编译失败。

4、hadoop2.2配置。（编译好的文件夹hadoop-2.2.0放在目录/home/hadoop 下）

　　4.1修改全局环境变量。

　　　　$sudo gedit /etc/profile　　在文中添加一行：export HADOOP_HOME=/home/hadoop/hadoop-2.2.0

　　4.2修改配置文件。

　　　　待修改的配置文件存放于/home/haoop/hadoop-2.2.0/etc/hadoop，可将下列代码直接粘贴到相应文件内。

　　　　文件core-site.xml

　　　　

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
 
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.2./hadoop_tmp</value>
    </property>
 
</configuration>

　　文件hdfs-site.xml

<configuration>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop/namenode </value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop/datanode</value>
</property>
</configuration>

　　文件mapred-site.xml

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

5、hadoop启动。

　　以下操作均在目录/home/hadoop/hadoop-2.2.0下进行。

　　5.1 格式化namenode:    bin/hdfs namenode -format

　　5.2 启动manager管理并测试。

　　　　方式一：sbin/yarn-daemon.sh start resourcemanager 　　sbin/yarn-daemon.sh start nodemanager

　　　　方式二：进入目录sbin，分别执行./start-dfs.sh 与./start-yarn.sh，注意启动顺序

　　　　jps

　　　　若启动成功即可在主节点上看到resourceManager与nameNode，在从节点上看到dataNode进程。

　　配置hadoop2.2过程中参考其他博文有http://my.oschina.net/u/179537/blog/189239

6、查看各节点信息

　　主节点地址：8088　　查看整个集群节点情况

　　详见http://blog.csdn.net/zzhongcy/article/details/19912577