Hadoop 中 Eclipse 的配置

---

先启动Hadoop守护进程，进入hadoop安装目录，执行bin/start-all.sh

主要是为了之后能正确测试

---

Ubuntu中下载安装Eclipse，执行sudo apt-get install eclipse

一直等待下载自动安装，过程比较缓慢，给点耐心

---

在Eclipse下安装hadoop-eclipse-plugin（插件jar包已提供）。复制此插件jar包到eclipse安装目录/plugins/ 下。可通过whereiseclipse查看eclipse安装目录。

（如无意外是将该插件jar包放到 /usr/lib/eclipse/pubgins 目录下）

---

重启eclipse 安装插件成功。如果插件安装成功，【Window】 —> 【Preferences】，会发现 Hadoop Map/Reduce 选项

选择 Hadoop Map/Reduce 在右边点击Browse，选择 Hadoop安装目录。配置完成后退出。

---

配置Map/Reduce Localtions

打开Map/Reduce Localtions窗口

即可打开Map/Reduce Localtions窗口

右键点击空白处进行新建

location name:可随意填写，它表示一个Map/Reduce Localtions标识；
Map/Reduce Master 这个框里
    Host：就是jobtracker 所在的集群机器，这里写localhost
    Port：就是jobtracker 的port，这里写的是9001
    这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port  
DFS Master 这个框里
    Host：就是namenode所在的集群机器，这里写localhost
    Port：就是namenode的port，这里写9000
    这两个参数就是core-site.xml里面fs.default.name里面的ip和port
    （Use M/R master host，这个复选框如果选上，就默认和Map/Reduce Master这个框里的host一样，如果不选择，就可以自己定义输入，这里jobtracker 和namenode在一个机器上，所以是一样的，就勾选上）
user name：这个是连接hadoop的用户名，

---

选择Advanced Parameters进行设置

修改以下配置：

​修改 hadoop.tmp.dir 使其与 core-site.xml 配置保持一直

修改 dfs.replication 使其与 hdfs-site.xml 保持一致

保存，退出，如果显示可以文件夹书>=2即表明创建成功，如果成功会显示连接失败

---

配置：ssh的authorized_keys
eclipse中配置：
【Window】-》【Preferences】-》【General】-》

【Network Connections】-》【SSH2】-》【General】-》【SSH2 home】
配置存放authorized_keys的路径；

与配置中的保持一直；

---

配置 Hadoop 安装目录中 conf 中的 hdfs-site.xml，添加如下语句：

---

1、新建项目。

【File】-->【New】-->【Project】 -->【Map/Reduce Project】

项目名可以随便取，如maptest。选中maptest项目下的src，右键新建一个class类，名称定义为example，代码见example.java。

2、上传模拟数据文件夹。为了运行程序，需要一个输入的文件夹，和输出的文件夹。输出文件夹，在程序运行完成后会自动生成。

将文件testnew上传到分布式文件系统中。

3、运行项目。

（1）.在新建的项目maptest，点击example.java，右键-->Run As-->RunConfigurations

（2）.在弹出的RunConfigurations对话框中，点Java Application，右键-->New，这时会新建一个application名为example

（3）.配置运行参数，点Arguments，在Programarguments中输入“要传给程序的输入文件和要求程序将计算结果保存的文件夹”，如：

4、点击Run，运行程序。点击Run，运行程序，过段时间将运行完成，等运行结束后，可以在终端中用命令验证是否成功。

---

如配置出了问题，重新更新配置，可能需要重启才能是新的配置生效。

---

参考：

http://f.dataguru.cn/thread-224817-1-1.html

http://blog.csdn.net/caoshichaocaoshichao/article/details/15493819

http://f.dataguru.cn/thread-168863-1-1.html

http://f.dataguru.cn/thread-234138-1-1.html

来自为知笔记(Wiz)