Hadoop2.x的Eclipse插件编译与安装

　　Eclipse的Hadoop插件在开发hadoop应用程序中可以提供一些很方便的操作，可以直接Eclipse中浏览HDFS上的文件，可以直接新建选择MapReduce项目，项目自动包含所有需要的hadoop jar包，不必再手动拷贝。

一、安装Ant工具

　  Ant是一种Java的项目打包管理工具，类似于Maven，操作比Maven简单。本次Eclipse Hadoop插件使用Ant进行编译，如果本机已安装Ant，请略过这一步骤。

1、下载Ant

　  到官网（http://ant.apache.org/bindownload.cgi)下载最新的Ant包，本实验版本：apache-ant-1.9.5-bin.zip。

2、配置环境变量

　  1) Windows：① 环境变量新增：ANT_HOME=D:\apache-ant-1.9.5；② classpath新增：%ANT_HOME%\lib；③ path新增：%ANT_HOME%\lib。

　  2) Linux：① /etc/profile新增：export ANT_HOME=/usr/local/ant；② 执行命令：source /etc/profile。

　  验证安装：ant -version

二、使用ant编译插件

1、下载hadoop2.x插件

　  https://github.com/hduhans/hadoop2x-eclipse-plugin-master

2、开始编译

　  1) 打开命令行，进入插件解压后src/contrib/eclipse-plugin目录中；

　  2) 执行编译命令：ant jar -Dversion=2.6.0 -Declipse.home=D:\desktop\eclipse -Dhadoop.home=D:\desktop\hadoop-2.6.0；

　  　 其中Declipse.home为ecipse根目录，Dhadoop.home为hadoop根目录。

　  3) 等待编译成功，出现如下“BUILD SUCCESSFUL”提示文字，说明编译成功；

　 　 编译成功的jar包位于：build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar

三、在Eclipse中添加编译生成的jar插件

1、将编译后的 build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar 拷贝到 eclipse/plugins 目录中，重启eclipse；

2、在eclipse菜单中选择 windows → show view → other ，在弹出的对话框中选择“Map/Reduce Locations”，点击确定；

3、在控制台的“Map/Reduce Locations”页签空白处点击右键，选择“New Hadoop location”，填写参数，如下所示：

图2.1 New Hadoop location参数填写说明

　  其中Map/Reduce Master的端口地址该怎么填写，网上大都资料为hadoop1.x的mapred.job.tracker的端口号，但在hadoop2.x中已使用yarn来代替jobtracker，猜测这里填写mapreduce.jobtracker.http.address的端口值50030，也有资料说填写dfs.datanode.ipc.address端口值50020，具体填写何值有待进一步确认。

3、打开 Windows → Hadoop Map/Reduce ，右侧选择hadoop2.6所在路径：D:\desktop\hadoop-2.6.0；

4、打开 Windows → show view → other ，选择“Project Explorer”，可以在 DFS Locations 中看到HDFS的目录结构；

图2.2 Eclipse Hadoop插件浏览HDFS目录

5、新建MapReduce项目，打开 New → Project ，选择“Map/Reduce Project”，输入项目名即可，项目创建后会自动导入hadoop下所需的jar包。