Eclipse导入Hadoop源码项目及编写Hadoop程序

一

Eclipse导入Hadoop源码项目

基本步骤：

1）在Eclipse新建一个java项目【hadoop-1.2.1】

2)将Hadoop压缩包解压目录src下的core，hdfs，mapred，tools，example四个目录copy到上述新建项目的src目录下

3）右击选择 Build Path，修改Java Build Path中【Source】，删除src，添加src/core,src/hdfs,src/mapred,src/tools几个源码目录；

4）在项目中新建一个lib目录，添加项目依赖jar包，导入Hadoop解压缩目录的lib下所有jar包（去掉两个文档），不要漏掉其子目录jsp-2.1中的jar包，导入ant程序lib下所有jar包

5）选择lib目录下的所有jar包，然后右击选择Build Path添加

6)右击项目选择Build Project，重新编译一下工程，发现有错误

7）导入ant包，把ant下的所有jar包导入lib目录下，右击项目选择Build Path-->Libraries-->Add JARs-->Hadoop-1.2.1-->lib就会显示为加进来的包，点击ok结束。

8）在编译一下工程，发现还是有错，接着右击项目选择Build Path-->Libraries找到JRE System Library-->点击Access rules:No rules defined -->选择Edit

Resolution框改为Accessible，Rule Pattern填**/*点ok

至此完成。

二、在Eclipse下编写Hadoop程序

基本步骤：

1）新建Hadoop工程，在工程中新建一个lib目录，copy Hadoop压缩包解压目录lib下的几个jar包，分别为：

其中，Hadoop-core-1.2.1.jar就在Hadoop-1.2.1目录下，然后添加到Build Path路经下

2）添加Hadoop的配置文件

点击项目新建一个文件夹，命名为conf，在里面需要放两个配置文件，分别为core-site.xml和hdfs-site.xml

3)添加单元测试包JUnit4

选择项目右击选择Build Path-->Libraries-->Add Library-->JUnit -->JUnit4-->ok

到此就可以在项目的src下建立包和测试类对hdfs进行增、删、改、查等操作

例：查看hdfs下的某个文件类容并在控制台上显示，代码如下：

package org.chaofn.hadoop.hdfs;

import java.io.InputStream;
import java.net.URL;

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
import org.junit.Test;

public class HDFSUrlTest {
   //让java程序识别HDFS的URL
    static{
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    }

    //查看文件内容
    @Test
    public void testRead() throws Exception{
        InputStream in=null;
        //文件路径
        String fileUrl="hdfs://linux.chaofn.org:9000/wc/input/core-site.xml";
        try{
            in=new URL(fileUrl).openStream();
        //将文件内容读出来打印到控制台
        IOUtils.copyBytes(in, System.out, 4096, false);
        }finally{
            IOUtils.closeStream(in);
        }
    }

}