[b0012] Hadoop 版hello word mapreduce wordcount 运行(二)

目的：

学习Hadoop mapreduce 开发环境eclipse windows下的搭建

环境：

Winows 7 64 eclipse 直接连接hadoop运行的环境已经搭建好,结果输出到eclipse

Hadoop2.6.4环境

相关：

[0004] Hadoop 版hello word mapreduce wordcount 运行

[0011] windows 下 eclipse 开发 hdfs程序样例 (三)

[0008] Windows 7 下 hadoop 2.6.4 eclipse 本地开发调试配置

说明:

这种方式的mapreduce不是在集群上跑。8080web查询不到。

程序是把hdfs上的数据下载到windows本地，执行程序，再将输出结果上传到hdfs。

[遗留：待解决]

1.新建项目

1.1 新建项目、导入hadoop开发包

详细参考

[0007] windows 下 eclipse 开发 hdfs程序样例  1 新建项目

1.2 可选，如果后续执行报错，回头执行这一步

将hadoop下的一个源码包导入，参考 [0008] Y.2.1.b步骤    ,如果还有其他问题 参考[0008]整个搭建过程涉及的设置。

2 新建wordcount类

代码如下

 package hdfs;

 import java.io.IOException;
 import java.util.*;

 import org.apache.hadoop.fs.Path;
 import org.apache.hadoop.conf.*;
 import org.apache.hadoop.io.*;
 import org.apache.hadoop.mapreduce.*;
 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
 import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
 import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

 /**
  * 描述：WordCount explains by xxm
  * @author xxm
  */
 public class WordCount {

  /**
  * Map类：自己定义map方法
  */
  public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
     /**
     * LongWritable, IntWritable, Text 均是 Hadoop 中实现的用于封装 Java 数据类型的类
     * 都能够被串行化从而便于在分布式环境中进行数据交换，可以将它们分别视为long,int,String 的替代品。
     */
     private final static IntWritable one = new IntWritable(1);
     private Text word = new Text();
     /**
     * Mapper类中的map方法：
     * protected void map(KEYIN key, VALUEIN value, Context context)
     * 映射一个单个的输入k/v对到一个中间的k/v对
     * Context类：收集Mapper输出的<k,v>对。
     */
     public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
         String line = value.toString();
         StringTokenizer tokenizer = new StringTokenizer(line);
         while (tokenizer.hasMoreTokens()) {
             word.set(tokenizer.nextToken());
             context.write(word, one);
         }
     }
  } 

  /**
  * Reduce类：自己定义reduce方法
  */
  public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {

     /**
     * Reducer类中的reduce方法：
     * protected void reduce(KEYIN key, Interable<VALUEIN> value, Context context)
     * 映射一个单个的输入k/v对到一个中间的k/v对
     * Context类：收集Reducer输出的<k,v>对。
     */
     public void reduce(Text key, Iterable<IntWritable> values, Context context)
       throws IOException, InterruptedException {
         int sum = 0;
         for (IntWritable val : values) {
             sum += val.get();
         }
         context.write(key, new IntWritable(sum));
     }
  }

  /**
  * main主函数
  */
  public static void main(String[] args) throws Exception {

     Configuration conf = new Configuration();//创建一个配置对象，用来实现所有配置
 //    conf.set("fs.defaultFS", "hdfs://ssmaster:9000/");

     Job job = new Job(conf, "wordcount");//新建一个job，并定义名称

     job.setOutputKeyClass(Text.class);//为job的输出数据设置Key类
     job.setOutputValueClass(IntWritable.class);//为job输出设置value类

     job.setMapperClass(Map.class); //为job设置Mapper类
     job.setReducerClass(Reduce.class);//为job设置Reduce类
     job.setJarByClass(WordCount.class);

     job.setInputFormatClass(TextInputFormat.class);//为map-reduce任务设置InputFormat实现类
     job.setOutputFormatClass(TextOutputFormat.class);//为map-reduce任务设置OutputFormat实现类

     FileInputFormat.addInputPath(job, new Path(args[0]));//为map-reduce job设置输入路径
     FileOutputFormat.setOutputPath(job, new Path(args[1]));//为map-reduce job设置输出路径
     job.waitForCompletion(true); //运行一个job，并等待其结束
  }

 }

3 执行

eclipse指定 输入输出，执行 ，可以参考[0008] 4.3,4.4执行过程

hdfs://ssmaster:9000/input
hdfs://ssmaster:9000/output

正常控制台的输出结果，和在linux上 hadoop jar执行的输出结果一致。

其他:

可以在eclipse中直接导出成jar，指定main入口， 上传到hadoop linux服务器上,执行hadoop jar xxxx.jar   /input /output

总结：

最好的eclipse开发调试方式。  没问题了就打包导出、上传到真实服务器。