MapReduce编程实例:

MapReduce编程实例(一),详细介绍在集成环境中运行第一个MapReduce程序 WordCount及代码分析

MapReduce编程实例(二),计算学生平均成绩

MapReduce编程实例(三),数据去重

MapReduce编程实例(四),排序

MapReduce编程实例(五),MapReduce实现单表关联

 

实例二,计算学生的平均成绩,每个文件包括所有的学生成绩,格式为 姓名 成绩,有多少个科目,就有多少个输入文件。

如下

小明 23 
小强 57
小红 80
小飞 93
小刚 32
小木 99

实现代码:

  1. import java.io.IOException;
  2. import java.util.Iterator;
  3. import java.util.StringTokenizer;
  4. import org.apache.hadoop.conf.Configuration;
  5. import org.apache.hadoop.fs.Path;
  6. import org.apache.hadoop.io.FloatWritable;
  7. import org.apache.hadoop.io.Text;
  8. import org.apache.hadoop.mapreduce.Job;
  9. import org.apache.hadoop.mapreduce.Mapper;
  10. import org.apache.hadoop.mapreduce.Reducer;
  11. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  12. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  13. import org.apache.hadoop.util.GenericOptionsParser;
  14. /**
  15. * 计算学生的平均成绩
  16. * 学生成绩以每科一个文件输入
  17. * 文件内容为:姓名 成绩
  18. * @author daT dev.tao@gmail.com
  19. *
  20. */
  21. public class AverageScore {
  22. public static class AverageMapper extends Mapper<Object, Text, Text, FloatWritable>{
  23. @Override
  24. protected void map(Object key, Text value, Context context)
  25. throws IOException, InterruptedException {
  26. String line = value.toString();
  27. StringTokenizer tokens = new StringTokenizer(line,"\n");
  28. while(tokens.hasMoreTokens()){
  29. String tmp = tokens.nextToken();
  30. StringTokenizer sz = new StringTokenizer(tmp);
  31. String name = sz.nextToken();
  32. float score = Float.valueOf(sz.nextToken());
  33. Text outName = new Text(name);//new新的,set老是不对,具体为什么现在也不太清楚。
  34. FloatWritable outScore  = new FloatWritable(score);
  35. context.write(outName, outScore);
  36. }
  37. }
  38. }
  39. public static class AverageReducer extends Reducer<Text, FloatWritable, Text, FloatWritable>{
  40. @Override
  41. protected void reduce(Text key, Iterable<FloatWritable> value,Context context)
  42. throws IOException, InterruptedException {
  43. float sum = 0;
  44. int count = 0;
  45. for(FloatWritable f:value){
  46. sum += f.get();
  47. count ++;//shuffle之后肯定是<名字,<成绩1,成绩2,成绩3....>>故一个value肯定是一门学科
  48. }
  49. FloatWritable averageScore = new FloatWritable(sum/count);////new新的,set老是不对,具体为什么现在也不太清楚。
  50. context.write(key, averageScore);
  51. }
  52. }
  53. public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException{
  54. System.out.println("Begin");
  55. Configuration conf = new Configuration();
  56. String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
  57. if(otherArgs.length<2){
  58. System.out.println("please input at least 2 arguments");
  59. System.exit(2);
  60. }
  61. Job job = new Job(conf,"Average Score");
  62. job.setJarByClass(AverageScore.class);
  63. job.setMapperClass(AverageMapper.class);
  64. job.setCombinerClass(AverageReducer.class);
  65. job.setReducerClass(AverageReducer.class);
  66. job.setOutputKeyClass(Text.class);
  67. job.setOutputValueClass(FloatWritable.class);
  68. FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
  69. FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
  70. System.exit(job.waitForCompletion(true)?0:1);
  71. System.out.println("End");
  72. }
  73. }

配置输入输出参数:

  1. hdfs://localhost:9000/user/dat/average_score_input hdfs://localhost:9000/user/dat/average_score_output

得到输出结果:

小刚 65.333336
小强 80.333336
小明 48.333332
小木 92.333336
小红 83.333336
小飞 83.0

版权声明:本文为博主原创文章,未经博主允许不得转载。

MapReduce编程实例2的更多相关文章

  1. MapReduce编程实例6

    前提准备: 1.hadoop安装运行正常.Hadoop安装配置请参考:Ubuntu下 Hadoop 1.2.1 配置安装 2.集成开发环境正常.集成开发环境配置请参考 :Ubuntu 搭建Hadoop ...

  2. MapReduce编程实例5

    前提准备: 1.hadoop安装运行正常.Hadoop安装配置请参考:Ubuntu下 Hadoop 1.2.1 配置安装 2.集成开发环境正常.集成开发环境配置请参考 :Ubuntu 搭建Hadoop ...

  3. MapReduce编程实例4

    MapReduce编程实例: MapReduce编程实例(一),详细介绍在集成环境中运行第一个MapReduce程序 WordCount及代码分析 MapReduce编程实例(二),计算学生平均成绩 ...

  4. MapReduce编程实例3

    MapReduce编程实例: MapReduce编程实例(一),详细介绍在集成环境中运行第一个MapReduce程序 WordCount及代码分析 MapReduce编程实例(二),计算学生平均成绩 ...

  5. 三、MapReduce编程实例

    前文 一.CentOS7 hadoop3.3.1安装(单机分布式.伪分布式.分布式 二.JAVA API实现HDFS MapReduce编程实例 @ 目录 前文 MapReduce编程实例 前言 注意 ...

  6. hadoop2.2编程:使用MapReduce编程实例(转)

    原文链接:http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html 从网上搜到的一篇hadoop的编程实例,对于初学者真是帮助太大 ...

  7. MapReduce编程实例

    MapReduce常见编程实例集锦. WordCount单词统计 数据去重 倒排索引 1. WordCount单词统计 (1) 输入输出 输入数据: file1.csv内容 hellod world ...

  8. hadoop之mapreduce编程实例(系统日志初步清洗过滤处理)

    刚刚开始接触hadoop的时候,总觉得必须要先安装hadoop集群才能开始学习MR编程,其实并不用这样,当然如果你有条件有机器那最好是自己安装配置一个hadoop集群,这样你会更容易理解其工作原理.我 ...

  9. Hadoop--mapreduce编程实例1

    前提准备: 1.hadoop安装运行正常.Hadoop安装配置请参考:Ubuntu下 Hadoop 1.2.1 配置安装 2.集成开发环境正常.集成开发环境配置请参考 :Ubuntu 搭建Hadoop ...

随机推荐

  1. 正规方程 Normal Equation

    正规方程 Normal Equation 前几篇博客介绍了一些梯度下降的有用技巧,特征缩放(详见http://blog.csdn.net/u012328159/article/details/5103 ...

  2. Android 将ARGB图片转换为灰度图

    思路如下: 1.读取or照相,得到一张ARGB图片. 2.转化为bitmap类,并对其数据做如下操作: A通道保持不变,然后逐像素计算:X = 0.3×R+0.59×G+0.11×B,并使这个像素的值 ...

  3. DevExpress 小计 GridControl 隔行换行

    摘自: http://www.cnblogs.com/yuerdongni/archive/2012/09/08/2676753.html 1. 如何解决单击记录整行选中的问题 View->Op ...

  4. 7个高级技巧帮助你释放大量Mac OS X硬盘空间

    7个高级技巧帮助你释放大量Mac OS X硬盘空间 https://blog.csdn.net/hu434587115/article/details/72874811/

  5. Windows录音API学习笔记

    Windows录音API学习笔记 结构体和函数信息  结构体 WAVEINCAPS 该结构描述了一个波形音频输入设备的能力. typedef struct { WORD      wMid; 用于波形 ...

  6. 解决ARC的循环引用问题

    看看下面的程序有什么问题: BNRItem.h @interface BNRItem : NSObject @property (nonatomic, strong) BNRItem *contain ...

  7. 算法笔记_099:蓝桥杯练习 算法提高 排列数(Java)

    目录 1 问题描述 2 解决方案   1 问题描述 问题描述 0.1.2三个数字的全排列有六种,按照字母序排列如下: 012.021.102.120.201.210 输入一个数n 求0~9十个数的全排 ...

  8. 在LoadRunner中进行Base64的编码和解码

    <Base64 Encode/Decode for LoadRunner>这篇文章介绍了如何在LoadRunner中对字符串进行Base64的编码和解码: http://ptfrontli ...

  9. [Exception IOS 4] - could not build module 'foundation'

    出现这个问题首先百度找到的是:http://www.cocoachina.com/bbs/read.php?tid=188086 然后在blog中能找到链接:http://stackoverflow. ...

  10. struts 在Action中访问web元素(request,session等)

    出发jsp: <?xml version="1.0" encoding="GB18030" ?> <%@ page language=&quo ...