MapReduce--平均分,最高,低分以及及格率的计算
MapReduce--平均分,最高,低分以及及格率的计算
计算班级的平均分,以及个人的最高最低分,以及每个班级的及格率。
来先看一下我的数据。
时间 班级 姓名 科目 成绩
20180501 1708a1 li bishi 80
20180501 1708a1 li jishi 55
20180501 1708a1 li project 90
20180501 1708a1 li2 bishi 80
20180501 1708a1 li2 jishi 20
20180501 1708a1 li2 project 90
20180501 1708a1 li3 bishi 50
20180501 1708a1 li3 jishi 70
20180501 1708a1 li3 project 60
20180501 1708a1 zhangsan bishi 88
20180501 1708a1 zhangsan jishi 55
20180501 1708a1 zhangsan project 98
20180501 1708a1 lishi bishi 18
20180501 1708a1 lishi jishi 15
20180501 1708a1 lishi project 15
20180501 1708a1 wangwu bishi 88
20180501 1708a1 wangwu jishi 76
20180501 1708a1 wangwu project 70
20180501 1708a2 li1 bishi 80
20180501 1708a2 li1 jishi 71
20180501 1708a2 li1 project 96
20180501 1708a2 li2 bishi 80
20180501 1708a2 li2 jishi 26
20180501 1708a2 li2 project 90
20180501 1708a2 li3 bishi 80
20180501 1708a2 li3 jishi 55
20180501 1708a2 li3 project 90
20180501 1708a2 zhangliang bishi 81
20180501 1708a2 zhangliang jishi 55
20180501 1708a2 zhangliang project 98
20180501 1708a2 liuli bishi 70
20180501 1708a2 liuli jishi 95
20180501 1708a2 liuli project 75
20180501 1708a2 wangwu bishi 80
20180501 1708a2 wangwu jishi 76
20180501 1708a2 wangwu project 70
20180501 1708a2 zhangxi bishi 18
20180501 1708a2 zhangxi jishi 16
20180501 1708a2 zhangxi project 10
数据之间是空格。。。。
代码来了 -- 平均分,最高分,最低分
package com.huhu.day01; import java.io.IOException; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; /**
* 切割文本: 平均分,最高低分
*
* @author huhu_k
*
*/
public class HomeWork2 { // map
public static class MyMapper extends Mapper<LongWritable, Text, Text, Text> {
Text keys = new Text();
Text values = new Text(); @Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
// 数据切割方式(文本中的内容)
// 按行分
String[] line = value.toString().split(" ");
keys.set(line[0] + ":" + line[2]);
values.set(line[3] + ":" + line[4]);
context.write(keys, values);
}
} // reduce
public static class MyReducer extends Reducer<Text, Text, Text, Text> { @Override
protected void reduce(Text key, Iterable<Text> value, Context context)
throws IOException, InterruptedException {
int max = Integer.MIN_VALUE;
int min = Integer.MAX_VALUE;
// 和
int sum = 0;
// 人数
int count = 0;
// 分数
int score = 0;
String classs = "";
for (Text t : value) {
classs = t.toString().split(":")[0];
score = Integer.parseInt(t.toString().split(":")[1]);
if (max < score)
max = score;
if (min > score)
min = score;
switch (classs) {
case "bishi":
score += score * 0.4;
break;
case "jishi":
score += score * 0.3;
break;
case "project":
score += score * 0.3;
break;
}
sum += score;
count++;
}
int avg = (int) sum / count;
String[] student = key.toString().split(":");
Text ky = new Text(student[0] + "\t" + student[1]);
context.write(ky, new Text("平均分 " + avg));
context.write(ky, new Text("最高值为 " + max));
context.write(ky, new Text("最低值 " + min));
} } public static void main(String[] args) throws Exception { // 配置容器
Configuration conf = new Configuration();
// 创建一个job
@SuppressWarnings("deprecation")
Job job = new Job(conf, "MyMapReduce Two");
// 配置job
job.setJarByClass(HomeWork2.class);
job.setMapperClass(MyMapper.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class); job.setReducerClass(MyReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class); // 输入输出
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1])); // 执行程序
boolean waitForCompletion = job.waitForCompletion(true);
System.exit(waitForCompletion ? 0 : 1); } }
运行结果:
2.及格率
package com.huhu.day01; import java.io.IOException;
import java.text.DecimalFormat;
import java.util.HashMap;
import java.util.Map; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; /**
* 切割文本:及格率
*
* @author huhu_k
*
*/
public class HomeWork3 { // map
public static class MyMapper extends Mapper<LongWritable, Text, Text, Text> {
Text keys = new Text();
Text values = new Text(); @Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
// 数据切割方式(文本中的内容)
// 按行分
String[] line = value.toString().split(" ");
keys.set(line[0] + ":" + line[1]);
context.write(keys, value);
}
} // reduce
public static class MyReducer extends Reducer<Text, Text, Text, Text> {
Map<String, Double> map = new HashMap<>();
Map<String, String> maps = new HashMap<>(); @Override
protected void reduce(Text key, Iterable<Text> value, Context context)
throws IOException, InterruptedException {
for (Text t : value) {
String[] values = t.toString().split(" ");
String student = values[2] + ":" + values[0] + ":" + values[1];
String subject = values[3];
double score = Integer.valueOf(values[4]);
if ("bishi".equals(subject)) {
score *= 0.4;
} else {
score *= 0.3;
}
// 如果map中有学生,累加学生的没门课程的分数
if (map.containsKey(student)) {
double scores = map.get(student);
scores += score;
map.put(student, scores);
} else {
// 第一次进入时不包含,则直接添加
map.put(student, score);
}
} for (Map.Entry<String, Double> m : map.entrySet()) {
String classname = m.getKey().split(":")[2];
Double score = m.getValue();
if (maps.containsKey(classname) && score >= 60) {
String k = Integer.parseInt(maps.get(classname).split(":")[0]) + 1 + "";
String v = Integer.parseInt(maps.get(classname).split(":")[1]) + 1 + "";
maps.put(classname, k + ":" + v);
} else if (maps.containsKey(classname) && score < 60) {
String k = Integer.parseInt(maps.get(classname).split(":")[0]) + 1 + "";
String v = Integer.parseInt(maps.get(classname).split(":")[1]) + "";
maps.put(classname, k + ":" + v);
} else if (!maps.containsKey(classname) && score < 60) {
maps.put(classname, "1:0");
} else if (!maps.containsKey(classname) && score >= 60) {
maps.put(classname, "1:1");
}
} } @Override
protected void cleanup(Reducer<Text, Text, Text, Text>.Context context)
throws IOException, InterruptedException {
for (Map.Entry<String, String> m : maps.entrySet()) {
DecimalFormat d = new DecimalFormat("0.00%");
double pass = Double.valueOf(m.getValue().split(":")[1]) / Double.valueOf(m.getValue().split(":")[0]);
context.write(new Text(m.getKey()), new Text("及格率为:" + d.format(pass)));
}
}
} public static void main(String[] args) throws Exception { // 配置容器
Configuration conf = new Configuration();
// 创建一个job
@SuppressWarnings("deprecation")
Job job = new Job(conf, "MyMapReduce Count");
// 配置job
job.setJarByClass(HomeWork3.class);
job.setMapperClass(MyMapper.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class); job.setReducerClass(MyReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class); // 输入输出
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1])); // 执行程序
boolean waitForCompletion = job.waitForCompletion(true);
System.exit(waitForCompletion ? 0 : 1); } }
MapReduce一个分布式并行离线计算框架。我们只需要知道map(),reduce(),input,output,剩下的由框架完成
基于yarn的工作流程
MapReduce--平均分,最高,低分以及及格率的计算的更多相关文章
- MapReduce Input Split 输入分/切片
MapReduce Input Split(输入分/切片)详解 public static long getMaxSplitSize(JobContext context) { return cont ...
- mysql计算时间差-本例为计算分钟差然后/60计算小时保留一位小数,由于直接得小时只会取整
-- ORDER_TIME datetime NOT NULL(字段类型)SELECTso.`ID`,so.`ORDER_TIME`,NOW(),CONCAT(ROUND(TIMESTAMPDIFF( ...
- sql面试50题------(11-20)
文章目录 11.查询至少有一门课与学号为'01'的学生所学课程相同的学生的学号和姓名 12.查询和'01'号同学所学课程完全相同的其他同学的学号 13.查询两门及其以上不及格课程的同学的学号,姓名及其 ...
- MapReduce原理与设计思想
简单解释 MapReduce 算法 一个有趣的例子 你想数出一摞牌中有多少张黑桃.直观方式是一张一张检查并且数出有多少张是黑桃? MapReduce方法则是: 给在座的所有玩家中分配这摞牌 让每个玩家 ...
- MapReduce: 一种简化的大规模集群数据处理法
(只有文字没有图,图请参考http://research.google.com/archive/mapreduce.html) MapReduce: 一种简化的大规模集群数据处理法 翻译:风里来雨里去 ...
- MapReduce极简教程
一个有趣的例子 你想数出一摞牌中有多少张黑桃.直观方式是一张一张检查并且数出有多少张是黑桃? MapReduce方法则是: 给在座的所有玩家中分配这摞牌 让每个玩家数自己手中的牌有几张是黑桃,然后 ...
- 大数据 --> MapReduce原理与设计思想
MapReduce原理与设计思想 简单解释 MapReduce 算法 一个有趣的例子:你想数出一摞牌中有多少张黑桃.直观方式是一张一张检查并且数出有多少张是黑桃? MapReduce方法则是: 给在座 ...
- Hadoop(17)-MapReduce框架原理-MapReduce流程,Shuffle机制,Partition分区
MapReduce工作流程 1.准备待处理文件 2.job提交前生成一个处理规划 3.将切片信息job.split,配置信息job.xml和我们自己写的jar包交给yarn 4.yarn根据切片规划计 ...
- 转:MapReduce原理与设计思想
转自:http://www.cnblogs.com/wuyudong/p/mapreduce-principle.html 简单解释 MapReduce 算法 一个有趣的例子 你想数出一摞牌中有多少张 ...
随机推荐
- Leetcode66-Plus One-Eassy
Given a non-empty array of digits representing a non-negative integer, plus one to the integer. The ...
- openlayers空间点查询之GetFeatureInfo
在map对象上注册点击方法监听, 这里我用的是wms,当然你也可以查询wfs map.events.register('click', map, function (e) { ...
- RN中关于IOS和Android的相关权限的问题
在日常的开发中,时常需要去获取应用的一权限 比如查看通讯录/打开摄像机等 1:ios iOS 的权限管理在info.plist里设置 info.plist主要是管理了app 的一些信息文件,比如版本 ...
- _event
EventId 事件ID 请使用大于100的ID EventName 事件的名称,用于游戏中各种提示 NoticeText 事件开始时的弹窗内容 GossipText 功能宝石等菜单内容 Z ...
- Intellij Idea修改css文件即时更新生成效果
用来Idea也有一段时间了,觉得还是有很多地方没有用到,今天遇到了一个问题,百度了解决方法,正好在这里做一个小记录 主要问题是我在idea的项目里面修改了css文件,然后运行web文件,发现并没有做到 ...
- 安装tensorflow-gpu
pip install --upgrade tensorflow-gpu import tensorflow as tf sess = tf.Session() 如果提示如下 -- ::] Your ...
- 前端阶段_div以及css介绍
1.div div是html的一个标签,是块级元素,单独使用没有意义,必须结合css来使用,进行网页布局 2.span span是一个html标签,是一个内联元素,主要对括起来的内容进行修饰 3.&l ...
- isnull和sum的关系
这是我刚刚写存储过程的时候意识到的一个问题!!! 先问大家这样一个问题,print 100+null 等于多少? 在一组数据统计的过程中,只要使用到sum函数,就必须使用isnull函数包含起来,因 ...
- Eclipse添加EGIT方法
1. 安装EGIT, 其中一个方法: 2. 新建javaweb项目,测试git的使用. l File > Team > Share Project 选择GIT 如何选择不了,则选择创建c ...
- 力扣(LeetCode)231. 2的幂
给定一个整数,编写一个函数来判断它是否是 2 的幂次方. 示例 1: 输入: 1 输出: true 解释: 20 = 1 示例 2: 输入: 16 输出: true 解释: 24 = 16 示例 3: ...