第一题

下面是三种商品的销售数据

要求:根据以上数据,用 MapReduce 统计出如下数据:

1、每种商品的销售总金额,并降序排序

2、每种商品销售额最多的三周

第二题:MapReduce 题

现有如下数据文件需要处理:

格式:CSV

数据样例:

user_a,location_a,2018-01-01 08:00:00,60

user_a,location_a,2018-01-01 09:00:00,60

user_a,location_b,2018-01-01 10:00:00,60

user_a,location_a,2018-01-01 11:00:00,60

字段:用户 ID,位置 ID,开始时间,停留时长(分钟)

数据意义:某个用户在某个位置从某个时刻开始停留了多长时间

处理逻辑: 对同一个用户,在同一个位置,连续的多条记录进行合并

合并原则:开始时间取最早的,停留时长加和

要求:请编写 MapReduce 程序实现

其他:只有数据样例,没有数据。

UserLocationMR.java

 /**
测试数据:
user_a location_a 2018-01-01 08:00:00 60
user_a location_a 2018-01-01 09:00:00 60
user_a location_a 2018-01-01 11:00:00 60
user_a location_a 2018-01-01 12:00:00 60
user_a location_b 2018-01-01 10:00:00 60
user_a location_c 2018-01-01 08:00:00 60
user_a location_c 2018-01-01 09:00:00 60
user_a location_c 2018-01-01 10:00:00 60
user_b location_a 2018-01-01 15:00:00 60
user_b location_a 2018-01-01 16:00:00 60
user_b location_a 2018-01-01 18:00:00 60 结果数据:
user_a location_a 2018-01-01 08:00:00 120
user_a location_a 2018-01-01 11:00:00 120
user_a location_b 2018-01-01 10:00:00 60
user_a location_c 2018-01-01 08:00:00 180
user_b location_a 2018-01-01 15:00:00 120
user_b location_a 2018-01-01 18:00:00 60 */
public class UserLocationMR { public static void main(String[] args) throws Exception {
// 指定hdfs相关的参数
Configuration conf = new Configuration();
// conf.set("fs.defaultFS", "hdfs://hadoop02:9000");
// System.setProperty("HADOOP_USER_NAME", "hadoop"); Job job = Job.getInstance(conf);
// 设置jar包所在路径
job.setJarByClass(UserLocationMR.class); // 指定mapper类和reducer类
job.setMapperClass(UserLocationMRMapper.class);
job.setReducerClass(UserLocationMRReducer.class); // 指定maptask的输出类型
job.setMapOutputKeyClass(UserLocation.class);
job.setMapOutputValueClass(NullWritable.class);
// 指定reducetask的输出类型
job.setOutputKeyClass(UserLocation.class);
job.setOutputValueClass(NullWritable.class); job.setGroupingComparatorClass(UserLocationGC.class); // 指定该mapreduce程序数据的输入和输出路径
Path inputPath = new Path("D:\\武文\\second\\input");
Path outputPath = new Path("D:\\武文\\second\\output2");
FileSystem fs = FileSystem.get(conf);
if (fs.exists(outputPath)) {
fs.delete(outputPath, true);
}
FileInputFormat.setInputPaths(job, inputPath);
FileOutputFormat.setOutputPath(job, outputPath); // 最后提交任务
boolean waitForCompletion = job.waitForCompletion(true);
System.exit(waitForCompletion ? 0 : 1);
} private static class UserLocationMRMapper extends Mapper<LongWritable, Text, UserLocation, NullWritable> { UserLocation outKey = new UserLocation(); /**
* value = user_a,location_a,2018-01-01 12:00:00,60
*/
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] split = value.toString().split(","); outKey.set(split); context.write(outKey, NullWritable.get());
}
} private static class UserLocationMRReducer extends Reducer<UserLocation, NullWritable, UserLocation, NullWritable> { SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); UserLocation outKey = new UserLocation(); /**
* user_a location_a 2018-01-01 08:00:00 60
* user_a location_a 2018-01-01 09:00:00 60
* user_a location_a 2018-01-01 11:00:00 60
* user_a location_a 2018-01-01 12:00:00 60
*/
@Override
protected void reduce(UserLocation key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException { int count = 0;
for (NullWritable nvl : values) {
count++;
// 如果是这一组key-value中的第一个元素时,直接赋值给outKey对象。基础对象
if (count == 1) {
// 复制值
outKey.set(key);
} else { // 有可能连续,有可能不连续, 连续则继续变量, 否则输出
long current_timestamp = 0;
long last_timestamp = 0;
try {
// 这是新遍历出来的记录的时间戳
current_timestamp = sdf.parse(key.getTime()).getTime();
// 这是上一条记录的时间戳 和 停留时间之和
last_timestamp = sdf.parse(outKey.getTime()).getTime() + outKey.getDuration() * 60 * 1000;
} catch (ParseException e) {
e.printStackTrace();
} // 如果相等,证明是连续记录,所以合并
if (current_timestamp == last_timestamp) { outKey.setDuration(outKey.getDuration() + key.getDuration()); } else { // 先输出上一条记录
context.write(outKey, nvl); // 然后再次记录当前遍历到的这一条记录
outKey.set(key);
}
}
}
// 最后无论如何,还得输出最后一次
context.write(outKey, NullWritable.get());
}
}
}

UserLocation.java

 public class UserLocation implements WritableComparable<UserLocation> {

     private String userid;
private String locationid;
private String time;
private long duration; @Override
public String toString() {
return userid + "\t" + locationid + "\t" + time + "\t" + duration;
} public UserLocation() {
super();
} public void set(String[] split){
this.setUserid(split[0]);
this.setLocationid(split[1]);
this.setTime(split[2]);
this.setDuration(Long.parseLong(split[3]));
} public void set(UserLocation ul){
this.setUserid(ul.getUserid());
this.setLocationid(ul.getLocationid());
this.setTime(ul.getTime());
this.setDuration(ul.getDuration());
} public UserLocation(String userid, String locationid, String time, long duration) {
super();
this.userid = userid;
this.locationid = locationid;
this.time = time;
this.duration = duration;
} public String getUserid() {
return userid;
} public void setUserid(String userid) {
this.userid = userid;
} public String getLocationid() {
return locationid;
} public void setLocationid(String locationid) {
this.locationid = locationid;
} public String getTime() {
return time;
} public void setTime(String time) {
this.time = time;
} public long getDuration() {
return duration;
} public void setDuration(long duration) {
this.duration = duration;
} @Override
public void write(DataOutput out) throws IOException {
// TODO Auto-generated method stub
out.writeUTF(userid);
out.writeUTF(locationid);
out.writeUTF(time);
out.writeLong(duration);
} @Override
public void readFields(DataInput in) throws IOException {
// TODO Auto-generated method stub
this.userid = in.readUTF();
this.locationid = in.readUTF();
this.time = in.readUTF();
this.duration = in.readLong();
} /**
* 排序规则
*
* 按照 userid locationid 和 time 排序 都是 升序
*/
@Override
public int compareTo(UserLocation o) { int diff_userid = o.getUserid().compareTo(this.getUserid());
if(diff_userid == 0){ int diff_location = o.getLocationid().compareTo(this.getLocationid());
if(diff_location == 0){ int diff_time = o.getTime().compareTo(this.getTime());
if(diff_time == 0){
return 0;
}else{
return diff_time > 0 ? -1 : 1;
} }else{
return diff_location > 0 ? -1 : 1;
} }else{
return diff_userid > 0 ? -1 : 1;
}
}
}

UserLocationGC.java

 public class UserLocationGC extends WritableComparator{

     public UserLocationGC(){
super(UserLocation.class, true);
} @Override
public int compare(WritableComparable a, WritableComparable b) { UserLocation ul_a = (UserLocation)a;
UserLocation ul_b = (UserLocation)b; int diff_userid = ul_a.getUserid().compareTo(ul_b.getUserid());
if(diff_userid == 0){ int diff_location = ul_a.getLocationid().compareTo(ul_b.getLocationid());
if(diff_location == 0){ return 0; }else{
return diff_location > 0 ? -1 : 1;
} }else{
return diff_userid > 0 ? -1 : 1;
}
}
}

第三题:MapReduce 题--倒排索引

概念: 倒排索引(Inverted Index),也常被称为反向索引、置入档案或反向档案,是一种索引方法, 被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档 检索系统中最常用的数据结构。了解详情可自行百度

有两份数据:

mapreduce-4-1.txt

huangbo love xuzheng
huangxiaoming love baby huangxiaoming love yangmi
liangchaowei love liujialing
huangxiaoming xuzheng huangbo wangbaoqiang

mapreduce-4-2.txt

hello huangbo
hello xuzheng
hello huangxiaoming

题目一:编写 MapReduce 求出以下格式的结果数据:统计每个关键词在每个文档中当中的 第几行出现了多少次 例如,huangxiaoming 关键词的格式:

huangixaoming mapreduce-4-1.txt:2,2; mapreduce-4-1.txt:4,1;mapreduce-4-2.txt:3,1

以上答案的意义:

关键词 huangxiaoming 在第一份文档 mapreduce-4-1.txt 中的第 2 行出现了 2 次
关键词 huangxiaoming 在第一份文档 mapreduce-4-1.txt 中的第 4 行出现了 1 次
关键词 huangxiaoming 在第二份文档 mapreduce-4-2.txt 中的第 3 行出现了 1 次

题目二:编写 MapReduce 程序求出每个关键词在每个文档出现了多少次,并且按照出现次 数降序排序

例如:

huangixaoming mapreduce-4-1.txt,3;mapreduce-4-2.txt,1

以上答案的含义: 表示关键词 huangxiaoming 在第一份文档 mapreduce-4-1.txt 中出现了 3 次,在第二份文档mapreduce-4-2.txt 中出现了 1 次

Hadoop学习之路(二十七)MapReduce的API使用(四)的更多相关文章

  1. Hadoop学习之路(十七)MapReduce框架Partitoner分区

    Partitioner分区类的作用是什么? 在进行MapReduce计算时,有时候需要把最终的输出数据分到不同的文件中,比如按照省份划分的话,需要把同一省份的数据放到一个文件中:按照性别划分的话,需要 ...

  2. 【Hadoop学习之十二】MapReduce案例分析四-TF-IDF

    环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 hadoop-3.1.1 概念TF-IDF(term fre ...

  3. 嵌入式Linux驱动学习之路(二十七)字符设备驱动的另一种写法

    之前讲的字符设备驱动程序,只要有一个主设备号,那么次设备号无论是什么都会和同一个 struct file_operations 结构体对应. 而本节课讲的是如何在设备号相同的情况下,让不同的次设备号对 ...

  4. Hadoop学习记录(4)|MapReduce原理|API操作使用

    MapReduce概念 MapReduce是一种分布式计算模型,由谷歌提出,主要用于搜索领域,解决海量数据计算问题. MR由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce( ...

  5. hadoop学习记录(二)HDFS java api

    FSDateinputStream 对象 FileSystem对象中的open()方法返回的是FSDateInputStream对象,改类继承了java.io.DateInoutStream接口.支持 ...

  6. Hadoop学习之路(十)HDFS API的使用

    HDFS API的高级编程 HDFS的API就两个:FileSystem 和Configuration 1.文件的上传和下载 package com.ghgj.hdfs.api; import org ...

  7. Hadoop学习之旅三:MapReduce

    MapReduce编程模型 在Google的一篇重要的论文MapReduce: Simplified Data Processing on Large Clusters中提到,Google公司有大量的 ...

  8. 阿里封神谈hadoop学习之路

    阿里封神谈hadoop学习之路   封神 2016-04-14 16:03:51 浏览3283 评论3 发表于: 阿里云E-MapReduce >> 开源大数据周刊 hadoop 学生 s ...

  9. 《Hadoop学习之路》学习实践

    (实践机器:blog-bench) 本文用作博文<Hadoop学习之路>实践过程中遇到的问题记录. 本文所学习的博文为博主“扎心了,老铁” 博文记录.参考链接https://www.cnb ...

  10. Java web与web gis学习笔记(二)——百度地图API调用

    系列链接: Java web与web gis学习笔记(一)--Tomcat环境搭建 Java web与web gis学习笔记(二)--百度地图API调用 JavaWeb和WebGIS学习笔记(三)-- ...

随机推荐

  1. org.apache.commons.lang.StringUtils

    org.apache.commons.lang.StringUtils 作为jdk中lang包的补充 检查CharSequence是否为空,null或者空格 CharSequence (CharBuf ...

  2. BigDecimal 类的使用

    BigDecimal 类的使用 1.使用 BigDecimal 的原因   由于需要计算金额,所有需要高精度计算,所有需要使用 BigDecimal 类. BigDecimal能够精确的表示一个小数, ...

  3. ArrayList封装

    package com.cn.test.jihe; import java.util.Arrays; /** * * insert * delete * update * get * */ publi ...

  4. Shiro官方快速入门10min例子源码解析框架1-初始化

    Shiro,一个易用的Java安全框架,主要集合身份认证.授权.加密和session管理的功能. 这系文章主要简介Shiro架构,并通过官方的quickstart例程分析最简实现下Shiro的工作流程 ...

  5. EMC光纤交换机故障处理和命令分析

        主机没有Login到存储是一个比较常见的故障,故障多发于主机新上线,或者是重启后.例如在Unisphere中,显示Host状态是”Registered: Yes; Logged In: No” ...

  6. yum只下载不安装dokcer

    yum install --downloadonly --downloaddir=/test/ docker-io 有三个依赖包,如果不知道现后依赖顺序,可以强制安装 哦了

  7. 使用装饰器减少try ...finally的重复使用

    @util.try_except_bskgk def added_user_handle(cur, search_time): added_user_sql = """ ...

  8. BZOJ4659:lcm

    传送门 题目所给的不合法的条件可以转化为 \[\exists p,p^2|gcd(a,b) \Leftrightarrow \mu(gcd(a,b))\ne 0\] 那么 \[ans=\sum_{a= ...

  9. BZOJ5068: 友好的生物(状压 贪心)

    题意 题目链接 Sol 又是一道神仙题??.. 把绝对值拆开之后状压前面的符号?.. 下界显然,但是上界为啥是对的呀qwq.. #include<bits/stdc++.h> using ...

  10. jquery特效:无缝向上循环滚动列表

    效果呈现 整个列表间隔设定的时间向上移动一个item的高度 html结构: <div class="slide-title"> <span>title1&l ...