MapRedue开发实例

一些例子，所用版本为hadoop 2.6.5

1、统计字数

数据格式如下（单词，频数，以tab分开）：

 package com.mr.test;

 import java.io.IOException;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.fs.Path;

 import org.apache.hadoop.io.IntWritable;

 import org.apache.hadoop.io.Text;

 import org.apache.hadoop.mapreduce.Job;

 import org.apache.hadoop.mapreduce.Mapper;

 import org.apache.hadoop.mapreduce.Reducer;

 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

 public class MRTest {

     public static class C01Mapper extends Mapper<Object, Text, Text, IntWritable> {

         @Override

         public void map(Object key, Text value, Context context) throws IOException, InterruptedException {

             String[] line = value.toString().split("\t");

             if(line.length == 2) {

                 context.write(new Text(line[0]),new IntWritable(Integer.parseInt(line[1])));

             }

         }

     }

     public static class C01Reducer extends Reducer<Text, IntWritable, Text, IntWritable> {

         @Override

         public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {

             int i =0;

             for(IntWritable value : values){

                 i += value.get();

             }

             context.write(key, new IntWritable(i));

         }

     }    

     public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

         //参数含义： agrs[0]标识 in, agrs[1]标识 out,agrs[2]标识 unitmb,agrs[3]标识 reducer number,

         int unitmb =Integer.valueOf(args[2]);

         String in = args[0];

         String out = args[1];

         int nreducer = Integer.valueOf(args[3]);

         Configuration conf = new Configuration();

         conf.set("mapreduce.input.fileinputformat.split.maxsize", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapred.min.split.size", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapreduce.input.fileinputformat.split.minsize.per.node", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapreduce.input.fileinputformat.split.minsize.per.rack", String.valueOf(unitmb * 1024 * 1024));

         Job job = new Job(conf);

         FileInputFormat.addInputPath(job, new Path(in));

         FileOutputFormat.setOutputPath(job, new Path(out));

         job.setMapperClass(C01Mapper.class);

         job.setReducerClass(C01Reducer.class);

         job.setNumReduceTasks(nreducer);

         job.setCombinerClass(C01Reducer.class);

         job.setMapOutputKeyClass(Text.class);

         job.setMapOutputValueClass(IntWritable.class);

         job.setOutputKeyClass(Text.class);

         job.setOutputValueClass(IntWritable.class);

         job.setJarByClass(MRTest.class);

         job.waitForCompletion(true);

     }

 }

2、统计用户在网站的停留时间

数据格式（用户，毫秒数，网站，以tab分开）：

A	100	baidu.com

B	900	google.com

C	515	sohu.com

D	618	sina.com

E	791	google.com

B	121	baidu.com

C	915	google.com

D	112	sohu.com

E	628	sina.com

A	681	google.com

C	121	baidu.com

D	215	google.com

E	812	sohu.com

A	128	sina.com

B	291	google.com

 package com.mr.test;

 import java.io.IOException;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.fs.Path;

 import org.apache.hadoop.io.IntWritable;

 import org.apache.hadoop.io.Text;

 import org.apache.hadoop.io.WritableComparable;

 import org.apache.hadoop.io.WritableComparator;

 import org.apache.hadoop.mapreduce.Job;

 import org.apache.hadoop.mapreduce.Mapper;

 import org.apache.hadoop.mapreduce.Partitioner;

 import org.apache.hadoop.mapreduce.Reducer;

 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

 public class MRWeb {

     public static class C02Mapper extends Mapper<Object, Text, Text, Text> {

         @Override

         public void map(Object key, Text value, Context context) throws IOException, InterruptedException{

             String line[] = value.toString().split("\t");

             //格式检查

             if(line.length == 3){

                 String name = line[0];

                 String time = line[1];

                 String website = line[2];

                 context.write(new Text(name + "\t" + time), new Text(time + "\t" + website));

             }

         }

     }    

     public static class C02Partitioner extends Partitioner<Text, Text> {

         @Override

         public int getPartition(Text key, Text value, int number) {

             String name = key.toString().split("\t")[0];

             int hash =name.hashCode();

             //以此实现分区

             return Math.abs(hash % number);

         }

     }

     public static class C02Sort extends WritableComparator {

         //必须有的

         protected C02Sort() {

             super(Text.class,true);

         }

         @Override

         public int compare(WritableComparable w1, WritableComparable w2) {

             Text h1 = new Text(((Text)w1).toString().split("\t")[0] );

             Text h2 = new Text(((Text)w2).toString().split("\t")[0] );

             IntWritable m1 =new IntWritable(Integer.valueOf(((Text)w1).toString().split("\t")[1]));

             IntWritable m2 =new IntWritable(Integer.valueOf(((Text)w2).toString().split("\t")[1]));

             int result;

             if(h1.equals(h2)){

                 result = m2.compareTo(m1);

             }else {

                 result =h1.compareTo(h2);

             }

             return result;

         }

     }

     public  static class C02Group extends WritableComparator{

         protected C02Group() {

             super(Text.class,true);

         }

         @Override

         public int compare(WritableComparable w1, WritableComparable w2) {

             Text h1 = new Text(((Text)w1).toString().split("\t")[0] );

             Text h2 = new Text(((Text)w2).toString().split("\t")[0] );

             return h1.compareTo(h2);

         }

     }

     public static class C02Reducer extends Reducer<Text, Text, IntWritable, Text> {

         @Override

         protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {

             int count = 0;

             String name =key.toString().split("\t")[0];

             //分组排序已经做好了，这里只管打印

             for(Text value : values){

                 count++;

                 StringBuffer buffer = new StringBuffer();

                 buffer.append(name);

                 buffer.append("\t");

                 buffer.append(value.toString());

                 context.write(new IntWritable(count), new Text(buffer.toString()));

             }

         }

     }

     public static void main(String[] args) throws IllegalArgumentException, IOException, ClassNotFoundException, InterruptedException {

         //参数含义： agrs[0]标识 in, agrs[1]标识 out,agrs[2]标识 unitmb,agrs[3]标识 reducer number,

         if(args.length != 4){

             System.out.println("error");

             System.exit(0);

         }

         int unitmb =Integer.valueOf(args[2]);

         String in = args[0];

         String out = args[1];

         int nreducer = Integer.valueOf(args[3]);

         Configuration conf = new Configuration();

         conf.set("mapreduce.input.fileinputformat.split.maxsize", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapred.min.split.size", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapreduce.input.fileinputformat.split.minsize.per.node", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapreduce.input.fileinputformat.split.minsize.per.rack", String.valueOf(unitmb * 1024 * 1024));

         Job job = new Job(conf);

         FileInputFormat.addInputPath(job, new Path(in));

         FileOutputFormat.setOutputPath(job, new Path(out));

         job.setMapperClass(C02Mapper.class);

         job.setReducerClass(C02Reducer.class);

         job.setNumReduceTasks(nreducer);

         job.setPartitionerClass(C02Partitioner.class);

         job.setGroupingComparatorClass(C02Group.class);

         job.setSortComparatorClass(C02Sort.class);

         job.setMapOutputKeyClass(Text.class);

         job.setMapOutputValueClass(Text.class);

         job.setOutputKeyClass(IntWritable.class);

         job.setOutputValueClass(Text.class);

         job.setJarByClass(MRWeb.class);

         job.waitForCompletion(true);

     }

 }

运行：hadoop jar ~/c02mrtest.jar com.mr.test.MRWeb TestData/webcount.txt /DataWorld/webresult 128 1

结果的样子：

3、json数组分析

数据格式（前面以tab分开）：

1	[{"name":"A","age":16,"maths":100}]

2	[{"name":"B","age":17,"maths":97}]

3	[{"name":"C","age":18,"maths":89}]

4	[{"name":"D","age":15,"maths":98}]

5	[{"name":"E","age":19,"maths":100}]

 package com.mr.test;

 import java.io.IOException;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.fs.Path;

 import org.apache.hadoop.io.Text;

 import org.apache.hadoop.mapreduce.Job;

 import org.apache.hadoop.mapreduce.Mapper;

 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

 import net.sf.json.JSONArray;

 import net.sf.json.JSONObject;

 public class MRString {

     public static class C03Mapper extends Mapper<Object, Text, Text, Text> {

         @Override

         protected void map(Object key, Text value, Mapper<Object, Text, Text, Text>.Context context)

                 throws IOException, InterruptedException {

             String[] line = value.toString().split("\t");

             if(line.length ==2){

                 String c = line[0];

                 String j = line[1];

                 JSONArray jsonArray =JSONArray.fromObject(j);

                 int size = jsonArray.size();

                 for(int i=0;i<size;i++){

                     String name = "";

                     String age = "";

                     String maths = "";

                     JSONObject jsonObject =jsonArray.getJSONObject(i);

                     if(jsonObject.containsKey("name")){

                         name = jsonObject.getString("name");

                     }

                     if(jsonObject.containsKey("age")){

                         age = jsonObject.getString("age");

                     }

                     if(jsonObject.containsKey("maths")){

                         maths = jsonObject.getString("maths");

                     }

                     StringBuffer buffer =new StringBuffer();

                     buffer.append(name);

                     buffer.append("\t");

                     buffer.append(age);

                     buffer.append("\t");

                     buffer.append(maths);

                     context.write(new Text(c), new Text(buffer.toString()));

                 }

             }

         }

     }

     public static void main(String[] args) throws IllegalArgumentException, IOException, ClassNotFoundException, InterruptedException {

         //参数含义： agrs[0]标识 in, agrs[1]标识 out,agrs[2]标识 unitmb,agrs[3]

         if(args.length != 3){

             System.out.println("error");

             System.exit(0);

         }

         int unitmb =Integer.valueOf(args[2]);

         String in = args[0];

         String out = args[1];

         Configuration conf = new Configuration();

         conf.set("mapreduce.input.fileinputformat.split.maxsize", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapred.min.split.size", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapreduce.input.fileinputformat.split.minsize.per.node", String.valueOf(unitmb * 1024 * 1024));

         conf.set("mapreduce.input.fileinputformat.split.minsize.per.rack", String.valueOf(unitmb * 1024 * 1024));

         Job job = new Job(conf);

         job.addFileToClassPath(new Path("TestData/json-lib-2.4-jdk15.jar"));

         job.addFileToClassPath(new Path("TestData/ezmorph-1.0.6.jar"));

         FileInputFormat.addInputPath(job, new Path(in));

         FileOutputFormat.setOutputPath(job, new Path(out));

         job.setMapperClass(C03Mapper.class);

         //没有reducer的情况下必须设置

         job.setNumReduceTasks(0);

         job.setMapOutputKeyClass(Text.class);

         job.setMapOutputValueClass(Text.class);

         job.setOutputKeyClass(Text.class);

         job.setOutputValueClass(Text.class);

         job.setJarByClass(MRString.class);

         job.waitForCompletion(true);

     }

 }

运行 hadoop jar ~/c03mrtest.jar com.mr.test.MRString TestData/jsonarray.txt /DataWorld/jsonoutput 128

结果：

这个例子还有一点值得注意（Path中的目录是HDFS中的目录）：

job.addFileToClassPath(new Path("TestData/json-lib-2.4-jdk15.jar")); //jar文件下载地址：http://json-lib.sourceforge.net/

job.addFileToClassPath(new Path("TestData/ezmorph-1.0.6.jar")); //jar文件下载地址：http://ezmorph.sourceforge.net/
使用这两句，在程序中动态添加了用于json解析的jar文件，而利用服务器中的ClassPath是访问不到这两个文件的。在编程的时候，在windows客户端下，为了语法书写方便，导入了json-lib-2.4-jdk15.jar，但是并没有导入ezmorph-1.0.6.jar 。

也就是说，可以在程序中动态的加入jar文件，只要知道了它在HDFS中的位置。

MapRedue开发实例的更多相关文章

ecshop二次开发给商品添加自定义字段【包含我自己进一步的开发实例详解】
本文包含商品自定义添加教程及进一步的开发实例: 教程: 说起自定义字段,我想很多的朋友像我一样会想起一些开源的CMS(比如Dedecms.Phpcms.帝国)等,他们是可以在后台直接添加自定义字段的. ...
RDIFramework.NET -.NET快速信息化系统开发整合框架【开发实例 EasyUI】之产品管理（WebForm版）
RDIFramework.NET—.NET快速开发整合框架 [开发实例]之产品管理(WebForm版) 接上篇:RDIFramework.NET (.NET快速信息化系统开发整合框架) [开发实例]之 ...
RDIFramework.NET-.NET快速信息化系统开发整合框架【开发实例 EasyUI】之产品管理（MVC版）
RDIFramework.NET—.NET快速开发整合框架 [开发实例]之产品管理(MVC版) 接上篇:RDIFramework.NET (.NET快速信息化系统开发整合框架) [开发实例]之产品管理 ...
Cocos2d-x 3.X手游开发实例详解
Cocos2d-x 3.X手游开发实例详解(最新最简Cocos2d-x手机游戏开发学习方法,以热门游戏2048.卡牌为例,完整再现手游的开发过程,实例丰富,代码完备,Cocos2d-x作者之一林顺和泰 ...
免费的HTML5连载来了《HTML5网页开发实例详解》连载（二）
最近新浪.百度.腾讯.京东.大众点评.淘宝等流行的网站都加大了招聘HTML5的力度,HTML5开发人员成了抢手货,本次连载的是由大众点评前端工程师和一淘网前端工程师基情奉献的<HTML5网页开发 ...
RDIFramework.NET开发实例━表约束条件权限的使用-Web
RDIFramework.NET开发实例━表约束条件权限的使用-Web 在上一篇文章“RDIFramework.NET开发实例━表约束条件权限的使用-WinForm”我们讲解了在WinForm下表约束 ...
RDIFramework.NET开发实例━表约束条件权限的使用-WinForm
RDIFramework.NET开发实例━表约束条件权限的使用-WinForm 在实际的应用中,客户常有这样的需求,指定用户或角色可以看指定条件下的数据,这里的“指定条件”在RDIFramework. ...
RDIFramework.NET V2.8版本 ━ 开发实例之产品管理（WinForm）
RDIFramework.NET V2.8版本 ━ 开发实例之产品管理(WinForm) 现在,我们使用.NET快速开发整合框架(RDIFramework.NET)来开发一个应用,此应用皆在说明如何使 ...
Android音乐播放器的开发实例
本文将引导大家做一个音乐播放器,在做这个Android开发实例的过程中,能够帮助大家进一步熟悉和掌握学过的ListView和其他一些组件.为了有更好的学习效果,其中很多功能我们手动实现,例如音乐播放的 ...

随机推荐

ASP.NET CMS模板培训教程
注意:此文档中出现所有的类,都是公司内部的,也就是说,只是给公司内部人员培训的一篇文章而已,如果其他的人看到了, 看不懂里面的类,那是因为这都是我公司内部的框架. 首先是进入我们的系统的后台,然后选择 ...
php插入式排序的两种写法。
百度了下插入式排序,百度百科中php版本的插入式排序如下: function insert_sort($arr) { // 将$arr升序排列 $count = count($arr); for ($ ...
sessionPageState与视图状态存储
这个配置节甚是简单,在MSDN中的介绍也甚是简单:为 ASP.NET 应用程序配置页的视图状态设置. historySize的作用是设置要存储在页历史记录中的项数. 但是这根本是看不明白他是干嘛的,百 ...
Redis两种持久化方式(RDB&AOF)
爬虫和转载请注明原文地址;博客园蜗牛:http://www.cnblogs.com/tdws/p/5754706.html Redis所需内存超过可用内存怎么办 Redis修改数据多线程并发—Red ...
Sql Server 覆盖索引
覆盖索引通常都是复合索引,即索引字段为多个.创建索引时应该注意索引排列顺序. Sql Server检索应用索引时,字段识别顺序为从左到右. 例如如下索引的使用上 Create NONCLUSTERE ...
jQuery实现方式不一样的跳转到底部
jQuery跳转到页面底部效果在线体验:http://hovertree.com/texiao/jquery/9.htm 以下是完整HTML代码: <!DOCTYPE html> < ...
使用SwipeListView实现滑动效果
QQ的滑动删除效果很不错,要实现这种效果,可以使用SwipeListView.1. 下载com.fortysevendeg.swipelistview这个项目(以前GitHub上有,现在GitHub上 ...
【工业串口和网络软件通讯平台(SuperIO)教程】六.二次开发导出数据驱动
SuperIO相关资料下载:http://pan.baidu.com/s/1pJ7lZWf 1.1 导出数据接口的作用在数据集成系统项目中,要么是自已集成其他厂家的设备,要么是其他厂家集成自己 ...
java web学习总结(七) -------------------HttpServletResponse对象(一)
Web服务器收到客户端的http请求,会针对每一次请求,分别创建一个用于代表请求的request对象.和代表响应的response对象.request和response对象即然代表请求和响应,那我们要 ...
Pro HTML5 Programming(Second Edition)2.Canvas API（1）
1.在使用HTML5的Canvas元素时,考虑到有些浏览器不支持canvas元素,或是不支持HTML5 Canvas API中的某些特性,开发人员最好提供一份替代代码. 以下代码展示如何在canvas ...

MapRedue开发实例

MapRedue开发实例的更多相关文章

随机推荐

热门专题