hadoop —— MapReduce例子 (数据去重)
参考:http://eric-gcm.iteye.com/blog/1807468
例子1:
概要:数据去重
描述:将file1.txt、file2.txt中的数据合并到一个文件中的同时去掉重复的内容
file1:
2012-3-1 a
2012-3-2 b
2012-3-3 c
2012-3-4 d
2012-3-5 a
2012-3-6 b
2012-3-7 c
2012-3-3 c
file2:
2012-3-1 b
2012-3-2 a
2012-3-3 b
2012-3-4 d
2012-3-5 a
2012-3-6 c
2012-3-7 d
2012-3-3 c
代码:
Dedup.java
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser; public class Dedup { //map将输入中的value复制到输出数据的key上,并直接输出
public static class Map extends Mapper<Object,Text,Text,Text>{ private static Text line=new Text();//每行数据 //实现map函数
public void map(Object key,Text value,Context context) throws IOException,InterruptedException{ line=value;
context.write(line, new Text(""));
}
} //reduce将输入中的key复制到输出数据的key上,并直接输出
public static class Reduce extends Reducer<Text,Text,Text,Text>{ //实现reduce函数
public void reduce(Text key,Iterable<Text> values,Context context) throws IOException,InterruptedException{ context.write(key, new Text(""));
}
} public static void main(String[] args) throws Exception{ Configuration conf = new Configuration(); //这句话很关键,IP(172.16.11.74)需要根据实际情况改变
conf.set("mapred.job.tracker", "172.16.11.74:9001");
String[] ioArgs=new String[]{"dedup_in","dedup_out"}; String[] otherArgs = new GenericOptionsParser(conf, ioArgs).getRemainingArgs(); if (otherArgs.length != 2) {
System.err.println("Usage: Data Deduplication <in> <out>");
System.exit(2);
} Job job = new Job(conf, "Data Deduplication");
job.setJarByClass(Dedup.class); //设置Map、Combine和Reduce处理类
job.setMapperClass(Map.class);
job.setCombinerClass(Reduce.class);
job.setReducerClass(Reduce.class); //设置输出类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class); //设置输入和输出目录
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1); } }
运行步骤:
1. eclipse中建一个JAVA工程,导入Dedup.java,及对应的jar包(从hadoop-0.20.2-cdh3u6中拷贝过来)
2. 编译通过后,导出jar包Dedup.jar(需要带上依赖的包,及选择Main Class)
3. 拷贝Dedup.jar到Linux中(/home/hadoop/tmp/)
4. 启动hadoop
(命令:start-all.sh)
5. 查看NameNode、DataNode是否都启动了
(命令:jps)
6. hadoop文件系统中建目录:/user/hadoop/dedup_in/ (命令: hadoop fs -mkdir dedup_in)(dfs默认目录为/user/hadoop)
7. 查看:
(命令:hadoop dfs -ls )
8. 拷贝file1.txt、file2.txt到/user/hadoop/dedup_in/下
(命令:hadoop fs -put file1.txt dedup_in/file1.txt
hadoop fs -put file2.txt dedup_in/file2.txt)
9. 查看file1.txt、file2.txt
(命令:hadoop fs -text dedup_in/file1.txt
hadoop fs -text dedup_in/file2.txt)
10 运行jar包
(命令:hadoop jar /home/hadoop/tmp/Dedup.jar)
遇到异常:
1. Error opening job jar:....
原因:
之前把Dedup.jar拷贝到了hadoop文件系统中了,所以找不到Dedup.jar,hadoop jar 后面的jar应该是Linux文件系统中的
2. Mkdirs failed to created /home/tmp
原因:
配置文件/usr/hadoop-0.20.2-cdh3u6/conf/core-site.xml 中的写成了“hadoop.tmp.dir”对应的目录写成了/home/tmp,而实际Linux中木有这个目录
(是之前删了,改成/home/hadoop/tmp),命令(hadoop jar Dedup.jar )执行过程中需要“hadoop.tmp.dir”目录进行临时存储,当找到这个目录时,
会去创建,但是hadoop用户没有权限,所以抛了这个异常
运行结果:
1. 多了一个目录
执行命令(hadoop dfs -ls)
发现多了一个目录:/user/hadoop/dedup_out
2. 新生成的目录下:
查看目录下的文件,命令(hadoop dfs -lsr /user/hadoop/dedup_out/)
/user/hadoop/dedup_out/_SUCCESS
/user/hadoop/dedup_out/_logs
/user/hadoop/dedup_out/_logs/history
/user/hadoop/dedup_out/_logs/history/job_201403091709_0001_1394356210883_hadoop_Data+Deduplication
/user/hadoop/dedup_out/_logs/history/job_201403091709_0001_conf.xml
/user/hadoop/dedup_out/part-r-00000
3. 查看文件/user/hadoop/dedup_out/part-r-00000
命令(hadoop dfs -text /user/hadoop/dedup_out/part-r-00000)
2012-3-1 a
2012-3-1 b
2012-3-2 a
2012-3-2 b
2012-3-3 b
2012-3-3 c
2012-3-4 d
2012-3-5 a
2012-3-6 b
2012-3-6 c
2012-3-7 c
2012-3-7 d
结果证明:
Dedup.java成功地将file1.txt、file2.txt中内容合并去重
hadoop —— MapReduce例子 (数据去重)的更多相关文章
- hadoop mapreduce实现数据去重
实现原理分析: map函数数将输入的文本按照行读取, 并将Key--每一行的内容 输出 value--空. reduce 会自动统计所有的key,我们让reduce输出key-> ...
- hadoop —— MapReduce例子 (数据排序)
参考:http://eric-gcm.iteye.com/blog/1807468 file1.txt: 2 32 654 32 15 756 65223 file2.txt: 5956 22 650 ...
- Hadoop MapReduce例子-新版API多表连接Join之模仿订单配货
文章为作者原创,未经许可,禁止转载. -Sun Yat-sen University 冯兴伟 一. 项目简介: 电子商务的发展以及电商平台的多样化,类似于京东和天猫这种拥有过亿用户的在线购 ...
- MapReduce实例(数据去重)
数据去重: 原理(理解):Mapreduce程序首先应该确认<k3,v3>,根据<k3,v3>确定<k2,v2>,原始数据中出现次数超过一次的数据在输出文件中只出现 ...
- 利用MapReduce实现数据去重
数据去重主要是为了利用并行化的思想对数据进行有意义的筛选. 统计大数据集上的数据种类个数.从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重. 示例文件内容: 此处应有示例文件 设计思路 数据 ...
- hadoop —— MapReduce例子 (求平均值)
参考:http://eric-gcm.iteye.com/blog/1807468 math.txt: 张三 88 李四 99 王五 66 赵六 77 china.txt: 张三 78 李四 89 王 ...
- MapReduce实现数据去重
一.原理分析 Mapreduce的处理过程,由于Mapreduce会在Map~reduce中,将重复的Key合并在一起,所以Mapreduce很容易就去除重复的行.Map无须做任何处理,设置Map中写 ...
- [Hadoop]-从数据去重认识MapReduce
这学期刚好开了一门大数据的课,就是完完全全简简单单的介绍的那种,然后就接触到这里面最被人熟知的Hadoop了.看了官网的教程[吐槽一下,果然英语还是很重要!],嗯啊,一知半解地搭建了本地和伪分布式的, ...
- Hadoop MapReduce执行过程详解(带hadoop例子)
https://my.oschina.net/itblog/blog/275294 摘要: 本文通过一个例子,详细介绍Hadoop 的 MapReduce过程. 分析MapReduce执行过程 Map ...
随机推荐
- Python批量复制和重命名文件
Python批量复制和重命名文件 示例代码 #! /usr/bin/env python # coding=utf-8 import os import shutil import time impo ...
- 【京东个人中心】——Nodejs/Ajax/HTML5/Mysql爬坑之静态页面
一.引言 接着上一篇,京东个人中心的所有功能数据分析完成之后,现在需要把静态页面完成,实现过程中要用到的技术有:Bootstrap.html5表单新特性等.除此之外,还要利用Node.js的Expre ...
- 几种Tab的实现方法
转载请注明出处,谢谢! 学了这久Android,今天来总结一下几种Tab的实现方法 实现方法一: ViewPage来实现 首先创建一个top.xml布局和一个bottom.xml布局,然后在主界面中通 ...
- Linux下的定时任务Crontab
通过crontab -e写入定时任务的指令,一行为一项任务. 任务模式是时间克龙表达式+命令形式. 如: 2 0,6,12,18 * * * perl /root/restarttomcat.pl p ...
- Python标准库:1. 介绍
标准库包括了几种不同类型的库. 首先是那些核心语言的数据类型库,比方数字和列表相关的库.在核心语言手冊里仅仅是描写叙述数字和列表的编写方式,以及它的排列,而未定义它的语义. 换一句话说,核心语言手冊仅 ...
- GSL 1.15 and 1.16 building with Visual Studio 2010 --FROM 4fire
http://4fire.wordpress.com/2012/03/18/gsl-1-15-building-with-visual-studio-2010/ Update 05/02/2014: ...
- zepto jquery和zepto的区别?
jQuery 由于强大的生命力基本上是一个事实标准,所以大部分工具 lib 在 DOM 操作.动画等功能上或多或少都会是 jQuery-like 的. Zepto 的 API 就是完全兼容 jQuer ...
- Hibernate4.3.6 Final+Spring3.0.5配置出错提示及解决方法
1. Caused by: org.hibernate.cache.NoCacheRegionFactoryAvailableException: Second-level cache is used ...
- Oracle 复制表创建的sql语句
http://cache.baiducontent.com/c?m=9d78d513d99e01fc09b3c3690d67c0161343f0652ba1d4020ed08449e3732b4250 ...
- iOS常用的加密方式
MD5 iOS代码加密 创建MD5类,代码如下 #import <Foundation/Foundation.h> @interface CJMD5 : NSObject +(NSStri ...