参考:http://eric-gcm.iteye.com/blog/1807468

例子1:

概要:数据去重

描述:将file1.txt、file2.txt中的数据合并到一个文件中的同时去掉重复的内容

file1:

2012-3-1 a
2012-3-2 b
2012-3-3 c
2012-3-4 d
2012-3-5 a
2012-3-6 b
2012-3-7 c
2012-3-3 c

file2:

2012-3-1 b
2012-3-2 a
2012-3-3 b
2012-3-4 d
2012-3-5 a
2012-3-6 c
2012-3-7 d
2012-3-3 c

代码:

Dedup.java

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser; public class Dedup { //map将输入中的value复制到输出数据的key上,并直接输出
public static class Map extends Mapper<Object,Text,Text,Text>{ private static Text line=new Text();//每行数据 //实现map函数
public void map(Object key,Text value,Context context) throws IOException,InterruptedException{ line=value;
context.write(line, new Text(""));
}
} //reduce将输入中的key复制到输出数据的key上,并直接输出
public static class Reduce extends Reducer<Text,Text,Text,Text>{ //实现reduce函数
public void reduce(Text key,Iterable<Text> values,Context context) throws IOException,InterruptedException{ context.write(key, new Text(""));
}
} public static void main(String[] args) throws Exception{ Configuration conf = new Configuration(); //这句话很关键,IP(172.16.11.74)需要根据实际情况改变
conf.set("mapred.job.tracker", "172.16.11.74:9001");
String[] ioArgs=new String[]{"dedup_in","dedup_out"}; String[] otherArgs = new GenericOptionsParser(conf, ioArgs).getRemainingArgs(); if (otherArgs.length != 2) {
System.err.println("Usage: Data Deduplication <in> <out>");
System.exit(2);
} Job job = new Job(conf, "Data Deduplication");
job.setJarByClass(Dedup.class); //设置Map、Combine和Reduce处理类
job.setMapperClass(Map.class);
job.setCombinerClass(Reduce.class);
job.setReducerClass(Reduce.class); //设置输出类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class); //设置输入和输出目录
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1); } }

运行步骤:

1. eclipse中建一个JAVA工程,导入Dedup.java,及对应的jar包(从hadoop-0.20.2-cdh3u6中拷贝过来)

2. 编译通过后,导出jar包Dedup.jar(需要带上依赖的包,及选择Main Class)

3. 拷贝Dedup.jar到Linux中(/home/hadoop/tmp/)

4. 启动hadoop

  (命令:start-all.sh)

5. 查看NameNode、DataNode是否都启动了

(命令:jps)

6. hadoop文件系统中建目录:/user/hadoop/dedup_in/  (命令: hadoop fs -mkdir dedup_in)(dfs默认目录为/user/hadoop)

7. 查看:

  (命令:hadoop dfs -ls )

8. 拷贝file1.txt、file2.txt到/user/hadoop/dedup_in/下

(命令:hadoop fs -put file1.txt dedup_in/file1.txt

hadoop fs -put file2.txt dedup_in/file2.txt)

9. 查看file1.txt、file2.txt

  (命令:hadoop fs -text dedup_in/file1.txt

hadoop fs -text dedup_in/file2.txt)

10 运行jar包

(命令:hadoop jar /home/hadoop/tmp/Dedup.jar)

遇到异常:

1. Error opening job jar:....

原因:

  之前把Dedup.jar拷贝到了hadoop文件系统中了,所以找不到Dedup.jar,hadoop jar 后面的jar应该是Linux文件系统中的

2. Mkdirs failed to created /home/tmp

原因:

配置文件/usr/hadoop-0.20.2-cdh3u6/conf/core-site.xml 中的写成了“hadoop.tmp.dir”对应的目录写成了/home/tmp,而实际Linux中木有这个目录

(是之前删了,改成/home/hadoop/tmp),命令(hadoop jar Dedup.jar )执行过程中需要“hadoop.tmp.dir”目录进行临时存储,当找到这个目录时,

会去创建,但是hadoop用户没有权限,所以抛了这个异常

运行结果:

1. 多了一个目录

执行命令(hadoop dfs -ls)

发现多了一个目录:/user/hadoop/dedup_out

2. 新生成的目录下:

查看目录下的文件,命令(hadoop dfs -lsr /user/hadoop/dedup_out/)

/user/hadoop/dedup_out/_SUCCESS

/user/hadoop/dedup_out/_logs

/user/hadoop/dedup_out/_logs/history

/user/hadoop/dedup_out/_logs/history/job_201403091709_0001_1394356210883_hadoop_Data+Deduplication

/user/hadoop/dedup_out/_logs/history/job_201403091709_0001_conf.xml

/user/hadoop/dedup_out/part-r-00000

3. 查看文件/user/hadoop/dedup_out/part-r-00000

命令(hadoop dfs -text /user/hadoop/dedup_out/part-r-00000)

2012-3-1 a
2012-3-1 b
2012-3-2 a
2012-3-2 b
2012-3-3 b
2012-3-3 c
2012-3-4 d
2012-3-5 a
2012-3-6 b
2012-3-6 c
2012-3-7 c
2012-3-7 d

结果证明:

Dedup.java成功地将file1.txt、file2.txt中内容合并去重

hadoop —— MapReduce例子 (数据去重)的更多相关文章

  1. hadoop mapreduce实现数据去重

    实现原理分析: map函数数将输入的文本按照行读取,   并将Key--每一行的内容   输出    value--空. reduce  会自动统计所有的key,我们让reduce输出key-> ...

  2. hadoop —— MapReduce例子 (数据排序)

    参考:http://eric-gcm.iteye.com/blog/1807468 file1.txt: 2 32 654 32 15 756 65223 file2.txt: 5956 22 650 ...

  3. Hadoop MapReduce例子-新版API多表连接Join之模仿订单配货

    文章为作者原创,未经许可,禁止转载.    -Sun Yat-sen University 冯兴伟 一.    项目简介: 电子商务的发展以及电商平台的多样化,类似于京东和天猫这种拥有过亿用户的在线购 ...

  4. MapReduce实例(数据去重)

    数据去重: 原理(理解):Mapreduce程序首先应该确认<k3,v3>,根据<k3,v3>确定<k2,v2>,原始数据中出现次数超过一次的数据在输出文件中只出现 ...

  5. 利用MapReduce实现数据去重

    数据去重主要是为了利用并行化的思想对数据进行有意义的筛选. 统计大数据集上的数据种类个数.从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重. 示例文件内容: 此处应有示例文件 设计思路 数据 ...

  6. hadoop —— MapReduce例子 (求平均值)

    参考:http://eric-gcm.iteye.com/blog/1807468 math.txt: 张三 88 李四 99 王五 66 赵六 77 china.txt: 张三 78 李四 89 王 ...

  7. MapReduce实现数据去重

    一.原理分析 Mapreduce的处理过程,由于Mapreduce会在Map~reduce中,将重复的Key合并在一起,所以Mapreduce很容易就去除重复的行.Map无须做任何处理,设置Map中写 ...

  8. [Hadoop]-从数据去重认识MapReduce

    这学期刚好开了一门大数据的课,就是完完全全简简单单的介绍的那种,然后就接触到这里面最被人熟知的Hadoop了.看了官网的教程[吐槽一下,果然英语还是很重要!],嗯啊,一知半解地搭建了本地和伪分布式的, ...

  9. Hadoop MapReduce执行过程详解(带hadoop例子)

    https://my.oschina.net/itblog/blog/275294 摘要: 本文通过一个例子,详细介绍Hadoop 的 MapReduce过程. 分析MapReduce执行过程 Map ...

随机推荐

  1. Python批量复制和重命名文件

    Python批量复制和重命名文件 示例代码 #! /usr/bin/env python # coding=utf-8 import os import shutil import time impo ...

  2. 【京东个人中心】——Nodejs/Ajax/HTML5/Mysql爬坑之静态页面

    一.引言 接着上一篇,京东个人中心的所有功能数据分析完成之后,现在需要把静态页面完成,实现过程中要用到的技术有:Bootstrap.html5表单新特性等.除此之外,还要利用Node.js的Expre ...

  3. 几种Tab的实现方法

    转载请注明出处,谢谢! 学了这久Android,今天来总结一下几种Tab的实现方法 实现方法一: ViewPage来实现 首先创建一个top.xml布局和一个bottom.xml布局,然后在主界面中通 ...

  4. Linux下的定时任务Crontab

    通过crontab -e写入定时任务的指令,一行为一项任务. 任务模式是时间克龙表达式+命令形式. 如: 2 0,6,12,18 * * * perl /root/restarttomcat.pl p ...

  5. Python标准库:1. 介绍

    标准库包括了几种不同类型的库. 首先是那些核心语言的数据类型库,比方数字和列表相关的库.在核心语言手冊里仅仅是描写叙述数字和列表的编写方式,以及它的排列,而未定义它的语义. 换一句话说,核心语言手冊仅 ...

  6. GSL 1.15 and 1.16 building with Visual Studio 2010 --FROM 4fire

    http://4fire.wordpress.com/2012/03/18/gsl-1-15-building-with-visual-studio-2010/ Update 05/02/2014: ...

  7. zepto jquery和zepto的区别?

    jQuery 由于强大的生命力基本上是一个事实标准,所以大部分工具 lib 在 DOM 操作.动画等功能上或多或少都会是 jQuery-like 的. Zepto 的 API 就是完全兼容 jQuer ...

  8. Hibernate4.3.6 Final+Spring3.0.5配置出错提示及解决方法

    1. Caused by: org.hibernate.cache.NoCacheRegionFactoryAvailableException: Second-level cache is used ...

  9. Oracle 复制表创建的sql语句

    http://cache.baiducontent.com/c?m=9d78d513d99e01fc09b3c3690d67c0161343f0652ba1d4020ed08449e3732b4250 ...

  10. iOS常用的加密方式

    MD5 iOS代码加密 创建MD5类,代码如下 #import <Foundation/Foundation.h> @interface CJMD5 : NSObject +(NSStri ...