需求:求每年当中最高的温度 样本:temp.log 2016080623 2016072330 2015030420 输出结果:2016 30 2015 20 MapReduce分析设计: Mapper分析设计: 1.将文件分割成键值队<k1,v1>,k1代表:行位置,v1代表:一行数据. 2.将这行数据进行分割成<k2,v2>,k2代表:年份,v1代表:温度. Reduce分析设计: 3.将一些列合并后的相同key的一系列温度<k3,v3>,k3代表:年份,v1代表:…

需求:单表关联问题.从文件中孩子和父母的关系挖掘出孙子和爷奶关系 样板:child-parent.txt xiaoming daxiong daxiong alice daxiong jack 输出:xiaoming alice xiaoming jack 分析设计: mapper部分设计: 1.<k1,k1>k1代表:一行数据的编号位置,v1代表:一行数据. 2.左表:<k2,v2>k2代表:parent名字,v2代表:(1,child名字),此处1:代表左表标志. 3.右表:&…

需求:求多门课程的平均值. 样板:math.txt zhangsan 90 lisi 88 wanghua 80 china.txt zhangsan 80lisi 90wanghua 88 输出:zhangsan 85 lisi 89 wanghua 84 分析部分: mapper部分分析: 1.<k1,v1>k1代表:一行数据的编号位置,v1代表:一行数据. 2.<k2,v2>k2代表:名字,v2代表:分数. reduce部分分析: 3.<k3,v3>k3代表:相同…

需求:对文件中的数据进行排序. 样本:sort.log 10 13 10 20 输出:1 10 2 10 3 13 4 20 分析部分: mapper分析: 1.<k1,v1>k1代表:行位置编号,v1代表:一行数据 2.<k2,v2>k2代表:一行数据,v2代表:此处为1. reduce分析: 3.<k3,v3>k3代表:相同的key,v3代表:list<int> 4.合并输出:<k4,v4>k4代表:递增编号,v4代表:key值. 程序部分:…

需求:去掉文件中重复的数据. 样板:data.log 2016-3-1 a 2016-3-2 b 2016-3-2 c         2016-3-2 b 输出结果: 2016-3-1 a 2016-3-2 b 2016-3-2 c 解决思路:取出一行数据,经过mapper处理后,利用MapReduce默认的将相同的key合并后交给reduce处理的原则,这样可以达到数据去重解决问题. MapReduce分析设计: Mapper分析设计: 1.<k1,v1>,k1代表:每行数据的行号,v1代…

需求:统计一个文件中所有单词出现的个数. 样板:word.log文件中有hadoop hive hbase hadoop hive 输出:hadoop 2 hive 2 hbase 1 MapReduce设计方式: 一.Map过程<k,v>键值队的设计: 1.按行将文本文件切割成 <k1,v1>,k1代表:行在文件中的位置,v1代表:一行数据.多少个<k1,v1>就调用多少次map()方法. 2.在map()方法中将一行数据按照空格继续分割成<k2,v2>,…

用PHP编写Hadoop的MapReduce程序     Hadoop流 虽然Hadoop是用Java写的,但是Hadoop提供了Hadoop流,Hadoop流提供一个API, 允许用户使用任何语言编写map函数和reduce函数.Hadoop流动关键是,它使用UNIX标准流作为程序与Hadoop之间的接口.因此,任何程序只要可以从标准输入流中读取数据,并且可以把数据写入标准输出流中,那么就可以通过Hadoop流使用任何语言编写MapReduce程序的map函数和reduce函数.例如:bin/…

摘要:MapReduce程序进行数据去重. 关键词:MapReduce   数据去重 数据源:人工构造日志数据集log-file1.txt和log-file2.txt. log-file1.txt内容 2014-1-1    wangluqing 2014-1-2    root 2014-1-3   root 2014-1-4  wangluqing 2014-1-5  root 2014-1-6  wangluqing log-file2.txt内容 2014-1-1  root 2014-…

在Windows下面运行hadoop的MapReduce程序的方法: 1.下载hadoop的安装包,这里使用的是"hadoop-2.6.4.tar.gz": 2.将安装包直接解压到D盘根目录: 3.配置环境变量: 4.下载hadoop的eclipse插件,并将插件放到eclipse的plugins目录下: 5.打开Eclipse,选择菜单"Window"-->"Preferences",在左侧找到"Hadoop Map/Reduc…

package com.gylhaut.hadoop.senior.mapreduce; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoo…