1.MapReduce概念

1)MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题.

2)MapReduce是分布式运行的,由两个阶段组成:Map和Reduce,Map阶段是一个独立的程序,有很多个节点同时运行,每个节点处理一部分数据。Reduce阶段是一个独立的程序,有很多个节点同时运行,每个节点处理一部分数据【在这先把reduce理解为一个单独的聚合程序即可】。

3)MapReduce框架都有默认实现,用户只需要覆盖map()和reduce()两个函数,即可实现分布式计算,非常简单。

4)两个函数的形参和返回值都是<key、value>,使用的时候一定要注意构造<k,v>。

2.MapReduce核心思想

(1)分布式的运算程序往往需要分成至少2个阶段。

(2)第一个阶段的MapTask并发实例,完全并行运行,互不相干。

(3)第二个阶段的ReduceTask并发实例互不相干,但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。

(4)MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段,如果用户的业务逻辑非常复杂,那就只能多个MapReduce程序,串行运行。

总结:分析WordCount数据流走向深入理解MapReduce核心思想。

 3. MapReduce 中的shuffle

 4.Mapreduce代码

  1. import org.apache.hadoop.conf.Configuration;
  2. import org.apache.hadoop.fs.FileSystem;
  3. import org.apache.hadoop.fs.Path;
  4. import org.apache.hadoop.io.LongWritable;
  5. import org.apache.hadoop.io.Text;
  6. import org.apache.hadoop.mapreduce.Job;
  7. import org.apache.hadoop.mapreduce.Mapper;
  8. import org.apache.hadoop.mapreduce.Reducer;
  9. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  10. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  11.  
  12. import java.io.IOException;
  13.  
  14. public class WordCount {
  15. //分割任务
  16. // 第一对kv,是决定数据输入的格式
  17. // 第二队kv 是决定数据输出的格式
  18. public static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> {
  19. /*map阶段数据是一行一行过来的
  20. 每一行数据都需要执行代码*/
  21. @Override
  22. protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
  23. LongWritable longWritable = new LongWritable(1);
  24. String s = value.toString();
  25. context.write(new Text(s), longWritable);
  26. }
  27. }
  28. //接收Map端数据
  29. public static class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable> {
  30. /* reduce 聚合程序 每一个k都会调用一次
  31. * 默认是一个节点
  32. * key:每一个单词
  33. * values:map端 当前k所对应的所有的v
  34. */
  35. @Override
  36. protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
  37. //设置统计的初始值为0
  38. long sum = 0l;
  39. for (LongWritable value : values) {
  40. sum += value.get();
  41. }
  42. context.write(key, new LongWritable(sum));
  43. }
  44. }
  45.  
  46. /**
  47. * 是当前mapreduce程序入口
  48. * 用来构建mapreduce程序
  49. */
  50. public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
  51. //创建一个job任务
  52. Job job=Job.getInstance();
  53. //指定job名称
  54. job.setJobName("第一个mr程序");
  55. //构建mr
  56. //指定当前main所在类名(识别具体的类)
  57. job.setJarByClass(WordCount.class);
  58. //指定map端类
  59. // 指定map输出的kv类型
  60. job.setMapperClass(MyMapper.class);
  61. job.setMapOutputKeyClass(Text.class);
  62. job.setMapOutputValueClass(LongWritable.class);
  63. //指定reduce端类
  64. //指定reduce端输出的kv类型
  65. job.setReducerClass(MyReducer.class);
  66. job.setOutputKeyClass(Text.class);
  67. job.setOutputValueClass(LongWritable.class);
  68.  
  69. // 指定输入路径
  70. Path in = new Path("/word");
  71. FileInputFormat.addInputPath(job,in);
  72. //输出路径指定
  73. Path out = new Path("/output");
  74. FileSystem fs = FileSystem.get(new Configuration());
  75. //如果文件存在
  76. if(fs.exists(out)){
  77. fs.delete(out,true);
  78. }
  79. //存在
  80. FileOutputFormat.setOutputPath(job,out);
  81.  
  82. //启动
  83. job.waitForCompletion(true);
  84. System.out.println("MapReduce正在执行");
  85. }
  86. }

MapReduce原理深入理解(一)的更多相关文章

  1. MapReduce原理深入理解(二)

    1.Mapreduce操作不需要reduce阶段 1 import org.apache.hadoop.conf.Configuration; 2 import org.apache.hadoop.f ...

  2. 大数据运算模型 MapReduce 原理

    大数据运算模型 MapReduce 原理 2016-01-24 杜亦舒 MapReduce 是一个大数据集合的并行运算模型,由google提出,现在流行的hadoop中也使用了MapReduce作为计 ...

  3. MapReduce原理及其主要实现平台分析

    原文:http://www.infotech.ac.cn/article/2012/1003-3513-28-2-60.html MapReduce原理及其主要实现平台分析 亢丽芸, 王效岳, 白如江 ...

  4. MapReduce 原理与 Python 实践

    MapReduce 原理与 Python 实践 1. MapReduce 原理 以下是个人在MongoDB和Redis实际应用中总结的Map-Reduce的理解 Hadoop 的 MapReduce ...

  5. hadoop自带例子SecondarySort源码分析MapReduce原理

    这里分析MapReduce原理并没用WordCount,目前没用过hadoop也没接触过大数据,感觉,只是感觉,在项目中,如果真的用到了MapReduce那待排序的肯定会更加实用. 先贴上源码 pac ...

  6. 04 MapReduce原理介绍

    大数据实战(上) # MapReduce原理介绍 大纲: * Mapreduce介绍 * MapReduce2运行原理 * shuffle及排序    定义 * Mapreduce 最早是由googl ...

  7. Atitit 泛型原理与理解attilax总结

    Atitit 泛型原理与理解attilax总结 1. 泛型历史11.1.1. 由来11.2. 为什么需要泛型,类型安全21.3. 7.泛型的好处22. 泛型的机制编辑22.1.1. 机制32.1.2. ...

  8. Hapoop原理及MapReduce原理分析

    Hapoop原理 Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架,其最核心的设计包括:MapReduce和HDFS.基于 Hadoop,你可以轻松地编写可处理海量数据的分布式并行程序 ...

  9. Hadoop学习记录(4)|MapReduce原理|API操作使用

    MapReduce概念 MapReduce是一种分布式计算模型,由谷歌提出,主要用于搜索领域,解决海量数据计算问题. MR由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce( ...

随机推荐

  1. Python3实现Two-Pass算法检测区域连通性

    技术背景 连通性检测是图论中常常遇到的一个问题,我们可以用五子棋的思路来理解这个问题五子棋中,横.竖.斜相邻的两个棋子,被认为是相连接的,而一样的道理,在一个二维的图中,只要在横.竖.斜三个方向中的一 ...

  2. The requested PHP extension ext-http * is missing from your system. Install or enable PHP's http ex

    composer.json 包含 "require": { "ext-http": "*" } 删掉  "ext-http&quo ...

  3. 基于taro封装底下浮动弹窗组件

    先看效果图: jsx: import Taro, { Component } from '@tarojs/taro' import { View, Image } from '@tarojs/comp ...

  4. Javascript - Vue - 路由

    vue router.js 下载:vue-router.js, 该文件依赖于vue.js <script src="Scripts/vue-2.4.0.js">< ...

  5. BufferedReader 和BufferedWriter

    BufferedWriter: private void test(String content,String destPath) throws IOException { BufferedReade ...

  6. JAVA中多态与C++多态的区别

    原文出自:http://blog.csdn.net/hihui/article/details/8604779 #include <stdio.h> class Base { public ...

  7. JavaWeb之文件上传、下载

    时间:2016-12-17 18:07 --文件上传概述上传不能使用BaseServlet1.文件上传的作用    例如网络硬盘,就是用来上传和下载文件的.2.文件上传对表单的限制    1)必须使用 ...

  8. Linux centos 安装 JDK 8

    一.下载JDK 官方下载 # 下载地址 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151. ...

  9. APMserv 5.2.6 安装教程

    1.下载APMServ5.2.6.rar压缩包后解压,得到文件APMServ5.1.2.exe,其余两个没什么大用,APMServ解压缩说明.txt可以看一下,里面详细介绍了APMServ的功能和注意 ...

  10. Redis实现主从复制以及sentinel的配置

    redis 是一个高性能的 key-value 数据库. redis 的出现,很大程度补偿了 memcached 这类 keyvalue 存储的不足,在部分场合可以对关系数据库起到很 好的补充作用.它 ...