了解MapReduce_2
再写MapReduce执行流程之前,首先先对MapReduce有一些了解:
1. 简介
MapReduce是一个计算框架,既然是做计算的框架,那么表现的形式上就有输入,操作输入,得到结果
2.主从结构
a.Hadoop1.0
MapReduce是主从结构,Hadoop1.0的主是JobTracker,从TaskTracker。
JobTracker作用 : 作业的管理者,将作业分解成一堆的任务(task),其中任务又分为MapTask和ReduceTask。将任务分派给TaskTracker运行。作业的监控,容错处理,在一定时间的间隔内,JT没有收到TT的心跳信息,那么说明TT很有可能是挂了,TT上运行的任务会被指派到其他的TT上去执行。
TaskTracker作用 : 任务的执行者,在TT上运行task。会与JT进行交互:执行/启动/作业,发送心跳信息给JT。
MapTask作用 : 自己开发的map任务交由task进行处理。解析每条记录的数据,交给自己的map方法处理。将map的输出结果写到本地磁盘。
ReduceTask作用 : 将map task输出的数据进行读取。按照数据进行分组传给编写的reduce方法处理。输出结果写到HDFS。
b.Hadoop2.0
因为JobTracker单点故障,成为系统的瓶颈,限制系统进一步扩展,在Hadoop2.0引进Yarn,将MR运行于资源管理框架Yarn之上
ResourceManager作用 : 负责调度分配每一个task任务运行于NodeManager上,如果发现有失败的,就重新分配任务到其他节点上,每一个Hadoop集群只有一个ResourceManager,一般运行在master节点
NodeManager作用 : NodeManager主动与ResourceManager通信,接收作业,并负责执行每一个task任务,为了减少网络带宽,NodeManager最好运行在HDFS的DataNode上
了解MapReduce_2的更多相关文章
- 【合集】Hadoop 合集
0. 说明 Hadoop 随笔的目录 1. HDFS 主要内容: [HDFS_1] HDFS 的概念和特性 [HDFS_2] HDFS 的 Shell 操作 [HDFS_3] HDFS 工作机制 [H ...
随机推荐
- 二、WPF datagrid 行变色
public void Color(){ DataGridRow row1 = (DataGridRow)this.dgSource.ItemContainerGenerator.ContainerF ...
- POP动画[1]
POP动画[1] pop动画是facebook扩展CoreAnimation的,使用及其方便:) 1:Spring系列的弹簧效果(两个动画kPOPLayerBounds与kPOPLayerCorner ...
- 有用的JS函数
1. QueryString function queryString(key) { var re = new RegExp("[?&]" + key + "=( ...
- Linux命令--获取帮助
man命令 是Linux下的帮助指令,通过man指令可以查看Linux中的指令帮助.配置文件帮助和编程帮助等信息. 语法 man(选项)(参数) 选项 -a:在所有的man帮助手册中搜索: -f:等价 ...
- 【4】【MOOC】Python游戏开发入门-北京理工大学【第三部分-游戏开发之机制(色彩与绘图)】
学习地址链接:http://www.icourse163.org/course/0809BIT021E-1001873001?utm_campaign=share&utm_medium=and ...
- vim基础初步
vim文本编辑器初步 一.跟vi编辑器的关系 可以说vim编辑器是vi编辑器的升级版,它保留了vi编辑器的所有东西,而且加入了自己的新的特性. 比如说:支持跨平台,支持语法高亮,支持多级撤销等. ++ ...
- gluoncv 导入方式
了解了sys.path和python 的import 的话,之前修改gluoncv 的方式就可以有了新的简单的方法: 如果你pip install gluoncv的,然后脚本又git clone了,发 ...
- Gradle初步
一.介绍 Gradle是一个基于 JVM 的富有突破性构建工具. 它为您提供了: 一个像 ant 一样,通用的灵活的构建工具 一种可切换的,像 maven 一样的基于约定优于配置的构建框架 强大的多工 ...
- SpringBoot实战(一)之构建RestFul风格
RestFul风格是一种非常流行的架构风格,相关实战可以参考我的这篇博客:SSM框架之RestFul示例 论文可参考:https://www.ics.uci.edu/~fielding/pubs/di ...
- PHP扩展功能 ---- 伪静态
一.入门三部曲 1.什么是伪静态? 改写URL,以静态的url形式访问页面,但其实是用PHP一类的动态脚本来处理的. 2.为什么要用伪静态? 需要动态获取数据,但是又希望能够对搜索引擎友好. 3.怎么 ...