mapreduce 2 思想架构

mr2解决了mr1的jobTracker的单点颈瓶问题,这个问题会影响hadoop的扩展性,集群的可靠性,mr1中jobTracker负责集群作业的分发,管理,调度,同时还必须和集群中所有的节点保持通信,了解集群的资源情况和运行的状态,所以jobTracker就负担的太多了,而TaskTracker就只负责作业运行,所以jobTracker的工作太过于沉重。
mr2中将资源管理和作业管理拆开,全局资源管理器(resourceManager)负责整个集群的资源管理。分离出来的作业管理由作业应用主体管理(Applicatoon Master),TaskTracker演化成节点管理器(node manager)。这样全局资源管理器和局部的资源管理器就组成了数据的计算框架。app Mstr与资源管理器通信获取资源,与接点管理器配合完成任务
(1)资源管理器
资源管理器根据功能不同分为2个组件:一个是调度器一个是应用管理器
调度器:根据集群中的容量,队列,资源等限制,将资源分配给正在运行的应用,虽然叫做调度器单他只负责资源的分配,不负责作业是否运行失败,硬件是否失败,是否重启任务。调度器根据各个应用的资源需求和资源容器(containne各个节点的内存,cpu,磁盘等资源封装在一起的一个抽象的概念)
应用管理器:负责接收作业,获取第一个资源容器用于执行应用的主题任务并为重启的任务主题分配容器
(2)节点管理器(node manager)
节点管理器是每个节点的代理框架。负责启动容器,监控容器的资源使用(cpu,内存,io),并把这些信息发送给调度器。应用对应的应用主体负责向调度器请求资源容器,并跟踪这些容器的状态执行情况
每一个节点都会有一个节点管理器,他们主要职责是;
(1)启动调度器分配给应用的容器
(2)保证已启用的容器不会超过分配给应用的资源量
(3)为task构建容器环境
(4)为所在的节点管理一个存储本地资源的服务
应用主体和应用是一一对应的,他主要职责是:
(1)与调度器协商分配资源
(2)与节点管理器协作,在合适的容器中运行组件task,,并监控这些task
(3)如果调度器出现故障,应用主体则会想调度器重启申请资源
(4)计算出应用程序消耗的资源,并转化为调度器可用的信息包
(5)在应用主体出现故障后,应用管理器会重启负责重启他,但由应用主体自己从之前保存的应用程序执行状态中恢复应用程序
应用主体有一下组件:

hadoop2的思想架构的更多相关文章

  1. MVC思想架构的简单自定义UITableViewCell

         在iOS的开发过程中,架构思想是很重要的一部分,目前的主流应该分为MVC与MVVM两种,在这里不做过多的区分,有兴趣的同学可以看看唐巧大神的一篇文章<被误解的MVC和被神化的MVVM& ...

  2. Hadoop2.X HA架构与部署

    HDFS-HA原理及配置 1.HDFS-HA架构原理介绍 hadoop2.x之后,Clouera提出了QJM/Qurom Journal Manager,这是一个基于Paxos算法实现的HDFS HA ...

  3. 新闻实时分析系统-Hadoop2.X HA架构与部署

    1.HDFS-HA架构原理介绍 hadoop2.x之后,Clouera提出了QJM/Qurom Journal Manager,这是一个基于Paxos算法实现的HDFS HA方案,它给出了一种较好的解 ...

  4. 新闻网大数据实时分析可视化系统项目——5、Hadoop2.X HA架构与部署

    1.HDFS-HA架构原理介绍 hadoop2.x之后,Clouera提出了QJM/Qurom Journal Manager,这是一个基于Paxos算法实现的HDFS HA方案,它给出了一种较好的解 ...

  5. hadoop学习(一)----概念和整体架构

    程序员就得不停地学习啊,故步自封不能满足公司的业务发展啊!所以我们要有搞事情的精神.都说现在是大数据的时代,可以我们这些码农还在java的业务世界里面转悠呢.好不容易碰到一个可能会用到大数据技术的场景 ...

  6. Apache Hadoop2.x 边安装边入门

    完整PDF版本:<Apache Hadoop2.x边安装边入门> 目录 第一部分:Linux环境安装 第一步.配置Vmware NAT网络 一. Vmware网络模式介绍 二. NAT模式 ...

  7. COM思想的背后

    最近看公司的一些新产品和框架 , 发现清一色的“COM思想架构 ”, 这里说的“COM思想架构”是指不完全是标准COM组件的方式,而是指在设计上用到了COM思想. COM组件技术大概在1993年产生, ...

  8. Hadoop学习(5)-- Hadoop2

    在Hadoop1(版本<=0.22)中,由于NameNode和JobTracker存在单点中,这制约了hadoop的发展,当集群规模超过2000台时,NameNode和JobTracker已经不 ...

  9. CSS框架分析与网站的CSS架构

    框架(framework)是一个基本概念上的结构,用于去解决或者处理复杂的问题,是一种可复用的构架. 我们对CSS框架这个词比较陌生,但对于JavaScript框架就比较熟悉了,比如jQuery 但为 ...

随机推荐

  1. 移动web开发—页面头部 META 总结

    meta指元素可提供有关页面的元信息(meta-information),比如针对搜索引擎和更新频度的描述和关键词. 标签位于文档的头部,不包含任何内容. 标签的属性定义了与文档相关联的名称/值对. ...

  2. NSURLConnection的使用

    一:NSURLConnection(IOS9.0已经弃用)是早期apple提供的http访问方式.以下列出了常用的几个场景:GET请求,POST请求,Response中带有json数据 对于NSURL ...

  3. localStorage与sessionStorage 的区别

    通过一枚页面计数器来区别localStorage与sessionStorage. 通过一个计数变量pageconut,每刷新页面,增加的是localStorage的数量,而sessionStorage ...

  4. 在ubuntu/deepin/mint等系统中使用命令删除文件或文件夹

    此命令操作需谨慎: sudo rm -rf 文件夹路径(或文件路径)  

  5. 我的.NET自学之路

    我第一门语言接触的并不是.net,而是php刚学php感觉还好,但是一学到后面就有一点头晕乎乎的,我感觉没有一个好的编写php代码的编辑器.而且php是弱类型语言,感觉起来没有像c,java,c#这些 ...

  6. php无法创建中文名的文件

    需要使用iconv强制转换后才可以.

  7. Java排序算法——基数排序

  8. Matlab中double,im2double,mat2gray区别

    转载:http://blog.sina.com.cn/s/blog_6c41e2f30101559d.html ****************假设某图像数据A(uint8格式)*********** ...

  9. Canvas绘制图形

    1.Canvas绘制一个蓝色的矩形 <!DOCTYPE html> <html> <head lang="en"> <meta chars ...

  10. Spring系列之AOP

    一.什么是AOPAOP(Aspect-OrientedProgramming,面向方面编程),可以说是OOP(Object-Oriented Programing,面向对象编程)的补充和完善.OOP引 ...