hadoop知识点总结(三)YARN设计理念及基本架构
YARN设计理念与基本架构
1,MRv1的局限性:扩展性差,可靠性差,资源利用率低,无法支持多种计算框架
2,YARN基本设计思想
1)基本框架对比
Hadoop1.0中,JobTracker由资源管理和作业控制两部分组成
MRv1的局限性多,正是由于Hadoop对JobTracker赋予的功能过多而造成负载过重
从设计角度,Hadoop未能将资源管理相关功能与应用程序相关功能分开,造成Hadoop难以支持多种计算框架
2)MRv2的基本设计思想是将JobTracker的两个主要功能分拆成两个独立的进程
资源管理进程与具体应用程序无关,负责整个集群的资源管理
作业控制进程直接与应用程序相关模块进行通信,且每个作业控制进程只负责管理一个作业
3,编程模型对比
MRv1主要由编程模型、数据处理引擎和运行环境三部分组成
为了保证编程模型的兼容性,MRv2重用了其编程模型和数据处理引擎,但运行环境被完成重写
4,编程模型与数据处理引擎
虽然MRv2重用了MRv1的方式,但MRv2本身有相应的改进和优化
MapReduce编程接口有两套:新API和旧API
采用MRv1旧API编写的程序可直接使用之前的Jar包将程序运行在MRv2上
但采用MRv1新API编写的程序需要使用MRv2编程库重新编译并修改不兼容参数和返回值
5,运行环境
(1) MRv1运行环境由JobTracker和TaskTracker组成;JobTracker负责资源和任务的管理与调度; TaskTracker负责单个节点的资源管理和任务执行
(2) MRv2运行环境将资源管理和应用程序管理剥离,由ResourceManager和ApplicationMaster负责;
(3) ResourceManager专管资源管理和调度; ApplicationMaster负责与具体应用程序相关的任务切分、任务调度和容错
6,YARN基本架构
YARN是Hadoop2.0中的资源管理系统,基本设计思想是将MRv1中的JobTracker拆分为两个独立的服务:
全局的资源管理器ResourceManager,负责整个系统的资源管理和分配
每个应用程序特有的ApplicationMaster,负责单个应用程序的管理
7, YARN基本组成结构
YARN总体上仍然是Master/Slaves结构
在整个资源管理框架中,ResourceManager为Master,NodeManager为Slaves
ResourceManager负责对各个NodeManager上的资源进行统一管理和调度
当用户提交一个应用程序时,需要提供一个用以跟踪和管理这个程序的ApplicationMaster
负责向ResourceManager申请资源,并要求NodeManager启动可以占用一定资源的任务
由于不同的ApplicationMaster被分布到不同的节点上,因此它们之间不会相互影响
8, ResourceManager(RM)主要由两个组件构成:
1) 调度器(Scheduler),根据容量、队列等限制条件,将系统中的资源分配给各个正在运行的应用程序;
2) 而资源分配单位用一个抽象概念“Container”,Container是一个动态资源分配单位,它将内存、CPU、磁盘、网络等资源封装在一起,从而限定每个任务使用的资源量
9, 应用程序管理器(Applications Manager,ASM)负责管理整个系统中所有应用程序
包括负责监控或跟踪应用的执行状态,负责重新启动因应用执行失败或者硬件故障而产生的失败任务。还包括应用程序提交,与调度器协商资源以启动ApplicationMaster,监控ApplicationMaster运行状态,并在失败时重新启动它
10, ApplicationMaster(AM)用户提交的每个应用程序均包含一个AM,主要功能包括:
与RM调度器协商以获取资源。将得到的任务进一步分配给内部的任务,与NM通信以启动/停止任务。监控所有任务运行状态,并在任务运行失败时重新为任务申请资源以重启任务
11,NodeManager(NM)NM是每个节点上的资源和任务管理器,一方面,它会定时向RM汇报本节点上的资源使用情况和各个Container的运行状态。另一方面,它接收并处理来自AM的Container启动/停止等各种请求
12,Container Container是YARN中的资源抽象,封装了某个节点上的多维度资源
内存、磁盘、网络、CPU。当AM向RM申请资源时,RM为AM返回的资源便用Container表示。YARN会为每个任务分配一个Container,且该任务只能使用该Container中描述的资源。Container是一个动态资源划分单位,是根据应用程序的需求动态生成的
13,YARN通信协议
RPC协议:远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,使用此协议不需要了解底层网络技术。
在YARN中,任何两个需相互通信的组件之间仅有一个RPC协议
通信双方一端是Client,一端是Server,且Client总是主动连接Server。
YARN中主要RPC协议:
JobClient与RM之间——ApplicationClientProtocol:JobClient通过该协议提交应用程序、查询应用程序状态
Admin与RM之间——ResourceManagerAdministratorProtocol:Admin通过该协议更新系统配置文件
AM与RM之间——ApplicationMasterProtocol:AM通过该协议向RM注册和撤销自己,并为各个任务申请资源
14,YARN工作流程
1) 运行在YARN上的应用程序主要分为两类:
短应用程序
一定时间内可运行完成并正常退出的应用程序,如MapReduce作业
长应用程序
不出意外,永不终止运行的应用程序,通常是一些服务,如Hbase Service、Storm Service
2) 当用户向YARN中提交一个应用程序后,YARN将分两个阶段运行应用程序:
阶段1:启动ApplicationMaster
阶段2:由ApplicationMaster创建应用程序,为它申请资源,监控整个运行过程,直到运行完成
15, YARN总结与发展趋势
(1) 资源管理系统设计动机尽管目前YARN的设计框架比较适合运行类似于MapReduce这样的短作业,但它最终的定位是通用资源管理系统。
此类系统的动机主要解决以下两类问题:
提供集群资源利用率
服务自动化部署
(2) 双层调度架构,该架构可以看做一种分而治之的机制或是策略下发机制。
双层调度器仍保留一个经简化的集中式资源调度器,但具体任务相关的调度策略下放到各个应用程序调度器中完成。
典型代表是Mesos和YARN。
双层调度器的特点:
各个框架调度器并不知道整个集群资源使用情况,只是被动的接收资源;
资源调度器仅将可用的资源推送给各个框架,而由框架自己选择是使用还是拒绝这些资源;
一旦框架接收到新资源,再进一步将资源分配给其内部的任务,进而实现双层调度.
双层调度器的缺点:
各个框架无法知道整个集群的实时资源使用情况;
采用悲观锁,并发粒度小。
(3) 共享状态架构
此架构将双层调度器中的集中式资源调度模块简化成了一些持久化的共享数据和针对这些数据的验证代码;
而这里的“共享数据”实际上就是整个集群的实时资源使用信息.
学习测验:
1.请介绍MRv1的局限性,并说明其理由。
2.请介绍共享集群模式的好处,并说明其理由。
3.请从基本框架和编程模型两方面对比MRv1和MRv2?
4.请阐述YARN的基本组成结构?
5.请描述YARN的工作流程?
hadoop知识点总结(三)YARN设计理念及基本架构的更多相关文章
- Hadoop生态集群YARN详解
一,前言 Hadoop 2.0由三个子系统组成,分别是HDFS.YARN和MapReduce,其中,YARN是一个崭新的资源管理系统,而MapReduce则只是运行在YARN上的一个应用,如果把YAR ...
- Hadoop 新 MapReduce 框架 Yarn 详解【转】
[转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/] 简介: 本文介绍了 Hadoop 自 0.23.0 版本 ...
- Hadoop 新 MapReduce 框架 Yarn 详解
Hadoop 新 MapReduce 框架 Yarn 详解: http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ Ap ...
- Hadoop 系列(三)Java API
Hadoop 系列(三)Java API <dependency> <groupId>org.apache.hadoop</groupId> <artifac ...
- hadoop学习第三天-MapReduce介绍&&WordCount示例&&倒排索引示例
一.MapReduce介绍 (最好以下面的两个示例来理解原理) 1. MapReduce的基本思想 Map-reduce的思想就是“分而治之” Map Mapper负责“分”,即把复杂的任务分解为若干 ...
- 【转帖】Spark设计理念与基本架构
Spark设计理念与基本架构 https://www.cnblogs.com/swordfall/p/9280006.html 1.基本概念 Spark中的一些概念: RDD(resillient d ...
- Spring技术内幕:设计理念和整体架构概述(转)
程序员都很崇拜技术大神,很大一部分是因为他们发现和解决问题的能力,特别是线上出现紧急问题时,总是能够快速定位和解决. 一方面,他们有深厚的技术基础,对应用的技术知其所以然,另一方面,在采坑的过程中不断 ...
- 教你成为全栈工程师(Full Stack Developer) 四十五-一文读懂hadoop、hbase、hive、spark分布式系统架构
转载自http://www.shareditor.com/blogshow?blogId=96 机器学习.数据挖掘等各种大数据处理都离不开各种开源分布式系统,hadoop用于分布式存储和map-red ...
- Hadoop 系列文章(三) 配置部署启动YARN及在YARN上运行MapReduce程序
这篇文章里我们将用配置 YARN,在 YARN 上运行 MapReduce. 1.修改 yarn-env.sh 环境变量里的 JAVA_HOME 路径 [bamboo@hadoop-senior ha ...
随机推荐
- OpenSUSE 使用基础
OpenSUSE OpenSUSE 是一个基于 RPM 的发行版,这和 RHEL/CentOS 一致. 但是它的官方包管理器是专有的 zypper,挺好用的,软件也很新. 本文以 OpenSUSE L ...
- IDEA中配置Git,在Github上clone项目到IDEA
一.安装git 1.用homebrew安装git 运行以下命令安装 brew install git 默认的安装位置是 /usr/local/Cellar目录中(后面会用到) 二.在idea中配置Gi ...
- Java学习_泛型
什么是泛型. Java标准库提供的ArrayList内部就是一个Object[]数组,配合存储一个当前分配的长度,就可以充当"可变数组". public class ArrayLi ...
- Modbus 协议图文详解
1.概论 Modbus是一种串行通信协议,由于其协议简单易用,且没有版权要求,目前已经成为工业领域通信协议的实时标准.ModBus协议是又施耐德电气的前身Modicon公司在1979年提出的.Modb ...
- 【C++】《C++ Primer 》第十九章
第十九章 特殊工具与技术 一.控制内存分配 1. 重载new和delete new表达式的工作机理: string *sp = new string("a value"); //分 ...
- 【Linux】如何查找命令及历史记录history
如何查找命令及历史记录 文章目录 如何查找命令及历史记录 1.如何找到一个命令 2.命令的历史记录 3.一些实用的快捷键 4.小结 5.参考资料 如何找到一个命令.命令的历史记录.一些实用的快捷键.总 ...
- kubernets之向外部应用暴露应用
一 通过NodePort来暴露服务 前面已经介绍的服务的一些作用,例如将集群内部的应用暴露给集群内部的pod使用,将外部的应用通过服务暴露给内部应用使用,但是服务最大的作用不仅仅是这些 而是将集群内 ...
- 企业项目迁移go-zero全攻略(一)
作者:Mikael 最近发现 golang 社区里出了一个新兴的微服务框架.看了一下官方提供的工具真的很好用,只需要定义好 .api 文件模版代码都可以一键生成,只需要关心业务:同时 core 中的工 ...
- logicaldisk本地磁盘管理
在网上搜了很多,但是基本都是一样的,差不多都是互相转载摘抄,就那么几个寥寥无几的例子,所以我冒了很大的风险,自己经过多次的测试,对这个命令有了一些新的认识!拿出来分享一下! LOGICALDISK ...
- web dynpro配置注意事项
如果你想使用web dynpro 开发的应用,但是发现浏览器报错,那么你按照下面的步骤逐一进行检查吧.特别是返回的500错误,或者是你发现浏览器的地址栏中以http://<hostname> ...