YARN设计理念与基本架构

1,MRv1的局限性:扩展性差,可靠性差,资源利用率低,无法支持多种计算框架

2,YARN基本设计思想

1)基本框架对比

Hadoop1.0中,JobTracker由资源管理和作业控制两部分组成

MRv1的局限性多,正是由于Hadoop对JobTracker赋予的功能过多而造成负载过重

从设计角度,Hadoop未能将资源管理相关功能与应用程序相关功能分开,造成Hadoop难以支持多种计算框架

2)MRv2的基本设计思想是将JobTracker的两个主要功能分拆成两个独立的进程

资源管理进程与具体应用程序无关,负责整个集群的资源管理

作业控制进程直接与应用程序相关模块进行通信,且每个作业控制进程只负责管理一个作业

3,编程模型对比

MRv1主要由编程模型、数据处理引擎和运行环境三部分组成

为了保证编程模型的兼容性,MRv2重用了其编程模型和数据处理引擎,但运行环境被完成重写

4,编程模型与数据处理引擎

虽然MRv2重用了MRv1的方式,但MRv2本身有相应的改进和优化

MapReduce编程接口有两套:新API和旧API

采用MRv1旧API编写的程序可直接使用之前的Jar包将程序运行在MRv2上

但采用MRv1新API编写的程序需要使用MRv2编程库重新编译并修改不兼容参数和返回值

5,运行环境

(1)    MRv1运行环境由JobTracker和TaskTracker组成;JobTracker负责资源和任务的管理与调度; TaskTracker负责单个节点的资源管理和任务执行

(2)   MRv2运行环境将资源管理和应用程序管理剥离,由ResourceManager和ApplicationMaster负责;

(3)   ResourceManager专管资源管理和调度; ApplicationMaster负责与具体应用程序相关的任务切分、任务调度和容错

6,YARN基本架构

YARN是Hadoop2.0中的资源管理系统,基本设计思想是将MRv1中的JobTracker拆分为两个独立的服务:

全局的资源管理器ResourceManager,负责整个系统的资源管理和分配

每个应用程序特有的ApplicationMaster,负责单个应用程序的管理

7, YARN基本组成结构

YARN总体上仍然是Master/Slaves结构

在整个资源管理框架中,ResourceManager为Master,NodeManager为Slaves

ResourceManager负责对各个NodeManager上的资源进行统一管理和调度

当用户提交一个应用程序时,需要提供一个用以跟踪和管理这个程序的ApplicationMaster

负责向ResourceManager申请资源,并要求NodeManager启动可以占用一定资源的任务

由于不同的ApplicationMaster被分布到不同的节点上,因此它们之间不会相互影响

8, ResourceManager(RM)主要由两个组件构成:

1)       调度器(Scheduler),根据容量、队列等限制条件,将系统中的资源分配给各个正在运行的应用程序;

2)      而资源分配单位用一个抽象概念“Container”,Container是一个动态资源分配单位,它将内存、CPU、磁盘、网络等资源封装在一起,从而限定每个任务使用的资源量

9, 应用程序管理器(Applications Manager,ASM)负责管理整个系统中所有应用程序

包括负责监控或跟踪应用的执行状态,负责重新启动因应用执行失败或者硬件故障而产生的失败任务。还包括应用程序提交,与调度器协商资源以启动ApplicationMaster,监控ApplicationMaster运行状态,并在失败时重新启动它

10, ApplicationMaster(AM)用户提交的每个应用程序均包含一个AM,主要功能包括:

与RM调度器协商以获取资源。将得到的任务进一步分配给内部的任务,与NM通信以启动/停止任务。监控所有任务运行状态,并在任务运行失败时重新为任务申请资源以重启任务

11,NodeManager(NM)NM是每个节点上的资源和任务管理器,一方面,它会定时向RM汇报本节点上的资源使用情况和各个Container的运行状态。另一方面,它接收并处理来自AM的Container启动/停止等各种请求

12,Container   Container是YARN中的资源抽象,封装了某个节点上的多维度资源

内存、磁盘、网络、CPU。当AM向RM申请资源时,RM为AM返回的资源便用Container表示。YARN会为每个任务分配一个Container,且该任务只能使用该Container中描述的资源。Container是一个动态资源划分单位,是根据应用程序的需求动态生成的

13,YARN通信协议

RPC协议:远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,使用此协议不需要了解底层网络技术。

在YARN中,任何两个需相互通信的组件之间仅有一个RPC协议

通信双方一端是Client,一端是Server,且Client总是主动连接Server。

YARN中主要RPC协议:

JobClient与RM之间——ApplicationClientProtocol:JobClient通过该协议提交应用程序、查询应用程序状态

Admin与RM之间——ResourceManagerAdministratorProtocol:Admin通过该协议更新系统配置文件

AM与RM之间——ApplicationMasterProtocol:AM通过该协议向RM注册和撤销自己,并为各个任务申请资源

14,YARN工作流程

1)      运行在YARN上的应用程序主要分为两类:

短应用程序

一定时间内可运行完成并正常退出的应用程序,如MapReduce作业

长应用程序

不出意外,永不终止运行的应用程序,通常是一些服务,如Hbase Service、Storm Service

2)      当用户向YARN中提交一个应用程序后,YARN将分两个阶段运行应用程序:

阶段1:启动ApplicationMaster

阶段2:由ApplicationMaster创建应用程序,为它申请资源,监控整个运行过程,直到运行完成

15, YARN总结与发展趋势

(1)   资源管理系统设计动机尽管目前YARN的设计框架比较适合运行类似于MapReduce这样的短作业,但它最终的定位是通用资源管理系统。

此类系统的动机主要解决以下两类问题:

提供集群资源利用率

服务自动化部署

(2)   双层调度架构,该架构可以看做一种分而治之的机制或是策略下发机制。

双层调度器仍保留一个经简化的集中式资源调度器,但具体任务相关的调度策略下放到各个应用程序调度器中完成。

典型代表是Mesos和YARN。

双层调度器的特点:

各个框架调度器并不知道整个集群资源使用情况,只是被动的接收资源;

资源调度器仅将可用的资源推送给各个框架,而由框架自己选择是使用还是拒绝这些资源;

一旦框架接收到新资源,再进一步将资源分配给其内部的任务,进而实现双层调度.

双层调度器的缺点:

各个框架无法知道整个集群的实时资源使用情况;

采用悲观锁,并发粒度小。

(3)   共享状态架构

此架构将双层调度器中的集中式资源调度模块简化成了一些持久化的共享数据和针对这些数据的验证代码;

而这里的“共享数据”实际上就是整个集群的实时资源使用信息.

学习测验:

1.请介绍MRv1的局限性,并说明其理由。

2.请介绍共享集群模式的好处,并说明其理由。

3.请从基本框架和编程模型两方面对比MRv1和MRv2?

4.请阐述YARN的基本组成结构?

5.请描述YARN的工作流程?

hadoop知识点总结(三)YARN设计理念及基本架构的更多相关文章

  1. Hadoop生态集群YARN详解

    一,前言 Hadoop 2.0由三个子系统组成,分别是HDFS.YARN和MapReduce,其中,YARN是一个崭新的资源管理系统,而MapReduce则只是运行在YARN上的一个应用,如果把YAR ...

  2. Hadoop 新 MapReduce 框架 Yarn 详解【转】

    [转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/] 简介: 本文介绍了 Hadoop 自 0.23.0 版本 ...

  3. Hadoop 新 MapReduce 框架 Yarn 详解

    Hadoop 新 MapReduce 框架 Yarn 详解: http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ Ap ...

  4. Hadoop 系列(三)Java API

    Hadoop 系列(三)Java API <dependency> <groupId>org.apache.hadoop</groupId> <artifac ...

  5. hadoop学习第三天-MapReduce介绍&&WordCount示例&&倒排索引示例

    一.MapReduce介绍 (最好以下面的两个示例来理解原理) 1. MapReduce的基本思想 Map-reduce的思想就是“分而治之” Map Mapper负责“分”,即把复杂的任务分解为若干 ...

  6. 【转帖】Spark设计理念与基本架构

    Spark设计理念与基本架构 https://www.cnblogs.com/swordfall/p/9280006.html 1.基本概念 Spark中的一些概念: RDD(resillient d ...

  7. Spring技术内幕:设计理念和整体架构概述(转)

    程序员都很崇拜技术大神,很大一部分是因为他们发现和解决问题的能力,特别是线上出现紧急问题时,总是能够快速定位和解决. 一方面,他们有深厚的技术基础,对应用的技术知其所以然,另一方面,在采坑的过程中不断 ...

  8. 教你成为全栈工程师(Full Stack Developer) 四十五-一文读懂hadoop、hbase、hive、spark分布式系统架构

    转载自http://www.shareditor.com/blogshow?blogId=96 机器学习.数据挖掘等各种大数据处理都离不开各种开源分布式系统,hadoop用于分布式存储和map-red ...

  9. Hadoop 系列文章(三) 配置部署启动YARN及在YARN上运行MapReduce程序

    这篇文章里我们将用配置 YARN,在 YARN 上运行 MapReduce. 1.修改 yarn-env.sh 环境变量里的 JAVA_HOME 路径 [bamboo@hadoop-senior ha ...

随机推荐

  1. LockSupport的深入浅出

    public static void main(String[] args)throws Exception { final Object obj = new Object(); Thread A = ...

  2. JVM参数调优总结

    一.前言 要想成为一名高级Java开发具备JVM调优的能力必不可少,能够根据项目实际情况进行JVM调优的前提是理解JVM原理和常用JVM参数的含义及作用,虽然<深入理解Java虚拟机>这本 ...

  3. cmake的安装

    安装cmake有2种方式 安装方式1:源码安装 1.下载cmake源码包(https://cmake.org/download/),解压后进入解压目录 2.执行安装配置命令:配置软件二进制安装到/us ...

  4. TurtleBot3 Waffle (tx2版华夫)(11)建图-karto建图

    1)[Remote PC] 启动roscore $ roscore 2)[TurBot3] 启动turbot3 $ roslaunch turbot3_bringup minimal.launch 3 ...

  5. 原来大数据 Hadoop 是这样存储数据的

    HDFS概述 产生背景 随着数据量越来越大,在一个操作系统中存不下所有的数据.需要将这些数据分配到更多的操作系统中,带来的问题是多操作系统不方便管理和维护.需要一种系统来管理多台机器上的文件,这就是分 ...

  6. 记一次Hadoop安装部署过程

    实验名称:Hadoop安装部署 一.实验环境: 虚拟机数量:3个 (1个master,2个slave:slave01,slave02) 主节点master信息: 操作系统:CentOS7.5 软件包位 ...

  7. Head First 设计模式 —— 07. 适配器模式

    思考题 你能想到真实世界中,还有哪些适配器的例子? P236 HDMI 转 VGA 转换器 Type-C 转 3.5mm 线 适配器模式解析 客户使用适配器的过程: P241 客户通过目标接口调用适配 ...

  8. 用隧道协议实现不同dubbo集群间的透明通信

    用隧道协议实现不同dubbo集群间的透明通信 前言 笔者最近完成了一个非常有意思的隧道机制(已在产线运行),可以让注册到不同zookeeper之间的dubbo集群之间能够正常进行通信.如下图所示: 例 ...

  9. 【JDBC核心】commons-dbutils

    commons-dbutils 简介 commons-dbutils 是 Apache 组织提供的一个开源 JDBC 工具类库,它是对 JDBC 的简单封装,学习成本极低,并且使用 commons-d ...

  10. Netty学习:ChannelHandler执行顺序详解,附源码分析

    近日学习Netty,在看书和实践的时候对于书上只言片语的那些话不是十分懂,导致尝试写例子的时候遭遇各种不顺,比如decoder和encoder还有HttpObjectAggregator的添加顺序,研 ...