YARN结构分析与工作流程
YARN Architecture
Link: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YARN.html
YARN结构图。图中有两个Application,因此有两个ApplicationMaster。4个节点,其中一个节点运行ResourceManager,另外3个节点运行NodeManager。
Yarn的基本思想就是让资源管理器和作业调度/监视器分别成为守护进程。RM和NM构成了数据计算框架。
1、ResourceManager属于集群级别,整个集群只有一个RM,RM负责集群中所有应用的资源管理,当多个作业同时提交时,RM在多个竞争的作业之间权衡优先级并进行资源的仲裁,当资源分配完毕后,RM就不再关心每个应用内部的资源分配,也不关注每个应用的状态。因此RM对于每个应用来说,只进行一次资源分配,大大减轻了RM的负荷,使其扩展性大大增强。
RM主要包含两个部分:
(1)Yarn Scheduler。Scheduler根据不同应用对资源的需求情况(Container, memory, cpu, disk, network etc),为应用分配资源。它并不监控应用的状态,不会重启失败的tasks。它基于应用程序的资源申请来执行资源调度,目前能够调度的资源包括CPU核数和内存。支持的调度器包括:FIFO调度器、Capacity调度器、自适应调度器、自学习调度器、动态优先级调度器等。
The Scheduler has a pluggable policy which is responsible for partitioning the cluster resources among the various queues, applications etc. The current schedulers such as the CapacityScheduler and the FairScheduler would be some examples of plug-ins
(2)ApplicationManager。ApplicationManager负责管理已经提交的应用的集合。在应用提交后,首先检查ApplicationMaster资源请求的合法性,然后确定没有其他已经提交的应用使用了相同的ID。它还负责记录和管理已经结束的应用。
ApplicationManager负责:
①接收提交的作业
②negotiating the first container for executing the application specific ApplicationMaster
③restarting the ApplicationMaster container on failure
2、NodeManager属于节点(机器)级别,每个机器有一个NM,它负责保持与RM的同步,跟踪节点的健康状况,管理各个COntainer的生命周期,监控每个Container的资源使用情况,管理分布式缓存,管理各个Container生成的日志,提供不同Yarn应用可能需要的辅助服务。其中对于Container的管理是NodeManager的核心功能。
每个机器的NM的行为:
(1) 对它的containers负责,启动并监控containers的资源使用情况(cpu, memory, disk, network)。每个container在给定的资源下执行针对于Application的进程(可以是Unix Process或是Linux cgroup)
(2) 向RM发送报告
3、ApplicationMaster属于应用级别,每个应用对应一个AM,不同的计算矿建的AM的实现也是不同的。它负责向RM申请资源,在对应的NodeManager上启动Container来执行任务,并在应用中不断监控这些Container的状态。
每个应用的AM的行为:
(1) 向RM请求资源(与RM的Scheduler协商)
(2) 与containers协作完成任务的执行和监视
YARN结构分析与工作流程的更多相关文章
- Yarn框架和工作流程研究
一.概述 将公司集群升级到Yarn已经有一段时间,自己也对Yarn也研究了一段时间,现在开始记录一下自己在研究Yarn过程中的一些笔记.这篇blog主要主要从大体上说说Yarn的基本架构以及其 ...
- MapReduce与Yarn 的详细工作流程分析
MapReduce详细工作流程之Map阶段 如上图所示 首先有一个200M的待处理文件 切片:在客户端提交之前,根据参数配置,进行任务规划,将文件按128M每块进行切片 提交:提交可以提交到本地工作环 ...
- Scrapy项目结构分析和工作流程
新建的空Scrapy项目: spiders目录: 负责存放继承自scrapy的爬虫类.里面主要是用于分析response并提取返回的item或者是下一个URL信息,每个Spider负责处理特定的网站或 ...
- Spark基本工作流程及YARN cluster模式原理(读书笔记)
Spark基本工作流程及YARN cluster模式原理 转载请注明出处:http://www.cnblogs.com/BYRans/ Spark基本工作流程 相关术语解释 Spark应用程序相关的几 ...
- yarn的基本组成和工作流程
yarn是负责资源管理的,协调各个应用程序的资源使用情况 一.基本组成 yarn主要由以下几个部分组成 1.resourcemanager 主要负责资源的调度和应用程序的管理 (1)调度器 调度器是将 ...
- yarn工作流程
YARN 是 Hadoop 2.0 中的资源管理系统, 它的基本设计思想是将 MRv1 中的 JobTracker拆分成了两个独立的服务 : 一个全局的资源管理器 ResourceManager 和每 ...
- Yarn的工作流程
http://study.163.com/course/courseLearn.htm?courseId=1002887002#/learn/video?lessonId=1003346099& ...
- Android 4.4 Kitkat Phone工作流程浅析(六)__InCallActivity显示更新流程
本文来自http://blog.csdn.net/yihongyuelan 转载请务必注明出处 本文代码以MTK平台Android 4.4为分析对象,与Google原生AOSP有些许差异,请读者知悉. ...
- kafka工作流程| 命令行操作
1. 概述 数据层:结构化数据+非结构化数据+日志信息(大部分为结构化) 传输层:flume(采集日志--->存储性框架(如HDFS.kafka.Hive.Hbase))+sqoop(关系型数 ...
随机推荐
- NGUI可展开列表的实现
本文来自网易云社区 作者:汪毅军 最近使用了NGUI做了下可展开列表,其主要思路如下:首先最外层使用Scroll view以达到滑动效果,然后列表使用UITable进行排列,最后通过点击Item控制I ...
- 巧用 Python 找工作(资料在文末)
前言 近年来 Python 之火大家都有感而知,那亲们知道北京的 Python 开发岗位.运维开发岗位招聘地域都是如何分布的吗?薪水如何?是否有前景等等,这些数据呢直接通过招聘信息来了解到企业用人是最 ...
- 底部线条css样式
1.首先固定宽高 (将文字移至左边,例如 “姓名:”) .line{ width:100%; height:40px; float:left; border-bottom:1px solid #ccc ...
- Android Studio 导入别人项目时候遇见的问题“Gradle DSL method not found: 'compile()'”
Gradle DSL method not found: 'compile() 遇见这个问题截图: 解决: 在项目的根目录的build.gradle文件中是不是用了compile方法 如果有的话,剪切 ...
- Docker创建数据卷
当程序在容器中运行时,需要与其他容器中的程序或者容器外部的程序进行文件读写操作时,就需要进行数据的交换:容器内部的文件系统,是一个临时层,当容器停止运行并被删除时,这个临时层就会被一同丢弃:为了达到从 ...
- java学习(五)Number类、Math类
Number类 顾名思义嘛,搞数字的,以前也用到过,就是相当于内置了一堆数字的类嘛,用哪种类型的就引用下这个包就好了呗 Integer.Long.Byte.Double.Float.Short都是Nu ...
- JUC——线程同步辅助工具类(Semaphore,CountDownLatch,CyclicBarrier)
锁的机制从整体的运行转态来讲核心就是:阻塞,解除阻塞,但是如果仅仅是这点功能,那么JUC并不能称为一个优秀的线程开发框架,然而是因为在juc里面提供了大量方便的同步工具辅助类. Semaphore信号 ...
- 关于摄像头PCB图设计经验谈
摄像头PCB设计,因为客观原因等.容易引起干扰这是个涉及面大的问题.我们抛开其它因素,仅仅就PCB设计环节来说,分享以下几点心得,供参考交流: 1.合理布置电源滤波/退耦电容:一般在原理图中仅画出若干 ...
- Python自动化运维
一.DNS域名轮询业务监控 链接:https://www.cnblogs.com/baishuchao/articles/9128953.html 二.文件内容差异对比方法 链接:https://ww ...
- java-POI处理excel文件方法
处理excel文件的开源库有很多,常见的POI.jxls..... 重点分析下POI处理excel的方法: 1.写文件 // 按照行优先进行数据表格的初始化 public static void cr ...