YARN组件图

  • Container是YARN框架中对应资源的抽象,封装了运行节点上的资源(内存+CPU)

  • NodeManager负责Container状态的维护,通过心跳,把资源信息(剩余CPU、内存)传递给ResourceManager。

  • ResourceManager可以根据反馈的心跳决定可以调用的信息维护整个集群的资源状态数据。

    • 客户端提交任务会提交给ResourceManager。

    • ResourceManager向自身申请资源。

    • 申请资源后启动ApplicationMaster。

    • ResourceManager监控所有ApplicationMaster。

  • ApplicationMaster的主要职责:

    • 调度器索要根据客户端的调用启动每个Job的ApplicationMaster服务(启动前会申请资源)

    • 随时监控ApplicationMaster进程状况适当的资源容器,运行任务,跟踪应用程序的状态和监控它们的进程。

    • 处理任务的失败,重试。

    • 针对不同的任务(Job),会有不同的ApplicationMaster,比如启动MapReduce会执行MRpplicationMaster。

      • 如果存在Hadoop没有实现的ApplicationMaster,我们可以重写他的方法,实现我们自己需要的ApplicationMaster。

Job执行流程图

  1. 客户端提交任务会提交给ResourceManager,ResourceManager向自身申请资源。

  2. 申请资源后把Job信息发送给NodeManager,通知NodeManager调度自己的资源(container)启动ApplicationMaster。

  3. ApplicationMaster会根据Job信息,向ResourceManager申请现阶段要用的资源,比如MapReduce的Mapper阶段是不会申请Reduce阶段的资源的。

    • 申请的资源格式如下

    • Resource Manager会告诉ApplicationMaster允许使用的资源,如果只有1条就先返回1条。

    • 剩余需要的资源会继续请求

  4. ApplicationMaster获取到以后就会先调度这1条资源对应的Node Manager启动任务(Task)

    • Task就是真正的计算任务,比如Mapper。

    • 任务执行过程中,Task会向ApplicationMaster反馈任务进度、成功与否、报错信息。

    • ApplicationMaster根据反馈信息管理Task是终止还是继续进行、重新启动等。

    • Task完成以后ApplicationMaster会对Task做一个标记,执行成功、执行失败。

  5. 所有Task完成后,ApplicationMaster会对Job做一个标记,执行成功、执行失败。

Hadoop(八):YARN框架简介的更多相关文章

  1. Hadoop MapReduceV2(Yarn) 框架简介[转]

    对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介.使用和学习过老 H ...

  2. Hadoop MapReduceV2(Yarn) 框架简介

    http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详 ...

  3. Hadoop 新 MapReduce 框架 Yarn 详解【转】

    [转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/] 简介: 本文介绍了 Hadoop 自 0.23.0 版本 ...

  4. Hadoop 新 MapReduce 框架 Yarn 详解

    Hadoop 新 MapReduce 框架 Yarn 详解: http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ Ap ...

  5. Hadoop学习之YARN框架

    转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/,非常感谢分享! 对于业界的大数据存储及分布式处理系统来说,H ...

  6. 更快、更强——解析Hadoop新一代MapReduce框架Yarn(CSDN)

    摘要:本文介绍了Hadoop 自0.23.0版本后新的MapReduce框架(Yarn)原理.优势.运作机制和配置方法等:着重介绍新的Yarn框架相对于原框架的差异及改进. 编者按:对于业界的大数据存 ...

  7. Hadoop Yarn框架详细解析

    在说Hadoop Yarn之前,我们先来看看Yarn是怎样出现的.在古老的Hadoop1.0中,MapReduce的JobTracker负责了太多的工作,包括资源调度,管理众多的TaskTracker ...

  8. hadoop备战:yarn框架的搭建(mapreduce2)

    昨天没有写好了没有更新,今天一起更新,yarn框架也是刚搭建好的. 我这里把hadoop放在了我的个人用户hadoop下了,你也能够尝试把它放在/usr/local,考虑的问题就相对多点. 主要的软硬 ...

  9. hadoop备战:yarn框架的简单介绍(mapreduce2)

    新 Hadoop Yarn 框架原理及运作机制 重构根本的思想是将 JobTracker 两个基本的功能分离成单独的组件,这两个功能是资源管理和任务调度 / 监控.新的资源管理器全局管理全部应用程序计 ...

随机推荐

  1. js 运动的应用 新浪微博

    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/ ...

  2. let和var在for循环中的不同表现

    var声明变量: var只有函数作用域,没有块级作用域 //函数作用域的表现 function test(){ var i =10; console.log(i); } test(); console ...

  3. Java 并发同步工具(转)

    转自:https://www.jianshu.com/p/e80043ac4115 在 java 1.5 中,提供了一些非常有用的辅助类来帮助我们进行并发编程,比如 CountDownLatch,Cy ...

  4. tf.slice()函数详解(极详细)

    目录 1.官方注释 2.参数解释 3.例子 参考 @(tf.slice()函数详解 ) tf.slice()是TensorFlow库中分割张量的一个函数,其定义为def slice(input_, b ...

  5. 【TIJ4】第四章全部习题

    第四章 没啥好说的...... 4.1 package ex0401; //[4.1]写一个程序打印从1到100的值 public class PrintOneToHundred { public s ...

  6. mac开发错误:errSecInternalComponent

    errSecInternalComponent Command CodeSign failed with a nonzero exit code 修改方法: Build Settings -> ...

  7. 推荐几个来自 MOOCs的 Data Science

    数据科学是一个大领域,如果你想成为一个优秀的数据专家,自学是必要的技能. MOOCs是数据科学的主要来源.有许多网站提供了 MOOCs,比如Coursera.Coursera和Udacity都还不错. ...

  8. 记一次有趣的thinkphp代码执行

    0x00 前言 朋友之前给了个站,拿了很久终于拿下,简单记录一下. 0x01 基础信息 漏洞点:tp 5 method 代码执行,payload如下 POST /?s=captcha _method= ...

  9. C 实战练习题目1

    题目:有1.2.3.4个数字,能组成多少个互不相同且无重复数字的三位数?都是多少? 程序分析:可填在百位.十位.个位的数字都是1.2.3.4.组成所有的排列后再去 掉不满足条件的排列. 实例: #in ...

  10. tensorflow CNN 卷积神经网络中的卷积层和池化层的代码和效果图

    tensorflow CNN 卷积神经网络中的卷积层和池化层的代码和效果图 因为很多 demo 都比较复杂,专门抽出这两个函数,写的 demo. 更多教程:http://www.tensorflown ...