YARN组件图

  • Container是YARN框架中对应资源的抽象,封装了运行节点上的资源(内存+CPU)

  • NodeManager负责Container状态的维护,通过心跳,把资源信息(剩余CPU、内存)传递给ResourceManager。

  • ResourceManager可以根据反馈的心跳决定可以调用的信息维护整个集群的资源状态数据。

    • 客户端提交任务会提交给ResourceManager。

    • ResourceManager向自身申请资源。

    • 申请资源后启动ApplicationMaster。

    • ResourceManager监控所有ApplicationMaster。

  • ApplicationMaster的主要职责:

    • 调度器索要根据客户端的调用启动每个Job的ApplicationMaster服务(启动前会申请资源)

    • 随时监控ApplicationMaster进程状况适当的资源容器,运行任务,跟踪应用程序的状态和监控它们的进程。

    • 处理任务的失败,重试。

    • 针对不同的任务(Job),会有不同的ApplicationMaster,比如启动MapReduce会执行MRpplicationMaster。

      • 如果存在Hadoop没有实现的ApplicationMaster,我们可以重写他的方法,实现我们自己需要的ApplicationMaster。

Job执行流程图

  1. 客户端提交任务会提交给ResourceManager,ResourceManager向自身申请资源。

  2. 申请资源后把Job信息发送给NodeManager,通知NodeManager调度自己的资源(container)启动ApplicationMaster。

  3. ApplicationMaster会根据Job信息,向ResourceManager申请现阶段要用的资源,比如MapReduce的Mapper阶段是不会申请Reduce阶段的资源的。

    • 申请的资源格式如下

    • Resource Manager会告诉ApplicationMaster允许使用的资源,如果只有1条就先返回1条。

    • 剩余需要的资源会继续请求

  4. ApplicationMaster获取到以后就会先调度这1条资源对应的Node Manager启动任务(Task)

    • Task就是真正的计算任务,比如Mapper。

    • 任务执行过程中,Task会向ApplicationMaster反馈任务进度、成功与否、报错信息。

    • ApplicationMaster根据反馈信息管理Task是终止还是继续进行、重新启动等。

    • Task完成以后ApplicationMaster会对Task做一个标记,执行成功、执行失败。

  5. 所有Task完成后,ApplicationMaster会对Job做一个标记,执行成功、执行失败。

Hadoop(八):YARN框架简介的更多相关文章

  1. Hadoop MapReduceV2(Yarn) 框架简介[转]

    对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介.使用和学习过老 H ...

  2. Hadoop MapReduceV2(Yarn) 框架简介

    http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详 ...

  3. Hadoop 新 MapReduce 框架 Yarn 详解【转】

    [转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/] 简介: 本文介绍了 Hadoop 自 0.23.0 版本 ...

  4. Hadoop 新 MapReduce 框架 Yarn 详解

    Hadoop 新 MapReduce 框架 Yarn 详解: http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ Ap ...

  5. Hadoop学习之YARN框架

    转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/,非常感谢分享! 对于业界的大数据存储及分布式处理系统来说,H ...

  6. 更快、更强——解析Hadoop新一代MapReduce框架Yarn(CSDN)

    摘要:本文介绍了Hadoop 自0.23.0版本后新的MapReduce框架(Yarn)原理.优势.运作机制和配置方法等:着重介绍新的Yarn框架相对于原框架的差异及改进. 编者按:对于业界的大数据存 ...

  7. Hadoop Yarn框架详细解析

    在说Hadoop Yarn之前,我们先来看看Yarn是怎样出现的.在古老的Hadoop1.0中,MapReduce的JobTracker负责了太多的工作,包括资源调度,管理众多的TaskTracker ...

  8. hadoop备战:yarn框架的搭建(mapreduce2)

    昨天没有写好了没有更新,今天一起更新,yarn框架也是刚搭建好的. 我这里把hadoop放在了我的个人用户hadoop下了,你也能够尝试把它放在/usr/local,考虑的问题就相对多点. 主要的软硬 ...

  9. hadoop备战:yarn框架的简单介绍(mapreduce2)

    新 Hadoop Yarn 框架原理及运作机制 重构根本的思想是将 JobTracker 两个基本的功能分离成单独的组件,这两个功能是资源管理和任务调度 / 监控.新的资源管理器全局管理全部应用程序计 ...

随机推荐

  1. zabbix图表出现中文乱码

    搭建完成Zabbix监控服务器之后,切换到中文语言,图表展示出现乱码,如图所示 按照网上流传的上传windows下的字体的方法,还是不行,最后发现是PHP编译时的问题: php在编译时开启了-enab ...

  2. kafka实现无消息丢失与精确一次语义(exactly once)处理

    在很多的流处理框架的介绍中,都会说kafka是一个可靠的数据源,并且推荐使用Kafka当作数据源来进行使用.这是因为与其他消息引擎系统相比,kafka提供了可靠的数据保存及备份机制.并且通过消费者位移 ...

  3. 学习Shader所需的数学基础(坐标系,点和矢量)

    数学对于计算机图形学的重要性是不言而喻的.在学习Shader之前,首先就要打好数学基础,好在入门Unity Shader所需的数学知识都是线性代数中很基础的的内容.按部就班的来,第一篇文章记录总结的是 ...

  4. 3. webdriver的常用方法

    WebDriver常用方法: clear(): 清除文本. send_keys (value): 模拟按键输入. click(): 单击元素. submit():用于提交表单 from seleniu ...

  5. vscode回车补全代码

    VsCode设置回车补全代码而不换行 有一部分人不习惯用tab键补全代码,我就是其中之一,习惯了回车补全的我决定设置一波,网上找了很多, 没找到比较详细的,所以自己写一个 有一个叫keybinding ...

  6. http server部署discuz

    httpd服务器搭建discuz 第一步.数据库的配置 create database discuz; grant all privileges on discuz.* to 'discuz'@'lo ...

  7. BookStore示例项目---菜单栏UI分析

    部署 参照 ABP示例项目BookStore搭建部署 项目解构 1).动态脚本代理 启动项目时,默认会调用两个接口 /Abp/ApplicationConfigurationScript /Abp/S ...

  8. 使命召唤:战区国际服ID注册与登录

    命召唤:战区 国际服ID注册与登录 1.下面官网网页注册国际服账号.2登录游戏.就这么简单.(前提是网咖.电竞宾馆.已经提供好游戏)  !!!注意 如果是网吧网咖电竞宾馆,用其给你提供的游戏图标进入游 ...

  9. [STL] Codeforces 69E Subsegments

    Subsegments time limit per test 1 second memory limit per test 256 megabytes input standard input ou ...

  10. 编译器移植到.NET Core失败记录和对.NET未来感想

    .NET Core是微软力推的新平台,影响力好像还越来越大.为了对这一行业趋势有所准备,最近把自己搞的编程语言的编译器从.NET移植.NET Core,以实现跨平台在Linux上运行,然而失败了. 原 ...