hadoop学习 的yarn
Yarn的产生
mapReduc1.0
1单点故障
2扩展效率低
3资源利用率高
降低运维成本
方便数据共享
多计算框架支持
MapReduce
Spark
Storm
Yarn的架构图
Yarn模块介绍
ResourceManger
负责集群资源的统一管理和调度
处理客户端请求
启动/监控ApplicationMaster
监控NodeManager
资源的分配与调度
NodeManager
负责单点资源的管理和使用
处理来自ResourceManager的命令
处理来自ApplicationMaster的命令
ApplicationMaster
负责应用程序的管理
数据的切分
为应用程序申请资源。并进一步分给内部任务
任务的监控与容错
Container
任务环境的抽象
任务运行的资源
任务启动命令
任务运行环境
Yarn资源调度器
多类型资源调度
Drf算法
Cpu和内存两种资源
提供多种资源调度
Fifo
队列 capaity Scheduler
Fair Scheduler
多租户的资源调度器
支持资源按比例分配
支持层级队列的划分
支持资源的枪占
Yarn 资源隔离方案
内存绝定生死
Cpu决定快慢
Yarn运行流程的描述
1由client端向ResourceManager 发送请求,
2 ResourceManager启动一个Contariner(容器)用于运行ApplicationMaster
3 ApplicationMaster启动完成后会向ResourceManager建立心跳机制
4 当处理机制不够时,ApplicationMaster会向ResourceManager发送申请请求
5 当ResourceManager接收到请求后会查询可用的contariner让后发送ApplicationMaster
6 由ApplicationMaster进行初始化,AplicationMaster与对应的nodeManage通信
要求nodeManager启动Contarner aplicationMaster与nodeManger建立心跳机制
从而对nodeManager运行的任务进行监控和管理
7 contariner运行期间,ApplicationMaster对Contariner进行监控,contarner通过rpc协议
向对应的ApplicationMaseter汇报自己的状态和进度
8运行期间client 直接与ApplicationMaster通信获取状态,进度
9 结束后ApplicationMaster会向ResourceManager汇报并且注销自己,并允许所属的Contariner收回
hadoop学习 的yarn的更多相关文章
- Hadoop学习之YARN框架
转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/,非常感谢分享! 对于业界的大数据存储及分布式处理系统来说,H ...
- hadoop学习之yarn资源管理
一.yarn简介 yarn是在hadoop2.x中才引入的一个新的机制,在hadoop1.x中MapReduce任务需要同时做任务管理和资源分配,那么引入yarn之后,hadoop的资源管理的任务就全 ...
- Hadoop学习笔记—Yarn
目录 一些基本知识 ResourceManager 的恢复 Resource Manager的HA YARN Node Labels YARN Node Attributes Web Applicat ...
- Hadoop学习路线图
Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括, ...
- 【Hadoop学习之七】Hadoop YARN
环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 hadoop-3.1.1 YARN: ...
- Hadoop学习笔记—22.Hadoop2.x环境搭建与配置
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...
- Hadoop学习(5)-- Hadoop2
在Hadoop1(版本<=0.22)中,由于NameNode和JobTracker存在单点中,这制约了hadoop的发展,当集群规模超过2000台时,NameNode和JobTracker已经不 ...
- 阿里封神谈hadoop学习之路
阿里封神谈hadoop学习之路 封神 2016-04-14 16:03:51 浏览3283 评论3 发表于: 阿里云E-MapReduce >> 开源大数据周刊 hadoop 学生 s ...
- 大数据Hadoop学习之搭建hadoop平台(2.2)
关于大数据,一看就懂,一懂就懵. 一.概述 本文介绍如何搭建hadoop分布式集群环境,前面文章已经介绍了如何搭建hadoop单机环境和伪分布式环境,如需要,请参看:大数据Hadoop学习之搭建had ...
随机推荐
- 用xtrabackup实现mysql的主从复制 阿里云rds到自己创建mysql
来源 http://blog.51cto.com/825536458/1803968参考https://segmentfault.com/a/1190000003063874 如果我们用传统的mysq ...
- Python爬虫环境常用库安装
1:urllib urllib.request这两个库是python自带的库,不需要重新安装,在python中输入如下代码: import urllibimport urllib.requestres ...
- centos7系统root无法通过su切换到某个普通用户
[root@test ~]# su webappsu: failed to execute /bin/bash: Resource temporarily unavailable [root@test ...
- 七周成为数据分析师04_Excel
Excel适用于敏捷.快速.需要立即响应的需求: 而 Python.BI 等适用于常规.频繁.可复用可工程化的需求 设计到 Excel 的内容主要需要进行实操练习,这里只做一个陈列,具体知识请参考: ...
- svg path 动画效果
http://www.zhangxinxu.com/wordpress/2014/04/animateion-line-drawing-svg-path-%E5%8A%A8%E7%94%BB-%E8% ...
- BeautifulSoup4系列四
前言 很多时候我们无法直接定位到某个元素,我们可以先定位它的父元素,通过父元素来找子元素就比较容易 一.子节点 1.以博客园首页的摘要为例:<div class="c_b_p_desc ...
- Python第三方库之openpyxl(2)
Python第三方库之openpyxl(2) 简单的使用 写一个工作簿 >>> from openpyxl import Workbook >>> from ope ...
- iOS WKWebView
Webkit 是 iOS 8.0 后提供的新的框架,组件WKWebView比较UIWebView 速度更快.占用内存更少了,可支持性更多 WKWebView可通过KVO监听属性 title.estim ...
- struts2知识系统整理
1.MVC 和 JSP Model 2 ** a.:M-Model 模型 包含两部分:业务数据和业务处理逻辑 b.V-View 视图:视图(View)的职责是负责显示界面和用户交互(收集用户信息 ...
- 【UML】关联、依赖、泛化、实现等关系说明
导读:再上一篇博客中,介绍了UML的9种图,现在,将对UML中的关系进行总结.图很重要,但图形中的各种关系也很重要,这扯关系的事儿,从来都是大事儿. 一.基本定义 1.1 总体说明 1.2 具体定义 ...