Hadoop Yarn源码 - day1

【Hadoop Yarn源码 - day1】的更多相关文章

Hadoop Yarn源码 - day1

Hadoop 2.6.0下面的关于Yarn工程,如下所示,主要有以下七个module: hadoop-yarn-api:和外部平台交互的接口 hadoop-yarn-applications hadoop-yarn-client hadoop-yarn-common:yarn client和server可以用到的一些实用工具 hadoop-yarn-registry hadoop-yarn-server:hadoop-yarn-api的具体实现 hadoop-yarn-ser…

Hadoop Yarn源码 - day2

接着昨天的继续看hadoop-yarn-api,昨天看了api package下的4个协议,今天来看下con package下的代码 conf目录下的内容比较少,就4个文件分别是ConfigurationProvider, ConfigurationProviderFactory,HAUtil以及YarnConfiguration 首先来看YarnConfiguration这个类: 图1 YarnConfiguration 方法截图 YarnConfiguration 类中的方法方…

获取hadoop的源码和通过eclipse关联hadoop的源码

一.获取hadoop的源码首先通过官网下载hadoop-2.5.2-src.tar.gz的软件包,下载好之后解压发现出现了一些错误,无法解压缩, 因此有部分源码我们无法解压 ,因此在这里我讲述一下如何通过maven来获取完整的源码: 需要说明的是,在使用maven的时候,需要先安装jdk,protoc ,如果没有安装可以参考http://www.cnblogs.com/ljy2013/articles/4461268.html (1)通过命令行进入hadoop-2.4.0-src\hadoop…

Yarn源码分析之MRAppMaster上MapReduce作业处理总流程（一）

我们知道,如果想要在Yarn上运行MapReduce作业,仅需实现一个ApplicationMaster组件即可,而MRAppMaster正是MapReduce在Yarn上ApplicationMaster的实现,由其控制MR作业在Yarn上的执行.如此,随之而来的一个问题就是,MRAppMaster是如何控制MapReduce作业在Yarn上运行的,换句话说,MRAppMaster上MapReduce作业处理总流程是什么?这就是本文要研究的重点. 通过MRAppMaster类的定义我们就能看出…

Hadoop RPC源码分析

Hadoop RPC源码分析上一篇文章http://www.cnblogs.com/dycg/p/rpc.html 讲了Hadoop RPC的使用方法,这一次我们从demo中一层层进行分析. RPC说白了,就3个核心,交互协议.服务端.客户端. 在Hadoop RPC(hadoop-common-2.4.jar)中也是这样交互协议 org.apache.hadoop.ipc.VersionedProtocol ,所有协议的父类其实就2个方法,版本与签名.不同版本与签名的协议,就算同一个类名…

Yarn源码分析之如何确定作业运行方式Uber or Non-Uber？

在MRAppMaster中,当MapReduce作业初始化时,它会通过作业状态机JobImpl中InitTransition的transition()方法,进行MapReduce作业初始化相关操作,而这其中就包括: 1.调用createSplits()方法,创建分片,并获取任务分片元数据信息TaskSplitMetaInfo数组taskSplitMetaInfo: 2.确定Map Task数目numMapTasks:分片元数据信息数组的长度,即有多少分片就有多少numMapTasks: 3.确定…