http://www.itxm.net/a/dashuju/2016/0610/279.html…

这是我在几个QQ群发起的Hadoop每日一讨论小活动,每天中午2点左右发出一个关于Hadoop的知识片段,在此做一个整理. [每日一讨论]之计算框架(2013-5-21) 就计算框架而言,Hadoop眼下比較成熟的仅仅有离线计算框架MapReduce(通常执行时间在1min以上),以及构建在MapReduce之上支持sql的Hive.随着发展.实时计算(通常执行时间在0~5s)有了需求,于是诞生了仿照Google dremel实现的Apache Drill和Cloduera impala,Twi…

本文是董西成的Hadoop技术内幕一书的读书章节总结. 第八章 Task运行过程分析 所有Task需要周期性地向TaskTracker汇报最新进度和计数器值,而这正是由Reporter组件实现的,其中Reporter汇报的信息中包含两个部分:任务执行进度以及任务计数器值.任务执行进度hadoop采用简单的线性模型计算每个阶段的进度值,对于Map Task而言,作为一个大阶段不再分解,一般实用RecordReader中的getProgress()方法划定执行进度:对于Reduce Task而言,可…

这是我收集的两本关于Hadoop的书,高清PDF版,在此和大家分享: 1.<Hadoop技术内幕:深入理解MapReduce架构设计与实现原理>董西成 著  机械工业出版社2013年5月出版 2.<Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理>蔡斌.陈湘萍 著  机械工业出版社2013年4月出版 百度网盘下载地址: http://pan.baidu.com/s/1sjNmkFj…

1.1 源代码学习环境 1.1.1 基础软件的下载 JDK-http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html Ant-http://ant.apache.org/bindownload.cgi Cygwin-http://www.cygwin.com/ Eclipse-http://www.eclipse.org/downloads/ 1.1.2 Windows环境 D:\had…

Hadoop核心 1.HDFS:高容错性.高伸缩性……,允许用户将Hadoop部署在廉价的硬件上,构建分布式系统 2.MapReduce:分布式计算框架,允许用户在不了解分布式系统底层细节的情况下,开发并行.分步的应用程序.充分利用大规模的计算资源,解决传统高性能单机无法解决的大数据用户 应用:分析海量数据 优势: 1.方便.可运行在一般商业机器构成的大型集群上||亚马逊弹性计算云Amazon EC2……云计算服务上 2.弹性:通过增加集群结点,可线性地扩展,以处理更大的数据集:在集群负载下降时…

问题1:改写DistributedShell程序,使得每个container运行在不同节点上(目前是随机的,可能运行在任意节点上). 问题2:改写DistributedShell程序,使得某个用户指定的命令可以在集群的每个节点上仅执行一次. 参考 http://tech.ddvip.com/2014-04/1396616894209607.html http://mail-archives.apache.org/mod_mbox/hadoop-common-user/201304.mbox/%3…

上一篇分析了split的生成,现在接着来说具体的split具体内容及其相关的文件和类.以FileSplit(mapred包下org/apache/hadoop/mapreduce/lib/input/FileSplit.java)为例,它继承了InputSplit接口,包括以下属性: public class FileSplit extends InputSplit implements Writable { private Path file; //分片对应的文件路径 private long…

作业从JobClient端的submitJobInternal()方法提交作业的同时,调用InputFormat接口的getSplits()方法来创建split.默认是使用InputFormat的子类FileInputFormat来计算分片,而split的默认实现为FileSplit(其父接口为InputSplit).这里要注意,split只是逻辑上的概念,并不对文件做实际的切分.一个split记录了一个Map Task要处理的文件区间,所以分片要记录其对应的文件偏移量以及长度等.每个split…

接着上篇来说.hadoop首先调度辅助型task(job-cleanup task.task-cleanup task和job-setup task),这是由JobTracker来完成的:但对于计算型task,则是由作业调度器TaskScheduler来分配的,其默认实现为JobQueueTaskScheduler.具体过程在assignTasks()方法中完成,下面来一段一段的分析该方法. public synchronized List<Task> assignTasks(TaskTrac…