大数据小白系列——MR(1)

【大数据小白系列——MR(1)】的更多相关文章

大数据小白系列——MR(1)

一部编程发展史就是一部程序员偷懒史,MapReduce(下称MR)同样是程序员们用来偷懒的工具. 来了一份大数据,我们写了一个程序准备分析它,需要怎么做? 老式的处理方法不行,数据量太大时,所需的时间无法忍受,所以,必须并行计算.好比1000块砖,1个人搬需要1小时,10个人同时搬,只需要6分钟. 不过进行并行计算,面临几个细思头大问题: 如何切分数据如何处理部分任务失败如何对多路计算的结果进行汇总不过不用担心,世界就是这样的,少部分人发明创造工具,大部分人使用工具.总有聪明人在合适的时候…

大数据小白系列——HDFS(4)

这里是大数据小白系列,这是本系列的第四篇,来看一个真实世界Hadoop集群的规模,以及我们为什么需要Hadoop Federation. 首先,我们先要来个直观的印象,这是你以为的Hadoop集群: 这是真实世界的Hadoop集群: 因为,NameNode(下称NN)中的元数据记录了各个数据块的存储位置. 所以,元数据的大小,与数据块的数量成正比. 当集群存储的数据规模到达一定程度时,NN将成为整套系统中的瓶颈所在.NN的存储能力是有限的,不管是磁盘存储还是内存存储. 为了解决这个问题,HDFS…

大数据小白系列——HDFS(3)

这里是大数据小白系列,这是本系列的第三篇,介绍HDFS中NameNode选举,JournalNode等概念. 上一期我们说到了为解决NameNode(下称NN)单点失败问题,HDFS中使用了双NN的机制,一个Active NN,一个Standby NN. 现实常常是,解决一个问题的同时,免不了又引入了另外的问题. 谁来担任Active,谁来担任Standby? 两个NN谁也说服不了谁,这个时候需要引入一个外部角色:一个Zookeeper(下称ZK)集群. ZK也是个很有趣的东西,大数据小白系列后…

大数据小白系列——HDFS(2)

这里是大数据小白系列,这是本系列的第二篇,介绍一下HDFS中SecondaryNameNode.单点失败(SPOF).以及高可用(HA)等概念. 上一篇我们说到了大数据.分布式存储,以及HDFS中的一些基本概念,为了能更好的理解后续介绍的内容,这里先补充介绍一下NameNode到底是怎么存储元数据的. 首先,在启动的时候,将磁盘中的元数据文件读取到内存,后续所有变化将被直接写入内存,同时被写入一个叫Edit Log的磁盘文件.(如果你熟悉关系型数据库,这个Edit Log有点像Oracle Re…

大数据小白系列——HDFS(1)

[注1:结尾有大福利!] [注2:想写一个大数据小白系列,介绍大数据生态系统中的主要成员,理解其原理,明白其用途,万一有用呢,对不对.] 大数据是什么?抛开那些高大上但笼统的说法,其实大数据说的是两件事:一.怎么存储大数据,二.怎么计算大数据. 我们先从存储开始说,如果清晨起床,你的女仆给你呈上一块牛排,牛排太大,一口吃不了,怎么办?拿刀切小. 同样的,如果一份数据太大,一台机器存不了,怎么办?切小了,存到几台机器上. 想要保存海量数据,无限地提高单台机器的存储能力显然是不现实,就好比我们不能把…

大数据小白系列 —— MapReduce流程的深入说明

上一期我们介绍了MR的基本流程与概念,本期稍微深入了解一下这个流程,尤其是比较重要但相对较少被提及的Shuffling过程. Mapping 上期我们说过,每一个mapper进程接收并处理一块数据,这块数据的大小默认就是一个HDFS数据块大小. Mapper处理数据时,基于性能考虑,会使用缓存,缓存的大小有一个默认值(比如100MB),满了之后,将会写入磁盘文件. 不过在写入之前,会在内存中进行分区(partition),分区的数量取决于reducer的数量,实际上也就是由MR框架决定,例如上图…