hadoop知识点总结（一）hadoop架构以及mapreduce工作机制

１，为什么需要hadoop

数据分析者面临的问题

数据日趋庞大，读写都出现性能瓶颈；

用户的应用和分析结果，对实时性和响应时间要求越来越高；

使用的模型越来越复杂,计算量指数级上升。

期待的解决方案

解决性能瓶颈，在可见的未来不会出现新瓶颈之前的技术可以平稳过渡，如SQL；

转移成本，如软硬件成本，开发成本，技能培养成本，维护成本

2，关系型数据库和MapReduce的比较：

	传统关系型数据库	MapReduce
数据大小	GB	PB
访问	交互式和批处理	批处理
更新	多次读写	一次写入多次读写
结构	静态模式	动态模式
完整性	低	高
横向扩展	非线性	线性

３，Hadoop 的优势与特点：

　　（１）Hadoop基于Java开发，为应用程序提供一组稳定可靠的API接口，实现具有高可靠性和良好扩展性的分布式系统，运行于大量廉价硬件设备组成的集群系统上。

　　（２）分布式文件系统（HDFS）：针对大规模数据的高容错性和高吞吐的分布式文件系统；它可以构建从几台到几千台由常规服务器组成的集群中，并提供高聚合输入输出的文件读写访问。

　　（３）并行计算框架(MapReduce)：适用于大数据量处理的分布式框架，是为离线数据分析而设计，利用数据的并行性进行分布运算，而后汇总结果的计算框架。

　　（４）NameNode是一个中心服务器，负责管理文件系统的namespace和客户端对文件的访问；Datanode在集群中会有多个，一般是一个节点存在一个，负责管理其自身节点上它们附带的存储。在内部，一个大文件分成一个或多个block，这些block存储在Datanode集合里。Namenode执行文件系统的namespace相关操作，例如打开、关闭、重命名文件和目录，同时决定了Block到具体Datanode节点的映射。Datanode在Namenode的指挥下进行block的创建、删除和复制工作。

　　单一节点的Namenode大大简化了系统的架构。Namenode负责保管和管理所有的HDFS元数据，因而在请求Namenode得到文件的位置后就不需要通过Namenode参与而直接从Datanode进行。

　　（５）分布式数据库(HBase)：是一个分布式的、按列存储的、多维表结构的实时分布式数据库，它可以提供大数据量架构化和非结构化数据高速读写操作，为高速在线数据服务而设计。

支持每秒数万条级别的高速并发写入和高速查询；可扩展，数据自动切分和分布，可动态扩容，无需停机；数据存放在HDFS文件系统上，不会丢失；灵活的表结构，可动态增加或改变；面向列，可压缩，有效降低磁盘I/O，提高磁盘利用率。多维表，四个维度，其中三个维度可变，适合描述复杂嵌套关系。

　　（６）并行计算框架(MapReduce)：适用于大数据量处理的分布式框架，是为离线数据分析而设计，利用数据的并行性进行分布运算，而后汇总结果的计算框架。

将任务拆分、分布、汇总，开发人员只需要实现业务逻辑；分布任务自动失败重试，单个任务失败不会造成整个任务退出；和HDFS整合，使计算移到数据所在的节点运行。...

4，hadoop体系下的分析手段

　　主流:Java 程序

　　轻量级的脚本语言:Pig　

　　SQL技巧平稳:Hive

　　NoSQL:Hbase

５，hadoop的定义

　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平台（框架）——Nutch

　　包含HDFS和MapReduce两大核心模块

　　为用户提供系统底层细节透明的分布式基础架构。

６，hadoop项目结构

　　　　

７，hadoop各个节点角色的划分：

　　　１）hadoop1.x

Hadoop角度：Master（主结点）和Slave（从结点）

　　　HDFS角度：NameNode和DataNode

　　　MapReduce角度：JobTracker和TaskTracker

２）hadoop 2.x

HDFS角度：NameNode和DataNode

YARN角度：nodemanager和ResourceManager

８，nameNode和dataNode的特点及作用，（详细可以参考我的另外一篇文章）NameNode和DataNode详细解说

　　１）NameNode

作用——HDFS的守护程序；记录文件如何分割成数据块的，以及这些数据块被存储到哪些节

点上；对内存和I/O进行集中管理,负责文件元数据的操作.Namenode是主节点，存储

文件的元数据如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限）

以及每个文件的块列表，以及块所在的DataNode等等。

特点——单点（一个集群只有唯一一个NameNode），因此发生故障将使集群崩溃.

　　２）DataNode

介绍:-----Datanode是文件系统的工作节点，他们根据客户端或者是namenode的调度存储和检

索数据，并且定期向namenode发送他们所存储的块(block)的列表。

作用----- 负责把HDFS数据库读写到本地文件系统，提供真实文件数据的存储服务。

　         特点：——多点（一个集群可以有多个datanode），因此发生故障将使集群崩溃.

9。SecondaryNamenode介绍

　　　　　监控HDFS状态的辅助后台程序

　　　　　每个集群可以有一个或多个

　　　　　与NameNode进行通讯，定期保存HDFS元数据快照

　　　　　当NameNode故障可以作为备用NameNode 使用

JobTracker介绍

　　　　用于处理作业（用户提交代码）的后台程序

　　　　决定有哪些文件参与处理，然后切割task并分配节点

　　　　监控task，重启失败的task

　　　　每个集群只有唯一一个JobTracker，位于Master节点

TaskTracker介绍

　　　　位于slave节点上，与DataNode结合（代码与数据一起）

　　　　管理各自节点由JobTracker分配的Task

　　　　每个节点只有一个TaskTracker，一个TaskTracker可以启动多个JVM，来并行执行　　　　　map或reduce任务

　　　　与JobTracker交互

问题：１，什么是Hadoop，你理解中的Hadoop是什么，请举例说明？

　　　２，请阐述Hadoop架构中各个进程的作用？

MapReduce编程模型：

　　在Hadoop中，每一个MapReduce任务都被初始化为一个Job。

　　每一个Job又可以分为两个阶段：

　　Map：Map函数，接收一个<key,value>形式的输入，然后产生同样为<key,value>形式的　　　中间输出；

　　Reduce：Reduce函数接收一个<key,value(Listof value)>形式的输入，然后对这个value　集合进行处理并输出结果。

10,数据预处理与输入分片的大小

MapReduce任务擅长处理少量的大数据

若是大量的小数据，则选择先对数据进行一次预处理，将数据合并以提高MapReduce任务  的执行效率。

或当一个Map任务运行只需几秒时，考虑多分配些数据，让其处理

通常，一个Map任务运行60秒左右是比较合适的

11,  Map和Reduce任务的数量

Map/Reduce任务槽：这个集群能够同时运行的Map/Reduce任务的最大数量。

任务槽帮助对任务调度进行设置。

设置Map数量主要参考Map运行的时间，设置Reduce任务的数据量参考任务槽的设置，即Reduce任务数是任务槽的0.95或1.75倍。

12,Combine函数   用于本地合并数据的函数。

作用：某些数据在本地会产生很多相同重复的数据，若此时一个一个传递给Reduce任务是非常耗时的；因此，MapReduce框架运行Combine函数用于本地合并，这会大大减少IO操作的消耗。合理设计该函数能有效减少网络传输的数据量，提高MapReduce的效率。

13,  压缩:对Map的中间结果输出和最终结果输出，进行压缩

作用：减少网络传输。有副作用，请根据实际情况来选择。

14, 自定义Comparator 自定义Hadoop数据类型，以实现更加复杂的目的

作用：节省数据序列化和反序列化的时间。

 

 

MapReduce工作机制

1.JobConf常用可定制参数

参数	作用	缺省值	其他实现
InputFormat	将输入的数据集切割成小数据集InputSplits，每一个InputSplits将由一个Mapper负责处理。此外，InputFormat提供一个RecordReader的实现，将一个InputSplits解析成<key，value>对提供给map函数	TextInputFormat（针对文本文件，按行将文本文件切割成InputSplits，并用LineRecordReader将InputSplits解析成<key，value>对，key是行在文件中的位置，value是文件中的一行）	SequenceFileInputForm
SequenceFileInputForm	提供一个RecordWriter的实现，负责输出最终结果	TextOutputFormat（用LineRecordWriter将最终结果写成纯文本文件，每个<key，value>对一行，key和value之间用tab分隔）	SequenceFileOutputForm
OutputKeyClass	输出的最终结果中key的类型	LongWritable
OutputValueClass	输出的最终结果中value的类型	Text
MapperClass	Mapper类，实现map函数，完成输入的<key,value>到中间结果的映射	IdentityMapper（将输入的<key,value>原封不动的输出为中间结果）	LongSumReducer, LogRegexMapper, InverseMapper
CombinerClass	实现combine函数，将中间结果中的重复key做合并	Null（不对中间结果中的重复key做合并）
ReducerClass	实现reduce函数，对中间结果做合并，形成最终结果	IdentityReducer（将中间结果直接输出为最终结果）	AccumulatingReducer，LongSumReducer
InputPath	设定Job的输入目录，Job运行时会处理输入目录下的所有文件	Null
OutputPath	设定Job的输出目录，Job的最终结果会写入输出目录之下	Null
MapOutputKeyClass	设定map函数输出的中间结果中key的类型	如果用户没有设定，使用OutputKeyClass
MapOutputValueClass	设定Map函数输出的中间结果中value的类型	如果用户没有设定，使用OutputValueClass
OutputKeyComparator	对结果中的key进行排序时，使用的比较器	WritableComparable
PartitionerClass	对中间结果key排序后，用Partition函数将其划分为R份，每一份由一个Reducer负责处理。	HashPartitioner（使用Hash函数做partition）	KeyFieldBasedPartitioner PipesPartitioner

2, Hadoop运行MapReduce作业的工作原理

(1)作业的提交

　　作业提交后，用户不能对作业进行修改，只能监控或强制终止；

在作业提交之前，用户需做好所有参数的配置工作。（配置工作包括：

程序代码map和reduce，Map和Reduce接口的配置,配置四个参数；

Map接口的输出类型和Reduce接口的输入类型一致；输入输出路径

必须保证输出路径下不存在该文件夹；其他类型设置）

(2)作业的初始化

　　当JobTracker接收到对其submitJob（）方法的调用后，会把此调用放入一个内部的队列中，交由作业调度器进行调度，并对其进行初始化；初始化包括创建一个表示正在运行作业的对象，封装任务和记录信息，以便跟踪任务的状态和进程。

　　初始化步骤：作业调度器从HDFS中读取已经计算好的输入分片　　　信息；

　　为每个分片创建一个map任务；　

　　创建Reduce任务的数量根据输入数据划分信息来设定个数；

　　调度器创建相应数量的要运行的Reduce任务；

　　任务在此时被指定ID。

(3)任务分配

　　TaskTracker和JobTracker之间的通信和任务的分配是通过“心跳”机制来完成的。

(4)任务执行

　　通过从HDFS中把作业的JAR文件复制到taskTracker所在的文件系统，从而实现作业的JAR文件本地化；

　　taskTracker将应用程序所需要的全部文件从分布式缓存复制到本地磁盘；

　　taskTracker为任务新建一个本地工作目录，并把JAR文件中的内容解压到这个文件夹下；

　　taskTracker新建一个TaskRunner实例来运行该任务。

(5)进度和状态的更新

当提交作业后，Hadoop会进入完全自动化的执行过程；但用户往往需要能够知晓作业的运行状态；

因此，任务在运行时，对其进度（任务完成百分比）保持追踪，对于用户来说是非常重要的。

(6)作业的完成

当JobTracker收到作业最后一个任务已完成的通知后，便把作业的状态设置为“成功”；

在JobClient查询状态时，便知道任务已成功完成，于是JobClient打印一条消息告知用户，然后从runJob（）方法返回；

最后，JobTracker将清空作业的工作状态，指示taskTracker也清空作业的工作状态。

(7)失败：在实际情况下，用户代码存在软件错误，进程会崩溃，机器会产生故障。

3，shuff和排序

MapReduce确保每个Reduce的输入都按键排序；

系统执行排序的过程——将map输出作为输入传给Reduce——称为shuffle；

Shuffle属于不断被优化和改进的代码库的一部分，提出它的目的只有一个——出于效率的考虑进行预排序；Shuffle是MapReduce的“心脏”，是奇迹发生的地方

(1)Shuffle过程在Map端，对Map的结果进行划分，排序，分割，将属于同一个划分的输出，合并在一起，并写入磁盘，按照不同的划分将结果发送给对应的Reduce。Map输出的划分与Reduce的对应关系由JobTracker确定。

(2)在写磁盘过程中，map函数的输出继续被写到缓冲区，但如果此期间缓冲区被填满；Map任务必须等待，直到写磁盘过程完成；写磁盘将按轮询方式写到指定作业的特定子目录中的目录中。

(3) Shuffle过程在Reduce端分成三个阶段：复制Map输出、排序合并以及Reduce处理.

1) 复制Map输出:Map输出文件位于运行Map任务的tasktracker的本地磁盘；

现在，tasktracker需要为分区文件运行Reduce任务；Reduce任务需要集群上若干个Map任务的Map输出，作为其分区文件；每个Map任务的完成时间可能不同，因此只要有一个任务完成，Reduce任务就开始复制其输出；这就是Reduce任务的复制阶段。

2) 排序合并:在Reduce复制Map的输出结果的同时，Reduce任务进入排序合并阶段；

此阶段重点是合并，因为排序在map端进行；该阶段的任务是将从各个MapTaskTracker上复制的Map输出文件进行整合，并维持数据原来的顺序.

3) Reduce处理: Reduce端的最后阶段就是对合并的文件进行Reduce处理。

4,配置的调优

在shuffle这一过程中，完成单位任务使用时间最多的一般都是IO操作；总的原则是给shuffle过程尽量多的提供内存空间；但一定要保证Map函数和Reduce函数能有足够的内存来运行；运行Map任务和Reduce任务的JVM，内存大小由mapred.child.java.opts属性来设置。

在map端，可以通过避免多次溢出写磁盘来获得最佳性能；通过合理的设置io.sort.*属性来减少这种情况下的溢出写次数；具体来说，如果可以，应增加io.sort.mb的值。

在reduce端，中间数据全部驻留在内存中，就能获得最佳性能；一般，此情况是不可能发生的；若reduce函数的内存需求不大，可把mapred.inmem.merge.threshold设置为0，把mapred.job.reduce.input.buffer.percent设置为1.0，或更小值，则会带来性能的提升。