MapReduce工作机制

MapReduce是什么？

MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,MapReduce程序本质上是并行运行的,因此可以解决海量数据的计算问题.

MapReduce任务过程被分为两个处理阶段:map阶段和reduce阶段.每个阶段都以键值对作为输入和输出.用户只需要实现map()和reduce()两个函数即可实现分布式计算.

MapReduce的组成部分

1、JobClient（客户端）

　　用户编写的MapReduce程序通过客户端提交到JobTracker

2、JobTracker

　　这是一个master服务，程序启动后，JobTracker负责资源监控和作业调度。JobTracker监控所有的TaskTracker和job的健康状况，一旦发生失败，即将之转移到其他节点上，同时JobTracker会跟踪任务的执行进度、资源使用量等信息，并将这些信息告诉任务调度器，而调度器会在资源出现空闲时，选择合适的任务使用这些资源。一个Hadoop集群只有一个JobTracker，存在单点故障的可能。

3、TaskTracker

　　运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信接受作业，并负责直接执行每个任务。TaskTracker 会周期性地通过Heartbeat将本节点上资源的使用情况和任务的运行进度汇报给JobTracker，同时接收JobTracker 发送过来的命令并执行相应的操作（如启动新任务、杀死任务等）。

MapReduce作业和任务

　　MapReduce作业（job）是用户提交的最小单位，而Map任务/Reduce任务（task）是MapReduce计算的最小单位。

　　当用户向Hadoop提交一个MapReduce作业时，JobTracker的作业分解模块会将其拆分为任务交由各个TaskTracker执行，在MapReduce计算框架中，任务分为两种——Map任务和Reduce任务。

　　一个TaskTracker能够启动的任务数量是由TaskTracker配置的任务槽（slot）决定的，槽又分为Map槽和Reduce槽，并且Map任务只能使用Map槽，Reduce任务只能使用Reduce槽。

MapReduce流程分析

作业提交：

　　1.由JobClient启动一个作业。

　　2.向JobTracker请求一个作业ID。

　　3.将运行作业所需要的资源（包括作业jar文件、第三方jar文件等）复制到HDFS下的特定目录，供作业运行时使用。

　　4.调用JobTracker的submitJob方法告知JobTracker作业准备执行。

作业初始化：

　　5.当JobTracker收到对其submitJob方法的调用后，会将此调用交由作业调度器进行调度，并对其初始化，创建一个表示正在运行作业的对象。

　　6.为了给TaskTracker分配任务，必须先从HDFS系统中获取已计算好的输入分片信息。然后创建Map任务和Reduce任务。

任务分配：

　　7.TaskTracker每隔一段时间会给JobTracker发送一个心跳，告诉JobTracker它是否存活、节点资源使用情况、各个任务的状态等，如果JobTracker觉得TaskTracker已经准备好了，那么JobTracker会给TaskTracker分配一个新任务。

任务执行：

　　8.TaskTracker在接到启动任务的命令后，会把作业的jar文件、第三方jar文件等作业所需要的文件复制到TaskTracker所在的节点的本地目录。

　　9.接着TaskTracker会新建一个TaskRunner实例来运行任务，TaskRunner启动一个JVM（步骤9）运行每个任务（步骤10）。

任务完成：

　　当JobTracker收到最后一个任务已完成的通知后（通常是Reduce任务），便把作业的状态设置为成功，JobClient会将作业完成的消息在控制台打印。最后JobTracker会清空作业的工作状态，并让TaskTracker也清空作业的工作状态。

参考：

http://weixiaolu.iteye.com/blog/1474172

《hadoop海量数据处理技术详解与项目实战》