======================== MapReduce 2.0基本架构 ======================== Client -------------> 与MapReduce 1.0的Client类似,用户通过Client与YARN 交互,提交MapReduce作业,查询作业运行状态,管理作 业等. MRAppMaster -------------> 功能类似于 1.0中的JobTracker,但不负责资源管理: 功能包括:任务划分.资源申请并将之二次分配个Map…

目录 1 InputFormat数据输入 1.1 切片与MapTask并行度决定机制 问题引出 MapTask并行度决定机制 Job提交流程源码 切片源码 1.2 FileInputFormat切片机制 1.3 TextInputFormat切片机制 1.4 CombineTextInputFormat切片机制 1.5 案例实操 需求 实现过程 MapReduce 框架原理 1.InputFormat可以对Mapper的输入进行控制 2.Reducer阶段会主动拉取Mapper阶段处理完的数据…