===================== MapReduce内部机制:本地性 ===================== 什么是数据本地性(data locality)--------------------------> 如果任务运行在它将处理的数据所在的节点,则称该任务 具有“数据本地性” 本地性可避免跨节点或机架数据传输,提高运行效率 数据本地性分类 --------------------------> 同节点(node-local) 同机架(rack-local) 其他(off-s…

目录 2 MapReduce工作流程 3 Shuffle机制(重点) 3.1 Shuffle机制 3.2 Partition分区 默认Partitioner分区 自定义Partitioner分区 自定义Partition分区案例 需求 需求分析 案例实现 输出结果 总结 3.3 WritableComparable排序 概述 自定义排序WritableComparable原理分析 1.WritableComparable 排序案例实操(全排序) 需求 需求分析 代码实现 输出结果 2.二次排序…