MapReduce的shuffle机制 1.概述 mapreduce中,map阶段处理的数据如何传递给reduce阶段,是mapreduce框架中最关键的一个流程,这个流程就叫shuffle: shuffle: 洗牌.发牌——(核心机制:数据分区,排序,缓存): 具体来说:就是将maptask输出的处理结果数据,分发给reducetask,并在分发的过程中,对数据按key进行了分区和排序: 2.主要流程 shuffle是MR处理流程中的一个过程,它的每一个处理步骤是分散在各个map task和r…