我们可能会有些需求要求MapReduce的输出全局有序,这里说的有序是指Key全局有序.但是我们知道,MapReduce默认只是保证同一个分区内的Key是有序的,但是不保证全局有序.基于此,本文提供三种方法来对MapReduce的输出进行全局排序. |文章目录| |: |1.生成测试数据 |2.使用一个Reduce进行排序 |3.自定义分区函数实现全局有序 1.生成测试数据 在介绍如何实现之前,我们先来生成一些测试数据,实现如下: #!/bin/sh for i in {1..100000};d…