[大牛翻译系列]Hadoop（7）MapReduce：抽样（Sampling）

4.3 抽样（Sampling）

用基于MapReduce的程序来处理TB级的数据集，要花费的时间可能是数以小时计。仅仅是优化代码是很难达到良好的效果。

在开发和调试代码的时候，没有必要处理整个数据集。但如果在这种情况下要保证数据集能够被正确地处理，就需要用到抽样了。抽样是统计学中的一个方法。它通过一定的过程从整个数据中抽取出一个子数据集。这个子数据集能够代表整体数据集的数据分布状况。在MapReduce中，开发人员可以只针对这个子数据集进行开发调试，极大减小了系统负担，提高了开发效率。

技术23 水塘抽样（Reservoir sampling）

假设如下场景：在开发一个MapReduce作业的时候，需要反复不断地去测试一个超大数据集。当然，处理这个数据集很费时间，想要快速开发几乎不可能。

问题

在开发MapReduce作业的时候，如何能够只用处理超大数据集的一个小小的子集？

方案

在读取数据的那部分，自定义一个InputFormat来封装默认的InputFormat。在自定义的InputFormat中，将从默认的InputFormat中得到的数据按一定比例进行抽样。

讨论
由于水塘抽样可以从数据流中随机采样，它就特别适合于MapReduce。在MapReduce中，数据源的形式就是数据流。图4.16说明了水塘抽样的算法。

这里需要实现ReservoirSamplerRecordReader类来封装默认的InputFormat类和RecordReader类。InputFormat类的作用是对输入进行分块。RecordReader类的作用是读取记录。抽样功能则在ReservoirSamplerRecordReader类中实现。图4.17说明了ReservoirSamplerRecordReader类的工作机制。

以下是ReservoirSamplerRecordReader类的实现代码：

 public static class ReservoirSamplerRecordReader<K extends Writable, V extends Writable> extends RecordReader {

     private final RecordReader<K, V> rr;
     private final int numSamples;
     private final int maxRecords;
     private final ArrayList<K> keys;
     private final ArrayList<V> values;

     @Override
     public void initialize(InputSplit split,TaskAttemptContext context)
         throws IOException, InterruptedException {

         rr.initialize(split, context);
         Random rand = new Random();

         for (int i = 0; i < maxRecords; i++) {
             if (!rr.nextKeyValue()) {
                 break;
             }

             K key = rr.getCurrentKey();
             V val = rr.getCurrentValue();

             if (keys.size() < numSamples) {
                 keys.add(WritableUtils.clone(key, conf));
                 values.add(WritableUtils.clone(val, conf));
             } else {
                 int r = rand.nextInt(i);
                 if (r < numSamples) {
                     keys.set(r, WritableUtils.clone(key, conf));
                     values.set(r, WritableUtils.clone(val, conf));
                 }
             }
         }
     }
 ...

在使用ReservoirSamplerInputFormat类的时候，需要设置的参数包括InputFormat等。以下是设置代码：

 ReservoirSamplerInputFormat.setInputFormat(job,TextInputFormat.class);
 ReservoirSamplerInputFormat.setNumSamples(job, 10);
 ReservoirSamplerInputFormat.setMaxRecordsToRead(job, 10000);
 ReservoirSamplerInputFormat.setUseSamplesNumberPerInputSplit(job, true);

然后在batch中执行作业，输入文件是name.txt，有88799行。经过抽样后的文件只有10行了。以下是作业执行的过程：

$ wc -l test-data/names.txt
88799 test-data/names.txt

$ hadoop fs -put test-data/names.txt names.txt

$ bin/run.sh com.manning.hip.ch4.sampler.SamplerJob \
names.txt output

$ hadoop fs -cat output/part* | wc -l
10

前面设置的ReservoirSamplerInputFormat类的参数是抽样10行，最后的结果就是10行。

小结
抽样可以把数据集的尺寸变小，这对开发是很有帮助的。如果有时需要抽样，有时不需要抽样，怎么才能把抽样功能很好地整合到代码库中呢？这里有个方法，在作业的configure中加入一个开关，如下面的代码所示：

 if(appConfig.isSampling()) {
     ReservoirSamplerInputFormat.setInputFormat(job,
     TextInputFormat.class);
 ...
 } else {
     job.setInputFormatClass(TextInputFormat.class);
 }

这样就可以把抽样和其他各种代码整合了。