如何让Hadoop读取以gz结尾的文本格式的文件

背景：

搜索引擎在build全量时，会产生数G的xml的中间文件，我需要去查询这些中间文件中，是否有某个特殊的字符。xml文件有很多，每个都有几百M，存储在hdfs上，而且是以gz结尾的文本格式的文件。

查找时，我是写了一个实现Tool接口，继承自Configured类的MapReduce，这样就可以传入自定义的参数给我的MapReduce程序了。需要在文件里Grep的内容，就是以参数的形式传入的。

写完代码调试时，问题来了，会报这个异常：

14/10/17 12:06:33 INFO mapred.JobClient: Task Id : attempt_201405252001_273614_m_000013_0, Status : FAILED
java.io.IOException: incorrect header check
    at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.inflateBytesDirect(Native Method)
    at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.decompress(ZlibDecompressor.java:221)
    at org.apache.hadoop.io.compress.DecompressorStream.decompress(DecompressorStream.java:81)
    at org.apache.hadoop.io.compress.DecompressorStream.read(DecompressorStream.java:75)
    at java.io.InputStream.read(InputStream.java:85)
    at org.apache.hadoop.util.LineReader.readLine(LineReader.java:134)
    at org.apache.hadoop.mapred.LineRecordReader.next(LineRecordReader.java:133)
    at org.apache.hadoop.mapred.LineRecordReader.next(LineRecordReader.java:38)
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.moveToNext(MapTask.java:208)
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.next(MapTask.java:193)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:48)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:390)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:324)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1115)
    at org.apache.hadoop.mapred.Child.main(Child.java:262)

分析过程：

通过上面的异常，立马猜想到是由于我的文件是gz结尾，所以hadoop把它当作了压缩文件，然后尝试解压缩后读取，所以解压失败了。于是去问google，没有搜到能够直接解决我问题的答案，但是搜到了此处相关的源代码：LineRecordReader.java;于是尝试着去阅读代码来解决问题，这个类很简单，继承自RecordReader，没有看到next函数和readLine函数，那就应该是基类实现的。很快发现了看名字是跟压缩解码相关的代码：

private CompressionCodecFactory compressionCodecs = null;
...
compressionCodecs = new CompressionCodecFactory(job);
final CompressionCodec codec = compressionCodecs.getCodec(file);
...
if (codec != null) {
	in = new LineReader(codec.createInputStream(fileIn), job);
}
else{
	...
	in = new LineReader(fileIn, job);
}

此处file就是拿到的文件路径，可以看到，应该就是通过CompressionCode.getCode(file)函数，拿到的codec类，然后读取的时候出异常了。那怎么让MapReduce程序把这个.gz文件当作普通的文本文件呢？再点进去看CompressionCodeFactory.java的代码。getCodec函数的代码如下：

/**
* Find the relevant compression codec for the given file based on its
* filename suffix.
* @param file the filename to check
* @return the codec object
*/
public CompressionCodec getCodec(Path file) {
	CompressionCodec result = null;
    if (codecs != null) {
		String filename = file.getName();
        String reversedFilename = new StringBuffer(filename).reverse().toString();
	    SortedMap<String, CompressionCodec> subMap = codecs.headMap(reversedFilename);
        if (!subMap.isEmpty()) {
	    	String potentialSuffix = subMap.lastKey();
 	      	if (reversedFilename.startsWith(potentialSuffix)) {
   		   		result = codecs.get(potentialSuffix);
    		}
  	   }
	}
    return result;
}

就是根据文件名称匹配来得到对应的解压缩类。咋们按图索骥，去看看codecs是在哪里赋值的：

/**
* Find the codecs specified in the config value io.compression.codecs
* and register them. Defaults to gzip and zip.
*/
public CompressionCodecFactory(Configuration conf) {
	codecs = new TreeMap<String, CompressionCodec>();
	List<Class<? extends CompressionCodec>> codecClasses = getCodecClasses(conf);
	if (codecClasses == null) {
  		addCodec(new GzipCodec());
        addCodec(new DefaultCodec());
	} else {
  		Iterator<Class<? extends CompressionCodec>> itr = codecClasses.iterator();
        while (itr.hasNext()) {
  			CompressionCodec codec = ReflectionUtils.newInstance(itr.next(), conf);
	        addCodec(codec);
  		}
	}
}

看样子从配置文件里，拿不到编码相关的配置，就会默认把GzipCodec,DefaultCodec加进去。再跟到getCodecClasses(conf)函数里去：

/**
* Get the list of codecs listed in the configuration
* @param conf the configuration to look in
* @return a list of the Configuration classes or null if the attribute
*         was not set
*/
public static List<Class<? extends CompressionCodec>> getCodecClasses(Configuration conf) {
	String codecsString = conf.get("io.compression.codecs");
    if (codecsString != null) {
	  List<Class<? extends CompressionCodec>> result = new ArrayList<Class<? extends CompressionCodec>>();
      StringTokenizer codecSplit = new StringTokenizer(codecsString, ",");
	  while (codecSplit.hasMoreElements()) {
    	String codecSubstring = codecSplit.nextToken();
        if (codecSubstring.length() != 0) {
	      try {
    	    Class<?> cls = conf.getClassByName(codecSubstring);
        	if (!CompressionCodec.class.isAssignableFrom(cls)) {
          	throw new IllegalArgumentException("Class " + codecSubstring +
                                             " is not a CompressionCodec");
        	}
            result.add(cls.asSubclass(CompressionCodec.class));
      	 	} catch (ClassNotFoundException ex) {
 	           throw new IllegalArgumentException("Compression codec " +
                                           codecSubstring + " not found.",
                                           ex);
      		}
    	}
  	  }
      return result;
	} else {
  	  return null;
	}
}

从这个函数里能够看到编码的配置是 io.compression.codecs 。可以看到，我们必须返回非null的result，那么直接让io.compression.codecs配置成空，应该就可以了，此时返回的result里面没有任何元素。

问题解决方案:

试了一把，执行这个MapReduce程序时，加上 -Dio.compression.codecs=, 的参数，就可以了：

hadoop jar ./dumptools-0.1.jar	ddump.tools.mr.Grep -Dio.compression.codecs=, "adgroupId=319356697" doc val

---

如果您看了本篇博客,觉得对您有所收获，请点击右下角的“推荐”，让更多人看到！

资助Jack47写作，打赏一个鸡蛋灌饼钱吧

微信打赏

支付宝打赏