背景: 搜索引擎在build全量时,会产生数G的xml的中间文件,我需要去查询这些中间文件中,是否有某个特殊的字符.xml文件有很多,每个都有几百M,存储在hdfs上,而且是以gz结尾的文本格式的文件. 查找时,我是写了一个实现Tool接口,继承自Configured类的MapReduce,这样就可以传入自定义的参数给我的MapReduce程序了.需要在文件里Grep的内容,就是以参数的形式传入的. 写完代码调试时,问题来了,会报这个异常: 14/10/17 12:06:33 INFO mapr…