摘要:由于业务需要,在mapreduce汇总时需要关联两个基础表,一个60M左右,不影响mr运行,另一个表,大小约为380M,行数为1700万行左右,在默认配置下,一旦加载这个数据就会在reduce阶段卡住最后报超时错误,经过jvm的调整,终于解决了mr汇总的问题,这里简单总结下,回头有时间再详细看下集群调优. MR汇总报错 在mr程序跑job时,reduce到一个点就卡住直到超时时间反馈超时再重试,一般都失败,如下图: 超时时间是在配置文件的默认配置: 这里的提示是Container kill