MapReduce MapReduce原理非常重要,hive与spark都是基于MR原理 MapReduce采用多进程,方便对每个任务资源控制和调配,但是进程消耗更多的启动时间,因此MR时效性不高.适合批量,高吞吐的数据处理.Spark采用的是多线程模型. MapReduce执行流程 Map过程 map函数开始产生输出时,并不是直接将数据写到磁盘,它利用缓冲的方式写到内存.每个map任务都有一个环形内存缓冲区用于存储任务输出.在默认情况下,缓冲区大小为100MB.一旦缓冲内容达到阈值(默认80%