再写MapReduce执行流程之前,首先先对MapReduce有一些了解: 1. 简介 MapReduce是一个计算框架,既然是做计算的框架,那么表现的形式上就有输入,操作输入,得到结果2.主从结构 a.Hadoop1.0 MapReduce是主从结构,Hadoop1.0的主是JobTracker,从TaskTracker. JobTracker作用 : 作业的管理者,将作业分解成一堆的任务(task),其中任务又分为MapTask和ReduceTask.将任务分派给TaskTracker运行.…

0. 说明 Hadoop 随笔的目录 1. HDFS 主要内容: [HDFS_1] HDFS 的概念和特性 [HDFS_2] HDFS 的 Shell 操作 [HDFS_3] HDFS 工作机制 [HDFS_4] HDFS 的 Java 应用开发 [SequenceFile_1] Hadoop 序列文件 [SequenceFile_2] SequenceFile 的基本操作 [SequenceFile_3] MapFile [SequenceFile_4] SequenceFile 配置压缩 […