第一个MapReduce的例子 Hadoop Guide的第一个MapReduce的例子是处理气象数据的(数据来源ncdc),终于跑通了.总结一下步骤,安装hadoop不在本文中介绍 1 数据预处理 1.1 下载数据 测试数据需要在ncdc的官方ftp上进行下载,年份跨度范围1901到2016,不写个脚本下载,靠手工是行不通的,脚本如下: download.sh !bin/bash for i in {1901..2015} do wget --execute robots=off -r -np…
map-reduce入门 近期在改写mahout源代码,感觉自己map-reduce功力不够深厚,因此打算系统学习一下. map-reduce事实上是一种编程范式,从统计词频(wordCount)程序来解说map-reduce的思想最easy理解. 给定一个文件,里面的内容例如以下,要求统计每一个单词的词频. Hello Angela I love you Angela How are you Angela map(每一个单词处理为一行,key,value形式) Hello,1 Angela,1…