在本博文,我们要学习一个挖掘气象数据的程序.气象数据是通过分布在美国全国各地区的很多气象传感器每隔一小时进行收集,这些数据是半结构化数据且是按照记录方式存储的,因此非常适合使用 MapReduce 程序来统计分析. 我们使用的数据来自美国国家气候数据中心.美国国家海洋和大气管理局(简称 NCDCNOAA),这些数据按行并以 ASCII 格式存储,其中每一行是一条记录. 下面我们展示一行采样数据,其中重要的字段被突出显示.该行数据被分割成很多行以突出每个字段,但在实际文件中,这些字段被整合成一行且…

0. 说明 编写 MapReduce 程序实现年度最高气温统计 1. 气温数据分析 气温数据样例如下: ++023450FM-+000599999V0202701N015919999999N0000001N9-+99999102001ADDGF108991999999999999999999 ++023450FM-+000599999V0202901N008219999999N0000001N9-+99999102001ADDGF104991999999999999999999 ++023450…

我用的系统是ubuntu14.04新建一个Java Project. 这里用的是gradle打包,gradle默认找src/main/java下的类编译.src目录已经有了,手动在src下创建main/java(也可以配置gradle去找其他路径的下的文件).在项目跟录下创建build.gradle文件. apply plugin: 'java' apply plugin: 'eclipse' jar { baseName = 'hadoop' version = '0.0.1' } sourc…

Hadoop官网:http://hadoop.apache.org/ 目前最新的版本是Hadoop 3.0.0-alpha1前提:java 1.6 版本以上 首先从官网下载压缩包(hadoop-3.0.0-alpha1.tar.gz ).配置环境变量:JAVA_HOME(如果是做的java开发这个肯定已经配置好了)打开一个终端: vim ~/.bashrc 在最后加上: export HADOOP_INSTALL=/home/ito/software/hadoop- export PATH=$P…

0. 说明 Hive 通过 substr() 函数实现最高气温统计 1. Hive 实现最高气温统计 1.1 思路 将一行文本加载为 String 通过 substr() 函数截取年份和温度 1.2 实现 1. 创建 temp 表 create table temp(line string); 2. 加载气温数据到 temp 表中 load data local inpath '/home/centos/files/temp' into table temp; 3. 编写 SQL 语句 ,) ,…

0. 说明 通过 MapReduce 实现密码 Top10 统计 通过两次 MapReduce 实现 1. 流程图 2. 程序编写 密码 Top10 统计代码…

1. 配置Maven环境 首先检查Windows是否配置了maven,进入cmd命令行,输入mvn -version命令,如果出现下图所示的 情形则表示满意配置maven. 从浏览器进入maven官网,下载maven压缩包:http://maven.apache.org/download.cgi.下载完后将其解压的一个自定义目录,然后配置环境变量. 进入环境变量配置页面,新建一个MAVEN_HOME变量,变量值为刚才解压的路径(进入能看到bin文件夹的路径). 然后,在Path变量下添加MAVE…

我们继续通过项目强化掌握Combiner和Partitioner优化Hadoop性能 1.项目介绍 本项目我们使用明星搜索指数数据,分别统计出搜索指数最高的男明星和女明星. 2.数据集 3.分析 基于项目的需求,我们通过以下几步完成: 1.编写Mapper类,按需求将数据集解析为key=gender,value=name+hotIndex,然后输出. 2.编写Combiner类,合并Mapper输出结果,然后输出给Reducer. 3.编写Partitioner类,按性别,将结果指定给不同的Re…

紧接着上一篇博文我们学习了MapReduce得到输出格式之后,在这篇博文里,我们将通过一个实战小项目来熟悉一下MultipleOutputs(多输出)格式的用法. 项目需求: 假如这里有一份邮箱数据文件,我们期望统计邮箱出现次数并按照邮箱的类别,将这些邮箱分别输出到不同文件路径下(MultipleOutputs).数据集示例如下所示. wolys@21cn.com zss1984@126.com 294522652@qq.com simulateboy@163.com zhoushigang_1…

程序:(另外一个关于单词计数的总结:http://www.cnblogs.com/DreamDrive/p/5492572.html) import java.io.IOException; import mapreduce.WordCountApp.WordCountMapper.WordCountReducer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.…