1.下载部分数据.由于实验就仅仅下载2003年的部分气象数据 2.通过zcat *gz > sample.txt命令解压重定向 [hadoop@Master test_data]$ zcat *gz > /home/hadoop/input/sample.txt 3.查看数据格式 4.把文件sample.txt放进hdfs文件系统里 [hadoop@Master input]$ hadoop fs -put /home/hadoop/input/sample.txt  /user/hadoop…

Hadoop-MapReduce计算气象温度 1 运行环境说明 1.1 硬软件环境 主机操作系统:Mac OS 64 bit ,8G内存 虚拟软件:Parallers Desktop12 虚拟机操作系统:CentOS 64位,单核,512内存 JDK:java version "1.7.0_45" Hadoop:1.1.2 1.2 机器网络环境 集群包含三个节点:1个namenode.2个datanode,其中节点之间可以相互ping通.节点IP地址和主机名分布如下: 序号 IP地址…

文档内容: 1:下载<hadoop权威指南>中的气象数据 2:对下载的气象数据归档整理并读取数据 3:对气象数据进行map reduce进行处理 关键词:<Hadoop权威指南>气象数据 map reduce python matplotlib可视化 一:下载<hadoop权威指南>一书中的气象数据 <hadoop权威指南>一书中的气象数据位于 http://ftp3.ncdc.noaa.gov/pub/data/noaa/, 新建 getdata.py文件…

不多说,直接上干货! 下面,是版本1. Hadoop MapReduce编程 API入门系列之挖掘气象数据版本1(一) 下面是版本2. Hadoop MapReduce编程 API入门系列之挖掘气象数据版本2(九) 这篇博客,给大家,体会不一样的版本编程. 代码 package zhouls.bigdata.myMapReduce.weather; import java.io.DataInput; import java.io.DataOutput; import java.io.IOExce…

下面,是版本1. Hadoop MapReduce编程 API入门系列之挖掘气象数据版本1(一) 这篇博文,包括了,实际生产开发非常重要的,单元测试和调试代码.这里不多赘述,直接送上代码. MRUnit 框架 MRUnit是Cloudera公司专为Hadoop MapReduce写的单元测试框架,API非常简洁实用.MRUnit针对不同测试对象使用不同的Driver: MapDriver:针对单独的Map测试  ReduceDriver:针对单独的Reduce测试    MapReduceDri…

​        气象数据一直是一个价值较高的数据,它被广泛用于各个领域的研究当中.气象数据包括有气温.气压.相对湿度.降水.蒸发.风向风速.日照等多种指标,但是包含了这些全部指标的气象数据却较难获取,即使获取到了也不能随意分享. 数据已经打包分享,这里是数据百度云下载链接: 1级目录 文件名 PRS SURF_CLI_CHN_MUL_DAY-PRS-10004-YYYYMM.TXT(本站气压) TEM SURF_CLI_CHN_MUL_DAY-TEM-12001-YYYYMM.TXT(气温)…

!/usr/bin/python #encoding=utf-8 #Author:Ruiy #//////////////////////////////////////////////////// #python-bs4 #ilio #/////////////////////////////////////////////////// import sys import datetime nowTime="\"" + datetime.datetime.now().str…

1.先贴一下气象数据的csv源格式,由于数据内容较多,就放一部分(china_sites_20150102.csv) date,hour,type,1001A,1002A,1003A,1004A,1005A,1006A,1007A,1008A,1009A,1010A,1011A,1012A,1013A,1014A,1015A,1016A,1017A,1018A,1019A,1020A,1021A,1023A,1024A,1025A,1026A,1027A,1028A,1029A,1030A,10…

附录C 准备NCDC气象数据 这里首先简要介绍如何准备原始气象数据文件,以便我们能用Hadoop对它们进行分析.如果打算得到一份数据副本供Hadoop处理,可按照本书配套网站(网址为http://www.hadoopbook.com/)给出的指导进行操作.接下来,首先说明如何处理原始的气象文件. 原始数据实际是一组经过bzip2压缩的tar文件.每个年份的数据单独放在一个文件中.部分文件列举如下: 1901.tar.bz2 1902.tar.bz2 1903.tar.bz2 ... 2000.t…

​  数据下载链接:数据下载链接 广西壮族自治区,地处中国南部,北回归线横贯中部,属亚热带季风气候区.南北以贺州--东兰一线为界,此界以北属中亚热带季风气候区,以南属南亚热带季风气候区. 数据范围:全国行政区划-行政村界 数据类型:面状数据,全国各省市县[村庄-边界]乡村界.乡村范围.村界数据 数据属性:标准12位行政区划编码.村名称.所属地区 分辨率:1:2万--1:5万 数据格式:SHP数据(arcgis矢量数据格式) 五级行政区划:村边界数据产品涵盖五级行政区划: (一级行政区)省级行政区…