hadoop-hive查询ncdc天气数据实例

使用hive查询ncdc天气数据

在hive中将ncdc天气数据导入，然后执行查询shell，可以让hive自动生成mapredjob,快速去的想要的数据结果。

1. 在hive中创建ncdc表，这个表用来存放ncdc的数据

create table ncdc (

year string,

month string,

data string,

time string,

air string,

a string,

b string,

c string,

d string,

e string,

f string,

g string

)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE;

TERMINATED
BY '\t' 是说这个表子，使用tab键分割。

2. 处理原始的数据，因为原始的数据是这样的：

1901 01 01 06   -78 -9999 10200   270
  159     8 -9999 -9999

1901 01 01 13   -72 -9999 10200   290
   82     4 -9999 -9999

1901 01 01 20   -94 -9999 10200     0
    0     8 -9999 -9999

1901 01 02 06   -61 -9999 10183   180
   82     8 -9999 -9999

1901 01 02 13   -56 -9999 10176   180
   98     8 -9999 -9999

1901 01 02 20   -28 -9999 10175   180
   98     8 -9999 -9999

1901 01 03 06   -67 -9999 10170   200
   98     6 -9999 -9999

1901 01 03 13   -33 -9999 10174   230
  118     8 -9999 -9999

1901 01 03 20   -28 -9999 10174   230
  118     8 -9999 -9999

1901 01 04 06   -33 -9999 10231     0
    0     8 -9999 -9999

1901 01 04 13   -44 -9999 10226   230
   82     8 -9999 -9999

中间不是制表符，而是空格键，所以写了一个java程序，将文件夹中的 所有的数据统计，转换到一个文件中。

import java.io.BufferedReader;

import java.io.BufferedWriter;

import java.io.File;

import java.io.FileReader;

import java.io.FileWriter;

import java.io.IOException;

import java.util.List;

import java.util.StringTokenizer;

public class removeAnno {

 static String ofile="summary";

 static BufferedWriter bw=null;

 public static void main(String[] args) throws Exception {

  bw = new BufferedWriter(new FileWriter(ofile));

  File file1 = new File("C:\\Users\\Administrator\\ncdc2");

  File[] listfile = file1.listFiles();

  for (int i=0;i<listfile.length;i++){

   rm("C:\\Users\\Administrator\\ncdc2\\"+listfile[i].getName());

   //System.out.println(listfile[i].getName());

  }

 }

static void rm(String filename) throws Exception{

 File file = new File(filename);

 BufferedReader br = new BufferedReader(new FileReader(file));

 String str=br.readLine();

 while(str!=null){

  //进行分割处理

  String tmp="";

  StringTokenizer st = new StringTokenizer(str);

  while (st.hasMoreTokens()){

   tmp=tmp+st.nextToken()+"\t";

  }

  bw.write(tmp+"\n");

  bw.flush();

  str=br.readLine();

 }

}

}

3. 导入数据到hive中

load data local inpath '/opt/software/ncdc/summary'
into table ncdc

4. 查询数据

可以查询每一年的平均气温，最高气温，最低气温等等，也可以使用分组函数，和MySQL操作差不多

select year,avg(air) from ncdc group by year;