需求

求每年的最高气温，年份升序，温度求最高

数据源内容如下

temperature.txt

思路

需要排序2次，先比较年份，再比较相同年份下，温度最高的值，也就是说需要对2个纬度的值做排序。但是hadoop只能够在key上进行排序，所以气温和年份的值都得放在key里面，也就是需要创建自定义组合key

pom依赖

<dependency>

    <groupId>org.apache.hadoop</groupId>

    <artifactId>hadoop-client</artifactId>

    <version>2.7.3</version>

</dependency>

代码

1.自定义key

import org.apache.hadoop.io.WritableComparable;

import java.io.DataInput;

import java.io.DataOutput;

import java.io.IOException;

/**

 所有自定义的组合key应该实现接口WritableComparable，WritableComparable接口继承自writable和comparable这两个接

 因为writable接口是可序列化的并且可比较的。WritableComparable。组合key按照年份升序按照气温降序

 */

public class ComboKey implements WritableComparable<ComboKey> {

    private int year ;

    private int temp ;

    public int getYear() {

        return year;

    }

    public void setYear(int year) {

        this.year = year;

    }

    public int getTemp() {

        return temp;

    }

    public void setTemp(int temp) {

        this.temp = temp;

    }

    /**

     * 对key进行比较实现

     */

    public int compareTo(ComboKey o) {

        int y0 = o.getYear();

        int t0 = o.getTemp();

        if(year == y0){

            //气温降序

            return -(temp - t0) ;

        }

        //年份升序

        else{

            return year - y0 ;

        }

    }

    /**

     * 串行化过程

     */

    public void write(DataOutput out) throws IOException {

        //年份

        out.writeInt(year);

        //气温

        out.writeInt(temp);

    }

    ////反串行化的过程

    public void readFields(DataInput in) throws IOException {

        year = in.readInt();

        temp = in.readInt();

    }

}

2.自定义分区

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.mapreduce.Partitioner;

//该分区类按照年份进行分区，相同的年份会进入到同一个分区中去

public class YearPartitioner extends Partitioner<ComboKey,NullWritable> {

    public int getPartition(ComboKey key, NullWritable nullWritable, int numPartitions) {

        int year = key.getYear();

        return year % numPartitions;

    }

}

3.CombokeyComparator

import org.apache.hadoop.io.WritableComparable;

import org.apache.hadoop.io.WritableComparator;

/**

 同时完成Combokey中的first和second排序。

 */

public class ComboKeyComparator extends WritableComparator {

    protected ComboKeyComparator() {

        super(ComboKey.class, true);

    }

    public int compare(WritableComparable a, WritableComparable b) {

        ComboKey k1 = (ComboKey) a;

        ComboKey k2 = (ComboKey) b;

        return k1.compareTo(k2);

    }

}

4.分组函数

import org.apache.hadoop.io.WritableComparable;

import org.apache.hadoop.io.WritableComparator;

/**

 分组在Reduce阶段，构造一个与 Key 相对应的 Value 迭代器的时候，只要year相同就属于同一个组，放在一个Value迭代器,不同的year按照年份升序进行排序。

 最后，ComboKey的year相同，但是temp不同的数据会进入一组，并且按temp降序排列。如：

 2018 40

 2018 38

 2018 37

 分组后的第一条数据就是我们需要的（也就是reduce阶段的key）

 */

public class YearGroupComparator extends WritableComparator {

    protected YearGroupComparator() {

        super(ComboKey.class, true);

    }

    public int compare(WritableComparable a, WritableComparable b) {

        ComboKey k1 = (ComboKey)a ;

        ComboKey k2 = (ComboKey)b ;

        return k1.getYear() - k2.getYear() ;

    }

}

5.Map

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**

 * Map端，输入的(key,value)缩进长度和文本文档，输出的key是组合key,value值是空值

 */

public class MaxTempMapper extends Mapper<LongWritable,Text,ComboKey,NullWritable>{

    @Override

    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        System.out.println("MaxTempMapper.map");

        String[] arr = value.toString().split(" ");

        ComboKey keyout = new ComboKey();

        keyout.setYear(Integer.parseInt(arr[0]));

        keyout.setTemp(Integer.parseInt(arr[1]));

        context.write(keyout,NullWritable.get());

    }

}

6.reduce

/**

 * Reduce端，将组合key切割成key为year，value为气温的一个列表

 */

public class MaxTempReducer extends Reducer<ComboKey, NullWritable, IntWritable, IntWritable>{

    protected void reduce(ComboKey key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {

        int year = key.getYear();

        int temp = key.getTemp();

        for(NullWritable v : values){

            System.out.println(key.getYear() + " : " + key.getTemp());

        }

        context.write(new IntWritable(year),new IntWritable(temp));

    }

}

7.APP

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.File;

/**

 *二次排序

 *求每年最高的温度，年份升序，温度求最高

 *

 * 数据格式

 2004 49

 1981 -22

 1981 -31

 1965 -47

 2017 -2

 */

public class APP {

    public static String run_mode = "local";

    //public static String run_mode = "cluster";

    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();

        Job job = Job.getInstance(conf);

        //本地

        if(run_mode.equals("local")) {

            File dir = new File("c:\\out");

            if (dir.exists()) {

                APP.delFile(dir);

            }

            conf.set("fs.defaultFS", "file:///");

            //添加输入路径

            FileInputFormat.addInputPath(job,new Path("C://temperature.txt"));

            //设置输出路径

            FileOutputFormat.setOutputPath(job,new Path("C://out"));

            //linux集群

        } else if(run_mode.equals("cluster")) {

            conf.set("fs.defaultFS", "hdfs://master:9000");

            //添加输入路径

            FileInputFormat.addInputPath(job,new Path("/temperature.txt"));

            //设置输出路径

            FileOutputFormat.setOutputPath(job,new Path("/out"));

        }

        //设置job的各种属性

        job.setJobName("WCApp");                        //作业名称

        job.setJarByClass(APP.class);                 //搜索类

        //job.setInputFormatClass(FileInputFormat.class); //设置输入格式

        //添加输入路径

        //FileInputFormat.addInputPath(job,new Path(args[0]));

        //设置输出路径

        //FileOutputFormat.setOutputPath(job,new Path(args[1]));

        job.setMapperClass(MaxTempMapper.class);             //mapper类

        job.setReducerClass(MaxTempReducer.class);           //reducer类

        job.setNumReduceTasks(1);                       //reduce个数

        job.setMapOutputKeyClass(ComboKey.class);

        job.setMapOutputValueClass(NullWritable.class);

        job.setOutputKeyClass(IntWritable.class);

        job.setOutputValueClass(IntWritable.class);

        //设置分区类

        job.setPartitionerClass(YearPartitioner.class);

        //设置分组对比器

        job.setGroupingComparatorClass(YearGroupComparator.class);

        //设置排序对比器(好像不写也行,因为不写的话，WritableComparator的compare方法底层还是会调用自定义key ComboKey.class里的compareTo方法)

        job.setSortComparatorClass(ComboKeyComparator.class);

        job.waitForCompletion(true);

    }

    static boolean delFile(File file) {

        if (!file.exists()) {

            return false;

        }

        if (file.isDirectory()) {

            File[] files = file.listFiles();

            for (File f : files) {

                delFile(f);

            }

        }

        return file.delete();

    }

}

Hadoop 二次排序的更多相关文章

一起学Hadoop——二次排序算法的实现
二次排序,从字面上可以理解为在对key排序的基础上对key所对应的值value排序,也叫辅助排序.一般情况下,MapReduce框架只对key排序,而不对key所对应的值排序,因此value的排序经常 ...
hadoop 二次排序的一些思考
先说一下mr的二次排序需求: 假如文件有两列分别为name.score,需求是先按照name排序,name相同按照score排序数据如下: jx 20 gj 30 jx 10 gj 15 输出结果要 ...
hadoop 二次排序的思考
name sorce jx 10 gj 15 jx 20 gj 30 1. 二次排序 key如何定义 2. grouping 是不是一定要实现,不实现可以吗? 3. 二次排序的本质是什么 4. 如果以 ...
hadoop二次排序
import java.io.DataInput; import java.io.DataOutput; import java.io.File; import java.io.IOException ...
Hadoop Mapreduce分区、分组、二次排序过程详解[转]
原文地址:Hadoop Mapreduce分区.分组.二次排序过程详解[转]作者: 徐海蛟教学用途 1.MapReduce中数据流动 (1)最简单的过程: map - reduce (2) ...
Hadoop.2.x_高级应用_二次排序及MapReduce端join
一.对于二次排序案例部分理解 1. 分析需求(首先对第一个字段排序,然后在对第二个字段排序) 杂乱的原始数据排序完成的数据 a,1 a,1 b,1 a,2 a,2 [排序] a,100 b,6 == ...
Hadoop学习笔记： MapReduce二次排序
本文给出一个实现MapReduce二次排序的例子 package SortTest; import java.io.DataInput; import java.io.DataOutput; impo ...
Hadoop MapReduce 二次排序原理及其应用
关于二次排序主要涉及到这么几个东西: 在0.20.0 以前使用的是 setPartitionerClass setOutputkeyComparatorClass setOutputValueGrou ...
Hadoop学习之自定义二次排序
一.概述 MapReduce框架对处理结果的输出会根据key值进行默认的排序,这个默认排序可以满足一部分需求,但是也是十分有限的.在我们实际的需求当中,往往有要对reduce输出结果进行二次排 ...

随机推荐

Shell流程控制语句for
for语法格式: for 变量 in 参数列表 do 命令 done 或者 for 变量 in 参数列表 ; do 命令 done for语句流程控制图: 实例: [root@youxi1 ~]# v ...
【技术】Arduino PID自整定库
最近看到了Brett Beauregard发表的有关PID的系列文章,感觉对于理解PID算法很有帮助,于是将系列文章翻译过来!在自我提高的过程中,也希望对同道中人有所帮助.作者Brett Beaure ...
idea设置内存大小
1.打开idea安装路径下bin,编辑.vmoptions两个文件然后重启一下idea 2.直接打开idea的.vmoptions文件进行编辑
「中山纪中集训省选组D4T1」折射伤害高斯消元
题目描述在一个游戏中有n个英雄,初始时每个英雄受到数值为ai的伤害,每个英雄都有一个技能"折射",即减少自己受到的伤害,并将这部分伤害分摊给其他人.对于每个折射关系,我们用数对\ ...
链表习题（2）-一个集合用带头结点的单链表L表示，编写算法删除其值最大的结点。
/*一个集合用带头结点的单链表L表示,编写算法删除其值最大的结点.*/ /* 算法思想:使用pre,p,premax,max四个指针,pre和p进行比较,premax和max进行最后的删除操作通过遍 ...
编写第一个Linux环境下程序的编译，下载记录
跟着韦东山学习Linux: 今天系统系统性的学了代码的编译下载,条记录一下: 一,代码:001_led_on.S,就把下面代码编译后Bin文件下载进2440处理器. /* * 点亮LED1: gpf4 ...
SAS学习笔记62 通过压缩变量长度来实现数据集压缩
有时候从其他数据库过来的字符型变量Length很长,导致数据集文件很大,可以通过压缩变量长度来实现数据集压缩具体思路: LENGTH语句设置所有变量真实长度 SET数据集的时候对原有变量进行RENA ...
Spring Cloud Stream如何消费自己生产的消息
在上一篇<Spring Cloud Stream如何处理消息重复消费>中,我们通过消费组的配置解决了多实例部署情况下消息重复消费这一入门时的常见问题.本文将继续说说在另外一个被经常问到的问 ...
get merge --no-ff和git merge区别、git fetch和git pull的区别
get merge --no-ff和git merge区别 git merge -–no-ff可以保存你之前的分支历史.能够更好的查看 merge历史,以及branch 状态. git merge则不 ...
PKUSC2019题解
$D1T1$:$n$个村庄,第$i$个村庄的人要去第$p_i$个村庄(保证$p_i$为排列),每次可以将相邻两个村庄的人位置交换直到所有人都到达目的地.再给定一个长为$n-1$的排列$a$,表示第$i ...

Hadoop 二次排序

需求

思路

pom依赖

代码

Hadoop 二次排序的更多相关文章

随机推荐

热门专题