需求

求每年的最高气温，年份升序，温度求最高

数据源内容如下

temperature.txt

思路

需要排序2次，先比较年份，再比较相同年份下，温度最高的值，也就是说需要对2个纬度的值做排序。但是hadoop只能够在key上进行排序，所以气温和年份的值都得放在key里面，也就是需要创建自定义组合key

pom依赖

<dependency>

    <groupId>org.apache.hadoop</groupId>

    <artifactId>hadoop-client</artifactId>

    <version>2.7.3</version>

</dependency>

代码

1.自定义key

import org.apache.hadoop.io.WritableComparable;

import java.io.DataInput;

import java.io.DataOutput;

import java.io.IOException;

/**

 所有自定义的组合key应该实现接口WritableComparable，WritableComparable接口继承自writable和comparable这两个接

 因为writable接口是可序列化的并且可比较的。WritableComparable。组合key按照年份升序按照气温降序

 */

public class ComboKey implements WritableComparable<ComboKey> {

    private int year ;

    private int temp ;

    public int getYear() {

        return year;

    }

    public void setYear(int year) {

        this.year = year;

    }

    public int getTemp() {

        return temp;

    }

    public void setTemp(int temp) {

        this.temp = temp;

    }

    /**

     * 对key进行比较实现

     */

    public int compareTo(ComboKey o) {

        int y0 = o.getYear();

        int t0 = o.getTemp();

        if(year == y0){

            //气温降序

            return -(temp - t0) ;

        }

        //年份升序

        else{

            return year - y0 ;

        }

    }

    /**

     * 串行化过程

     */

    public void write(DataOutput out) throws IOException {

        //年份

        out.writeInt(year);

        //气温

        out.writeInt(temp);

    }

    ////反串行化的过程

    public void readFields(DataInput in) throws IOException {

        year = in.readInt();

        temp = in.readInt();

    }

}

2.自定义分区

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.mapreduce.Partitioner;

//该分区类按照年份进行分区，相同的年份会进入到同一个分区中去

public class YearPartitioner extends Partitioner<ComboKey,NullWritable> {

    public int getPartition(ComboKey key, NullWritable nullWritable, int numPartitions) {

        int year = key.getYear();

        return year % numPartitions;

    }

}

3.CombokeyComparator

import org.apache.hadoop.io.WritableComparable;

import org.apache.hadoop.io.WritableComparator;

/**

 同时完成Combokey中的first和second排序。

 */

public class ComboKeyComparator extends WritableComparator {

    protected ComboKeyComparator() {

        super(ComboKey.class, true);

    }

    public int compare(WritableComparable a, WritableComparable b) {

        ComboKey k1 = (ComboKey) a;

        ComboKey k2 = (ComboKey) b;

        return k1.compareTo(k2);

    }

}

4.分组函数

import org.apache.hadoop.io.WritableComparable;

import org.apache.hadoop.io.WritableComparator;

/**

 分组在Reduce阶段，构造一个与 Key 相对应的 Value 迭代器的时候，只要year相同就属于同一个组，放在一个Value迭代器,不同的year按照年份升序进行排序。

 最后，ComboKey的year相同，但是temp不同的数据会进入一组，并且按temp降序排列。如：

 2018 40

 2018 38

 2018 37

 分组后的第一条数据就是我们需要的（也就是reduce阶段的key）

 */

public class YearGroupComparator extends WritableComparator {

    protected YearGroupComparator() {

        super(ComboKey.class, true);

    }

    public int compare(WritableComparable a, WritableComparable b) {

        ComboKey k1 = (ComboKey)a ;

        ComboKey k2 = (ComboKey)b ;

        return k1.getYear() - k2.getYear() ;

    }

}

5.Map

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**

 * Map端，输入的(key,value)缩进长度和文本文档，输出的key是组合key,value值是空值

 */

public class MaxTempMapper extends Mapper<LongWritable,Text,ComboKey,NullWritable>{

    @Override

    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        System.out.println("MaxTempMapper.map");

        String[] arr = value.toString().split(" ");

        ComboKey keyout = new ComboKey();

        keyout.setYear(Integer.parseInt(arr[0]));

        keyout.setTemp(Integer.parseInt(arr[1]));

        context.write(keyout,NullWritable.get());

    }

}

6.reduce

/**

 * Reduce端，将组合key切割成key为year，value为气温的一个列表

 */

public class MaxTempReducer extends Reducer<ComboKey, NullWritable, IntWritable, IntWritable>{

    protected void reduce(ComboKey key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {

        int year = key.getYear();

        int temp = key.getTemp();

        for(NullWritable v : values){

            System.out.println(key.getYear() + " : " + key.getTemp());

        }

        context.write(new IntWritable(year),new IntWritable(temp));

    }

}

7.APP

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.File;

/**

 *二次排序

 *求每年最高的温度，年份升序，温度求最高

 *

 * 数据格式

 2004 49

 1981 -22

 1981 -31

 1965 -47

 2017 -2

 */

public class APP {

    public static String run_mode = "local";

    //public static String run_mode = "cluster";

    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();

        Job job = Job.getInstance(conf);

        //本地

        if(run_mode.equals("local")) {

            File dir = new File("c:\\out");

            if (dir.exists()) {

                APP.delFile(dir);

            }

            conf.set("fs.defaultFS", "file:///");

            //添加输入路径

            FileInputFormat.addInputPath(job,new Path("C://temperature.txt"));

            //设置输出路径

            FileOutputFormat.setOutputPath(job,new Path("C://out"));

            //linux集群

        } else if(run_mode.equals("cluster")) {

            conf.set("fs.defaultFS", "hdfs://master:9000");

            //添加输入路径

            FileInputFormat.addInputPath(job,new Path("/temperature.txt"));

            //设置输出路径

            FileOutputFormat.setOutputPath(job,new Path("/out"));

        }

        //设置job的各种属性

        job.setJobName("WCApp");                        //作业名称

        job.setJarByClass(APP.class);                 //搜索类

        //job.setInputFormatClass(FileInputFormat.class); //设置输入格式

        //添加输入路径

        //FileInputFormat.addInputPath(job,new Path(args[0]));

        //设置输出路径

        //FileOutputFormat.setOutputPath(job,new Path(args[1]));

        job.setMapperClass(MaxTempMapper.class);             //mapper类

        job.setReducerClass(MaxTempReducer.class);           //reducer类

        job.setNumReduceTasks(1);                       //reduce个数

        job.setMapOutputKeyClass(ComboKey.class);

        job.setMapOutputValueClass(NullWritable.class);

        job.setOutputKeyClass(IntWritable.class);

        job.setOutputValueClass(IntWritable.class);

        //设置分区类

        job.setPartitionerClass(YearPartitioner.class);

        //设置分组对比器

        job.setGroupingComparatorClass(YearGroupComparator.class);

        //设置排序对比器(好像不写也行,因为不写的话，WritableComparator的compare方法底层还是会调用自定义key ComboKey.class里的compareTo方法)

        job.setSortComparatorClass(ComboKeyComparator.class);

        job.waitForCompletion(true);

    }

    static boolean delFile(File file) {

        if (!file.exists()) {

            return false;

        }

        if (file.isDirectory()) {

            File[] files = file.listFiles();

            for (File f : files) {

                delFile(f);

            }

        }

        return file.delete();

    }

}

Hadoop 二次排序的更多相关文章

一起学Hadoop——二次排序算法的实现
二次排序,从字面上可以理解为在对key排序的基础上对key所对应的值value排序,也叫辅助排序.一般情况下,MapReduce框架只对key排序,而不对key所对应的值排序,因此value的排序经常 ...
hadoop 二次排序的一些思考
先说一下mr的二次排序需求: 假如文件有两列分别为name.score,需求是先按照name排序,name相同按照score排序数据如下: jx 20 gj 30 jx 10 gj 15 输出结果要 ...
hadoop 二次排序的思考
name sorce jx 10 gj 15 jx 20 gj 30 1. 二次排序 key如何定义 2. grouping 是不是一定要实现,不实现可以吗? 3. 二次排序的本质是什么 4. 如果以 ...
hadoop二次排序
import java.io.DataInput; import java.io.DataOutput; import java.io.File; import java.io.IOException ...
Hadoop Mapreduce分区、分组、二次排序过程详解[转]
原文地址:Hadoop Mapreduce分区.分组.二次排序过程详解[转]作者: 徐海蛟教学用途 1.MapReduce中数据流动 (1)最简单的过程: map - reduce (2) ...
Hadoop.2.x_高级应用_二次排序及MapReduce端join
一.对于二次排序案例部分理解 1. 分析需求(首先对第一个字段排序,然后在对第二个字段排序) 杂乱的原始数据排序完成的数据 a,1 a,1 b,1 a,2 a,2 [排序] a,100 b,6 == ...
Hadoop学习笔记： MapReduce二次排序
本文给出一个实现MapReduce二次排序的例子 package SortTest; import java.io.DataInput; import java.io.DataOutput; impo ...
Hadoop MapReduce 二次排序原理及其应用
关于二次排序主要涉及到这么几个东西: 在0.20.0 以前使用的是 setPartitionerClass setOutputkeyComparatorClass setOutputValueGrou ...
Hadoop学习之自定义二次排序
一.概述 MapReduce框架对处理结果的输出会根据key值进行默认的排序,这个默认排序可以满足一部分需求,但是也是十分有限的.在我们实际的需求当中,往往有要对reduce输出结果进行二次排 ...

随机推荐

osg::Group源码
osg::Group源码 /* -*-c++-*- OpenSceneGraph - Copyright (C) 1998-2006 Robert Osfield * * This library i ...
获取进程 pid 以及命令参数
方法一: wmic process where name="node.exe" get ProcessId,CommandLine 方法二: tlist -c
matlab学习笔记10_5 通用字符串操作和比较函数
一起来学matlab-matlab学习笔记10 10_5 通用字符串操作和比较函数觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考书籍 <matlab 程序设计与综合应用>张 ...
Servlet2.5版本和Servlet3.0版本
在学习这节之前你需要在你自己的电脑进行如下配置: 配置Java运行环境:JDK+JRE的安装配置,参考博客Windows下配置Java开发环境: 安装Eclipse:参考博客Windows下配置Jav ...
Javascript-基本使用
本章向您提供了展示 JavaScript 能力的部分实例. JavaScript 能够改变 HTML 内容 getElementById() 是多个 JavaScript HTML 方法之一. 本例使 ...
dataTable.NET的column index的不同定義
dataTable.NET是一個jQuery的plug in 第三方的library, 用來實現web page中table的interaction controls, 另外最近有在用的還有Teler ...
test String.split
test "map.mergd" do s = :crypto.strong_rand_bytes() # <<, , , , , >> # = >& ...
删除Win10自动下载的更新安装包
当我们禁止了系统的自动更新后,会感觉还有什么东西没做,没错,你还没有删除系统自动下载好的安装包,如果不删除的话会白白浪费磁盘空间!那么系统自动下载的安装包在哪里呢? C盘Windows—Softwar ...
spring cloud集成canal
前提 win运行canal 加入canal依赖 <dependency> <groupId>com.alibaba.otter</groupId> <arti ...
【转】Fuel-openstack的搭建（二）
原文链接:https://blog.csdn.net/qq_35180983/article/details/82181525 部署Openstack 3.1 登陆登陆http://10.20.0. ...

Hadoop 二次排序

需求

思路

pom依赖

代码

Hadoop 二次排序的更多相关文章

随机推荐

热门专题