Hadoop之MapReduce（一）简介及简单案例

简介

　　Hadoop MapReduce是一个分布式运算编程框架，基于该框架能够容易地编写应用程序，进而处理海量数据的计算。

　　MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想；Map 负责"分"，即把复杂的任务分解为若干个"简单的任务"来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce 负责"合"，即对 map 阶段的结果进行全局汇总。

MapReduce的执行流程

1，由默认读取数据组件TextInputFormat一行一行的读（input）

2，然后做相应的处理（由我们自己编写的Mapper程序做处理），最终context.write出<key,value>到内存缓冲区（图中的buffer in memory）

3，memory缓冲区默认100M，如果满了（或者到了末尾）则spill to disk（溢出到磁盘，最后merge（合并）），如果有分区或者排序的话，这里会分区且排序

4，由我们自己的程序控制一共有几个reduce，每个reduce会去磁盘上拉去属于自己的分区，进而执行我们自己编写的Reducer程序进行处理数据，最终context.write出<key,value>

5，由输出数据组件TextOutPutFomat输出到我们制定的位置（output）

简单示例

需求：在一堆给定的文本文件中统计输出每一个单词出现的总次数

首先，编写Mapper程序（需要继承org.apache.hadoop.mapreduce.Mapper并重写map方法）：

package com.zy.hadoop.mr.wordcount;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * TODO 本类就是mr程序map阶段调用的类  也是就maptask
 * KEYIN :map输入kv中key
 * 在默认读取数据的组件下TextInputFormat(一行一行读)
 * key:表示是改行的起始偏移量（光标所在的偏移值）
 * value：表示的改行内容
 * 用long来表示
 * <p>
 * VALUEIN：map输入kv中的value
 * 在默认读取数据的组件下TextInputFormat(一行一行读)
 * 表明的是一行内容   所有是String
 * <p>
 * KEYOUT：map输出的kv中的key
 * 在我们的需求中  把单词做为输出的key  所以String
 * <p>
 * VALUEOUT：map输出kv中的value
 * 在我们的需求中  把单词的次数1做为输出的value  所以int
 * <p>
 * Long String是jdk自带的数据类型
 * 在网络传输序列化中 hadoop认为其及其垃圾  效率不高  所以自己封装了一套 数据类型   包括自己的序列化机制（Writable）
 * Long----->LongWritable
 * String--->Text
 * int------>IntWritable
 * null----->nullWritable
 */
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    /**
     * @param key
     * @param value
     * @param context TODO 该方法就是map阶段具体业务逻辑实现的所在地方
     *                map方法调用次数 取决于TextInputFormat如何读数据
     *                TextInputFormat读取一行数据--->封装成<k，v>--->调用一次map方法
     *                <p>
     *                hello tom hello alex hello-->   <0,hello tom hello alex hello>
     *                alex tom mac apple        -->    <24,alex tom mac apple>
     */
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //拿其中一行内容转成String
        String line = value.toString();
        //按照分隔符分隔
        String[] words = line.split(" ");
        //遍历数组 单词出现就标记1
        for (String word : words) {
            //使用哦context把map处理完的结果写出去
            context.write(new Text(word), new IntWritable(1)); //<hello,1>
        }
    }
}

然后，编写Reducer类（需要继承org.apache.hadoop.mapreduce.Reducer并重写reduce方法）：

package com.zy.hadoop.mr.wordcount;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * TODO  该类就是mr程序reduce阶段运行的类  也就是reducetask
 * KEYIN: reduce输入的kv中k 也就是map输出kv中的k  是单词  Text
 * <p>
 * VALUEIN:reduce输入的kv中v  也就是map输出kv中的v  是次数1  IntWritable
 * <p>
 * KEYOUT：reduce输出的kv中k  在本需求中 还是单词  Text
 * <p>
 * VALUEOUT:reduce输出的kv中v  在本需求中 是单词的总次数  IntWritable
 */
public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        //定义一个变量
        int count = 0;
        //遍历values 累计里面的值
        for (IntWritable value : values) {
            count += value.get();
        }
        //输出结果
        context.write(key, new IntWritable(count));
    }
}

最后，编写执行类：

package com.zy.hadoop.mr.wordcount;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * TODO 该类就是mr程序运行的主类 主要用于一些参数的指定拼接 任务的提交
 * TODO 比如使用的是哪个mapper 哪个reducer  输入输出的kv是什么  待处理的数据在那  输出结果放哪
 */
public class WordCountRunner {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();

        //指定mr采用本地模式运行 本地测试用
        conf.set("mapreduce.framework.name", "local");

        //使用job构建本次mr程序
        Job job = Job.getInstance(conf);

        //指定本次mr程序运行的主类
        job.setJarByClass(WordCountRunner.class);

        //指定本次mr程序的mapper reducer
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        //指定本次mr程序map阶段的输出类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //指定本次mr程序reduce阶段的输出类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //设置使用几个Reduce执行
        job.setNumReduceTasks(2);

        //指定本次mr程序处理的数据目录 输出结果的目录
//        FileInputFormat.setInputPaths(job, new Path("/wordcount/input"));
//        FileOutputFormat.setOutputPath(job, new Path("/wordcount/output"));

        //本地测试用
        FileInputFormat.setInputPaths(job, new Path("D:\\wordcount\\input"));
        FileOutputFormat.setOutputPath(job, new Path("D:\\wordcount\\output"));//输出的文件夹不能提前创建 否则会报错

        //提交本次mr的job
        //job.submit();

        //提交任务 并且追踪打印job的执行情况
        boolean b = job.waitForCompletion(true);
        System.exit(b ? 0 : -1);
    }
}

如果需要将程序提交给YARN集群执行：

1，将程序打成jar包，上传到集群的任意一个节点上

2，用hadoop命令启动：hadoop xxxxx.jar