【原创】MapReduce编程系列之表连接

• 问题描述

需要连接的表如下：其中左边是child，右边是parent，我们要做的是找出grandchild和grandparent的对应关系，为此需要进行表的连接。

---

Tom Lucy
Tom Jim
Lucy David
Lucy Lili
Jim Lilei
Jim SuSan
Lily Green
Lily Bians
Green Well
Green MillShell
Havid James
James LiT
Richard Cheng
Cheng LiHua

 

• 思路分析

　　诚然，在写MR程序的时候要结合MR数据处理的一些特性。例如如果我们用默认的TextInputFormat来处理传入的文件数据，传入的格式是key为行号，value为这一行的值（如上例中的第一行，key为0，value为[Tom,Lucy]），在shuffle过程中，我们的值如果有相同的key，会merge到一起（这一点很重要！）。我们利用shuffle阶段的特性，merge到一组的数据够成一组关系，然后我们在这组关系中想办法区分晚辈和长辈，最后对merge里的value一一作处理，分离出grandchild和grandparent的关系。

       例如，Tom Lucy传入处理后我们将其反转，成为Lucy Tom输出。当然，输出的时候，为了达到join的效果，我们要输出两份，因为join要两个表，一个表为L1：child parent，一个表为L2：child parent，为了达到关联的目的和利用shuffle阶段的特性，我们需要将L1反转，把parent放在前面，这样L1表中的parent和L2表中的child如果字段是相同的那么在shuffle阶段就能merge到一起。还有，为了区分merge到一起后如何区分child和parent，我们把L1表中反转后的child（未来的 grandchild）字段后面加一个1，L2表中parent（未来的grandparent）字段后加2。

 package com.test.join;

 import java.io.IOException;
 import java.util.ArrayList;
 import java.util.Iterator;

 import org.apache.hadoop.conf.Configuration;
 import org.apache.hadoop.fs.Path;
 import org.apache.hadoop.io.Text;
 import org.apache.hadoop.mapreduce.Job;
 import org.apache.hadoop.mapreduce.Mapper;
 import org.apache.hadoop.mapreduce.Reducer;
 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

 public class STJoin {

     public static class STJoinMapper extends Mapper<Object, Text, Text, Text>{

         @Override
         protected void map(Object key, Text value, Context context)
                 throws IOException, InterruptedException {
             // TODO Auto-generated method stub
             String[] rela = value.toString().trim().split(" ",2);
             if(rela.length!=2)
                 return;
             String child = rela[0];
             String parent = rela[1];
             context.write(new Text(parent), new Text((child+"1")));
             context.write(new Text(child), new Text((parent+"2")));

         }

     }
     public static class STJoinReducer extends Reducer<Text, Text, Text, Text>{

         @Override
         protected void reduce(Text arg0, Iterable<Text> arg1,Context context)
                 throws IOException, InterruptedException {
             // TODO Auto-generated method stub
             ArrayList<String> grandParent = new ArrayList<>();
             ArrayList<String> grandChild = new ArrayList<>();
             Iterator<Text> iterator = arg1.iterator();
             while(iterator.hasNext()){
                 String text = iterator.next().toString();
                 if(text.endsWith("1"))
                     grandChild.add(text.substring(0, text.length()-1));
                 if(text.endsWith("2"))
                     grandParent.add(text.substring(0, text.length()-1));
             }

             for(String grandparent:grandParent){
                 for(String grandchild:grandChild){
                     context.write(new Text(grandchild), new Text(grandparent));
                 }
             }
         }
     }

     public static void main(String args[]) throws IOException, ClassNotFoundException, InterruptedException {
         Configuration conf = new Configuration();
         Job job = new Job(conf,"STJoin");
         job.setMapperClass(STJoinMapper.class);
         job.setReducerClass(STJoinReducer.class);
         job.setOutputKeyClass(Text.class);
         job.setOutputValueClass(Text.class);
         FileInputFormat.addInputPath(job, new Path("hdfs://localhost:9000/user/hadoop/STJoin/joinFile"));
         FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/user/hadoop/STJoin/joinResult"));

         System.exit(job.waitForCompletion(true)?0:1);
     }
 }

• 结果显示

 

Richard    LiHua
Lily    Well
Lily    MillShell
Havid    LiT
Tom    Lilei
Tom    SuSan
Tom    Lili
Tom    David

以上代码在hadoop1.0.3平台实现