说明

这篇文章是来自Hadoop Hive UDAF Tutorial - Extending Hive with Aggregation Functions:的不严格翻译,因为翻译的文章示例写得比较通俗易懂,此外,我把自己对于Hive的UDAF理解穿插到文章里面。

udfa是hive中用户自定义的聚集函数,hive内置UDAF函数包括有sum()与count(),UDAF实现有简单与通用两种方式,简单UDAF因为使用Java反射导致性能损失,而且有些特性不能使用,已经被弃用了;在这篇博文中我们将关注Hive中自定义聚类函数-GenericUDAF,UDAF开发主要涉及到以下两个抽象类:

  1. org.apache.hadoop.hive.ql.udf.generic.AbstractGenericUDAFResolver
  2. org.apache.hadoop.hive.ql.udf.generic.GenericUDAFEvaluator

源码链接

博文中的所有的代码和数据可以在以下链接找到:hive examples

示例数据准备

首先先创建一张包含示例数据的表:people,该表只有name一列,该列中包含了一个或多个名字,该表数据保存在people.txt文件中。

  1. ~$ cat ./people.txt
  2. John Smith
  3. John and Ann White
  4. Ted Green
  5. Dorothy

把该文件上载到hdfs目录/user/matthew/people中:

  1. hadoop fs -mkdir people
  2. hadoop fs -put ./people.txt people

下面要创建hive外部表,在hive shell中执行

  1. CREATE EXTERNAL TABLE people (name string)
  2. ROW FORMAT DELIMITED FIELDS
  3. TERMINATED BY '\t'
  4. ESCAPED BY ''
  5. LINES TERMINATED BY '\n'
  6. STORED AS TEXTFILE
  7. LOCATION '/user/matthew/people';

相关抽象类介绍

创建一个GenericUDAF必须先了解以下两个抽象类:
  1. org.apache.hadoop.hive.ql.udf.generic.AbstractGenericUDAFResolver
  1. org.apache.hadoop.hive.ql.udf.generic.GenericUDAFEvaluator

为了更好理解上述抽象类的API,要记住hive只是mapreduce函数,只不过hive已经帮助我们写好并隐藏mapreduce,向上提供简洁的sql函数,所以我们要结合Mapper、Combiner与Reducer来帮助我们理解这个函数。要记住在Hadoop集群中有若干台机器,在不同的机器上Mapper与Reducer任务独立运行。

所以大体上来说,这个UDAF函数读取数据(mapper),聚集一堆mapper输出到部分聚集结果(combiner),并且最终创建一个最终的聚集结果(reducer)。因为我们跨域多个combiner进行聚集,所以我们需要保存部分聚集结果。

AbstractGenericUDAFResolver

Resolver很简单,要覆盖实现下面方法,该方法会根据sql传人的参数数据格式指定调用哪个Evaluator进行处理。

  1. <span style="background-color: rgb(255, 255, 255);"><span style="font-size:14px;">public GenericUDAFEvaluator getEvaluator(TypeInfo[] parameters) throws SemanticException;</span></span>

GenericUDAFEvaluator

UDAF逻辑处理主要发生在Evaluator中,要实现该抽象类的几个方法。

在理解Evaluator之前,必须先理解objectInspector接口与GenericUDAFEvaluator中的内部类Model。

ObjectInspector

作用主要是解耦数据使用与数据格式,使得数据流在输入输出端切换不同的输入输出格式,不同的Operator上使用不同的格式。可以参考这两篇文章:first post on Hive UDFsHive中ObjectInspector的作用,里面有关于objectinspector的介绍。

Model

Model代表了UDAF在mapreduce的各个阶段。

  1. public static enum Mode {
  2. /**
  3. * PARTIAL1: 这个是mapreduce的map阶段:从原始数据到部分数据聚合
  4. * 将会调用iterate()和terminatePartial()
  5. */
  6. PARTIAL1,
  7. /**
  8. * PARTIAL2: 这个是mapreduce的map端的Combiner阶段,负责在map端合并map的数据::从部分数据聚合到部分数据聚合:
  9. * 将会调用merge() 和 terminatePartial()
  10. */
  11. PARTIAL2,
  12. /**
  13. * FINAL: mapreduce的reduce阶段:从部分数据的聚合到完全聚合
  14. * 将会调用merge()和terminate()
  15. */
  16. FINAL,
  17. /**
  18. * COMPLETE: 如果出现了这个阶段,表示mapreduce只有map,没有reduce,所以map端就直接出结果了:从原始数据直接到完全聚合
  19. * 将会调用 iterate()和terminate()
  20. */
  21. COMPLETE
  22. };

一般情况下,完整的UDAF逻辑是一个mapreduce过程,如果有mapper和reducer,就会经历PARTIAL1(mapper),FINAL(reducer),如果还有combiner,那就会经历PARTIAL1(mapper),PARTIAL2(combiner),FINAL(reducer)。

而有一些情况下的mapreduce,只有mapper,而没有reducer,所以就会只有COMPLETE阶段,这个阶段直接输入原始数据,出结果。

GenericUDAFEvaluator的方法

  1. // 确定各个阶段输入输出参数的数据格式ObjectInspectors
  2. public  ObjectInspector init(Mode m, ObjectInspector[] parameters) throws HiveException;
  3. // 保存数据聚集结果的类
  4. abstract AggregationBuffer getNewAggregationBuffer() throws HiveException;
  5. // 重置聚集结果
  6. public void reset(AggregationBuffer agg) throws HiveException;
  7. // map阶段,迭代处理输入sql传过来的列数据
  8. public void iterate(AggregationBuffer agg, Object[] parameters) throws HiveException;
  9. // map与combiner结束返回结果,得到部分数据聚集结果
  10. public Object terminatePartial(AggregationBuffer agg) throws HiveException;
  11. // combiner合并map返回的结果,还有reducer合并mapper或combiner返回的结果。
  12. public void merge(AggregationBuffer agg, Object partial) throws HiveException;
  13. // reducer阶段,输出最终结果
  14. public Object terminate(AggregationBuffer agg) throws HiveException;

图解Model与Evaluator关系

Model各阶段对应Evaluator方法调用

Evaluator各个阶段下处理mapreduce流程

实例

下面将讲述一个聚集函数UDAF的实例,我们将计算people这张表中的name列字母的个数。

下面的函数代码是计算指定列中字符的总数(包括空格)

代码

  1. @Description(name = "letters", value = "_FUNC_(expr) - 返回该列中所有字符串的字符总数")
  2. public class TotalNumOfLettersGenericUDAF extends AbstractGenericUDAFResolver {
  3. @Override
  4. public GenericUDAFEvaluator getEvaluator(TypeInfo[] parameters)
  5. throws SemanticException {
  6. if (parameters.length != 1) {
  7. throw new UDFArgumentTypeException(parameters.length - 1,
  8. "Exactly one argument is expected.");
  9. }
  10. ObjectInspector oi = TypeInfoUtils.getStandardJavaObjectInspectorFromTypeInfo(parameters[0]);
  11. if (oi.getCategory() != ObjectInspector.Category.PRIMITIVE){
  12. throw new UDFArgumentTypeException(0,
  13. "Argument must be PRIMITIVE, but "
  14. + oi.getCategory().name()
  15. + " was passed.");
  16. }
  17. PrimitiveObjectInspector inputOI = (PrimitiveObjectInspector) oi;
  18. if (inputOI.getPrimitiveCategory() != PrimitiveObjectInspector.PrimitiveCategory.STRING){
  19. throw new UDFArgumentTypeException(0,
  20. "Argument must be String, but "
  21. + inputOI.getPrimitiveCategory().name()
  22. + " was passed.");
  23. }
  24. return new TotalNumOfLettersEvaluator();
  25. }
  26. public static class TotalNumOfLettersEvaluator extends GenericUDAFEvaluator {
  27. PrimitiveObjectInspector inputOI;
  28. ObjectInspector outputOI;
  29. PrimitiveObjectInspector integerOI;
  30. int total = 0;
  31. @Override
  32. public ObjectInspector init(Mode m, ObjectInspector[] parameters)
  33. throws HiveException {
  34. assert (parameters.length == 1);
  35. super.init(m, parameters);
  36. //map阶段读取sql列,输入为String基础数据格式
  37. if (m == Mode.PARTIAL1 || m == Mode.COMPLETE) {
  38. inputOI = (PrimitiveObjectInspector) parameters[0];
  39. } else {
  40. //其余阶段,输入为Integer基础数据格式
  41. integerOI = (PrimitiveObjectInspector) parameters[0];
  42. }
  43. // 指定各个阶段输出数据格式都为Integer类型
  44. outputOI = ObjectInspectorFactory.getReflectionObjectInspector(Integer.class,
  45. ObjectInspectorOptions.JAVA);
  46. return outputOI;
  47. }
  48. /**
  49. * 存储当前字符总数的类
  50. */
  51. static class LetterSumAgg implements AggregationBuffer {
  52. int sum = 0;
  53. void add(int num){
  54. sum += num;
  55. }
  56. }
  57. @Override
  58. public AggregationBuffer getNewAggregationBuffer() throws HiveException {
  59. LetterSumAgg result = new LetterSumAgg();
  60. return result;
  61. }
  62. @Override
  63. public void reset(AggregationBuffer agg) throws HiveException {
  64. LetterSumAgg myagg = new LetterSumAgg();
  65. }
  66. private boolean warned = false;
  67. @Override
  68. public void iterate(AggregationBuffer agg, Object[] parameters)
  69. throws HiveException {
  70. assert (parameters.length == 1);
  71. if (parameters[0] != null) {
  72. LetterSumAgg myagg = (LetterSumAgg) agg;
  73. Object p1 = ((PrimitiveObjectInspector) inputOI).getPrimitiveJavaObject(parameters[0]);
  74. myagg.add(String.valueOf(p1).length());
  75. }
  76. }
  77. @Override
  78. public Object terminatePartial(AggregationBuffer agg) throws HiveException {
  79. LetterSumAgg myagg = (LetterSumAgg) agg;
  80. total += myagg.sum;
  81. return total;
  82. }
  83. @Override
  84. public void merge(AggregationBuffer agg, Object partial)
  85. throws HiveException {
  86. if (partial != null) {
  87. LetterSumAgg myagg1 = (LetterSumAgg) agg;
  88. Integer partialSum = (Integer) integerOI.getPrimitiveJavaObject(partial);
  89. LetterSumAgg myagg2 = new LetterSumAgg();
  90. myagg2.add(partialSum);
  91. myagg1.add(myagg2.sum);
  92. }
  93. }
  94. @Override
  95. public Object terminate(AggregationBuffer agg) throws HiveException {
  96. LetterSumAgg myagg = (LetterSumAgg) agg;
  97. total = myagg.sum;
  98. return myagg.sum;
  99. }
  100. }
  101. }

代码说明

这里有一些关于combiner的资源,Philippe Adjiman 讲得不错。

AggregationBuffer 允许我们保存中间结果,通过定义我们的buffer,我们可以处理任何格式的数据,在代码例子中字符总数保存在AggregationBuffer 。

  1. /**
  2. * 保存当前字符总数的类
  3. */
  4. static class LetterSumAgg implements AggregationBuffer {
  5. int sum = 0;
  6. void add(int num){
  7. sum += num;
  8. }
  9. }

这意味着UDAF在不同的mapreduce阶段会接收到不同的输入。Iterate读取我们表中的一行(或者准确来说是表),然后输出其他数据格式的聚集结果。

artialAggregation合并这些聚集结果到另外相同格式的新的聚集结果,然后最终的reducer取得这些聚集结果然后输出最终结果(该结果或许与接收数据的格式不一致)。

在init()方法中我们指定输入为string,结果输出格式为integer,还有,部分聚集结果输出格式为integer(保存在aggregation buffer中);terminate()terminatePartial()两者输出一个integer

  1. // init方法中根据不同的mode指定输出数据的格式objectinspector
  2. if (m == Mode.PARTIAL1 || m == Mode.COMPLETE) {
  3. inputOI = (PrimitiveObjectInspector) parameters[0];
  4. } else {
  5. integerOI = (PrimitiveObjectInspector) parameters[0];
  6. }
  7. // 不同model阶段的输出数据格式
  8. outputOI = ObjectInspectorFactory.getReflectionObjectInspector(Integer.class,
  9. ObjectInspectorOptions.JAVA);

iterate()函数读取到每行中列的字符串,计算与保存该字符串的长度

  1. public void iterate(AggregationBuffer agg, Object[] parameters)
  2. throws HiveException {
  3. ...
  4. Object p1 = ((PrimitiveObjectInspector) inputOI).getPrimitiveJavaObject(parameters[0]);
  5. myagg.add(String.valueOf(p1).length());
  6. }
  7. }

Merge函数增加部分聚集总数到AggregationBuffer

  1. public void merge(AggregationBuffer agg, Object partial)
  2. throws HiveException {
  3. if (partial != null) {
  4. LetterSumAgg myagg1 = (LetterSumAgg) agg;
  5. Integer partialSum = (Integer) integerOI.getPrimitiveJavaObject(partial);
  6. LetterSumAgg myagg2 = new LetterSumAgg();
  7. myagg2.add(partialSum);
  8. myagg1.add(myagg2.sum);
  9. }
  10. }

Terminate()函数返回AggregationBuffer中的内容,这里产生了最终结果。

  1. public Object terminate(AggregationBuffer agg) throws HiveException {
  2. LetterSumAgg myagg = (LetterSumAgg) agg;
  3. total = myagg.sum;
  4. return myagg.sum;
  5. }

使用自定义函数

  1. ADD JAR ./hive-extension-examples-master/target/hive-extensions-1.0-SNAPSHOT-jar-with-dependencies.jar;
  2. CREATE TEMPORARY FUNCTION letters as 'com.matthewrathbone.example.TotalNumOfLettersGenericUDAF';
  3. SELECT letters(name) FROM people;
  4. OK
  5. 44
  6. Time taken: 20.688 seconds

资料参考

 

Hive UDAF开发详解的更多相关文章

  1. Hive UDAF开发之同时计算最大值与最小值

    卷首语 前一篇文章hive UDAF开发入门和运行过程详解(转)里面讲过UDAF的开发过程,其中说到如果要深入理解UDAF的执行,可以看看求平均值的UDF的源码 本人在看完源码后,也还是没能十分理解里 ...

  2. Hadoop Hive sql语法详解

    Hadoop Hive sql语法详解 Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件 ...

  3. 大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解

    微信公众号[程序员江湖] 作者黄小斜,斜杠青年,某985硕士,阿里 Java 研发工程师,于 2018 年秋招拿到 BAT 头条.网易.滴滴等 8 个大厂 offer,目前致力于分享这几年的学习经验. ...

  4. Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解

    转自:http://blog.csdn.net/iamdll/article/details/20998035 分类: 分布式 2014-03-11 10:31 156人阅读 评论(0) 收藏 举报 ...

  5. EasyPR--开发详解(6)SVM开发详解

    在前面的几篇文章中,我们介绍了EasyPR中车牌定位模块的相关内容.本文开始分析车牌定位模块后续步骤的车牌判断模块.车牌判断模块是EasyPR中的基于机器学习模型的一个模块,这个模型就是作者前文中从机 ...

  6. 基于H5的微信支付开发详解

    这次总结一下用户在微信内打开网页时,可以调用微信支付完成下单功能的模块开发,也就是在微信内的H5页面通过jsApi接口实现支付功能.当然了,微信官网上的微信支付开发文档也讲解的很详细,并且有实现代码可 ...

  7. ****基于H5的微信支付开发详解[转]

    这次总结一下用户在微信内打开网页时,可以调用微信支付完成下单功能的模块开发,也就是在微信内的H5页面通过jsApi接口实现支付功能.当然了,微信官网上的微信支付开发文档也讲解的很详细,并且有实现代码可 ...

  8. 【转发】NPAPI开发详解,Windows版

    NPAPI开发详解,Windows版 9 jiaofeng601, +479 9人支持,来自Meteor.猪爪.hanyuxinting更多 .是非黑白 .Yuan Xulei.hyolin.Andy ...

  9. 热烈祝贺华清远见《ARM处理器开发详解》第2版正式出版

    2014年6月,由华清远见研发中心组织多名业 内顶尖讲师编写的<ARM处理器开发详解>一书正式出版.本书以S5PV210处理器为平台,详细介绍了嵌入式系统开发的各个主要环节,并注重实践,辅 ...

随机推荐

  1. Java的compare比较

    package com.jckb; public class Name implements Comparable<Name>{ private String firstName; pri ...

  2. JQuery使用正则表达式验证手机号,邮箱,身份证(含有港澳台),网址

    自己对正则验证也没系统用过,这次自己做个demo,一下子把这些全都用上了,下次有需要直接来拿了. 以下代码是在页面使用JQuery进行验证的,也有在后台进行验证的,可以试试,都一样的原理. 直接上代码 ...

  3. 转---JS 获取鼠标左右键

    原文:http://blog.csdn.net/mine3333/article/details/7291557 function test() { alert(event.x+" &quo ...

  4. ORACLE 数据库的级联查询 一句sql搞定(部门多级)

    在ORACLE 数据库中有一种方法可以实现级联查询   select  *                //要查询的字段 from table              //具有子接点ID与父接点I ...

  5. 常用的CSS属性列表汇总

    常用的CSS属性列表汇总 近期教学给学员总结常用的CSS属性,方便学习查询,正好发上来也给大家分享一下. 表格最右列的数字标识支持的CSS最低版本. 01. CSS背景属性(Background) 属 ...

  6. Unity光晕剑效果的Shader简单实现

    最近遇到了一个需求,想要一种在刀剑上带有光晕的酷炫效果,甚至是还想要有闪烁呼吸效果,于是就写了一个简单的叫LightSwrod的Shader去实现,先上图看看效果吧. 简单展示 这是剑本身的样子 这是 ...

  7. meterpreter > ps

    meterpreter > ps Process List============ PID PPID Name Arch Session User Path --- ---- ---- ---- ...

  8. datagrid数据表格使用总结

    一.加载的css文件 easyui 基本样式: <link href="../easyui/easyui1.5.css" rel="stylesheet" ...

  9. @Valid的坑

    @Valid 只能用来验证 @RequestBody 标注的参数,并且要写在 @RequestBody 之前

  10. linux 命令——15 tail (转)

    tail 命令从指定点开始将文件写到标准输出.使用tail命令的-f选项可以方便的查阅正在改变的日志文件,tail -f filename会把filename里最尾部的内容显示在屏幕上,并且不但刷新, ...