Hive UDF开发指南
编写Apache Hive用户自定义函数(UDF)有两个不同的接口,一个非常简单,另一个...就相对复杂点。
复杂API: org.apache.hadoop.hive.ql.udf.generic.GenericUDF
如果你想浏览代码:fork it on Github:https://github.com/rathboma/hive-extension-examples
简单API
- class SimpleUDFExample extends UDF {
- public Text evaluate(Text input) {
- return new Text("Hello " + input.toString());
- }
- }
因为该UDF是一个简单的函数,你可以在规范的测试工具测试它,如JUnit。
- public class SimpleUDFExampleTest {
- @Test
- public void testUDF() {
- SimpleUDFExample example = new SimpleUDFExample();
- Assert.assertEquals("Hello world", example.evaluate(new Text("world")).toString());
- }
- }
好的,在Hive控制台测试一把,也可以在hive中直接测试这个UDF,特别是当你不完全肯定该函数是否能够正确处理问题的时候
- %> hive
- hive> ADD JAR target/hive-extensions-1.0-SNAPSHOT-jar-with-dependencies.jar;
- hive> CREATE TEMPORARY FUNCTION helloworld as 'com.matthewrathbone.example.SimpleUDFExample';
- hive> select helloworld(name) from people limit 1000;
事实上,上述UDF有一个bug,不会去检查null参数,null在一个大的数据集当中是很常见的,所以要适当严谨点。作为回应,这边在函数中加了一个null检查
- class SimpleUDFExample extends UDF {
- public Text evaluate(Text input) {
- if(input == null) return null;
- return new Text("Hello " + input.toString());
- }
- }
然后加了一个测试去验证它
- @Test
- public void testUDFNullCheck() {
- SimpleUDFExample example = new SimpleUDFExample();
- Assert.assertNull(example.evaluate(null));
- }
用mvn test跑一下测试,来保证所有用例通过。
复杂的API
- // 这个类似于简单API的evaluat方法,它可以读取输入数据和返回结果
- abstract Object evaluate(GenericUDF.DeferredObject[] arguments);
- // 该方法无关紧要,我们可以返回任何东西,但应当是描述该方法的字符串
- abstract String getDisplayString(String[] children);
- // 只调用一次,在任何evaluate()调用之前,你可以接收到一个可以表示函数输入参数类型的object inspectors数组
- // 这是你用来验证该函数是否接收正确的参数类型和参数个数的地方
- abstract ObjectInspector initialize(ObjectInspector[] arguments);
可能要通过一个示例才能去了解这个接口,所以接下来往下看。
示例
一个String的列表(list)
一个String
- containsString(List("a", "b", "c"), "b"); // true
- containsString(List("a", "b", "c"), "d"); // false
不同于UDF接口,这个GenericUDF接口需要更啰嗦点。
- class ComplexUDFExample extends GenericUDF {
- ListObjectInspector listOI;
- StringObjectInspector elementOI;
- @Override
- public String getDisplayString(String[] arg0) {
- return "arrayContainsExample()"; // this should probably be better
- }
- @Override
- public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException {
- if (arguments.length != 2) {
- throw new UDFArgumentLengthException("arrayContainsExample only takes 2 arguments: List<T>, T");
- }
- // 1. 检查是否接收到正确的参数类型
- ObjectInspector a = arguments[0];
- ObjectInspector b = arguments[1];
- if (!(a instanceof ListObjectInspector) || !(b instanceof StringObjectInspector)) {
- throw new UDFArgumentException("first argument must be a list / array, second argument must be a string");
- }
- this.listOI = (ListObjectInspector) a;
- this.elementOI = (StringObjectInspector) b;
- // 2. 检查list是否包含的元素都是string
- if(!(listOI.getListElementObjectInspector() instanceof StringObjectInspector)) {
- throw new UDFArgumentException("first argument must be a list of strings");
- }
- // 返回类型是boolean,所以我们提供了正确的object inspector
- return PrimitiveObjectInspectorFactory.javaBooleanObjectInspector;
- }
- @Override
- public Object evaluate(DeferredObject[] arguments) throws HiveException {
- // 利用object inspectors从传递的对象中得到list与string
- List<String> list = (List<String>) this.listOI.getList(arguments[0].get());
- String arg = elementOI.getPrimitiveJavaObject(arguments[1].get());
- // 检查空值
- if (list == null || arg == null) {
- return null;
- }
- // 判断是否list中包含目标值
- for(String s: list) {
- if (arg.equals(s)) return new Boolean(true);
- }
- return new Boolean(false);
- }
- }
代码走读
1、该UDF用默认的构造器来初始化
1) 检查传人的参数有两个与该参数的数据类型是正确的(见上面)
2) 我们保存object instructors用以供evaluate()使用(listOI, elementOI)
3) 返回 object inspector,让Hive能够读取该函数的返回结果(BooleanObjectInspector)
1) 我们利用initialize方法中存储的object instructors来抽取出正确的值。
2) 我们在这处理我们的逻辑然后用initialize返回的object inspector来序列化返回来的值(list.contains(elemement) ? true : false)。
测试
测试该函数比较复杂的部分是初始化,一旦调用顺序明确了,我们就知道怎么去构建该对象测试流程,非常简单。
- public class ComplexUDFExampleTest {
- @Test
- public void testComplexUDFReturnsCorrectValues() throws HiveException {
- // 建立需要的模型
- ComplexUDFExample example = new ComplexUDFExample();
- ObjectInspector stringOI = PrimitiveObjectInspectorFactory.javaStringObjectInspector;
- ObjectInspector listOI = ObjectInspectorFactory.getStandardListObjectInspector(stringOI);
- JavaBooleanObjectInspector resultInspector = (JavaBooleanObjectInspector) example.initialize(new ObjectInspector[]{listOI, stringOI});
- // create the actual UDF arguments
- List<String> list = new ArrayList<String>();
- list.add("a");
- list.add("b");
- list.add("c");
- // 测试结果
- // 存在的值
- Object result = example.evaluate(new DeferredObject[]{new DeferredJavaObject(list), new DeferredJavaObject("a")});
- Assert.assertEquals(true, resultInspector.get(result));
- // 不存在的值
- Object result2 = example.evaluate(new DeferredObject[]{new DeferredJavaObject(list), new DeferredJavaObject("d")});
- Assert.assertEquals(false, resultInspector.get(result2));
- // 为null的参数
- Object result3 = example.evaluate(new DeferredObject[]{new DeferredJavaObject(null), new DeferredJavaObject(null)});
- Assert.assertNull(result3);
- }
- }
结束语
虽然在这篇文章中有一些其他的东西没提及到,但是另外有UDAF函数与UDTF函数,UDAF函数能够在一个函数中处理与聚集多行数据,如果你更感兴趣,这里有一些资源可以提供帮助。
翻译来自于
Hive UDF开发指南的更多相关文章
- 最强最全面的Hive SQL开发指南,超四万字全面解析
本文整体分为两部分,第一部分是简写,如果能看懂会用,就直接从此部分查,方便快捷,如果不是很理解此SQL的用法,则查看第二部分,是详细说明,当然第二部分语句也会更全一些! 第一部分: hive模糊搜索表 ...
- Hive UDF开发-简介
Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以. Hive的UDF开发只需要重构UDF类的evaluate函数即可.例 ...
- Hive UDF开发 第一个例子
package udf; import org.apache.hadoop.hive.ql.exec.UDF; public class helloudf extends UDF{ public St ...
- Hive UDTF开发指南
在这篇文章中,我们将深入了解用户定义表函数(UDTF),该函数的实现是通过继承org.apache.Hadoop.hive.ql.udf.generic.GenericUDTF这个抽象通用类,UDTF ...
- Hive UDF开发实例学习
1. 本地环境配置 必须包含的一些包. http://blog.csdn.net/azhao_dn/article/details/6981115 2. 去重UDF实例 http://blog.csd ...
- hive UDF函数
虽然Hive提供了很多函数,但是有些还是难以满足我们的需求.因此Hive提供了自定义函数开发 自定义函数包括三种UDF.UADF.UDTF UDF(User-Defined-Function) ...
- Hive UDAF开发之同时计算最大值与最小值
卷首语 前一篇文章hive UDAF开发入门和运行过程详解(转)里面讲过UDAF的开发过程,其中说到如果要深入理解UDAF的执行,可以看看求平均值的UDF的源码 本人在看完源码后,也还是没能十分理解里 ...
- 2、Hive UDF编程实例
Hive的UDF包括3种:UDF(User-Defined Function).UDAF(User-Defined Aggregate Function)和UDTF(User-Defined Tabl ...
- HADOOP docker(六):hive简易使用指南
前言1.hive简介1.1 hive组件与相应功能:1.2 hive的表类型1.3 分区表1.3 分隔符1.4 hive的数据存储2.数据类型2.1 基本数据类型2.1 复杂数据类型2.3 NULL3 ...
随机推荐
- C# 调用NPOI 修改Excel 完成实时更新公式结果
C# 调用NPOI,修改EXCEL中的数据后并保存后,不会对公式进行更新操作.打开Excel表需要更新一下公式才生效 强制更新公式:C# 调用sheet.ForceFormulaRecalculati ...
- oracle中查找与已知表的数据库对象
在此次情况中,业务顾问就给我提供了一张客户公司客户化的Form,然后让找出界面上的数据是怎样生成的. 首先我们从EBS form 界面上找到了界面的数据来源于一张表ks_so_line_margin_ ...
- fancyBox高级进阶用法
最近给客户做的一个项目中,客户要求弹窗的边界与页面某个区块边界平齐,但平齐之后,弹出的窗口就不是居中的情况了,研究之后,认为需要改写fancyBox的fancybox-wrap类中的top属性才能达到 ...
- ArcGIS10.1的安装问题
注:必须用3个带0的文件夹里面的东西安装 1.先装Pre-release_license_manager ,然后停掉. 2.然后安装0Desktop/ArcGIS_Desktop, 3.打开0Ke ...
- k8s之configmap配置中心
记录在石墨笔记中,懒得再粘贴了,大家直接移步下面地址 https://shimo.im/docs/ktNM72QPweEEkcWg/
- linux 命令——32 gzip(转)
减少文件大小有两个明显的好处,一是可以减少存储空间,二是通过网络传输文件时,可以减少传输的时间.gzip是在Linux系统中经常使用的一个对文件进行压缩和解压缩的命令,既方便又好用.gzip不仅可以用 ...
- java的图形界面初学惯用
1.单一界面的创建 public void mainFrame() { HashMap<String, Component> views = new HashMap<String, ...
- <已解决> Eclipse启动失败
参考:http://stackoverflow.com/questions/15404964/starting-eclipse-results-in-failed-to-create-java-vir ...
- Wired Memory
https://developer.apple.com/library/content/documentation/Performance/Conceptual/ManagingMemory/Arti ...
- 【转】VS2010发布、打包安装程序(超全超详细)
1. 在vs2010 选择“新建项目”→“ 其他项目类型”→“ Visual Studio Installer→“安装项目”: 命名为:Setup1 . 这是在VS2010中将有三个文件夹, 1.“应 ...