UDF简记

摘要：
 　　1.开发UDF
　　 2.开发UDAF
　　 3.开发UDTF
　　 4.部署与测试
　　 5.一个简单的实例

内容：
1.开发UDF
　　函数类需要继承org.apache.hadoop.hive.ql.UDF

   实现evaluate函数

2.开发UDAF
　　

　　函数类需要继承UDAF类，内部类Evaluator实UDAFEvaluator接口。

　　Evaluator需要实现 init、iterate、terminatePartial、merge、terminate这几个函数

　　　　init函数实现接口UDAFEvaluator的init函数。

　　　　iterate接收传入的参数，并进行内部的轮转。其返回类型为boolean。

　　　　terminatePartial无参数，其为iterate函数轮转结束后，返回轮转数据，terminatePartial类似于hadoop的Combiner。

　　　　merge接收terminatePartial的返回结果，进行数据merge操作，其返回类型为boolean。

　　　　terminate返回最终的聚集函数结果。

3.开发UDTF　　　

函数类需要继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF

实现initialize, process, close三个方法。

　　initialize方法返回UDTF的返回行的信息（返回个数，类型）

　　process方法对传入的参数进行处理，可以通过forword()方法把结果返回

　　close()方法需要清理的方法进行清理

4.部署与测试

打包上传到HDFS

hadoop fs -put my-udf.jar /hive_functions

hive>add jar hdfs://namenode_host:8020/hive_functions/my-udf.jar;

hive>create temporary function parse_json_array as 'hive.udf.yourUDF';

5.一个简单的实例(github地址)

 import org.apache.commons.lang.StringUtils;
 import org.apache.hadoop.hive.ql.exec.UDF;
 import org.json.JSONArray;
 import org.json.JSONException;
 import org.json.JSONTokener;

 import java.util.ArrayList;

 /**
  * Created by arachis on 2017/10/19.
  * 一个简单的UDF:
  *  解析json array中的指定字段，并用下划线拼接起来
  */
 public class MyUDF extends UDF {
     /**
      * 把json array字符串中指定的字段解析出来
      * @param jsonArrayStr　要解析的json array字符串
      * @param column　要提取的字段
      * @return str
      *
      * hive example:
      *  hive>select *,parse_json_array(get_json_object('{"data":[{"id":1082},{"id":1082},{"id":1082}]}','$.data'),'id') from dual;
      *  hive>+-----------+-----------------+--+
     | dual.foo  |       _c1       |
     +-----------+-----------------+--+
     | NULL      | 1082_1082_1082  |
     +-----------+-----------------+--+
      */
     public String evaluate(String jsonArrayStr,String column) {
         if((jsonArrayStr==null)|| StringUtils.isBlank(jsonArrayStr)||! jsonArrayStr.trim().startsWith("[")){
             return null;
         }
         JSONArray jsonArray = null;
         ArrayList<String> tag_ids = new ArrayList<String>();
         try {
             jsonArray = new JSONArray(new JSONTokener(jsonArrayStr));
             for(int i=0;i<jsonArray.length();i++){
                 String json = jsonArray.getJSONObject(i).get(column).toString();
                 tag_ids.add( json );
             }
         } catch (JSONException e) {
             e.printStackTrace();
         }

         return StringUtils.join( tag_ids,'_' );
     }

     public static void main(String[] args) {
         String jas = "[{\"id\":1082},{\"id\":1082},{\"id\":1082}]";
         System.out.println(new MyUDF().evaluate(jas,"id") );

     }