1. 问题描述

收集日志avro数据中有两个Map字段appInstallappUse分别表示已安装的app、正在使用的app,且key值为app的名称,value值为app使用信息。现在要得到一份匹配上购物类app支付宝|京东|淘宝|天猫的用户名单;MapReduce 解决办法如下:

public static class M extends Mapper<String, Pair, String, Text> {
Text text = new Text(); @SuppressWarnings("unchecked")
@Override
protected void map(String key, Pair value, Context context) throws IOException, InterruptedException {
Map data = value.fields.data; String dvc = data.get("dvc").toString();
Map<String, Object> appInstall = (Map<String, Object>) data.get("appInstall");
Map<String, Object> appUse = (Map<String, Object>) data.get("appUse"); for(String app: appInstall.keySet()) {
if(app.matches("支付宝|京东|淘宝|天猫")) {
text.set(appInstall.keySet().toString());
context.write(dvc, text);
return;
}
} for(String app: appUse.keySet()) {
if(app.matches("支付宝|京东|淘宝|天猫")) {
text.set(appUse.keySet().toString());
context.write(dvc, text);
return;
}
}
}
}

但是,如果要匹配游戏类的app、金融类的app类呢?如果匹配关键词发生了变化呢?显然,我们应该将匹配关键词开放成API,可以自由地匹配正则表达式。这时,pig派上了用场。

2. Bag正则匹配

A = load '/<path>/<to>' using org.apache.pig.piggybank.storage.avro.AvroStorage();
-- A: {key: chararray,value: (fields: (data: map[]))} B = foreach A generate value.fields.data#'dvc' as dvc, value.fields.data#'appInstall' as ins:map[], value.fields.data#'appUse' as use:map[];
-- B: {dvc: bytearray,ins: map[],use: map[]} C = foreach B generate dvc, KEYSET(ins) as insk, KEYSET(use) as usek;
-- C: {dvc: bytearray,insk: {(chararray)},usek: {(chararray)}}

在上述代码中,load 数据转换得到bag类型的app-set(inskusek);但是,应如何遍历bag中的tuple与正则表达式做匹配呢?答案是UDF。

Apache DataFu Pig 提供了丰富的UDF,其中关于bags的UDF可以参看这里TupleFromBag 提供根据index从bag提取tuple,支持三个输入参数。依葫芦画瓢,遍历bag匹配正则表达式的UDF如下:

package com.pig.udf.bag;

/**
* This UDF will return true if one tuple from a bag matches regex.
*
* There are two input parameter:
* 1. DataBag
* 2. Regex String
*/
public class BagMatchRegex extends FilterFunc { @Override
public Boolean exec(Tuple tinput) throws IOException { try{
DataBag samples = (DataBag) tinput.get(0);
String regex = (String) tinput.get(1);
for (Tuple tuple : samples) {
if(((String) tuple.get(0)).matches(regex)){
return true;
}
}
}
catch (Exception e) {
return false;
}
return false;
}
}

其中,FilterFunc为过滤UDF的基类,继承于EvalFunc<Boolean>,即exec(Tuple tinput)的返回值必为Boolean类型。bag正则匹配的pig脚本如下:

REGISTER ../piglib/udf-0.0.1-SNAPSHOT-jar-with-dependencies.jar
define BagMatchRegex com.pig.udf.bag.BagMatchRegex();
A = load '/user/../current/*.avro' using org.apache.pig.piggybank.storage.avro.AvroStorage();
B = foreach A generate value.fields.data#'dvc' as dvc, value.fields.data#'appInstall' as ins:map[], value.fields.data#'appUse' as use:map[];
C = foreach B generate dvc, KEYSET(ins) as insk, KEYSET(use) as usek;
D = filter C by BagMatchRegex(insk, '支付宝|京东|淘宝|天猫') or BagMatchRegex(usek, '支付宝|京东|淘宝|天猫');

3. 优化

还有没有可以做优化的地方呢?我们先来看看pig中的KEYSET实现:

package org.apache.pig.builtin;

public class KEYSET extends EvalFunc<DataBag> {
private static final TupleFactory TUPLE_FACTORY = TupleFactory.getInstance(); @SuppressWarnings("unchecked")
@Override
public DataBag exec(Tuple input) throws IOException {
if(input == null || input.size() == 0) {
return null;
} Map<String, Object> m = null;
// Input must be of type Map. This is verified at compile time
m = (Map<String, Object>)(input.get(0));
if(m == null) {
return null;
} DataBag bag = new NonSpillableDataBag(m.size());
for (String s : m.keySet()) {
Tuple t = TUPLE_FACTORY.newTuple(s);
bag.add(t);
} return bag;
}
...
}

需要指出的一点——pig的map数据类型是由Java类Map<String, Object>实现的。从KEYSET源码中可以看出在调用时已经将map遍历了一次,然后在调用BagMatchRegex时又需要将key-set的bag再遍历一次。其实,完全可以只用一次遍历做map-key值的正则匹配:

package com.pig.udf.map;

/**
* This UDF will return true if map's key matches regex.
*
* There are two input parameter:
* 1. Map
* 2. Regex String
*/
public class KeyMatchRegex extends FilterFunc { @SuppressWarnings("unchecked")
@Override
public Boolean exec(Tuple input) throws IOException
{
try{
Map<String, Object> m = null;
// Input must be of type Map. This is verified at compile time
m = (Map<String, Object>)(input.get(0)); String regex = (String) input.get(1);
for (String key : m.keySet()) {
if(key.matches(regex)){
return true;
}
}
}
catch (Exception e) {
return false;
}
return false;
}
}

Pig 实现关键词匹配的更多相关文章

  1. 关键词匹配(Ac自动机模板题)

    2772: 关键词匹配 Time Limit: 1 Sec  Memory Limit: 128 MBSubmit: 10  Solved: 4[Submit][Status][Web Board] ...

  2. PHP中文关键词匹配

    关键词匹配是比较常见的需求,如留言.弹幕及游戏聊天中的敏感词过滤,都需要对一段文字进行关键词匹配.提取到关键词后,再做进一步处理. 本类借助PHP高效的数组和mbstring扩展,来实现对中文关键词的 ...

  3. DFA 算法实现关键词匹配

    起因: 从网页中爬去的页面.须要推断是否跟预设的关键词匹配(是否包括预设的关键词),并返回全部匹配到的关键词 . 眼下pypi 上两个实现 ahocorasick https://pypi.pytho ...

  4. jQuery的搜索关键词自动匹配插件

    相信许多人都会用过搜索栏自动匹配关键词的功能,无论是像google的专业搜索引擎,还是普通的网站,现在许多都用上了这种关键词匹配技术,本文介绍的用jQuery实现的关键词匹配技术,当然要整合到自己的系 ...

  5. 【转载】Pig语法进阶

    转自:http://www.cnblogs.com/siwei1988/archive/2012/08/06/2624912.html Pig Latin是一种数据流语言,变量的命名规则同java中变 ...

  6. php关键词替换的类(避免重复替换,保留与还原原始链接)

    转载:http://www.169it.com/blog_article/601549531.html 本节主要内容:一个关键词替换的类 主要可以用于关键词过滤,或关键词查找替换方面. 实现过程分析: ...

  7. JS批量替换内容中关键词为超链接,避开已存在的链接和alt、title中的关键词

    懂点seo的人都知道要给内容中关键词加上链接,形成站内锚文本链接,这对seo有很大的帮助. 思路就是在数据库中录入若干个关键词和关键词对应的链接,当然链接可以根据关键词的id自动生成,或者直接用关键词 ...

  8. springboot+lucene实现公众号关键词回复智能问答

    一.场景简介 最近在做公众号关键词回复方面的智能问答相关功能,发现用户输入提问内容和我们运营配置的关键词匹配回复率极低,原因是我们采用的是数据库的Like匹配. 这种模糊匹配首先不是很智能,而且也没有 ...

  9. sql的匹配和正则表达式

    1. 匹配:like 关键字 #假设存在表 my_test_copy select * from my_test_copy; 则使用like关键词匹配:注意下划线 '_'和百分号 '%' # 下划线' ...

随机推荐

  1. PADS从原理图到PCB整体简易流程

    10步完成PADS从原理图到PCB设计 图片有点大,可以点击观看. 第一步:启动PADS LOGIC 第二步:添加元器件 第三步:选择2个9脚接插头放置在原理图上 第四步:添加连线. 完成后如图 第五 ...

  2. 更改apache网站根目录导致localhost不能访问

    使用xampp或wamp安装完集成环境后,更改apache的网站根目录会导致localhost,localhost/phpmyadmin访问不到. 解决方法: 打开apache的配置文件:“../ap ...

  3. 开源库Magicodes.WeChat.SDK总体介绍

    目录 1    概要    1 2    主要特点    2 3    架构图    8 3.1    构造器——WeChatSDKBuilder    8 3.2    函数管理器——WeChatF ...

  4. 使用call来实现继承

    function Class1(arg1,arg2) { this.name = arg1; this.pass = arg2; this.showSub = function() { return ...

  5. ASP.Net MVC的ViewBag一个坑,不要跳进去

    如鹏的学习管理系统是使用ASP.net MVC 5开发的,今天一个新版本发布后网站出现一个Bug,学生在下拉列表中选中的项再加载显示的时候发现仍然没被选中.详细一点说吧:假如有这样一个Action: ...

  6. 即时通信系统中如何实现:全局系统通知,并与Web后台集成?【低调赠送:QQ高仿版GGTalk 5.1 最新源码】

    像QQ这样的即时通信软件,时不时就会从桌面的右下角弹出一个小窗口,或是显示一个广告.或是一个新闻.或是一个公告等.在这里,我们将其统称为“全局系统通知”.很多使用GGTalk的朋友都建议我加上一个类似 ...

  7. RCP:解决Navigator快捷键不生效的问题

    自己扩展CNF之后,导航栏的删除.复制.黏贴等快捷键失效了,在网上搜索了半天,结果最终不如自己看源码. 本篇文章的主要目的不止于解决快捷键失效,更在于如何处理类似的问题,如何利用debug快速定位.这 ...

  8. Linux 网络编程(epoll)

    服务器端代码 #include<stdio.h> #include<stdlib.h> #include<string.h> #include<sys/soc ...

  9. Java语法糖2:自动装箱和自动拆箱

    前言 一开始想学学自动拆箱和自动装箱是被这个名字吸引到,听上去好像很高端的样子,其实自动拆箱.自动装箱是很简单的内容. 自动拆箱和自动装箱 Java为每种基本数据类型都提供了对应的包装器类型.举个例子 ...

  10. Java多线程1:进程与线程概述

    进程和线程 谈到多线程,就得先讲进程和线程的概念. 进程 进程可以理解为受操作系统管理的基本运行单元.360浏览器是一个进程.WPS也是一个进程,正在操作系统中运行的".exe"都 ...