什么是 Siddhi?

Siddhi 是一种 lightweight, easy-to-use, open source CEP(Complex Event Processing)引擎,由wso2公司开发(http://wso2.com/about/)。

像绝大多数的 CEP 系统一样,Siddhi 支持对于流式数据的类 SQL 的查询,SQL 式的 query 通过 complier 翻译成 Java 代码。
当一条数据流或多条数据流流入时,Siddhi Core 会实时的 check 当前数据流是否满足定义的 query,如果满足则触发 Callback 执行相应的逻辑。

Siddhi和传统的CEP系统,如Esper,相比区别?
主要是比较轻量和高效,之所以可以达到更高的 performance,因为:

  • Multi-threading
  • Queues and use of pipelining
  • Nested queries and chaining streams
  • Query optimization and common sub query elimination

尤其是前两点非常关键,传统的CEP系统,如果Esper,都是使用单线程去处理所有的 query matching,这样虽然简单,但是效率不高,无法利用 cpu 多核。
所以 Siddhi 采用多线程,并且结合pipeline机制,如下图

Siddhi 将整个 query 切分成独立的 stages,即 processors,这样做的好处,首先是便于多线程化,再者,可以重用相同的 processor;
而 processor 之间通过 queue 进行连接,这里就不详细描述了,有兴趣的同学可以去仔细看 Siddhi 的论文和文档。

Siddhi 能做什么?

下面我们就来看看,最关键的,Siddhi 可以为我们做什么?

这里就用几个形象的例子来说明 Siddhi 使用的典型的场景

简单 ETL

我们先用个最简单的例子,看看如果 run 一个真正的 Siddhi 例子,

上面说了,Siddhi 是用类 SQL 的查询语言,

首先需要先定义流的格式,

define stream TempStream (deviceID long, roomNo int, temp double);

然后定义查询,

from TempStream
select roomNo, temp * 9/5 + 32 as temp, 'F' as scale, roomNo >= 100 and roomNo < 110 as isServerRoom
insert into RoomTempStream;

这样就能实现一个完整的 ETL 过程,
extraction,将需要的字段从 TempStream 里面 select 出来;

transform, 将摄氏温度转换为华氏温度;

loading,将结果输出到RoomTempStream流;

很方便,不用再另外写任何的逻辑,只需要写类SQL的Query语句。

为了增加感性认识,我给出一个完成的 Java 测试例子,

SiddhiManager siddhiManager = new SiddhiManager();

String executionPlan = "" +
"ddefine stream TempStream (deviceID int, roomNo int, temp float);" +
"" +
"@info(name = 'query1') " +
"from TempStream " +
"select roomNo, temp * 9/5 + 32 as temp, 'F' as scale, roomNo >= 100 and roomNo < 110 as isServerRoom " +
"insert into RoomTempStream;"; ExecutionPlanRuntime executionPlanRuntime = siddhiManager.createExecutionPlanRuntime(executionPlan); executionPlanRuntime.addCallback("query1", new QueryCallback() {
@Override
public void receive(long timeStamp, Event[] inEvents, Event[] removeEvents) {
EventPrinter.print(timeStamp, inEvents, removeEvents);
}
}); InputHandler inputHandler = executionPlanRuntime.getInputHandler("TempStream");
executionPlanRuntime.start(); inputHandler.send(new Object[] {12344, 201, 28.2f});
inputHandler.send(new Object[] {12345, 202, 22.2f});
inputHandler.send(new Object[] {12346, 203, 24.2f});
//Shutting down the runtime
executionPlanRuntime.shutdown(); //Shutting down Siddhi
siddhiManager.shutdown();

基于 window 聚合

Siddhi 支持很多中类型的 window,具体参考https://docs.wso2.com/display/CEP400/Inbuilt+Windows#InbuiltWindows-time

这里给出最基本的,基于时间窗口的例子,

from TempStream#window.time(1 min)
select roomNo, avg(temp) as avgTemp
group by roomNo
insert all events into AvgRoomTempStream ;

这个查询会计算以1分钟为滑动窗口的,每个 room 的平均温度

Siddhi时间窗口也支持,按照外部的输入的时间进行聚合,但是它要求时间是必须递增的;这点我们brain的聚合库比它通用,可以适用于非单调递增的场景

多个流 Join

Siddhi 支持基于 window 的多个流的实时 join,

from TempStream[temp > 30.0]#window.time(1 min) as T
join RegulatorStream[isOn == false]#window.length(1) as R
on T.roomNo == R.roomNo
select T.roomNo, T.temp, R.deviceID, 'start' as action
insert into RegulatorActionStream ;

上面的查询将,TempStream 和RegulatorStream 通过 roomNo 进行 join

Pattern Query

这种 query 最能表达出 CEP 的威力,什么是Pattern Query?
“Pattern allows event streams to be correlated over time and detect event patterns based on the order of event arrival.”

直接看个例子,用 Pattern 查询来 detect credit card/ATM transaction frauds:

from every a1 = atmStatsStream[amountWithdrawed < 100]
-> b1 = atmStatsStream[amountWithdrawed > 10000 and a1.cardNo == b1.cardNo]
within 1 day
select a1.cardNo as cardNo, a1.cardHolderName as cardHolderName, b1.amountWithdrawed as amountWithdrawed, b1.location as location, b1.cardHolderMobile as cardHolderMobile
insert into possibleFraudStream;

注意看到这个符号‘->’,这个表示 event 发生顺序,
上面这个查询的意思就是,在一天内,出现一次取现金额 < 100后,同一张卡,出现取现金额 > 10000,则认为可能是 fraud。

当然这只是个例子,不是说这样真的可以 detect fraud。你可以参照这个,写出更为复杂的查询。

Sequence Query

和 pattern 的区别是,pattern 的多个 event 之间可以是不连续的,但 sequence 的 events 之间必须是连续的。

我们可以看个例子,用 sequence 来发现股票价格的 peak:

from every e1=FilteredStockStream[price>20], 
e2=FilteredStockStream[((e2[last].price is null) and price>=e1.price) or ((not (e2[last].price is null)) and price>=e2[last].price)],
e3=FilteredStockStream[price<e2[last].price]
select e1.price as priceInitial, e2[last].price as pricePeak, e3.price as priceAfterPeak
insert into PeakStream ;

上面的查询的意思,
e1,收到一条 event.price>20

e2,后续收到的所有 events 的 price,都大于前一条 event

e3,最终收到一条 event 的 price,小于前一条 event

ok,我们发现了一个peak

Siddhi 还有其他很多的功能,这里就不一一说明。。。。。。

集成到 Storm

那么最后,我们看看如何将 Siddhi 融入到我们当前的框架中,达到作为 Brain 补充的目的。

我将 Siddhi core 封装成一个 Siddhi Bolt,这样可以在 JStorm 的 topology 中很灵活的,选择是否什么方案,可以部分统计用 brain,部分用 Siddhi,非常简单。

废话不说,直接给出源码,供大家参考,

public class SiddhiBolt implements IRichBolt {
protected OutputCollector collector;
protected SiddhiManager siddhiManager = null;
protected String executionPlan = null;
ExecutionPlanRuntime executionPlanRuntime = null;
protected HashMap<String,InputHandler> handlers = null; public SiddhiBolt(String plan) {
this.executionPlan = plan;
} public void prepare(Map stormConf, TopologyContext context, OutputCollector collector) {
this.collector = collector;
this.siddhiManager = new SiddhiManager();
this.executionPlanRuntime = siddhiManager.createExecutionPlanRuntime(executionPlan);
addCallbacks();
handlers = new HashMap<String,InputHandler>();
executionPlanRuntime.start();
} public void execute(Tuple tuple) {
String inputStream = tuple.getSourceStreamId();
InputHandler inputHandler = getInputHandler(inputStream); List<Object> values = tuple.getValues();
Object[] objects = values.toArray(); try {
inputHandler.send(objects);
}catch (Exception e){
LOG.error("Send stream event error: ", e);
}
// collector.fail(tuple); //test replay
collector.ack(tuple); // remember ack the tuple
// Make sure that add anchor tuple if you want to track it
// collector.emit(streamid, tuple,new Values(counters, now));
} public InputHandler getInputHandler(String streamName){
InputHandler handler = null;
if(handlers.containsKey(streamName))
handler = handlers.get(streamName);
else {
handler = executionPlanRuntime.getInputHandler(streamName);
if (handler != null) {
handlers.put(streamName, handler);
}
}
return handler;
} //Need Override
public void addCallbacks( ){
//StreamCallback example
executionPlanRuntime.addCallback("outputStream", new StreamCallback() { @Override
public void receive(Event[] events) {
LOG.info("receive events: " + events.length);
for (Event e:events)
LOG.info(e);
}
}); //QueryCallback example
executionPlanRuntime.addCallback("query1", new QueryCallback() {
@Override
public void receive(long timeStamp, Event[] inEvents, Event[] removeEvents) {
printEvents(timeStamp, inEvents, removeEvents);
}
});
} public void printEvents(long timeStamp, Event[] inEvents, Event[] removeEvents){
StringBuilder sb = new StringBuilder();
sb.append("Events{ @timeStamp = ").append(timeStamp).append(", inEvents = ").append(
Arrays.deepToString(inEvents)).append(", RemoveEvents = ").append(Arrays.deepToString(removeEvents)).append(" }");
LOG.info(sb.toString());
} public void cleanup() {
//Shutting down the runtime
executionPlanRuntime.shutdown(); //Shutting down Siddhi
siddhiManager.shutdown();
}
}

Reference

1. Siddhi paper, https://people.apache.org/~hemapani/research/papers/siddi-gce2011.pdf

2. Siddhi doc, https://docs.wso2.com/display/CEP400/SiddhiQL+Guide+3.0

让Storm插上CEP的翅膀 - Siddhi调研和集成的更多相关文章

  1. 时序数据库(TSDB)-为万物互联插上一双翅膀

    本文由  网易云发布. 时序数据库(TSDB)是一种特定类型的数据库,主要用来存储时序数据.随着5G技术的不断成熟,物联网技术将会使得万物互联.物联网时代之前只有手机.电脑可以联网,以后所有设备都会联 ...

  2. 插上腾飞的翅膀:为asp.net core添加protobuf支持

    没时间解释了,快上车. 通过NuGet获取Zaabee.AspNetCoreProtobuf Install-Package Zaabee.AspNetCoreProtobuf 在Startup.cs ...

  3. 给PLSQL插上飞翔的翅膀-PLSQL优化

    60-80% of database performance issues are related to poorly performing SQL,60-80%的数据库性能问题要归结于生产中糟糕的S ...

  4. 让MEF插上AOP的翅膀

    什么是MEF Git:https://github.com/MicrosoftArchive/mef MEF也是一款ioc框架,貌似历史比较悠久了. 这里有一篇.net阵容里面主流ioc比较. htt ...

  5. 为Spring Cloud Config插上管理的翅膀

    最近一致在更新Spring Cloud Config的相关内容,主要也是为这篇埋个伏笔,相信不少调研过Spring Cloud Config的用户都会吐槽它的管理能力太弱.因此,就有了下面为讲推荐的这 ...

  6. 插上翅膀,让Excel飞起来——xlwings(二)

    在上一篇插上翅膀,让Excel飞起来——xlwings(一)中提到利用xlwings模块,用python操作Excel有如下的优点: xlwings能够非常方便的读写Excel文件中的数据,并且能够进 ...

  7. Spring Boot (六): 为 JPA 插上翅膀的 QueryDSL

    在前面的文章中,我们介绍了 JPA 的基础使用方式,<Spring Boot (三): ORM 框架 JPA 与连接池 Hikari>,本篇文章,我们由入门至进阶的介绍一下为 JPA 插上 ...

  8. XCode4.5.6,iOS6.1下测试 判断当前设备,及其联网状态等; 关于设备插上后XCode检测不出的情况的说明

    目录[-] 一.判断设备 二.判断网络连接状态 三.设备不显示的解决办法 一.判断设备 01 //设备名称 02 return [UIDevice currentDevice].name; 03   ...

  9. QT使用WOL实现远程一键开机(局域网,需要目标电脑的主板支持,并且插上网线,用udpSocket.writeDatagram一句话就可以)

    功能:让关机的电脑一键开机,需要目标电脑的主板支持,并且插上网线: 效果:相当于手动按了一下目标电脑的开关机按钮. 没啥技术含量,简单开说... 1.获取目标机MAC地址 QByteArray sMa ...

随机推荐

  1. 关于PHP数组转字符串详细介绍

    随着时代的发展,我们的开发技术也随着更新,对于PHP还是比较常用的,于是我研究了一下PHP数组转字符串,在这里拿出来和大家分享一下,希望对大家有用. 经常需要使用PHP处理字符string,PHP内置 ...

  2. js拆分数组

    <script language="javascript"> str="2,2,3,5,6,6"; //这是一字符串 var strs= new A ...

  3. Fibonacci Again

    Problem Description There are another kind of Fibonacci numbers: F(0) = 7, F(1) = 11, F(n) = F(n-1) ...

  4. 水题 Codeforces Round #302 (Div. 2) A Set of Strings

    题目传送门 /* 题意:一个字符串分割成k段,每段开头字母不相同 水题:记录每个字母出现的次数,每一次分割把首字母的次数降为0,最后一段直接全部输出 */ #include <cstdio> ...

  5. 找规律 SGU 126 Boxes

    题目地址:http://acm.sgu.ru/problem.php?contest=0&problem=126 /* 找规律,智商不够,看了题解 详细解释:http://blog.csdn. ...

  6. BZOJ4013 : [HNOI2015]实验比较

    首先用并查集将等号缩点,然后拓扑排序判断有没有环,有环则无解,否则通过增加超级源点$0$,可以得到一棵树. 设$f[x][y]$表示$x$子树里有$y$种不同的数字的方案数,由底向上DP. 对于当前点 ...

  7. BZOJ3463 : [COCI2012] Inspector

    考虑将序列分成$\sqrt{n\log n}$块,每块维护下凸壳,修改时在相应块打上需要修改的标记. 查询时,对于两端零散部分暴力查询. 对于中间的块,如果有修改标记,则暴力重构. 然后在凸壳上查询时 ...

  8. String,你到底创建了几个对象????

    String str=new String("aaa"); 这行代码究竟创建了几个String对象呢?答案是2个,而不是3个.由于 new String("aaa&quo ...

  9. 转:移动端html页面优化

    对于访问量大的网站来说,前端的优化是必须的,即使是优化1KB的大小对其影响也很大,下面来看看来自ISUX的米随随讲讲移动手机平台的HTML5前端优化,或许对你有帮助和启发. 概述 1. PC优化手段在 ...

  10. Java虚拟机(JVM)中的内存设置详解

    在一些规模稍大的应用中,Java虚拟机(JVM)的内存设置尤为重要,想在项目中取得好的效率,GC(垃圾回收)的设置是第一步. PermGen space:全称是Permanent Generation ...