Saiku是一个轻量级的OLAP分析引擎,可以方便的扩展.嵌入和配置.Saiku通过REST API连接OLAP系统,利用其友好的界面为用户提供直观的分析数据的方式,它是基于jQuery做的前端界面. Saiku成立于2008年,由Tom Barber和Paul Stoellberger研发.最初叫做Pentaho分析工具,起初是基于OLAP4J库用GWT包装的一个前端分析工具.经过多年的演化.重写之后,于2010年,改名为Saiku 它的用户界面完全可以自定义.它的界面是用HTML.CSS和J…

http://blog.csdn.net/freefishly/article/details/51759133 为什么要整合? Kylin是通过离线预计算将Hive中事实表的各组合维度的值存储在Hbase中,在前端可实时展现.但是kylin的多维查询需要写SQL,对于不会写SQL的数据分析人员或者业务人员来说,OLAP交互并不是很友好,而且图表展示也不丰富.如果能将saiku和kylin整合,Mondrian是基于关系型数据库的ROLAP(现在也支持Hive了,但查询慢),Kylin是MOLA…

saiku比较吃内存,一旦人多了,那么内存可能不够,所以会考虑主从结构,分担压力.为了保证数据的稳定性,也会有类似的考虑,那么问题来了,如何实现saiku的分布式搭建哪? 我阅读了一些国内的文章,没有发现类似的经验,自己摸索了一个方案,简单粗暴,可是能用,大家参考! 首先saiku使用的jackrabbit保存的元数据结构,而他使用repository文件夹保存数据,所以分布式必然要共享文件夹里面的文件,加上saiku升级也是保留这个文件夹,所以我确信如此. 大体思路如下图: 由于公司不支持mo…

一.介绍 使用saiku的人一定对他的元数据存储都特别感兴趣,特别是有分布式管理需求的项目,更是迫切需要了解.其实它是使用Apache的开源项目Jackrabbit管理文件的! 二.代码跟踪 我也是使用了一段时间,希望深入了解它的元数据存储,下面是代码跟踪: 2.1 ajax 首先还是从ajax入手:ajax请求:/saiku/rest/saiku/admin/datasources?_=1466478165922 对应的脚本:org.saiku.web.rest.resources.Admin…

使用saiku的人,肯定都有这么一个经历,查询了一次多维分析数据表,第二次之后就特别快,因为它缓存了结果,可问题是过了一天,甚至几天,来源数据早都更换了,可还是这个缓存结果.问题来了,缓存不失效! 那么如何解决这个问题呐?我总结了两个办法: 一.不使用缓存 这个方案修改起来特别简单:修改mandrian配置文件tomcat/webapps/saiku/WEB-INF/classes/mondrian.properties,设置失效即可.mondrian.rolap.star.disableCac…

使用了很久的saiku,决定跟踪一下代码,看看它的执行核心过程: 一.入口controller代码 1.1.页面打开之后,会发送一个ajax请求 Request URL: http://l-tdata2.tkt.cn6.qunar.com:8080/saiku/rest/saiku/api/query/execute Request Method: POST 1.2.controller,java文件org.saiku.web.rest.resources.Query2Resource 如果有缓…

经历了前两轮优化之后,saiku由不可使用,优化到可以使用,不过在分析大量日志数据的时候,还有顿卡的感觉!继续观察背后执行的Sql,决定将注意力关注到索引上面! 日志的主要使用场景是:固定日期维度的数据分析,也就是说where条件一定跟着日期等于某一天,那么纠结的是:每个字段都建立索引,还是和日期建立联合索引.归结到底就是单个字段的索引效率与联合索引的效率优劣对比! Postgresql数据表:saiku_search_detail 表结构: CREATE TABLE test.saiku_se…

上一篇文章介绍了添加filter可以加快查询速度.下面继续分析: 下面这个MDX语句: WITH SET [~FILTER] AS {[create_date].[create_date].[--]} SET [~ROWS_dimPartner_dimPartner] AS {[dimPartner].[dimPartner].[name].Members} SET [~ROWS_sight_sight] AS Hierarchize({{[sight].[sight].[country].Me…

使用saiku的过程中发现一个重要问题,速度慢!下面是跟踪和优化过程 一.首先抓包,发现ajax请求:http://l-tdata2.tkt.cn6.qunar.com:8080/saiku/rest/saiku/api/query/execute 里面的参数不少,下面是截屏 二.看日志:发现了mdx语句 WITH SET [~ROWS_create_date_create_date] AS {[create_date].[create_date].[--]} SET [~ROWS_dimPar…

最近使用saiku,重新编译升级之后维护困难,下面讲解一下简单的办法: 1.备份saiku-server下面的data文件夹 2.备份saiku-server下面的repository文件夹 3.升级之后,回复这个文件夹即可 参考:http://wiki.meteorite.bi/display/SAIK/Deploy+Saiku+EE+as+a+WAR+bundle http://wiki.meteorite.bi/display/SAIK/Upgrade…