问题背景 Kylin作为一个极其优秀的MOLAP,提供了完整的Cube创建.更新流程.同时提供了Sql查询.功能上看没有问题,但是在提供查询服务的时候还是有些不友好. sql查询需要常常需要关联Hive表,Cube的作用是对查询做优化,但是用户需要知道hive表结果--为什么不提供接口让用户直接对Cube模型查询呢? 比如,我们用kylin建立了一个Sales Cube,关于公司销售数据统计.维度包括:年/季度/天,以及部门site:统计值measure包括,销售金额,销量,销售员数量等. 这个…

本篇博客重点介绍如何使用Kylin来构建大数据分析平台.根据官网介绍,其实部署Kylin非常简单,称为非侵入式安装,也就是不需要去修改已有的 Hadoop大数据平台.你只需要根据的环境下载适合的Kylin安装包,选择一个Hadoop节点部署即可,Kylin使用标准的Hadoop API跟各个组件进行通信,不需要对现有的Hadoop安装额外的Agent. Kylin部署的架构是一个分层的结构,最底层是数据来源层,我们可以通过Sqoop等工具将数据迁移到HDFS分布式文件系统.Kylin依赖Hado…

Kylin提供了标准的ODBC和JDBC接口,能够和传统BI工具进行很好的集成.分析师们可以用他们最熟悉的工具来享受Kylin带来的快速.我们也可以对它进行定制开发报表等,把kylin当做数据库服务器就行了. 首先我们来看一下连接Kylin的URL格式为: jdbc:kylin://<hostname>:<port>/<kylin_project_name> 注: 如果“ssl”为true话,那么上面的端口号应该为Kylin服务的HTTPS端口号. kylin_proj…

本文主要内容包含Cubes框架的介绍和简单使用. 一. 介绍和安装 Cubes是一个轻量级的Python框架和一套工具,用于开发报告和分析应用程序,在线分析处理(OLAP),多维分析和聚合数据的浏览.它是Data Brewery的一部分. 官方网站参考链接:https://pythonhosted.org/cubes/ 安装命令:pip install cubes 二. 简单使用 通过克隆Cubes源码 进入示例目录学习入门教程: git clone git://github.com/DataB…

1.刚开始在windows平台测试搭建,报各种问题,搭建可以参考官网https://superset.incubator.apache.org/installation.html#deeper-sqlalchemy-integratio 问题汇总: 1.1 需要安装Visual C++ 2015 ; 1.2 需要python版本3.6+ 1.3 需要安装sasl :pip install sasl-0.2.1-cp36-cp36m-win_amd64.whl 1.4 需要安装python_geo…

用 hortonworks(V3.1.0.0) 部署了 ambari (V2.7.3),用 ambari 部署了 hadoop 及 hive. 1.  启动 kylin(V2.6)时,遇到如下问题: Retrieving hadoop conf dir... KYLIN_HOME is set to /opt/programs/kylin (Not all processes could be identified, non-owned process info will not be show…

环境说明: 本机A的ip:192.168.0.242 服务器B的ip:192.168.0.125 服务器上的虚拟机C的ip:192.168.43.129 目前状态: B上面能访问C上的站点kylin站点:http://192.168.43.129:7070/kylin/ A能ping通B的ip, 但是A无法访问C上的站点:http://192.168.43.129:7070/kylin/ 要达到的目的: 在A上能通过如下地址 http://192.168.0.125:7070/kylin/  映…

在cube build完成后,我的工作是写sql生成数据分析邮件报表.但是,问题是这种重复劳动效率低.易出错.浪费时间.还好Kylin提供RESTful API,可以将这种数据分析需求转换成HTTP请求. 1. RESTful API Kylin的认证是basic authentication,加密算法是Base64,加密的明文为username:password:在POST的header进行用户认证: curl -c cookiefile.txt -X POST -H "Authorizati…

不多说,直接上干货! 1.表(table):This is definition of hive tables as source of cubes,在build cube 之前,必须同步在 kylin中.2.模型(model):模型描述了一个星型模式的数据结构,它定义了一个事实表(Fact Table)和多个查找表(Lookup Table)的连接和过滤关系.3. Cube 描述:描述一个Cube实例的定义和配置选项,包括使用了哪个数据模型.包含哪些维度和度量.如何将数据进行分区.如何处理自动…

Apache Kylin远程代码执行(CVE-2020-1956) 简介 Apache Kylin 是美国 Apache 软件基金会的一款开源的分布式分析型数据仓库.该产品主要提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)等功能. Apache Kylin 中的静态 API 存在安全漏洞.攻击者可借助特制输入利用该漏洞在系统上执行任意OS命令.以下产品及版本受到影响:Apache Kylin 2.3.0版本至2.3.2版本,2.4.0版本至2.4.1版本,2.5.…