[BI基础] 一些不得不了解的概念

0、Hadoop

hadoop主要是用来对海量数据进行存储和计算的。

它本身是一个分布式系统，核心由分布式文件系统hdfs，和分布式计算框架mapreduce组成，在存储和计算时能够发挥出集群中每台机器的能力。       

所以，当单机文件系统没法存储，或者传统数据处理方式（例如数据库、shell脚本等）显得缓慢、没法忍受时，就可以考虑大数据方面的一些处理方案（例如nosql、hadoop、stormde）。       

当然，并不保证在传统方法处理不好的情况下，大数据相关的处理方案就能处理得好，这时最需要的是进行深入的特性分析，提出最优的解决方案，包括传统方法与大数据处理方案进行融合（例如利用关系型数据库处理公司里大部分结构化数据，利用hadoop处理公司里大部分非结构化数据）。

1、Pentaho

一个以工作流为核心的、强调面向解决方案而非工具组件的BI套件
整合了多个开源项目，目标是和商业BI相抗衡。

2、Mondrian

    Pentaho的一部分

    开放源代码的Rolap服务器

    一个用Java写成的OLAP（在线分析性处理）引擎

    实现了MDX语言、XML解析和JOLAP规范

    用MDX语言实现查询，从关系数据库(RDBMS)中读取数据。然后经过Java API用多维的方式对结果进行展示

    可以不写SQL就能分析存储于SQL数据库的庞大数据集，以及封装JDBC数据源并把数据以多维的方式展现。

    Mondria的元数据仅仅包括了多维逻辑模型，从关系型数据库到多维逻辑模型的映射，存取权限等信息。

官网地址：http://sourceforge.net/projects/mondrian/files/

关键组件下载

mondrian：http://sourceforge.net/projects/mondrian/files/mondrian/

schema workbench 【生成schema/创建cube的工具】
http://sourceforge.net/projects/mondrian/files/schema%20workbench/

三、OLAP （联机分析处理）

    处理数据仓库和商业智能使用的多维数据的流行方法
    用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。

　　按照其存储器的数据存储格式可以分为关系OLAP（RelationalOLAP，简称ROLAP）、多维OLAP（MultidimensionalOLAP，简称MOLAP）和混合型OLAP（HybridOLAP，简称HOLAP）三种类型。

四、ROLAP

    关系型联机分析处理
    对存储在关系数据库（而非多维数据库）中的数据作动态多维分析

五、MOLAP

   多维OLAP
   数据存储在多维立方体中。也就是说，MOLAP使用多维数组存储数据。
   多维数据在存储中将形成“立方块（Cube）”的结构
   在MOLAP中对“立方块”的“旋转”、“切块”、“切片”是产生多维数据报表的主要技术。

六、JOLAP（Java OLAP）

    java开源的olap引擎
    一系列的JOLAP API和规范组成

七、XMLA

    XML for Analysis
    基于简单对象访问协议 (SOAP) 的 XML 协议
    专为对驻留在 Web 上的任何标准多维数据源的通用数据访问而设计
    其应用级别的传输协议是SOAP，这使XMLA的服务提供者具有了WebService提供者的角色
    从而各种语言编写的客户端都可以轻松访问

八、MDX（Multi-Dimensionale-Xpressions 多维查询表达式）

一种语言
    支持多维对象与数据的定义和操作
    是所有OLAP高级分析所采用的核心查询语言

    如同SQL查询一样，每个MDX 查询都要求有数据请求（SELECT子句）、起始点（FROM子句）和筛选（WHERE子句）。
    这些关键字以及其它关键字提供了各种工具，用来从多维数据集析取数据特定部分。

    MDX还提供了可靠的函数集，用来对所检索的数据进行操作。
    同时还具有用户定义函数扩展 MDX的能力。

    （1）相关概念：

    1）多维数据集
    2）度量值（量度）
    3）维度
    4）维度的层次结构
    5）维度的级别
    6）成员（Member）
        指的是维度树上的一个节点，这里有一点需要指出，量度也是一个特殊的维度，所以对于普通维度上的 Member可以有几下几种表示方法： [Customer]或[Time].[1996]等，对于特殊的维度——量度而言，也可以表示一个 Member，如：[Measures].[unitsales] 等。
        标识符：[ ]
    7）元组（Tuple）
        是由若干个Members组成，CUBE上的一个子集（不断开的子CUBE），每一个维度上最多只能有一个 Member，对于一个Tuple而言至少有一个维度，多则不限，顺序无关，同时对于没有列出来的那就表示为默认的 Member。
        标识符：（）
        示例：
        a) ([Regin ].[USA])
        b) ([product].[computers],[time].[2008]) 。
    8）集（Set）
        同一维度上若干个 Members的集合，或者是若干个 Tuples的集合，但这里有一个地方需要注意，那就是如果是若干个 Tuple组成的集合是，各个 Tuple里的 Member之间存在着一定的对应关系。集合的表示方法用大括号“ {} ”，所以可能的表示方法为：
        a) {[time].[2008],[time].[2009],[time].[2000]} ，这里 Set是由 同一维度的若干个 Member组成。
        b) {([computer],[usa ]),([mobile],[china])} ，这个 Set是由两个 Tuples组成，这里大家可以看到，在第一个 Tuple当中，第一个 Member是名为 computer的产品，所以后面的 Tuple的第一个 Member也必须是一个产品，所以我们这里看到的是 mobile，第一个 Tuple里第二个 Member是一个国家，所以第二个 Tuple的第二个 Member也必须是一个国家名，依次类推。
        标识符：{ }

    （2）语法
    一个标准的 MDX查询语句就是由我们前面介绍的 MDX的三个基本对象构成，也就是 Member、 Tuple、 Set。
    WHERE子句是可选的
    非大小写敏感

    1、
    SELECT
        SET ON COLUMNS,
        SET ON ROWS
    FROM CUBE
    WHERE TUPLE

    2、
    SELECT
        SET ON 0,
        SET ON 1
    FROM CUBE
    WHERE TUPLE

    （3）举例
    想象一个带有时间、销售地点和度量3个维度的多维数据集,该多维数据集的名称为销售额（即SALES）。其中度量包括销售额和成本。假如想查看【2005年前两个季度/时间】【马萨诸塞州/地点】的【销售额与成本/度量】

    可以通过下面的MDX获得想要的数据:
    SELECT
        // 集SET{} 包含行列
        {[MEASURES].[DOLLAR SALES],[MEASURES].[UNIT SALES]} ON COLUMNS,//列包含了销售额和成本
        {[TIME].[2005].[Q1], [TIME].[2005].[Q2]} ON ROWS//行包含了时间 - 2005年前两个季度
    FROM
        //成员 Member 从哪个多维数据集查询
        [SALES] //- 多为数据集
    WHERE
        //元组 Tuple 查询条件
        ([CUSTOMER].[MA]) // 查询条件 - 地点 -马萨诸塞州

    查询结果：
    本身是一个网格，本质上是另一个多维数据集。也就是是一个子Cube
    本查询是一个两行两列的网格数据（行2005第一季度-2005第二季度 列销售额-成本）

    {[TIME].[2005].[Q1], [TIME].[2005].[Q2]}
    该表达式产生一个包含2005年第一季度和第二季度的集。

    {[TIME].[2005].[SEP]: [TIME].[2006].[MAR]}
    该表达式表示从2005年9月到2006年3月的所有月份。

    http://baike.baidu.com/link?url=wmcCEJxV3JW-RtRa22zXHiTEyKn41DEvJTxkbDN0uKh_1UbiS-1wBmwKtikQfskrAnyZ3u2gOIvUD3zgQN7TXK

九、多维数据关键概念

    维度（dimension）
    层次（Hierarchies）
    级别 (Level)

十、SAIKU

    一个轻量级的OLAP分析引擎

    起初是基于OLAP4J库用GWT包装的一个前端分析工具
    通过OLAP，Saiku允许用户选择【指标】和【维度】用来分析，并且可以对数据进行“切块和切片”和钻取到细节中从而揭开其中的关系。

    用户可以在非常友好的界面下利用OLAP和内存引擎进行向下钻取，过滤、分类、排序和生成图表。
    利用Olap4J库，Saiku成为市场上第一个应用程序提供支持Mondrian的技术解决方案，让用户能够利用Mondrian分析数据。

    通过REST API连接OLAP系统

    用户界面是用HTML、CSS和Javascript做的，完全可以自定义界面来调用rest

十一、内容仓库

一个用来存储文本和二进制数据（图片，word文档，PDF等等）的数据存储应用程序

十二、JCR

    JAVA内容仓库 - Java Content Repository API
    试图建立一套标准的API去访问内容仓库（也就是文本文件或者二进制数据文件）
    提供了一套标准的API来访问任何数据仓库。
    特点是你不用关心你真正的数据到底存储在什么地方，是关系数据库？是文件系统？还是XML？
    通过JSR-170，你开发代码只需要引用 javax.jcr.* 这些类和接口。它适用于任何兼容JSR-170规范的内容仓库。

    JCR定义的内容仓库模型是一个树状结构，树上的元素（Item）分为两类：节点（node）和属性（property）。

    整棵树具有单根结构。
    从根开始，内容元素的定位采用UNIX文件系统风格，例如“/A/B/ccc”（根下面A节点的B子节点的ccc属性），相对定位符（“.”和“..”）也是可用的。、

    每个属性有且仅有一个父节点，不能有子元素。

    每个节点可以有一个或多个父节点（根节点无父节点），也可以有任意多个子节点或属性。
    注意，节点可以有多个父节点，也就是说可以从不同的路径导航获得同一内容，这是网站常见的一个需求（来自不同栏目的两个链接指向同一篇文章）。

    除了Node和Property之外，API中还有几个重要的对象。

    Repository代表整个内容仓库
    Credentials代表一个用户身份
    Ticket代表进入该内容仓库的门票。

    获得内容根节点的代码大致如下：

    Repository repository = (Repository)java.rmi.Naming.lookup("MyRepo");
    Credentials credentials = new SimpleCredentials("MyName", "MyPassword".toCharArray());
    Ticket myTicket = repository.login(credentials, "MyWorkspace");
    Node root = myTicket.getRootNode();

    从root节点就可以遍历访问整课内容树。
    Ticket对象也支持通过绝对路径或者UUID直接获得某一内容元素（节点或属性）。

系列教程：
http://www.blogjava.net/RongHao/archive/2007/01/23/95547.html
http://www.blogjava.net/RongHao/archive/2007/01/23/95637.html
http://www.blogjava.net/RongHao/archive/2007/01/25/96065.html
http://www.blogjava.net/RongHao/archive/2007/01/28/96417.html

十三、ETL

　　英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。
    ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
    常见ETL工具：http://blog.csdn.net/hfxl1108/article/details/8564941

十四、Kettle

    一款国外开源的etl工具,纯java编写,绿色无需安装,数据抽取高效稳定(数据迁移工具)。
    http://www.oschina.net/p/kettle/

十五、ACL

    Access Control List 访问控制列表
    ACL - files 配置访问控制列表的文件