在Data Vault 2.0版本里,其不只是针对数据仓库的建模,同时也包含了架构,方法论以及实现。这篇挑几个概念,附上我个人对其的理解。同时也把这个系列的名字改成《Data Vault玩转数据仓库》。

ETL和ELT

ELT火了有段时间,百度上高雅的介绍很多,不扯别的,咱直接来点俗的:

-  E就是抽取,数据从源系统进入到数据仓库的过程。

-  T是指转换,类型转换,计算什么的都算在内。

-  L加载,把结果加载到数据仓库里。

-  E和L可能从汉语的角度看有些像,如果说区别的话就是前者是从源系统到数据仓库的,后者是数据仓库内的折腾。

-  ETL就是把数据从源系统抽取的过程中做转换。

--  缺点是这个过程也会消耗源系统的资源,可能对源系统造成影响,比如对方在做日结。

-  ELT就是把数据先原封不动的放在DWH底层里,然后再在这个基础上做转换。

--  这样除了抽取消耗点源系统的资源,剩下的处理都是消耗数据仓库的资源,降低对源系统的影响。

所以数据仓库项目通常建议用ELT的方法,除非源系统的数据和压力没那么大。

STAGE和PSA

这个概念好多地方的解释都不太一样,以下是我个人的理解:

STAGE层负责整合,源系统的数据一对一的放在这里,比如你的数据仓库是SQL Server,那么甭管源系统是Oracle还是MySQL,通过数据加载工具都变成SQL Server的加载到这里。

STAGE再往下就是PSA,跟STAGE不同的是PSA是要保留数据的历史状态的。关于如何保留目前主流有两个方法,一个是基于SCD2的方法论,一个是INSERT ONLY的方法论。相对支持后者的比较多一些,主要是因为SCD2对于更新或者删除数据的处理需要找到历史的数据进行物理更新(UPDATE VALUT_TO_DATE),在数据量很大的时候性能影响很大。而INSERT ONLY的方法在后期查询的时候会麻烦一些,因为它只有VALID_FROM_DATE,而没有VALID_TO_DATE,所以在下游处理的时候就需要根据记录的时间线把其算出来。

至于如何快速比对一个数据是否变化了,请参考我的上一篇。

我也见很多人在讨论,有PSA了还需要DV吗?这个我个人理解还是好比盖高楼,业主着急住,但是电梯还没装,业主能住吗?能,也不能。这个问题是同样的道理。

自动化的工具

有什么工具可以基于配置来通过元数据以及数据建模的方式自动化生成Data Vault模型呢?

首先是大名鼎鼎的ERWin,从官网可以看到其对Data Vault的支持。业界老品牌,知名度高。这家公司在国内有雇员,所以感觉英文有压力的话可以寻求他们的辅助。

在这个圈子里比较火的是WhereScape,也是海外厂商。主要是有Dan Linsted为其站台。这个平台目前我没有发现中文的支持,所以跟这家公司沟通需要英文功底。

以上两款工具都是商业软件,没有免费以及社区版本,就连试用版本(针对data vault自动化这部分)也没有,特殊版本更不用说。授权和支持费用不低,但是考虑到项目总体成本的话还是很划算的,比如在北京雇佣一个中级ETL开发,一年的成本差不多就够这个软件的授权和支持费用了。而如果不用这类工具,你的成本肯定不止一个程序员的成本。

再说开源的平台,我个人一直在关注Roelant vos的开源项目,在github上很容易找到。我在做自己的自动化工具的时候也参考了他很多的想法和实现,比如handlebars的模板结合元数据自动生成代码,还有DGML来可视化观察数据的来龙去脉等。同时他的博客也不错,在这个领域贡献了很多内容,这个在我第一篇中也有提到。

Data Vault玩转数据仓库(三)的更多相关文章

  1. 数据仓库之Data Vault模型总结

    一,Data Vault模型有几个主要的组件,这里先总结一下: 1.Hub组件,是一个数据表,用于记录在业务应用中常用到的业务实体键值,如员工ID,发票号.客户编号.车辆号等. 表内包括几个关键字段: ...

  2. 利用Data vault对数据仓库建模

    简介 国内关于Data Vault的信息很少,所以决定写点什么,纯粹都是自己在这个行业10多年的摸爬滚打.不过为了效率,尽量做到简短,直接上干货.对于各个细节大家有不同的理解欢迎来讨论. 数据仓库建模 ...

  3. 利用Data Vault对数据仓库进行建模(二)

    写在前面 本篇先不讨论Data Vault其本身,因为不见得所有人都接受这个.但是里边有一些很不错的东西跟主流的数据仓库方法是有共同点的,所以这里主要讨论这些共同的方法,在笔者看来,无论是Kimbal ...

  4. Data Vault 简介

    Data Vault 简介 Data Vault 2.0 不仅是建模技术,也提供了一整套数据仓库项目的方法论.它能提供一套非常可行的方案来满足数据仓库项目中对于历史轨迹和审核两个方面的需求. 多年来, ...

  5. 关于Core Data的一些整理(三)

    关于Core Data的一些整理(三) 关于Core Data Stack的四种类与它们的关系如下: NSManagedObjectModel NSPersistentStore NSPersiste ...

  6. java Data、String、Long三种日期类型之间的相互转换

    java Data.String.Long三种日期类型之间的相互转换      // date类型转换为String类型   // formatType格式为yyyy-MM-dd HH:mm:ss// ...

  7. [转]在eclipse打开的android虚拟手机,打开File Explorer,下面是空的没有data、mnt、system三个文件

    在eclipse打开的android虚拟手机,打开File Explorer,下面是空的没有data.mnt.system三个文件 这是因为模拟器没有选择打开的缘故,必须首先打开一个模拟器(AVD), ...

  8. Cross-Domain Security For Data Vault

    Cross-domain security for data vault is described. At least one database is accessible from a plural ...

  9. SQL Server调优系列玩转篇三(利用索引提示(Hint)引导语句最大优化运行)

    前言 本篇继续玩转模块的内容,关于索引在SQL Server的位置无须多言,本篇将分析如何利用Hint引导语句充分利用索引进行运行,同样,还是希望扎实掌握前面一系列的内容,才进入本模块的内容分析. 闲 ...

随机推荐

  1. SparkSQL JDBC和JDBCServer区别

    注意SparkSQL JDBC和SparkSQL JDBCSever是完全两种不同的场景. SparkSQL JDBC SparkSQL可以使用JDBC的方式访问其他数据库,和普通非spark程序访问 ...

  2. 转)JVM Internals

    http://blog.jamesdbloom.com/JVMInternals.html (基于 Java 7)

  3. 学学Viewbinding

    Viewbinding 1.环境需求 环境上,需要Android Studio 3.6 Canary 11+ 同样的Gradle也需要升级(这年头都4.0了,应该没有还在用低版本的了吧...) 2.配 ...

  4. Chrome简洁高效管理下载项

    每次要查看下载记录时,Chrome新建下载标签页的速度能让我抓狂 之前用的 Chrono 界面太过传统,而且还不能点击打开.所以一直在寻找好用的下载管理插件,经过多次在拓展商城搜索比对,找到了这款拓展 ...

  5. C语言学习笔记之数组与指针的关系

    首先,大家先需知道一个关于基类型的概念 基类型:组成一个新类型的基础类型 这句话是什么意思呢?举个例子: int a[3] = {1,2,3}; 上面是由三个int类型的数组成一个新的类型也就是数组, ...

  6. jQuery 购物车案例

    h1 { text-align: center; } .cart { width: 1200px; height: 600px; margin: 0 auto; border: 1px solid # ...

  7. C#LeetCode刷题之#628-三个数的最大乘积( Maximum Product of Three Numbers)

    问题 该文章的最新版本已迁移至个人博客[比特飞],单击链接 https://www.byteflying.com/archives/3726 访问. 给定一个整型数组,在数组中找出由三个数组成的最大乘 ...

  8. LeetCode 647. Palindromic Substrings的三种解法

    转载地址 https://www.cnblogs.com/AlvinZH/p/8527668.html#_label5 题目详情 给定一个字符串,你的任务是计算这个字符串中有多少个回文子串. 具有不同 ...

  9. windows下的Redis安装:

    windows下的Redis安装: 百度网盘地址:https://pan.baidu.com/s/1yYED2pXLWolPXvWaABtF2Q 提取密码:xshu 1.解压文件并且创建start.b ...

  10. 看完就能掌握的PHP核心技术 - ​​​​​​​​面向对象

    继承和多态 类的组合与继承 假设我们有两个类,一个 person,另外一个是 family:在 family 类中我们创建 person 类中的对象,并且我们把这个对象视为 family 类的一个属性 ...