数据仓库是目前主要的数据存储体系.数据仓库之增W.H.Inmon认为,数据仓库是指支持管理决策过程的.面向主题的.集成的.随时间而变的.持久的数据的集合.简单地说,一个数据仓库就一个自数据库的商业应用系统,该数据库的数据来自于其它的运作数据库,而不是来自于原始的输入.    ODS(Operational Data Store)是数据仓库的一个扩展,它也是一个企业级的数据存储模式,它的构造也是面向主题的.ODS是企业中运行系统发布信息的地方,这些信息是实时或接近实时的,这些信息可以被企业中的其它…

这两天看书,发现了和数据仓库相关的还有一个叫ODS的概念,它是企业级的全局数据库,用于提供集成的,企业级一致的数据,包含如何从各个子系统中向ODS抽取数据以及面向主题的角度存储数据. 它和数据仓库的主要区别: 数据仓库是面向主题的.集成的.随时间变化的.非易失的.用于进行战略型决策的数据集合. ODS是一个面向主题的.集成的.可变的.当前的细节数据集合,用于支持企业对于即时性的.操作性的.集成的全体信息的需求.常常被作为数据仓库的过渡,也是数据仓库项目的可选项之一. 在Kimball的<<数据…

文章背景: 相信大部分刚接触上面三个概念的同学,都多多少少会有些迷惑,现在我就给大家简单分析下这三者的关系,希望大家对这三者的概念理解有所帮助吧. 本文主要从下面两类关系来叙述上面三者的关系: 数据库(DB)和数据仓库(DW)的区别与联系 操作数据存储(ODS)和数据仓库(DW)的区别与联系 数据库与数据仓库的区别与联系 数据库与数据仓库基础概念: 数据库:传统的关系型数据库的主要应用,主要是基本的.日常的事务处理,例如银行交易. 数据仓库:数据仓库系统的主要应用主要是OLAP(On-Line…

我在公司的数据部门工作,每天的订单类数据处理流程大致如下: 删除分析数据库的历史订单数据 全量更新订单数据到分析数据库.(由于订单核心数据不大,所以经受得起这么折腾) 将数据简单清洗,并生成数据集市层 分析处理,产出报表.当然还有其他的数据也是这么处理的(比如产品的数据.景区的数据.票种的数据.供应商的数据等等) 还有日志类的数据,这里不是重点,就不介绍了!这么干了一年,发现有如下问题: 业务变化很快,比如业务数据表经常变化字段含义.增加各种逻辑数据等 业务数据源越来越多,随着品类越来越多,新部…

这两天接触到ODS,开始很纳闷,有了DW(Data Warehouse)干嘛还要ODS(Operational Data Store),于是不查不知道,一查吓一跳,这里面还有这么多道道,这里总结一下,当作学习了. 简单说: DW 数据仓库存储是一个面向主题的,反映历史变化数据,用于支撑管理决策. ODS 操作型数据存储,存储的是当前的数据情况,给使用者提供当前的状态,提供即时性的.操作性的.集成的全体信息的需求. ODS作为数据库到数据仓库的一种过渡形式,与数据仓库在物理结构上不同,能提供高性能…

@ 目录 数据流向 何为数仓DW 主要特点 与数据库的对比 为何要分层 数据分层 数据运营层ODS 数据仓库层 数据细节层DWD 数据中间层DWM 数据服务层DWS(DWT) 数据应用层ADS 事实表 Fact Table 维表层Dimension(DIM) 临时表TMP 数据集市 区别数据仓库 问题总结 ODS与DWD区别? APP层干什么的? 附录 ETL 宽表 主题(Subject) 数据流向 应用示例 何为数仓DW Data warehouse(可简写为DW或者DWH)数据仓库,是在数据…

什么是ODS? 信息处理的多层次要求导致了一种新的数据环境——DB-DW的中间层ODS(操作型数据存储)的出现.ODS是“面向主题的.集成的.当前或接近当前的.不断变化的”数据.通过统一规划,规范框架和数据,ODS可以实现操作型数据整合和各个系统之间的数据交换,能够提供实时的操作型报表,减轻数据仓库的负担.建设ODS还可以为后期数据仓库建设做好准备. 什么是ODS? ODS全称为Operational Data Store,即操作型数据存储,是“面向主题的.集成的.可变的.反映当前数据值的和详细…

ODS和DW 根据Bill.Inmon的定义,“数据仓库是面向主题的.集成的.稳定的.随时间变化的,主要用于决策支持的数据库系统”  : ODS (Operational Data Store)操作型数据存储,ODS具备数据仓库的部分特征和OLTP系统的部分特征,它是“集成的.当前或接近当前的.不断变化的”数据,一般不保留数据的变动轨迹,是数据仓库体系结构中的一个可选部分: ODS DW 主要是和源系统表结构相同,表结构随着源系统变化 面向主题的表模型,模型相对稳定 一般只保留最新数据或较短时间…

ETL,Extraction-Transformation-Loading的缩写,中文名称为数据抽取.转换和加载. 大多数据仓库的数据架构可以概括为: 数据源-->ODS(操作型数据存储)-->DW-->DM(data mart) ETL贯穿其各个环节. ​一.数据抽取: 可以理解为是把源数据的数据抽取到ODS或者DW中. 1. 源数据类型: 关系型数据库,如Oracle,Mysql,Sqlserver等; 文本文件,如用户浏览网站产生的日志文件,业务系统以文件形式提供的数据等: 其他外…

ODS: 操作数据存储ODS(Operational Data Store),操作型数据仓库,最早的数据仓库模型,是数据仓库体系结构中的一个可选部分,ODS具备数据仓库的部分特征和OLTP系统的部分特征.特点是数据模型采取了贴源设计,业务系统数据库数据结构是怎样的,ODS数据库的结构就是怎样的.所不同的是ODS数据库可以提供数据变化的历史,所以ODS数据库中每张表都会增加一个日期类型,表示数据的时点,将每天数据的变化情况都存下来,这样有利于数据的分析. 一般在带有ODS的系统体系结构中,ODS都…