二.ETL测试过程: 在独立验证与确认下,与任何其他测试一样,ETL也经历同样的阶段. 1)业务和需求分析并验证. 2)测试方案编写 3)从所有可用的输入条件来设计测试用例和测试场景进行测试 4)执行所有用例直到满足退出标准 5)书写总结报告和测试过程结束. 三.ETL测试的规则: 测试数据的正确性.一致性.完整性 四.ETL测试的方法 1.数据量统计: 源表和目标表数据量统计 2.转换规则测试 首先是数据格式的合法性.对于数据源中时间.数值.字符等数据的处理,是否符合数据仓库规则,是否进行统一…

在我们了解ETL测试之前,先了解有关商业智能和数据仓库的重要性. 让我们开始吧 - 什么是BI? 商业智能是收集原始数据或业务数据并将其转化为有用和更有意义的信息的过程. 原始数据是一个组织每日事务的记录,如与客户的互动,财务管理和员工管理等. 这些数据将用于“报告,分析,数据挖掘,数据质量和解释,预测分析”. 什么是数据仓库? 数据仓库是一个数据库,专为查询和分析而设计,而不是事务处理. 通过集成来自多个异构源的数据构建数据仓库,使公司或组织能够整合来自多个来源的数据,并将分析工作与事务工作分…

[原创] 浅谈ETL系统架构如何测试? 来新公司已入职3个月时间,由于公司所处于互联网基金行业,基金天然固有特点,基金业务复杂,基金数据信息众多,基金经理众多等,所以大家可想一下,基民要想赚钱真不容易,首先你要在这么多基金中选一个靠谱的基金经理,想获得一份不错的基金收益,尤如大海捞针,其码我对这个没什么自信. 闲话少说,哪么我们来看看ETL系统架构是咋回事,简单理解ETL就是将数据抽取,数据转换,数据加载的一个过程,其中每个公司都有不同业务,如下图所示: 上图展示了一个典型的ETL系统架构,其中…

转载自: http://blog.csdn.net/zhusongziye/article/details/78633934 概述 在我们学习ETL测试之前,先了解下business intelligence(即BI)和数据仓库. 什么是BI? BI(Business Intelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据(原始数据或商业数据或业务数据等)进行有效的整合,快速准确地提供报表并提出决策依据,帮助企业做出明智的业务经营决策. 原始数据记录了企业日常事务,…

前段时间做了些数据测试相关的工作,找了些相关方面的资料,也跟一些一线厂的同学聊了下数据测试方面的东西,然后在团队内部形成了一个初级的数据测试的规范流程以及测试需要进行的场景设计和测试用例设计的方案.   ETL测试工程师的主要责任 对于一个ETL测试工程师而言,其关键的责任有三大类: · 源数据分析(数据库.文本等类型数据分析) · 业务转换逻辑实现 · 将经过转换的数据载入至目标表 其他有: · 掌握ETL测试软件 · ETL数据仓库测试组件 · 在后端执行数据驱动测试 · 创建.设计.执行测…

概述 在我们学习ETL测试之前,先了解下business intelligence(即BI)和数据仓库. 什么是BI? BI(Business Intelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据(原始数据或商业数据或业务数据等)进行有效的整合,快速准确地提供报表并提出决策依据,帮助企业做出明智的业务经营决策. 原始数据记录了企业日常事务,例如与客户交互的信息.财务信息,员工相关记录等等. 这些数据可以用于汇报.分析.挖掘.数据质量.交互.预测分析等等 什么是数据…

RT,正式写之前,我想说,真TMD不容易!!! 写博客,责任心,很重要 在百度搜出来的内地博客技术文章(CSDN.ITEYE.CNBLOGS……),大部分都是不全面,只针对一个遇到的问题点的记录,可以说毫无参考价值,甚至会把你指向错误的方向. 为什么?因为无当时系统环境交待,工具版本信息,其它客观因素(非原生,有插件等等).但是搞技术的都知道,这些因素非常重要. 但我们再看看台湾 dotblogs 上的文章(百度偶尔抽风,给点tw的结果),案例: http://www.dotblogs.com.…

BI概念: 商业智能(Business Intelligence 简称BI),指数据仓库相关技术与应用的通称.指利用各种智能技术,来提升企业的商业竞争力.是帮助企业更好地利用数据提高决策质量的技术,包含了从数据仓库到分析型系统等.这些分析有财务管理.点击流(Clickstream)分析.供应链管理.关键绩效指标(Key Performance Indicators, KPI).客户分析等.BI实际上是帮助企业提高决策能力和运营能力的概念.方法.过程以及软件的集合,其主要目标是将企业所掌握的信息转…

今天让我在休息之余给我的测试朋友介绍一个在我的测试沙龙上的需要和提升技能之一,例如ETL测试(Extract,Transform,and Load,中文名称为数据提取.转换和加载),这篇文章告诉你ETL 测试以及我们如果进行ETL测试过程的一个完整测试思想. 为什么企业需要数据仓库? IT企业的实践希望在技术转型上创建一个新的台阶.他们不断尝试着让他们的产品伴随着互操作性数据而更加易于操作.据了解,数据已经成为企业最重要的一 部分,可能包括每天的数据或者历史数据.数据是任何报告的中坚力量,而这些…

转载自: https://www.cnblogs.com/clarke157/p/6383024.html 一.ETL测试的重要性: ETL(Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程)作为BI/DW(Business Intelligence)的核心和灵魂,能够按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤.如果说数据仓库的模型设计是一座大厦的设计蓝图,数据是砖瓦的话,那么ETL就是建设大厦的过…