前段时间做了些数据测试相关的工作,找了些相关方面的资料,也跟一些一线厂的同学聊了下数据测试方面的东西,然后在团队内部形成了一个初级的数据测试的规范流程以及测试需要进行的场景设计和测试用例设计的方案。
 

ETL测试工程师的主要责任

 对于一个ETL测试工程师而言,其关键的责任有三大类:
  · 源数据分析(数据库、文本等类型数据分析)
  · 业务转换逻辑实现
  · 将经过转换的数据载入至目标表
 其他有:
  · 掌握ETL测试软件
  · ETL数据仓库测试组件
  · 在后端执行数据驱动测试
  · 创建、设计、执行测试用例、计划等
  · 标识问题、提供问题解决方案
  · 梳理业务需求和设计测试策略
  · 写SQL或数据库操作代码完成实现各种测试场景
 

ETL测试场景和测试用例

序号 测试场景 测试用例
1 Mapping Doc Validation 验证映射文件是否提供了响应的etl信息,且每个映射文档的更新日志有记录
2 Validation(表结构,表字段类型,字段长度,字段名称)
  1. 根据对应的映射文件验证源与目的地数据仓库的表结构
  2. 验证源和目标数据的类型一致
  3. 验证源和目标数据的长度一致
  4. 验证数据字段类型和格式是指定的类型
  5. 验证源的数据类型长度不应小于目标数据类型长度
  6. 针对映射表对数据表的列的名称进行验证
3 约束验证 验证目标表中的约束关系满足我们的期望设计
4 数据一致性问题
  1. 防止语义定义相同,但特定属性的数据类型和长度不一致的问题
  2. 防止完整性约束滥用
5 完整性问题(数据量完整,数据内容完整,边界完整)
  1. 确保所有期望的数据都已经完整的加载到目标表中
  2. 要比较源和目标数据的个数
  3. 检查出现的任何不合格的记录
  4. 检查目标表列中的数据没有出现被截断的情况
  5. 对边界值进行分析检查
  6. 要检查比较目标数据仓库和源数据的关键字段的唯一性
6 正确性问题
  1. 数据要没有拼写错误或不准确的记录
  2. 无null 非唯一或超出范围的数据记录存在
  3. 数据字段类型要正确
7 转换验证 验证转换逻辑的正确性
 

简单数据测试方案设计

以上可能是比较完整的数据测试的工作内容,但是像我们只是做一些数据校验,数据库测试的话是可以在以上基础上进行修剪的。

例如我在与美团的数据产品经理聊天时,他也是讲到数据测试也并没有一套比较标准化的流程,现在也都是在探索阶段,也是要根据自身的业务,数据特性来进行测试。

因为我目前只是做简单的数据测试,其实还差的远,如果真想要做好的话,还是需要跟做数据开发似的,需要了解数据,了解如何处理数据,无论是对于数据工具的使用还是整个数据开发套件的了解。

 

ETL测试场景和测试用例设计的更多相关文章

  1. [Tommas] 测试场景 VS 测试用例 哪个更好?(转)

    分享一篇网上别人的感悟:      6年前,我在一家中型跨国公司工作的时候,我建议与其浪费时间在准备充分的测试用例,还不如编写描述测试场景的文档.所有的人都对我的建议.投以烦恼的目光.他们的脸上清晰地 ...

  2. ETL测试教程

    在我们了解ETL测试之前,先了解有关商业智能和数据仓库的重要性. 让我们开始吧 - 什么是BI? 商业智能是收集原始数据或业务数据并将其转化为有用和更有意义的信息的过程. 原始数据是一个组织每日事务的 ...

  3. [大数据测试]ETL测试或数据仓库测试入门

    转载自: http://blog.csdn.net/zhusongziye/article/details/78633934 概述 在我们学习ETL测试之前,先了解下business intellig ...

  4. ETL测试或数据仓库测试入门

    概述 在我们学习ETL测试之前,先了解下business intelligence(即BI)和数据仓库. 什么是BI? BI(Business Intelligence)即商务智能,它是一套完整的解决 ...

  5. 测试思想-测试设计 史上最详细测试用例设计实践总结 Part2

    史上最详细测试用例设计实践总结 by:授客 QQ:1033553122 -------------------------接 Part1-------------------------- 方法:这里 ...

  6. 测试面试题集-测试用例设计:登录、购物车、QQ收藏表情、转账、充值、提现

    以下内容首发于微信公众号[ITester软件测试小栈]: 测试面试题集-2.测试用例设计 大家好 我是coco小锦鲤 上周五给大家分享了测试基础理论题 这个周五给大家分享测试用例设计题 测试用例的考察 ...

  7. UI测试用例设计,场景测试法

    百度一番,没有发现详细的UI测试用例设计方法,只能自己整理一下,学习.改进. 那么正题来了,我们慢慢缕下思路: 1.整理要测实体中的,处理逻辑.触发规则.动作. 2.将场景测试抽象出来 3.到这个时候 ...

  8. 【测试设计】基于正交法的测试用例设计工具--PICT

    前言 我们都知道成对组合覆盖是一种非常有效的测试用例设计方法,但是实际工作过程中当成对组合量太大,我们往往很难做到有效的用例覆盖. PICT是微软公司出品的一款成对组合命令行生成工具,它很好的解决了上 ...

  9. ETL测试

    今天让我在休息之余给我的测试朋友介绍一个在我的测试沙龙上的需要和提升技能之一,例如ETL测试(Extract,Transform,and Load,中文名称为数据提取.转换和加载),这篇文章告诉你ET ...

随机推荐

  1. win10系统查看激活状态及是否永久激活

    查看windows系统是否激活 找到“此电脑”,右击“属性” 查看windows系统是否永久激活 第一种方法 win+r 进入运行,输入slmgr.vbs -xpr  如图,再点击确定. 弹出一个对话 ...

  2. 1、ECharts(中国地图篇)的使用

    一.网址:            http://echarts.baidu.com/download.html点击:            完整下载文件:        echarts.min.js ...

  3. 怎样设置cookie的到期时间

    1. 使用Cookie的: Expires 属性. 它可以设置cookie的过期时间. 下面的代码表示id这条cookie的过期时间是2015年10月21日早上7点28分; Set-Cookie: i ...

  4. asp.net mvc4 学习1

    1 简介:微软在很早就看到了基于windows系统的web开发平台的需求,这时便开始提出自己的解决方案即微软的第一个基于web开发的平台ASP.再后来随着需求和性能的要求再2002年推出第二个解决方案 ...

  5. SpringCloud之Ribbon负载均衡配置

    一.负载均衡解决方案分类及特征 业界主流的负载均衡解决方案有: 1.1 集中式负载均衡 即在客户端和服务端之间使用独立的负载均衡设施(可以是硬件,如F5, 也可以是软件,如nginx), 由该设施负责 ...

  6. 9.Spring整合Hibernate_2_声明式的事务管理(Xml的方式)

    使用xml的方式进行声明式的事务管理 推荐使用xml的方式,因为可以同时为多个方法进行声明 <!-- 开启Spring中的事务管理(声明式的事务管理) xml--> <!-- 不管是 ...

  7. 阿里P8架构师总结Java并发面试题(精选)

    一.什么是线程? 线程是操作系统能够进行运算调度的最小单位,它被包含在进程之中,是进程中的实际运作单位.程序员可以通过它进行多处理器编程,你可以使用多线程对运算密集型任务提速.比如,如果一个线程完成一 ...

  8. IDEA中使用git报错Permission denied (publickey)

    最近在使用idea开发时,使用git拉取远程仓库的代码时,报错Permission denied (publickey),原因是因为ssh的密钥失效,必须得重新设置下ssh的密钥即可. 命令很简单,在 ...

  9. 树的总结(遍历,BST,AVL原型,堆,练习题)

    目录 树 一.抽象数据类型 二.二叉树的性质 三.二叉树的遍历 三.活用树的遍历 四.BST树 五.AVL树 六.BST树和AVL树练习 七.堆 树 @ 一.抽象数据类型 1.顺序存储 使用数组存储 ...

  10. 洛谷P1462 通往奥格瑞玛的道路(SPFA+二分答案)

    题目背景 在艾泽拉斯大陆上有一位名叫歪嘴哦的神奇术士,他是部落的中坚力量 有一天他醒来后发现自己居然到了联盟的主城暴风城 在被众多联盟的士兵攻击后,他决定逃回自己的家乡奥格瑞玛 题目描述 在艾泽拉斯, ...