前段时间做了些数据测试相关的工作,找了些相关方面的资料,也跟一些一线厂的同学聊了下数据测试方面的东西,然后在团队内部形成了一个初级的数据测试的规范流程以及测试需要进行的场景设计和测试用例设计的方案。
 

ETL测试工程师的主要责任

 对于一个ETL测试工程师而言,其关键的责任有三大类:
  · 源数据分析(数据库、文本等类型数据分析)
  · 业务转换逻辑实现
  · 将经过转换的数据载入至目标表
 其他有:
  · 掌握ETL测试软件
  · ETL数据仓库测试组件
  · 在后端执行数据驱动测试
  · 创建、设计、执行测试用例、计划等
  · 标识问题、提供问题解决方案
  · 梳理业务需求和设计测试策略
  · 写SQL或数据库操作代码完成实现各种测试场景
 

ETL测试场景和测试用例

序号 测试场景 测试用例
1 Mapping Doc Validation 验证映射文件是否提供了响应的etl信息,且每个映射文档的更新日志有记录
2 Validation(表结构,表字段类型,字段长度,字段名称)
  1. 根据对应的映射文件验证源与目的地数据仓库的表结构
  2. 验证源和目标数据的类型一致
  3. 验证源和目标数据的长度一致
  4. 验证数据字段类型和格式是指定的类型
  5. 验证源的数据类型长度不应小于目标数据类型长度
  6. 针对映射表对数据表的列的名称进行验证
3 约束验证 验证目标表中的约束关系满足我们的期望设计
4 数据一致性问题
  1. 防止语义定义相同,但特定属性的数据类型和长度不一致的问题
  2. 防止完整性约束滥用
5 完整性问题(数据量完整,数据内容完整,边界完整)
  1. 确保所有期望的数据都已经完整的加载到目标表中
  2. 要比较源和目标数据的个数
  3. 检查出现的任何不合格的记录
  4. 检查目标表列中的数据没有出现被截断的情况
  5. 对边界值进行分析检查
  6. 要检查比较目标数据仓库和源数据的关键字段的唯一性
6 正确性问题
  1. 数据要没有拼写错误或不准确的记录
  2. 无null 非唯一或超出范围的数据记录存在
  3. 数据字段类型要正确
7 转换验证 验证转换逻辑的正确性
 

简单数据测试方案设计

以上可能是比较完整的数据测试的工作内容,但是像我们只是做一些数据校验,数据库测试的话是可以在以上基础上进行修剪的。

例如我在与美团的数据产品经理聊天时,他也是讲到数据测试也并没有一套比较标准化的流程,现在也都是在探索阶段,也是要根据自身的业务,数据特性来进行测试。

因为我目前只是做简单的数据测试,其实还差的远,如果真想要做好的话,还是需要跟做数据开发似的,需要了解数据,了解如何处理数据,无论是对于数据工具的使用还是整个数据开发套件的了解。

 

ETL测试场景和测试用例设计的更多相关文章

  1. [Tommas] 测试场景 VS 测试用例 哪个更好?(转)

    分享一篇网上别人的感悟:      6年前,我在一家中型跨国公司工作的时候,我建议与其浪费时间在准备充分的测试用例,还不如编写描述测试场景的文档.所有的人都对我的建议.投以烦恼的目光.他们的脸上清晰地 ...

  2. ETL测试教程

    在我们了解ETL测试之前,先了解有关商业智能和数据仓库的重要性. 让我们开始吧 - 什么是BI? 商业智能是收集原始数据或业务数据并将其转化为有用和更有意义的信息的过程. 原始数据是一个组织每日事务的 ...

  3. [大数据测试]ETL测试或数据仓库测试入门

    转载自: http://blog.csdn.net/zhusongziye/article/details/78633934 概述 在我们学习ETL测试之前,先了解下business intellig ...

  4. ETL测试或数据仓库测试入门

    概述 在我们学习ETL测试之前,先了解下business intelligence(即BI)和数据仓库. 什么是BI? BI(Business Intelligence)即商务智能,它是一套完整的解决 ...

  5. 测试思想-测试设计 史上最详细测试用例设计实践总结 Part2

    史上最详细测试用例设计实践总结 by:授客 QQ:1033553122 -------------------------接 Part1-------------------------- 方法:这里 ...

  6. 测试面试题集-测试用例设计:登录、购物车、QQ收藏表情、转账、充值、提现

    以下内容首发于微信公众号[ITester软件测试小栈]: 测试面试题集-2.测试用例设计 大家好 我是coco小锦鲤 上周五给大家分享了测试基础理论题 这个周五给大家分享测试用例设计题 测试用例的考察 ...

  7. UI测试用例设计,场景测试法

    百度一番,没有发现详细的UI测试用例设计方法,只能自己整理一下,学习.改进. 那么正题来了,我们慢慢缕下思路: 1.整理要测实体中的,处理逻辑.触发规则.动作. 2.将场景测试抽象出来 3.到这个时候 ...

  8. 【测试设计】基于正交法的测试用例设计工具--PICT

    前言 我们都知道成对组合覆盖是一种非常有效的测试用例设计方法,但是实际工作过程中当成对组合量太大,我们往往很难做到有效的用例覆盖. PICT是微软公司出品的一款成对组合命令行生成工具,它很好的解决了上 ...

  9. ETL测试

    今天让我在休息之余给我的测试朋友介绍一个在我的测试沙龙上的需要和提升技能之一,例如ETL测试(Extract,Transform,and Load,中文名称为数据提取.转换和加载),这篇文章告诉你ET ...

随机推荐

  1. C++11 bind和function用法

    function是一个template,定义于头文件functional中.通过function<int(int, int)> 声明一个function类型,它是“接受两个int参数.返回 ...

  2. 08Dockerfile基本使用

    使用Dockerfile创建镜像 Dockerfile是一个文本格式的配置文件,用户可以使用Dockerfile赖快速创建自定义的镜像. Dockerfile由一行行命令组成,#开头为注释. 1:Do ...

  3. Scala学习二十一——隐式转换和隐式参数

    一.本章要点 隐式转换用于类型之间的转换 必须引入隐式转换,并确保它们可以以单个标识符的形式出现在当前作用域 隐式参数列表会要求指定类型的对象.它们可以从当前作用域中以单个标识符定义的隐式对象的获取, ...

  4. Git 集成 Araxis Merge 作为比较和合并GUI工具的配置 参考自https://www.kancloud.cn/leviio/git/369125

    Git 集成 Araxis Merge Win10下修改git全部配置文件方法Git 集成 Araxis Merge 作为比较和合并GUI工具的配置 那global对应的 ,gitconfig文件在哪 ...

  5. selenium之动作链

    概念:一组连续的行为动作 爬取网站:https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable 背景:把左边的方块横竖往下便宜 ...

  6. ubuntu安装svn

    安装svn # sudo apt-get install subversion 创建svn仓库 # cd /root # mkdir svn # cd svn # svnadmin create re ...

  7. 简单服务器通信 模型socketserver

    硬件服务器:主机 集群 厂商 :IBM   HP  联想  浪潮 软件服务器 :编写的服务端应用程序,在硬件服务器上运行,一般依托于操作系统,给用户提供一套完整的服务 httpserver --> ...

  8. Maven新建项目出现 Could not calculate build plan:plugin 错误解决办法

    删除本地.m2仓库中 org.apache.maven.plugins:maven-resources-plugin所在目录. 然后右击项目 Maven->Update Project-> ...

  9. 理解 chroot

    什么是 chroot chroot,即 change root directory (更改 root 目录).在 linux 系统中,系统默认的目录结构都是以 `/`,即是以根 (root) 开始的. ...

  10. 实时跟踪之TRACA

    背景: 目前,在实时跟踪领域存在着越来越多的先进方法,同时也极大地促进了该领域的发展.主要有两种不同的基于深度学习的跟踪方法:1.由在线跟踪器组成,这些跟踪器依赖网络连续的微调来学习目标的变化外观,精 ...