此文已由作者王婷英授权网易云社区发布。

欢迎访问网易云社区,了解更多网易技术产品运营经验。

为了尽可能多的释放手工测试,提高测试效率,我们都会想到使用自动化测试,如http接口自动化测试、doubbo接口自动化测试、UI自动化测试等一系列的自动化测试。让我们觉得原来自动化测试的种类也是多彩多姿的。

当前自动化测试在行业中投入的比例如下图:

图1 互联网行业自动化投入黄金角

当前考拉这边投入比较多的是单元测试和接口测试,比较符合当前测试行业的投入自动化的比例情况。目前,我们在http接口执行持续集成CI的时候,经常会出现测试用例执行失败了。详细的失败调用情况数据(数据来源于考拉质量平台)如下:

图2 http接口执行失败的数据统计表

从图2中,我们可以看出,当前考拉的接口自动化不稳定的比例如下:环境问题占57%,数据问题占25%,测试用例问题占4.5%,其他问题占10.5%,发现bug数占3%。前三名分别是环境问题、数据问题和其他。

  1. 环境问题:这个问题是存在多元因素导致,整个考拉的工程之间的关系链比较长且有一定的复杂性,需要在环境迭代中找到平衡的方法。

  2. 数据问题:这个目前有很多种情况会发生数据问题,如下:

(a)测试用例里的测试数据,在测试环境被别人动了,改变了这条数据的属性状态,或者是数据已经别删除了
    (b)测试用例里的测试数据对应的测试用例比较一次性,只能跑一次,每次跑之前,都需要把数据提前准备好
    (c)数据库链接变更后,测试用例的测试数据检验不通过,需要重新调整测试数据的获取源

3. 基本上数据问题就上面说的几点,不过应该还存在一些遗漏,主要是结合自己在跑接口自动化的时候出现的一些问题。

其他:这个暂时没有进行调研

上述过渡说了当前考拉接口不稳定的原因进行了简单的分析。

那么接下来,我们一起聊一聊如何避免接口测试用例数据的不稳定。

下面我们来简单的看下一个简单的接口测试用例的迭代优化,以达到一定的稳定性。

例如:delete操作的接口

该接口只要是删除长文里权限列表里的用户(只要在这个列表里的permissionid始终为10001,而openId会发生变化

图3 delete接口的V1.0

图3中,直接将openId直接赋值,这样就会导致一个问题,只能删除这个指定的用户,且自动化跑了一次之后,这个接口再次重新跑就会直接失败。这种接口测试用例非常的不稳定,当然初次写的时候,很多人会先这么写,写完之后,再进行优化。

图4 delete接口的V2.0

图4是对图3的V1.0进行的一次迭代,使用了list接口来协助delete接口,同时使用了TestNG里的dependsOnMethods依赖执行的方法将两个接口合在一个接口里,并将openId这个字段进行参数化。一般这种情况下,delete接口是相对于V1.0是非常稳定的。但是这个有一个弊端就是万一这个list的size==0,那么此时delete接口已经会跑不通过。那么这个接口就需要我们再一次对其稳定性进行迭代。

图5 delete接口的V3.0

图5和图3长得很相似,但是V3.0的迭代版本是将V1.0和V2.0进行结合在一起。具体操作如下:

图6 delete接口V3.0的流程图

如果delete接口按照V3.0进行,那么类似这种数据稳定性基本上是可以解决。

当然测试用例数据的稳定性还有其他类型的。后续我们遇到了类似的场景继续进行研究分析,有更好的建议可以pop私信我,再好好交流。本次就先聊这么多哈^_^

网易云免费体验馆,0成本体验20+款云产品!

更多网易技术、产品、运营经验分享请点击

相关文章:
【推荐】 谈谈数据库的跨机房容灾-网易云
【推荐】 360°透视:云原生架构及设计原则
【推荐】 SpringBoot入门(三)——入口类解析

Http接口系列:如何提高Http接口用例的数据稳定性的更多相关文章

  1. c#中常用集合类和集合接口之接口系列【转】

    常用集合接口系列:http://www.cnblogs.com/fengxiaojiu/p/7997704.html 常用集合类系列:http://www.cnblogs.com/fengxiaoji ...

  2. 【Spring源码分析系列】ApplicationContext 相关接口架构分析

    [原创文章,转载请注明出处][本文地址]http://www.cnblogs.com/zffenger/p/5813470.html 在使用Spring的时候,我们经常需要先得到一个Applicati ...

  3. spring源码分析系列 (3) spring拓展接口InstantiationAwareBeanPostProcessor

    更多文章点击--spring源码分析系列 主要分析内容: 一.InstantiationAwareBeanPostProcessor简述与demo示例 二.InstantiationAwareBean ...

  4. spring源码分析系列 (2) spring拓展接口BeanPostProcessor

    Spring更多分析--spring源码分析系列 主要分析内容: 一.BeanPostProcessor简述与demo示例 二.BeanPostProcessor源码分析:注册时机和触发点 (源码基于 ...

  5. stm32 nucleo系列开发板的接口

    1. 首先说的是 Arduino接口,所有的nucleo系列都支持这个接口,而且像F767这种尺寸长的板子也有的,不过是双排排针,其实就是外侧也是 Arduino接口 2. 板子接上电脑之后有个串口

  6. 【玩转单片机系列001】 08接口双色LED显示屏驱动方式探索

    前些日子,从淘宝上购得一块08接口的双色LED显示屏(打算做个音乐频谱显示器),捣鼓了好几天,终于搞清楚了其控制原理,在这里做个总结,算是备忘吧. 1.LED显示屏的扫描方式 LED显示屏的扫描方式有 ...

  7. Java集合总结系列2:Collection接口

    Collection 接口是 Java 集合类的一个根接口,Java 在 Collection 接口中定义了许多通用的数据操作类方法以及判断类方法. 通过查看 API 文档或源码的方式,我们可以了解到 ...

  8. Java基础系列--06_抽象类与接口概述

    抽象类 (1)如果多个类中存在相同的方法声明,而方法体不一样,我们就可以只提取方法声明. 如果一个方法只有方法声明,没有方法体,那么这个方法必须用抽象修饰. 而一个类中如果有抽象方法,这个类必须定义为 ...

  9. SpringBoot系列 - 集成JWT实现接口权限认证

    会飞的污熊 2018-01-22 16173 阅读 spring jwt springboot RESTful API认证方式 一般来讲,对于RESTful API都会有认证(Authenticati ...

随机推荐

  1. BZOJ4011:[HNOI2015]落忆枫音(DP,拓扑排序)

    Description 「恒逸,你相信灵魂的存在吗?」 郭恒逸和姚枫茜漫步在枫音乡的街道上.望着漫天飞舞的红枫,枫茜突然问出这样一个问题.  「相信吧.不然我们是什么,一团肉吗?要不是有灵魂……我们也 ...

  2. PHP语言开发微信公众平台(订阅号)之curl命令(补充)

    在之前的一篇随笔中,博主在调用curl命令上传文件时会经常出现上传方法过时的情况.如下图所示: 所以,我们只需要把上传方法换成创建CURLFile 类即可.如下所示 $ch = curl_init() ...

  3. IDEA定位开发文件在左边工程中的文件路径

    IDEA新公司入职使用第七天,基本快捷键和BUG调试已经搞透了!从最开始的配置到现在的适应确实是一个不小的进步,前几天每天加班太忙没有时间更新博客,明天就是五一假期,现在将刚掌握的一点IDEA技术写出 ...

  4. jquery分页例子

    先看效果图: 实现原理很简单,使用了jquery.pagination这个插件,每当点击页码时异步去服务器去取该页的数据,简单介绍如下: 一.数据库表结构:很简单  就四个字段 分别是News_id  ...

  5. LayIM.NetClient 组件开发记录

    前言 好久没写博客了.前阶段看了下Hangfire组件,后来对其代码比较感兴趣,当时不太了解他如何生成的页面和一些访问请求等.后来看了下源代码,发现原来是 OWIN 在搞怪.于是乎开始深入研究Hang ...

  6. LVS的DR模式负载均衡

    参考项目:http://www.cnblogs.com/along21/p/7833261.html#auto_id_3 LVS的DR模式实现负载均衡 1.环境 lvs-server :192.168 ...

  7. 谈谈Ajax(二)

    昨天还没有谈完,今天做一个了解. 首先还是以错误,来讲述. 一.AJax常见错误 Ajax常见的错误,除了昨天列举的之外.还有就是如下状态码: 405,请求类型错误,比如请求是POST,你却用GET, ...

  8. http1.X与2.0

    HTTP HTTP 1.X HTTP是建立在TCP协议上的,HTTP协议的瓶颈及优化都是基于TCP协议本身的特性. TCP建立连接时有三次握手 会有1.5RTT的延迟,为了避免每次请求都经历握手待来的 ...

  9. Oracle模糊查询

    通配符 % 匹配零个或更多的任意字符 _ 匹配一个任意字符 [ ] 匹配指定范围中的一个字符([a-z],[0-9]) [^ ]      不属于指定范围,不包含其中的字符 escape转义 --查询 ...

  10. oracle整理

    1.安装oracle数据库2.创建数据库实例(可选)3.创建用户.角色.授权(可选) 查询数据库名:select name,dbid from v$database;查询实例名 :select ins ...