关于QCon2015感想与反思
QCon2015专场有不少关于架构优化、专项领域调优专题,但能系统性描述产品测试方向只有《携程无线App自动化测试实践》。
(一). 携程的无线App自动化
1. 先总结下他们做到了些什么:
(1). 移动设备真机自动化测试集群,及集群监控。
(2). 集群中设备可提供远程人工控制服务(远程操作手机屏幕)。
(3). 基于Appium编写案例。
(4). 建立基本的自动化测试模式(自动化案例:手工案例 为 3:7)。
2. App自动化测试的产出效果:
,
(二). 反思
1. 携程的可改进之点:
(1). PC利用率低下:携程1台PC只挂2台移动设备。
adb查找设备/模拟器 端口是5555~5585,每个设备/模拟器占2个端口,所以PC一般可以挂15个设备/模拟器。当时我们做移动自动化测试时,就是一台PC挂6~8台移动设备。
当然,携程不这么做肯定有原因:
a)adb-server与移动设备 I/O 时,会不定期出现卡死。
原因:移动设备没有返回,导致adb-server一直read()不到数据。另外,adb-server和设备I/O时,是加锁并且没timeout的,这将导致:一台设备读卡死,其他设备也别想干活了……
解决方案:adb监控,发现异常adb,干掉并重启。重启adb会有副作用(执行中案例会失败),但可通过:案例执行的幂等 与 重复执行失败案例 解决。
b)adb无法承受大量 I/O 并发
(2). 测试结果 不具备 功能正确性 结论
携程的某些测试类型(如:可达性测试、及所谓的冒烟测试......)不能给出功能正确性判断。这在业界是有争议的,一部分人认为:可测试Activity页是否崩溃/Webpage是否加载成功;另一部分则认为:需要人手返工测试,保证功能正确性,所以它没必要存在。个人更倾向后者。另外,这也从侧面反应出一个问题:UI级别的自动化测试实施不容易,这里就不扯远了。
2. 携程的可取之处:
(1). 提供设备远程人工控制服务(远程操作手机屏幕)。
该功能其实并不新鲜,Testin早在2012年已对外提供类似服务,只不过13年后屏蔽对外。它的优点在于统筹资源,可减少设备冗余。
(2). 基于Appium编写案例。
我之前也负责过YY的移动端测试框架"TestAgent"的实现与维护,之所以认为 基于Appium实施自动化测试 可取,原因有二:
a)能提供良好的 案例编写/编程 风格。
UI自动化测试框架实施,我认为有3个重点:
1. 操作 被测试应用 UI元素 的方法。
2. 提供易读,易用API。
3. 提供方便,完备的 元素索引 方式。
其中2,3是编写优雅测试案例的基础。当然,对于2,3,Appium和TestAgent都是具备的。
b)开源社区支持。
Appium与其他测试框架(包括:阿里,百度,还有YY……)差别就在这里。
(3). 携程拥有独立的基础工具研发部门支撑各上层业务测试
以上说的优与劣,皆技术层面问题。但这个非技术性问题,才是我最大感触。
关于QCon2015感想与反思的更多相关文章
- [个人博客作业Week7]软件工程团队项目感想与反思
在阅读了推荐阅读的材料之后,我想了很多东西.最终还是决定,以团队项目的经历为主线,叙述我关于软件工程的一些思考与体会. 凤凰涅槃,浴火重生 如果要我来概况这几周团队项目的经历的话,那么句话是我所能想到 ...
- 【个人博客作业Week7】软件工程团队项目一轮迭代感想与反思
(发布晚原因:发到团队博客了 一.关于银弹 在佛瑞德·布鲁克斯于1986年发布的<没有银弹:软件工程的本质性与附属性工作>这篇软件工程的经典论文中,作者向我们讲述了软件工程没有银弹这样的理 ...
- 开博近一年的感想 by 程序员小白
/* 好吧,这里的写博客应该理解为更宏观的写文章. */ 在去年的这个时候,我所知道的平台只有 CSDN 和博客园..然而 CSDN 的广告实在是不想吐槽了,选择博客园是一件非常自然的事情.要说开 ...
- 使用 .NET WinForm 开发所见即所得的 IDE 开发环境,实现不写代码直接生成应用程序
直接切入正题,这是我09年到11年左右业余时间编写的项目,最初的想法很简单,做一个能拖拖拽拽就直接生成应用程序的工具,不用写代码,把能想到的业务操作全部封装起来,通过配置的方式把这些业务操作组织起来运 ...
- BugPhobia开发篇章:Alaph阶段Scurm Meeting
[github] https://github.com/bugphobia/XuebaOnline 0x01 :目录与摘要 If you weeped for the missing sunset ...
- 个人作业week7——前端开发感想总结
个人作业week7——前端开发感想总结 1. 反思 首先要谈谈在这次团队项目的工作中,我这边出现过的较为严重的一个问题:我和HoerWing (后端担当)合作时,最初因为我没有使用github(始终连 ...
- [2019BUAA软件工程]结对编程感想
结对编程感想 写在前面 本博客为笔者在完成软件工程结对编程任务后对于编程过程.最终得分的一些感想与经验分享.此外笔者还对于本课程的结对编程部分提出了一些建议. Tips Link 作业要求博客 2 ...
- 20165211 获奖感想及java课程总结
20165211 获奖感想及java课程总结 理论脱离实践是最大的不幸.--达芬奇 这句话,是我在学习Java之前,假期内写的20165211 学习基础和C语言调查里的所引用的一句话,是当时我对Jav ...
- Android 开发感想
18年从.net转行做安卓开发,现在已经过去一年多了.说一下感想和心得体会! 一.开始 说一下我的经厉,从毕业开始出来工作一直是从事.net方向的开发工作.一开始也是没什么经验,加上也没有其他手艺就找 ...
随机推荐
- QQ邮箱发送邮件,出现mail from address must be same as authorization user错误
之前做的一个系统,有个发送邮件的功能,一直能正常使用,今天同事说QQ邮箱发送不了. 立马着手调试,发现服务器一直出现“mail from address must be same as authori ...
- struts2一些概念介绍和标签的使用
依赖注入 模块包含 struts.xml的模块包含格式 <include file="xx.xml" > OGNL 对象导航语言 有个超大的好处就是根据对象访问属性 ...
- ZOJ3791_An Easy Game
给出两个等长的字符串,每次需要改变m个数字,每次必须改变k个数字,求从第一个串变化到第二个串的方案数. DP.f[i][j]改变i步后,有j个位置被改变的方案数.然后直接枚举当前改变的几个位置是前面重 ...
- Unity加载模块深度解析(网格篇)
在上一篇 加载模块深度解析(一)中,我们重点讨论了纹理资源的加载性能.这次,我们再来为你揭开其他主流资源的加载效率. 这是侑虎科技第53篇原创文章,欢迎转发分享,未经作者授权请勿转载.同时如果您有任何 ...
- JS-sort排序
var arr = [ 'c', 'd', 'a', 'e' ];// arr.sort();// alert( arr );var arr2 = [ 4,3,5,5,76,2,0,8 ];// ar ...
- 四川软件人才网:打造四川最专业的IT人才招聘平台
四川软件人才网(www.tfsp.net),原名:天府软件人才网:为了更好的发展和拓展的业务需要,更名为:四川软件人才网,强力打造四川最专业的IT人才的招聘平台. 网站依托四川软件人才社区,微博,微信 ...
- Win7 64位 VS2015及MinGW环境编译FFMPEG-20160326
因为又要弄MinGW了,所以顺便把FFMPEG编译了,文章主要参考这篇,防抽所以复制一遍,顺便加些自己的内容 http://blog.csdn.net/finewind/article/details ...
- 使用CSS设置行间距,字间距.
字间距1.text-indent设置抬头距离css缩进即对,对应div设置css样式text-indent : 20px; 缩进了20px 2.letter-spacing来设置字与字间距_字符间距离 ...
- JavaScript的Ajax请求示例
//创建XMLHttpRequest对象 var request = false; try { request = new ...
- 第三章 文件IO复习
open(const char * path, int flag.../*mode_t*/) #include <fcntl.h> path:绝对路径 flag:O_RDONL ...