QCon2015专场有不少关于架构优化、专项领域调优专题,但能系统性描述产品测试方向只有《携程无线App自动化测试实践》。

 

(一). 携程的无线App自动化

    《携程无线App自动化测试实践》主要介绍了 携程在App自动化方向 进展。

1. 先总结下他们做到了些什么:

(1). 移动设备真机自动化测试集群,及集群监控。

(2). 集群中设备可提供远程人工控制服务(远程操作手机屏幕)。

(3). 基于Appium编写案例。

(4). 建立基本的自动化测试模式(自动化案例:手工案例 为 3:7)。

2. App自动化测试的产出效果:

,

(二). 反思

1. 携程的可改进之点:

(1). PC利用率低下:携程1台PC只挂2台移动设备。

adb查找设备/模拟器 端口是5555~5585,每个设备/模拟器占2个端口,所以PC一般可以挂15个设备/模拟器。当时我们做移动自动化测试时,就是一台PC挂6~8台移动设备。

当然,携程不这么做肯定有原因:

a)adb-server与移动设备 I/O 时,会不定期出现卡死。

原因:移动设备没有返回,导致adb-server一直read()不到数据。另外,adb-server和设备I/O时,是加锁并且没timeout的,这将导致:一台设备读卡死,其他设备也别想干活了……

解决方案:adb监控,发现异常adb,干掉并重启。重启adb会有副作用(执行中案例会失败),但可通过:案例执行的幂等 与 重复执行失败案例 解决。

b)adb无法承受大量 I/O 并发

            adb设计目标并不是为了高并发(从 锁+子进程数限制 可见)……所以当15台设备同时进行高频指令传输时,是很慢的……但单PC负载6~8台移动设备,还是可以的。
       
            所以,恶意猜测下,携程只挂2台目的就是为了省事。

(2). 测试结果 不具备 功能正确性  结论

携程的某些测试类型(如:可达性测试、及所谓的冒烟测试......)不能给出功能正确性判断。这在业界是有争议的,一部分人认为:可测试Activity页是否崩溃/Webpage是否加载成功;另一部分则认为:需要人手返工测试,保证功能正确性,所以它没必要存在。个人更倾向后者。另外,这也从侧面反应出一个问题:UI级别的自动化测试实施不容易,这里就不扯远了。

2. 携程的可取之处:

(1). 提供设备远程人工控制服务(远程操作手机屏幕)。

该功能其实并不新鲜,Testin早在2012年已对外提供类似服务,只不过13年后屏蔽对外。它的优点在于统筹资源,可减少设备冗余。

(2). 基于Appium编写案例。

我之前也负责过YY的移动端测试框架"TestAgent"的实现与维护,之所以认为 基于Appium实施自动化测试 可取,原因有二:

a)能提供良好的 案例编写/编程 风格。

UI自动化测试框架实施,我认为有3个重点:

1. 操作 被测试应用 UI元素 的方法。

2. 提供易读,易用API。

3. 提供方便,完备的 元素索引 方式。

其中2,3是编写优雅测试案例的基础。当然,对于2,3,Appium和TestAgent都是具备的。

b)开源社区支持。

Appium与其他测试框架(包括:阿里,百度,还有YY……)差别就在这里。

                开源社区提供了:大量经验交流,技术支持与持续改进; 
 
                另外,开源工具的广泛普及也降低了日后人员招聘和业务交接的难度。

(3). 携程拥有独立的基础工具研发部门支撑各上层业务测试

以上说的优与劣,皆技术层面问题。但这个非技术性问题,才是我最大感触。

                自从测试中心分拆到各个项目组后,带来了更高效的项目团队,但我感觉存在一些副作用:知识与工具共享比以前困难。我想这也可能是测试中心拆分后,自动化测试方面突破有所减缓的原因之一,业务测试人员在日常测试中是很难兼顾 工具开发+自动化平台运营 与 案例编写+维护 2种职责的。携程自动化测试有此进展,其有基础工具部门支撑是很大原因,而这也是恰恰公司所缺乏的。
 
 
 
 

关于QCon2015感想与反思的更多相关文章

  1. [个人博客作业Week7]软件工程团队项目感想与反思

    在阅读了推荐阅读的材料之后,我想了很多东西.最终还是决定,以团队项目的经历为主线,叙述我关于软件工程的一些思考与体会. 凤凰涅槃,浴火重生 如果要我来概况这几周团队项目的经历的话,那么句话是我所能想到 ...

  2. 【个人博客作业Week7】软件工程团队项目一轮迭代感想与反思

    (发布晚原因:发到团队博客了 一.关于银弹 在佛瑞德·布鲁克斯于1986年发布的<没有银弹:软件工程的本质性与附属性工作>这篇软件工程的经典论文中,作者向我们讲述了软件工程没有银弹这样的理 ...

  3. 开博近一年的感想 by 程序员小白

    /* 好吧,这里的写博客应该理解为更宏观的写文章. */   在去年的这个时候,我所知道的平台只有 CSDN 和博客园..然而 CSDN 的广告实在是不想吐槽了,选择博客园是一件非常自然的事情.要说开 ...

  4. 使用 .NET WinForm 开发所见即所得的 IDE 开发环境,实现不写代码直接生成应用程序

    直接切入正题,这是我09年到11年左右业余时间编写的项目,最初的想法很简单,做一个能拖拖拽拽就直接生成应用程序的工具,不用写代码,把能想到的业务操作全部封装起来,通过配置的方式把这些业务操作组织起来运 ...

  5. BugPhobia开发篇章:Alaph阶段Scurm Meeting

    [github]   https://github.com/bugphobia/XuebaOnline 0x01 :目录与摘要 If you weeped for the missing sunset ...

  6. 个人作业week7——前端开发感想总结

    个人作业week7——前端开发感想总结 1. 反思 首先要谈谈在这次团队项目的工作中,我这边出现过的较为严重的一个问题:我和HoerWing (后端担当)合作时,最初因为我没有使用github(始终连 ...

  7. [2019BUAA软件工程]结对编程感想

    结对编程感想 写在前面   本博客为笔者在完成软件工程结对编程任务后对于编程过程.最终得分的一些感想与经验分享.此外笔者还对于本课程的结对编程部分提出了一些建议. Tips Link 作业要求博客 2 ...

  8. 20165211 获奖感想及java课程总结

    20165211 获奖感想及java课程总结 理论脱离实践是最大的不幸.--达芬奇 这句话,是我在学习Java之前,假期内写的20165211 学习基础和C语言调查里的所引用的一句话,是当时我对Jav ...

  9. Android 开发感想

    18年从.net转行做安卓开发,现在已经过去一年多了.说一下感想和心得体会! 一.开始 说一下我的经厉,从毕业开始出来工作一直是从事.net方向的开发工作.一开始也是没什么经验,加上也没有其他手艺就找 ...

随机推荐

  1. QQ邮箱发送邮件,出现mail from address must be same as authorization user错误

    之前做的一个系统,有个发送邮件的功能,一直能正常使用,今天同事说QQ邮箱发送不了. 立马着手调试,发现服务器一直出现“mail from address must be same as authori ...

  2. struts2一些概念介绍和标签的使用

    依赖注入 模块包含 struts.xml的模块包含格式 <include file="xx.xml" > OGNL 对象导航语言   有个超大的好处就是根据对象访问属性 ...

  3. ZOJ3791_An Easy Game

    给出两个等长的字符串,每次需要改变m个数字,每次必须改变k个数字,求从第一个串变化到第二个串的方案数. DP.f[i][j]改变i步后,有j个位置被改变的方案数.然后直接枚举当前改变的几个位置是前面重 ...

  4. Unity加载模块深度解析(网格篇)

    在上一篇 加载模块深度解析(一)中,我们重点讨论了纹理资源的加载性能.这次,我们再来为你揭开其他主流资源的加载效率. 这是侑虎科技第53篇原创文章,欢迎转发分享,未经作者授权请勿转载.同时如果您有任何 ...

  5. JS-sort排序

    var arr = [ 'c', 'd', 'a', 'e' ];// arr.sort();// alert( arr );var arr2 = [ 4,3,5,5,76,2,0,8 ];// ar ...

  6. 四川软件人才网:打造四川最专业的IT人才招聘平台

    四川软件人才网(www.tfsp.net),原名:天府软件人才网:为了更好的发展和拓展的业务需要,更名为:四川软件人才网,强力打造四川最专业的IT人才的招聘平台. 网站依托四川软件人才社区,微博,微信 ...

  7. Win7 64位 VS2015及MinGW环境编译FFMPEG-20160326

    因为又要弄MinGW了,所以顺便把FFMPEG编译了,文章主要参考这篇,防抽所以复制一遍,顺便加些自己的内容 http://blog.csdn.net/finewind/article/details ...

  8. 使用CSS设置行间距,字间距.

    字间距1.text-indent设置抬头距离css缩进即对,对应div设置css样式text-indent : 20px; 缩进了20px 2.letter-spacing来设置字与字间距_字符间距离 ...

  9. JavaScript的Ajax请求示例

    //创建XMLHttpRequest对象              var request = false;            try {                request = new ...

  10. 第三章 文件IO复习

          open(const char * path, int flag.../*mode_t*/) #include <fcntl.h> path:绝对路径 flag:O_RDONL ...