大卫奥格威说过,“永远不要停止试验,你的广告也就永远不会停止改进”。

在当今的网络世界中,类似于吆喝科技 AppAdhoc A/B Testing 这样的工具越来越多,AB测试和转化优化越来越习以为常。

尽管A/B测试的工具简单到让你奶奶都可以轻易创建并发布一个试验,UserTesting.com 发现90%的内部A/B测试都失败了。某A/B测试供应商发现在其平台上运行的每7个试验中只有1个得出统计显著的结果。这意味这只有约十分之一的试验会显著影响转化率,甚至大多数的情况下,对于重要指标的改进来说,A/B测试能带来的影响是很低的。

A/B测试只是一种没有实质性推动的噱头么?我觉得可能不是,也许只是你做错了的结果。以下是我们对于过去5年来很多公司(包括大企业和小公司)所进行的A/B测试调研后所发现的普遍纯在的问题。

生搬硬套的试验

当你还是个学生的时候,生搬硬套的学习往往是在容易简单记住并通过测验时所采用的。

但A/B测试和你之前的测验不一样,它所测试的是你网站上的独立的流量或访客。这些试验通常都是在这些流量及访客没有意识到的情况下进行的。

如果你大致研究过关于A/B测试的案例和博客,你就会发现以下这些过于简单的问题:

行动召唤CTA必须在最醒目的地方

视频能够帮助更好的转化

长文比短文好

短文比长文好

单页付款比多步骤付款好

多步骤付款比单页付款转化高

更少填写的表单比多要的好

……

针对以上的每一点结论,我发现优胜结果在各种的市场以及受众中都最终进行验证。

下图是一个例子,Aussie 澳大利亚领先的房屋租赁和贷款中介公司,针对其首页所做的关于视频的AB测试。

我经常听到人们说,网页上的视频内容一定能够提高你的网页转化率。事实正好相反,上图中没有视频的版本实际上多产生64%的贷款申请线索。

如果你是以一种简单的生搬硬套的方式来考虑A/B测试,那么很难能产生100%或更大转化率改善或者能够具有大于平均百分比的优胜试验。

你照搬这些教条式的想法来做A/B测试很可能无法得到最优的试验结果。

人类采取合理的样本规模更加复杂,而不是简单被这样的显著变化所说服。(毕竟这是我们尝试去影响的实验)。我们自身也有很大的不同,比如独特的梦想、希望、目标、需求、要求、个性等等。

“散弹枪”式试验

回顾那些在A/B测试上重点投入人力物力的公司的结果,你经常可以发现一种我所谓的“散弹枪式试验”。

结果=速度×平均影响×优胜率

想要最大化你的A/B测试结果,你应该同时努力提高试验的速度、每次试验的平均影响和试验的优胜率。

“散弹枪”式的试验指的是仅仅关注速度却忽视平均影响或优胜率的试验方式。优化团队在整个A/B测试中不能只关注试验的速度,没有优胜率和平均影响差的试验堆积是非常可怕的。他们测试能测试的一切,但当你检查每个结果的时候会注意到,那只是乱枪打鸟罢了。

偶尔你会听到,“好吧,至少我们学到一些东西”(这也许是真的)。但是学习又不影响业务的关键指标并且很难量化。

在“散弹枪”式试验遍布的组织中,没有什么想法试图确定哪些试验可能带来高或低的影响。唯一能确定的就是测试构思没有任何可遵循的具体办法。

恐惧的按钮颜色试验

提出试验的想法不难,为试验的目标受众提供具有高度潜在影响的对照试验想法是巨大的挑战。

当你读到类似于修改按钮的用词就提升77%的点击率或者谷歌测试41种灰度按钮来测试最佳方案的时候,你也许会认为这些类型的测试简单易行又常常能带来巨大的成效。

但没什么可以从真心更进一步

为了能找到更大的胜者测试,它有助于更大更深的思考。你不应该只关注于解决简单的变化。如果你的A/B测试可以在几行 jQuery 中实现的话,那么它可能太小了。

想想你的客户,他们在这个市场追寻什么?你知道他们在追寻什么?或者他们知道这些事实么?如果你不确定的话,请在感谢页面上通过调查问卷来了解下他们为什么今天没有购买或注册。

你的价值定位是什么?有没有清晰的在网站中体现?理想的市场价值主张是什么?

让我们看看下面这个案例,国有澳大利亚银行(NAB)的两步注册。

哪个版本更好?第二个。将近40%的被访人员错误的理解“Credit Card Control”版本A。结果是,在99%的置信区间下,表格的转化率增加23.6%,每次访问应用次数增加9.5%。这是个不错的例子,预测用户的行为往往都不靠谱。

突破围栏限制

真正有用的是寻找“最好的分离试验”来了解哪些改变对其他人有效。当然这也是让人头疼的地方。

37signals 尝试提升转化率,他们全新设计了主页,如下所示:

新版本的转换率提升102.5%。他们不只是改变一个行动召唤或者标题,二是彻底重新设计了主页(基于专家所认为的可能奏效的部分)并修改:

标题

文案

背景图

整体视觉设计

行动召唤文案

行动召唤颜色

价值主张的传达方式

这次改版的 ROI 不错,在流量相同的情况下注册翻番。当然也可以小修小补,但如果你不突破的话,几乎可以肯定的是你永远也不会实现大胜利。此外,另一个优点是,你得到统计显著将会更快一些。

统计环节的失败

到目前为止,我们主要处理分离试验的想法是,如何确保能够喜迎合适的受众,让你提供的产品和服务令人信服。可试验本身呢?也许你最大的失误在于:

过早下结论        和/或      没有足够大的样本

如果你做了大量的试验,你也许会遇到的一个情况是,当你开始一个新的A/B测试的时候,通常前几天的结果是很可怕的,试验有可能有些问题,如下所示:

在上图所示的A/B测试结果中,我们看到测试版本的数据跳水了90%。新接触A/B测试的人认为这也许是尝试,仅仅为了消除变化而已。

A/B测试(和统计分析)的终极规则是不要过早就下结论。上文提到的试验运行了一个星期之后(这需要勇气和所采集数据的准确性来保持试验的正常运行),结果显示如下:

仅仅在十天后,先前数据表现糟糕的测试版本完成大逆转,最终有95%的可能性优于原始版本。如果你过早下结论的话,你绝对就不知道这些了。

在此我建议你先设置最低的试验时间(需要跟进流量来估算),将其锁定后后开始试验。

如果有疑问的话(或者结果太好无法确信),可以在新的A/B测试中重新进行完全相同的试验。

做正确的A/B测试

当你开始进行A/B测试的时候,小的增量变化和修改是很好的,但真正的A/B测试结果的关键是大测试、常测试、正确的想法、足够大的样本以及避免过早下结论。

如果结果看上去不错像是真的,不要害怕测试和重新测试。A/A测试是你的好朋友。

花时间更好的了解你的目标受众,他们如何与你希望的行动保持一致,以及在这写潜在客户采取行动后会发生什么。搞定这些,你就会把你的竞争对手甩得远远的。

本文由 mili @  吆喝科技 编译自:https://www.sitepoint.com/ab-testing-youre-doing-it-wrong/

你可能把A/B测试做错了的更多相关文章

  1. 两个栈实现队列,开始做错了 —— 剑指Offer

    开始大意了,这道题目居然做错了: https://www.nowcoder.net/practice/54275ddae22f475981afa2244dd448c6?tpId=13&tqId ...

  2. 小米手机销量暴跌36% 雷军做错了什么?(人的需求是复杂的,而不是仅仅是一个性价比;要做体验价格比,而不是配置价格比)good

    小米手机销量暴跌36% 雷军做错了什么? 日前,小米科技创始人雷军在美国马萨诸塞州剑桥市出席了第20届哈佛中国论坛开幕式并发表了演讲.在演讲中,雷军说但小米却只用两年半的时间一跃成为了中国第一,世界第 ...

  3. 交完论文才发现spss数据分析做错了

    上周,终于把毕业论文交给导师了.然而,今天导师却邮件我,叫我到他办公室谈谈.具体是谈什么呢?我百思不得其解:对论文几次大修小修后,重复率已经低于学校的上限了,论文结构也很完整,我已经在做答辩的ppt了 ...

  4. 首次分享,大厂资深测试做Api接口自动化测试的关键思路都在这里了

    引言 与UI相比,接口一旦研发完成,通常变更或重构的频率和幅度相对较小.因此做接口自动化的性价比更高,通常运用于迭代版本上线前的回归测试中. 手工做接口测试,测试数据和参数都可以由测试人员手动填写和更 ...

  5. 为啥我做的RFM模型被人说做错了,我错哪了?

    本文转自知乎 作者:接地气的陈老师 ————————————————————————————————————————————————————— 有同学问:“为啥我做的RFM模型被客户/业务部门批斗,说 ...

  6. fastjson到底做错了什么?为什么会被频繁爆出漏洞?

    GitHub 15.8k Star 的Java工程师成神之路,不来了解一下吗! GitHub 15.8k Star 的Java工程师成神之路,真的不来了解一下吗! GitHub 15.8k Star ...

  7. HTTP/2做错了什么?刚刚辉煌2年就要被弃用了!?

    GitHub 19k Star 的Java工程师成神之路,不来了解一下吗! GitHub 19k Star 的Java工程师成神之路,真的不来了解一下吗! GitHub 19k Star 的Java工 ...

  8. 大多数人可能都不会使用socketTimeout,看了底层才知道一直都做错了

    前几天一个机房网络抖动,引发了很多对外请求的超时问题,在发生问题排查日志的时候,发现了这么一个现象,httpclient我们的请求超时时间并没有按照我们的设置报超时异常 我们的大概配置如下: Requ ...

  9. 如果做好测试PM【转载】

    本文来源于:https://yq.aliyun.com/articles/14578?spm=5176.100238.yqhn2.14.Lcie4Y   摘要今年整体带了几个项目.我本人不是专业的PM ...

随机推荐

  1. LeetCode——Longest Palindromic Substring

    Given a string S, find the longest palindromic substring in S. You may assume that the maximum lengt ...

  2. 使用SQL Server Driver for PHP解决PHP连接MSSQL乱码的问题

    原文 使用SQL Server Driver for PHP解决PHP连接MSSQL乱码的问题 最近帮客户写了一个.net商城网站的发布接口,大家都知道.net一般都使用MSSQL数据库,但鱼丸不会. ...

  3. selenium2入门 断言失败自动截图 (四)

    一般web应用程序出错过后,会抛出异常.这个时候能截个图下来,当然是极好的. selenium自带了截图功能. //获取截图file File scrFile= ((TakesScreenshot)d ...

  4. SqlServer-COMPUTE BY

    原文:SqlServer-COMPUTE BY COMPUTE BY子句可以通过同一个select语句即查看明细行,又查看汇总行.可以计算子组的汇总值,也可以计算整个结果集的汇总值 COMPUTE 子 ...

  5. CSS学习笔记:利用border绘制三角形

    在前端的笔试.面试过程中,经常会出现一些不规则图形的CSS设置,基本上多是矩形外加一个三角形.利用CSS属性可以实现三角形的生成,主要利用上下左右的边距的折叠. 1.第一种图形: .box { wid ...

  6. Callback

    由于 JavaScript 语句(指令)是逐一执行的 - 按照次序,动画之后的语句可能会产生错误或页面冲突,因为动画还没有完成. 为了避免这个情况,您可以以参数的形式添加 Callback 函数. j ...

  7. MUI初始化滚动区域

    mui(".mui-scroll-wrapper").scroll().refresh(); 如果不是MUI对象,需要转一下才可 mui($("#areaDiv" ...

  8. MyEclipse的真正价值——时间等于金钱

    全世界成千上万的Java开发者选择MyEclipse作为首选的Eclipse IDE,甚至超过了著名的开发工具 IBM Rational和Eclipse Java. 为什么? 很简单,MyEclips ...

  9. SSMS2008插件开发(3)--部署调试SSMS2008插件

    原文:SSMS2008插件开发(3)--部署调试SSMS2008插件 上一次说到VS2008中的插件开发,最终结果插件是部署在VS2008中,现在我们将插件部署到SSMS2008(Microsoft ...

  10. jQuery插件的编写相关技术 设计总结和最佳实践

    原文:http://www.itzhai.com/jquery-plug-in-the-preparation-of-related-technical-design-summary-and-best ...