618临近,各大电商APP的预热活动已然拉开序幕。对企业而言,一场活动从策划到上线,中间经过效果验证,其业务成本很高。一个好的活动创意从策划、开发、到最终发布,至少会经历几周实践,如果中间还经历A/B实验的小流量效果验证,会更加耗时耗力。但一个不容忽视的现状是,很多短期的线上活动很可能前几次的A/B实验结果都是不显著的,但由于活动排期紧凑、实验调试时间短,常规A/B实验能为活动优化带来的收益常会收效甚微。
 
企业在短周期的活动运营场景中,如何通过快速、低成本的A/B实验,获得更好的收益呢?火山引擎A/B测试DataTester推出的新功能——MAB智能调优实验,可以解决企业短周期活动运营场景的A/B实验痛点。
 
传统A/B实验依赖于统计显著性的经典假设检验,在实验期间不能够变更每个子版本的流量;因此这类实验需要至少7天的专门预留周期、要有足够的样本进入实验,并且在实验开始后不能有任何变动,才可能得出显著结果。而不同于传统的A/B实验,DataTester的MAB智能调优实验能支持1-2天的短期快速A/B实验,实验以整个活动收益最优为核心目标,可实现动态实时的流量调节。
以某款游戏APP促活活动实验为例,该APP接入了火山引擎DataTester,希望验证多文案push场景下,MAB智能调优策略能比均匀分流的策略带来点击率更高的收益。
 
该APP的运营团队首先拟定了4款不同的推送文案:
 
  • 标题1:巨量元宝限量发!!!
  • 内容1:宝箱已满,整整300颗元宝待领\n马上点击获得>>
 
  • 标题2:@你,有人偷偷给你送元宝啦
  • 内容2:整整300颗元宝待领\n马上点击获得>>
 
  • 标题3:免费的元宝福利到啦~~
  • 内容3:最高可获得540颗元宝,还不赶紧来领取>
 
  • 标题4:今天的元宝奖励来啦~~~
  • 内容4:元宝已经溢出来了!\n点击领取才能继续收集哦>>
 
在实验设计时,他们将整个实验层的流量(100%)均分为两组,实验总时长和活动时长一致,设为5天。对照组给50%流量,并在对照组流量中开设一个ABCD实验。将流量等分为4份,分别分给上述4个文案。实验组同样给50%流量,对实验组进行MAB智能调优实验。
 
在为期5天的实验结束后,可以看到对照组和实验组的5日累计指标数据,发现基于DataTester MAB智能调优实验进行流量分配的实验组,在总体点击率上获得+9.1%的正向收益,且增长显著(p value=0.002)。
通过上述案例可以发现,在两组实验中,实际观测的点击率(CTR)最高的文案并不太一样。这意味着,受推送发布时间、用户心理等多种不确定影响因素影响,假设以对照组策略(固定均匀分流实验)作为先导实验来选择文案,最终获得的实验结论并不见得可靠。
 
而如果采用MAB智能调优实验,企业只需接入DataTester并启动所有的标题文案,DataTester会采用智能优化能力来进行流量的实时的调整和分配,企业的转化效率平均可提升10%以上。而除去推送文案实验场景之外,有多种营销活动场景,如落地页择优、折扣策略择优等,也都能通过DataTester MAB智能调优实验实时开启。
 
DataTester是火山引擎数智平台旗下产品,能够深度耦合推荐、广告、搜索、UI、产品功能等多种行业场景需求,为业务增长、转化、产品迭代,运营提效等各环节提供科学的决策依据,目前已服务了美的、得到、凯叔讲故事等在内的上百家外部企业。
 
据了解,火山引擎DataTester目前推出了30天免费试用的活动,用户只要在火山引擎A/B测试官网申请试用,无需企业认证,一键申请即刻开通!

火山引擎A/B测试:MAB智能调优实验,企业活动效果提升新利器的更多相关文章

  1. 还原火山引擎 A/B 测试产品——DataTester 私有化部署实践经验

      作为一款面向ToB市场的产品--火山引擎A/B测试(DataTester)为了满足客户对数据安全.合规问题等需求,探索私有化部署是产品无法绕开的一条路.   在面向ToB客户私有化的实际落地中,火 ...

  2. 火山引擎 A/B 测试产品——DataTester 私有化架构分享

    作为一款面向 ToB 市场的产品--火山引擎A/B测试(DataTester)为了满足客户对数据安全.合规问题等需求,探索私有化部署是产品无法绕开的一条路. 在面向 ToB 客户私有化的实际落地中,火 ...

  3. jmeter之如何减负-实现稳定超高并发测试(性能调优)之正确添加监听器

    jmeter之如何减负-实现稳定超高并发测试(性能调优)在测试过程中,初学者使用工具不当,添加众多监控组件,非常想看到实时报告,跑不了一会,jmeter就卡死,只得重启 下面来总结下如何正确使用jme ...

  4. Golang | 测试与性能调优

    Test 我们在日常的工作过程中,自测是不可缺少的,公司还会要求所有的公共方法必须要写单测,在别的语言中,我们如果想要写单测还需要使用到测试框架,但是Go语言中,直接支持测试,并且使用起来非常简单. ...

  5. golang测试与性能调优

  6. 火山引擎 DataTester:让企业“无代码”也能用起来的 A/B 实验平台

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,回复[1]进入官方交流群 当数字化变革方兴未艾,无代码正受到前所未有的关注.Salesforce 的数据显示,52%的 IT 部门表示,公司 ...

  7. Oracle调优总结(经典实践 重要)

    转载:http://langgufu.iteye.com/blog/1974211 Problem Description:1.每个表的结构及主键索引情况2.每个表的count(*)记录是多少3.对于 ...

  8. SQL Server调优系列进阶篇(查询语句运行几个指标值监测)

    前言 上一篇我们分析了查询优化器的工作方式,其中包括:查询优化器的详细运行步骤.筛选条件分析.索引项优化等信息. 本篇我们分析在我们运行的过程中几个关键指标值的检测. 通过这些指标值来分析语句的运行问 ...

  9. SQL Server调优系列进阶篇 - 查询语句运行几个指标值监测

    前言 上一篇我们分析了查询优化器的工作方式,其中包括:查询优化器的详细运行步骤.筛选条件分析.索引项优化等信息. 本篇我们分析在我们运行的过程中几个关键指标值的检测. 通过这些指标值来分析语句的运行问 ...

  10. SQL Server 调优系列进阶篇 - 查询语句运行几个指标值监测

    前言 上一篇我们分析了查询优化器的工作方式,其中包括:查询优化器的详细运行步骤.筛选条件分析.索引项优化等信息. 本篇我们分析在我们运行的过程中几个关键指标值的检测. 通过这些指标值来分析语句的运行问 ...

随机推荐

  1. 数组操作 filter和find

    现在有个需求: 后端给一个list过来,1-4,有就显示,没有前面四个card就空着,从第五个开始,有数据就循环出来,区别他们的kind字段. 这里想了很久怎么写,最后决定,洗数据. 就是从给给的数据 ...

  2. Kubernetes Gateway API 攻略:解锁集群流量服务新维度!

    Kubernetes Gateway API 刚刚 GA,旨在改进将集群服务暴露给外部的过程.这其中包括一套更标准.更强大的 API资源,用于管理已暴露的服务.在这篇文章中,我将介绍 Gateway ...

  3. 2023-11-22:用go语言,给你一个长度为 n 下标从 0 开始的整数数组 nums。 它包含 1 到 n 的所有数字,请你返回上升四元组的数目。 如果一个四元组 (i, j, k, l) 满足

    2023-11-22:用go语言,给你一个长度为 n 下标从 0 开始的整数数组 nums. 它包含 1 到 n 的所有数字,请你返回上升四元组的数目. 如果一个四元组 (i, j, k, l) 满足 ...

  4. 【Android Studio】 SQLite 数据库 增删改查

    今日目标:参照标题 实现效果: 实现过程: 1.创建实现页面 页面设计思路: 最外层垂直线性布局.内部使用三个线性布局.后两个用的水平排版,用来显示数值. 实例化四个Button,两个EditText ...

  5. ${pageContext.request.contextPath}的理解和用法

    在做房产管理系统的时候用到了<from>标签的这个用法,这就来解释一下 ${pageContext.request.contextPath} 是JSP取得绝对路径的方法,等价于 ${pag ...

  6. 2019牛客国庆集训派对day3 G排列(状压dp)

    题目传送门 一道很好的状压DP,状态是当前的占位情况,排序操作和第21次CSP认证的第四题作用类似. #include<cstdio> #include<vector> #in ...

  7. MAUI+Masa Blazor APP 各大商店新手发布指南-华为篇

    目录 前言 准备材料 一.企业认证 二.审核资料 审核注意事项 总结 前言 AppGallery Connect(简称AGC)是华为应用市场推出的应用一站式服务平台,致力于为开发者提供应用创意.开发. ...

  8. 2023振兴杯-Crypto wp

    crypto1 题目 from flag import flag def encrypt(x, y): key='zxb' result='' for i in range(len(x)): resu ...

  9. MyBatisPlus简介

    MyBatisPlus特性 国内的一个网站 网站地址简介 | MyBatis-Plus (baomidou.com)

  10. SpringBoot设置日志级别

    输出到控制台 logging: # 日志记录到文件中 file: # 指定文件名 name: server.log logback: rollingpolicy: # 指定文件大小 max-file- ...