在国内互联网领域,字节跳动是最为推崇 A/B 测试的公司,旗下“抖音”、“今日头条”两大最著名产品,连 APP 的名字都是来源于 A/B 测试。

A/B 测试(也叫 AB 实验)也被称为对照实验,其方法是针对某个要优化的产品功能或策略,制定两个或多个方案,将用户流量随机分成多组,在保证每组用户特征相同的前提下,让不同组分别看到/使用不同的方案。最终结合科学的统计算法,通过实验数据对比来确定最优解。

在字节,每天会开启 1500 余个 A/B 测试的运行,以抖音为例,应用上的每一个微小细节改动前必然也都会通过 A/B 测试来确认用户体验。

一次,抖音的 UI 设计师提出,或许可以优化文字和视频内容之间的蒙层,让视频界面上的文字更突出,用户刷视频的体验会更舒服,从而停留在 App 上更久一点。

那么蒙层的高度和透明度如何设置,才能达到预期效果呢?在字节,这只有通过 A/B 测试能知道。

确定了优化目标之后,支持抖音的数据分析师团队着手开始设计实验方案,调整蒙层的高度、透明度这两个主要参数,后续交给研发团队做实现,最终分流给不同用户。

围绕两个变量的组合,团队对小小的蒙层进行了为期半个月的实验。每个方案,不同参数的组合,会需要 7 天左右的观测时间,来收集用户观看时长、留存等指标。

最终,敲定了最佳方案(下图 2),相较原版本(下图 1),屏幕些微的视觉变化,让抖音的人均 App 使用时长提升了约 0.2%,人均 App 活跃天数提升了约 0.1%。

类似像上面蒙层调整的例子数不胜数,数以千计的 AB 测试支撑着抖音的用户留存数据变得越来越好。

比如抖音原来的界面设计里,为了简洁美观,以偏符号性的按钮设计为主——类似爱心代表点赞,省略号代表评论。但是在评估用户体验时团队发现,这样的设计对不熟悉产品功能的新用户来说并不友好,他们很少主动使用。通过 A/B 测试,团队添加了更直观的文字提示去引导用户行为。A/B 测试贯穿了抖音的整个生命周期,从产品命名、功能、交互设计到推荐算法策略,这是字节跳动的基因。

经过了字节内部业务的多年打磨,2019 年这一套在字节大放异彩的 A/B 实验工具正式通过火山引擎对外服务,取名为 DataTester。它基于先进的底层算法,提供科学分流能力,提供智能的统计引擎,实验结果可靠有效,助力业务决策。

目前,DataTester 在字节内每日新增 1500+实验,累计已有 150W+ 的 A/B 实验进行过。在外部客户的服务上,也已覆盖推荐、广告、搜索、UI、产品功能等业务场景,提供从实验设计、实验创建、指标计算、统计分析到最终评估上线等贯穿整个实验生命周期的服务。来自得到、美的、凯叔讲故事 APP 等企业客户,已经通过火山引擎 DataTeser 开启了用数据驱动科学决策的道路。

点击这里,了解更多 AB 实验

抖音"凶猛"的幕后英雄,火山引擎 DataTester 累计做过 150 万次 A/B 测试的更多相关文章

  1. 今日头条、抖音、西瓜、火山、微视、陌陌等自媒体平台小视频批量下载工具v1.1.0(视频搬运福利)

    前言 目前各大自媒体平台爆火,网络流量暴涨,各大自媒体平台的小视频为广大个广告主带来了如泉涌般的的视频流量,更给广大的自媒体小编带来了丰厚的利益回报,想要创做更多的自媒体内容着实不易,下面给广大的小视 ...

  2. 火山引擎 DataTester:让企业“无代码”也能用起来的 A/B 实验平台

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,回复[1]进入官方交流群 当数字化变革方兴未艾,无代码正受到前所未有的关注.Salesforce 的数据显示,52%的 IT 部门表示,公司 ...

  3. 如何又快又好实现 Catalog 系统搜索能力?火山引擎 DataLeap 这样做

      摘要 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品,帮助用户快速完成数据集成.开发.运维.治理.资产.安全等全套数据中台建设,降低工作成本和数据维护成本.挖掘数据价 ...

  4. 还原火山引擎 A/B 测试产品——DataTester 私有化部署实践经验

      作为一款面向ToB市场的产品--火山引擎A/B测试(DataTester)为了满足客户对数据安全.合规问题等需求,探索私有化部署是产品无法绕开的一条路.   在面向ToB客户私有化的实际落地中,火 ...

  5. 火山引擎 DataLeap 的 Data Catalog 系统公有云实践

      Data Catalog 通过汇总技术和业务元数据,解决大数据生产者组织梳理数据.数据消费者找数和理解数的业务场景.本篇内容源自于火山引擎大数据研发治理套件 DataLeap 中的 Data Ca ...

  6. 火山引擎 A/B 测试产品——DataTester 私有化架构分享

    作为一款面向 ToB 市场的产品--火山引擎A/B测试(DataTester)为了满足客户对数据安全.合规问题等需求,探索私有化部署是产品无法绕开的一条路. 在面向 ToB 客户私有化的实际落地中,火 ...

  7. 火山引擎MARS-APM Plus x 飞书 |降低线上OOM,提高App性能稳定性

    通过使用火山引擎MARS-APM Plus的memory graph功能,飞书研发团队有效分析定位问题线上case多达30例,线上OOM率降低到了0.8‰,降幅达到60%.大幅提升了用户体验,为飞书的 ...

  8. 火山引擎 DataLeap:揭秘字节跳动数据血缘架构演进之路

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,回复[1]进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品,帮助用户快速完成数据集成.开发.运维 ...

  9. 火山引擎 DataLeap:一家企业,数据体系要怎么搭建?

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,回复[1]进入官方交流群 导读:经过十多年的发展,数据治理在传统行业以及新兴互联网公司都已经产生落地实践.字节跳动也在探索一种分布式的数据治 ...

  10. 100行代码搞定抖音短视频App,终于可以和美女合唱了。

    欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由视频咖 发表于云+社区专栏 本文作者,shengcui,腾讯云高级开发工程师,负责移动客户端开发 最近抖音最近又带了一波合唱的节奏,老 ...

随机推荐

  1. LAMP搭建流程与应用

    LAMP搭建流程 1.环境准备  [root@localhost opt]# systemctl stop firewalld.service  [root@localhost opt]# seten ...

  2. JUC并发编程学习笔记(三)生产者和消费者问题

    生产者和消费者问题 synchronized版-> wait/notify juc版->Lock 面试:单例模式.排序算法.生产者和消费者.死锁 生产者和消费者问题 Synchronize ...

  3. websocket和ajax的区别(和http的区别)

    websocket和ajax的区别(和http的区别) https://segmentfault.com/a/1190000021741131 1. 本质不同 ajax,即异步JavaScript和X ...

  4. 【pwn】整数溢出

    这是ctfshow上面的一道题 这边v1和v2定义时都是int,有符号整数,想让v1-v2=9,可以考虑负数,但是这个函数过滤了负号   if ( strchr(s, 45) )    return ...

  5. IoC容器趣谈

    今天我们来谈谈Spring的内核之一--IoC容器 大家可能会有这样的疑问: "这玩意为啥要叫容器呢?好奇怪" "容器不是装东西的吗?难道IoC容器也是用来装什么东西的? ...

  6. 五分钟k8s实战-Istio 网关

    在上一期 k8s-服务网格实战-配置 Mesh 中讲解了如何配置集群内的 Mesh 请求,Istio 同样也可以处理集群外部流量,也就是我们常见的网关. 其实和之前讲到的k8s入门到实战-使用Ingr ...

  7. decltype关键词

    简述 decltype 是 C++11 新增的一个关键字,它和 auto 的功能一样,都用来在编译时期进行自动类型推导. decltype 是"declare type"的缩写,译 ...

  8. 如何实现一套简单的oauth2授权码类型认证,一些思路,供参考

    背景 组内人不少,今年陆陆续续研发了不少系统,一般都会包括一个后台管理系统,现在问题是,每个管理系统都有RBAC那一套用户权限体系,实在是有点浪费人力,于是今年我们搞了个统一管理各个应用系统的RBAC ...

  9. 【uniapp】学习笔记day02 | uniapp搭建

    起因:需要做一个小程序,家人们谁懂啊,老师我真的不会做,由于懒得看视频学习,于是只能看博客学习了. uniapp 好处: 1.不用关心适配问题 2.可以发布到各大平台的小程序 3.上手容易,使用vue ...

  10. JAVAweek8

    编程,要学会将大问题逐渐分解成一个个小问题,逐步完成. 将整个程序分成若干个组件(分解) 将多次出现的相似功能设成独立的方法(模式识别.抽象.算法) 调试每个独立组件的健壮性(单元测试) 按照功能要求 ...