在线AB实验成为当今互联网公司中必不可少的数据驱动的工具,很多公司把自己的应用来做一次AB实验作为数据驱动的试金石. 文 | 松宝 来自 字节跳动数据平台团队增长平台 在线AB实验成为当今互联网公司中必不可少的数据驱动的工具,很多公司把自己的应用来做一次AB实验作为数据驱动的试金石. 数据 => 洞察 => 优化,循环往复寻找最优解,寻找增长的方法. AB中有句经典的名言:大胆假设,小心求证. 本系列连载会从数据驱动.AB实验基本架构.指标选取与数据分析等角度切入,第一篇着重介绍AB实验与数据…

桔妹导读:在各大互联网公司都提倡数据驱动的今天,AB实验是我们进行决策分析的一个重要利器.一次实验过程会包含多个环节,今天主要给大家分享滴滴实验平台在分组环节推出的一种提升分组均匀性的新方法.本文首先会介绍一下滴滴AB实验的相关情况,以及在实验分组环节中遇到的问题.然后介绍目前在实验对象分组方面的通用做法,以及我们对分组环节的改进.最后是新方法的效果介绍. 1. AB实验概述 互联网公司中,当用户规模达到一定的量级之后,数据驱动能够帮助公司更好的决策和发展.在滴滴各个团队中,我们经常会面临不同的…

背景 AB实验可谓是互联网公司进行产品迭代增加用户粘性的大杀器.但人们对AB实验的应用往往只停留在开实验算P值,然后let it go...let it go ... 让我们把AB实验的结果简单的拆解成两个方面: \[P(实验结果显著) = P(统计检验显著|实验有效)× P(实验有效)\] 如果你的产品改进方案本来就没啥效果当然怎么开实验都没用,但如果方案有效,请不要让 statictical Hack 浪费一个优秀的idea 如果预期实验效果比较小,有哪些基础操作来增加实验显著性呢? 通常情…

背景 都说随机是AB实验的核心,为什么随机这么重要呢?有人说因为随机所以AB组整体不存在差异,这样才能准确估计实验效果(ATE) \[ ATE = E(Y_t(1) - Y_c(0)) \] 那究竟随机是如何定义的呢? 根据Rubin Causal Model, 想要让上述估计无偏,随机实验需要满足以下两个条件: SUTVA 实验个体间不相互影响 实验个体间的treatment可比 Ignorability(Unconfoundness是更强的假设) 是否受到实验干预和实验结果无关,从因果图的角…

这篇论文是在 Recursive Partitioning for Heterogeneous Casual Effects 的基础上加入了两个新元素: Trigger:对不同群体的treatment选择个性化阈值. E.g优惠券力度,红包金额 新的Node Penalty: 旨在增强模型generalization 论文 C. Tran and E. Zheleva, "Learning triggers for heterogeneous treatment effects," i…

这篇是treatment effect估计相关的论文系列第一篇所以会啰嗦一点多给出点背景. 论文 Athey, S., and Imbens, G. 2016. Recursive partitioning for heterogeneous causal effects. Proceedings of the National Academy of Sciences. 背景 论文给出基于决策树估计实验对不同用户的不同影响.并提出Honest,variance Penalty算法旨在改进CART…

Hetergeneous Treatment Effect旨在量化实验对不同人群的差异影响,进而通过人群定向/数值策略的方式进行差异化实验,或者对实验进行调整.Double Machine Learning把Treatment作为特征,通过估计特征对目标的影响来计算实验的差异效果. Machine Learning擅长给出精准的预测,而经济学更注重特征对目标影响的无偏估计.DML把经济学的方法和机器学习相结合,在经济学框架下用任意的ML模型给出特征对目标影响的无偏估计 HTE其他方法流派详见因果…

CACE全称Compiler Average Casual Effect或者Local Average Treatment Effect.在观测数据中的应用需要和Instrument Variable结合来看,这里我们只讨论CACE的框架给随机AB实验提供的一些learning.你碰到过以下低实验渗透低的情况么? 新功能入口很深,多数进组用户并未真正使用新功能,在只能在用户层随机分流的条件下,如何计算新功能的收益 触达策略,在发送触达时进行随机分组,但触达过程存在损失,真正触达的用户占比很小,如…

Meta Learner和之前介绍的Casual Tree直接估计模型不同,属于间接估计模型的一种.它并不直接对treatment effect进行建模,而是通过对response effect(target)进行建模,用treatment带来的target变化作为HTE的估计.主要方法有3种:T-Learner, S-Learner, X-Learner,思路相对比较传统的是在监督模型的基础上去近似因果关系. Meta-Learner的优点很明显,可以使用任意ML监督模型进行拟合不需要构建新的…

这篇文章会讨论: 在什么情况下需要做 AB 实验 从产品/交互角度,如何设计一个实验 前端工程师如何打点 如何统计数据,并保证数据准确可信 如何分析实验数据,有哪些数据需要重点关注 附:如何搭建前端实验项目,以 mip-experiment 为例 一. AB 实验的使用场景和正确用法 通常,在页面有样式变化,但又不确定是修改影响好坏的时候进行 AB 实验,实验数据可以为改版提供有力支持. 某公司日常(1) 产品:把页面标题变成之前的两倍.标题就是要醒目,要大大大. 设计:打死都不同意,太大的标题…