在线AB实验成为当今互联网公司中必不可少的数据驱动的工具,很多公司把自己的应用来做一次AB实验作为数据驱动的试金石. 文 | 松宝 来自 字节跳动数据平台团队增长平台 在线AB实验成为当今互联网公司中必不可少的数据驱动的工具,很多公司把自己的应用来做一次AB实验作为数据驱动的试金石. 数据 => 洞察 => 优化,循环往复寻找最优解,寻找增长的方法. AB中有句经典的名言:大胆假设,小心求证. 本系列连载会从数据驱动.AB实验基本架构.指标选取与数据分析等角度切入,第一篇着重介绍AB实验与数据…

背景 AB实验可谓是互联网公司进行产品迭代增加用户粘性的大杀器.但人们对AB实验的应用往往只停留在开实验算P值,然后let it go...let it go ... 让我们把AB实验的结果简单的拆解成两个方面: \[P(实验结果显著) = P(统计检验显著|实验有效)× P(实验有效)\] 如果你的产品改进方案本来就没啥效果当然怎么开实验都没用,但如果方案有效,请不要让 statictical Hack 浪费一个优秀的idea 如果预期实验效果比较小,有哪些基础操作来增加实验显著性呢? 通常情…

背景 都说随机是AB实验的核心,为什么随机这么重要呢?有人说因为随机所以AB组整体不存在差异,这样才能准确估计实验效果(ATE) \[ ATE = E(Y_t(1) - Y_c(0)) \] 那究竟随机是如何定义的呢? 根据Rubin Causal Model, 想要让上述估计无偏,随机实验需要满足以下两个条件: SUTVA 实验个体间不相互影响 实验个体间的treatment可比 Ignorability(Unconfoundness是更强的假设) 是否受到实验干预和实验结果无关,从因果图的角…

Hetergeneous Treatment Effect旨在量化实验对不同人群的差异影响,进而通过人群定向/数值策略的方式进行差异化实验,或者对实验进行调整.Double Machine Learning把Treatment作为特征,通过估计特征对目标的影响来计算实验的差异效果. Machine Learning擅长给出精准的预测,而经济学更注重特征对目标影响的无偏估计.DML把经济学的方法和机器学习相结合,在经济学框架下用任意的ML模型给出特征对目标影响的无偏估计 HTE其他方法流派详见因果…

CACE全称Compiler Average Casual Effect或者Local Average Treatment Effect.在观测数据中的应用需要和Instrument Variable结合来看,这里我们只讨论CACE的框架给随机AB实验提供的一些learning.你碰到过以下低实验渗透低的情况么? 新功能入口很深,多数进组用户并未真正使用新功能,在只能在用户层随机分流的条件下,如何计算新功能的收益 触达策略,在发送触达时进行随机分组,但触达过程存在损失,真正触达的用户占比很小,如…

对于 A/B 实验原理认知的缺失,致使许多企业在业务增长的道路上始终在操作一批"错误的 A/B 实验".这些实验并不能指导产品的优化和迭代,甚至有可能与我们的初衷背道而驰,导致"负增长". 在 A/B 实验不断走红的今天,越来越多的企业开始意识到 A/B 实验的重要意义,并试图通过 A/B 实验,前置性地量化决策收益,从而实现增长.然而,当你和其他业务伙伴谈及 A/B 实验时,你总能听到这样的论调: "这事儿很简单,做个实验就行了.准备两个版本,在不同渠道…

OSNIT_百度百科 Salt Stack 官方文档翻译 - 一个想做dba的sa - 博客频道 - CSDN.NET Salt Stack 官方文档翻译 分类: 自动运维 2013-04-02 11:26 378人阅读 评论(0) 收藏 举报 原文地址:http://docs.saltstack.com/ Salt Stack 是什么? Salt 是一种新的基础架构管理方法.容易的在几分钟之内即可配置运行,可伸缩的足以管理成千上万的服务器,足够快的在几秒只内完成沟通.Salt通过分发一个动态的…

“医疗信息化行业之中的联发科”- 我们在医疗行业中的定位及目标   我们做中国医疗信息化行业之中的联发科 ---我们在医疗行业中的定位及目标 从我个人来讲,我从2001年到现在这10年之间基本上一直在医疗信息化领域努力,用一句道上的话来说,差不多也是一个老江湖,不是老江湖也算了走江湖的了. 对于医疗行业来说,从2001开始做HIS的实施.开发.管理.运营开始,涉足HIS.电子病历.社区公共卫生服务系统.新型农村合作医疗.城乡居民健康档案.区域公共卫生平台.医疗保险等相关市场. 我从2009年底从…

偶然间看到这篇文章.感觉博主写的挺不错的,假设你想做web前端project师的话,建议您阅读下面这篇文章,事实上web前端project师所做的工作事实上就是站点设计,有些小公司的美工事实上就是做web前端的. 这篇文章对于想学web前端工作的人有非常大的帮助.假设您是做SEO的.也建议您学习下博主推荐的这些课程,也许对你以后的职业.薪资都有非常大的帮助! 遇到非常多新手.都会问,假设要学习web前端开发,须要学习什么?难不难?多久能入门? 怎么能高速建一个站点?工资能拿到多少?还有些让我推荐…

这篇是treatment effect估计相关的论文系列第一篇所以会啰嗦一点多给出点背景. 论文 Athey, S., and Imbens, G. 2016. Recursive partitioning for heterogeneous causal effects. Proceedings of the National Academy of Sciences. 背景 论文给出基于决策树估计实验对不同用户的不同影响.并提出Honest,variance Penalty算法旨在改进CART…