桔妹导读:在各大互联网公司都提倡数据驱动的今天,AB实验是我们进行决策分析的一个重要利器.一次实验过程会包含多个环节,今天主要给大家分享滴滴实验平台在分组环节推出的一种提升分组均匀性的新方法.本文首先会介绍一下滴滴AB实验的相关情况,以及在实验分组环节中遇到的问题.然后介绍目前在实验对象分组方面的通用做法,以及我们对分组环节的改进.最后是新方法的效果介绍. 1. AB实验概述 互联网公司中,当用户规模达到一定的量级之后,数据驱动能够帮助公司更好的决策和发展.在滴滴各个团队中,我们经常会面临不同的

背景 AB实验可谓是互联网公司进行产品迭代增加用户粘性的大杀器.但人们对AB实验的应用往往只停留在开实验算P值,然后let it go...let it go ... 让我们把AB实验的结果简单的拆解成两个方面: \[P(实验结果显著) = P(统计检验显著|实验有效)× P(实验有效)\] 如果你的产品改进方案本来就没啥效果当然怎么开实验都没用,但如果方案有效,请不要让 statictical Hack 浪费一个优秀的idea 如果预期实验效果比较小,有哪些基础操作来增加实验显著性呢? 通常情

背景 都说随机是AB实验的核心,为什么随机这么重要呢?有人说因为随机所以AB组整体不存在差异,这样才能准确估计实验效果(ATE) \[ ATE = E(Y_t(1) - Y_c(0)) \] 那究竟随机是如何定义的呢? 根据Rubin Causal Model, 想要让上述估计无偏,随机实验需要满足以下两个条件: SUTVA 实验个体间不相互影响 实验个体间的treatment可比 Ignorability(Unconfoundness是更强的假设) 是否受到实验干预和实验结果无关,从因果图的角

在线AB实验成为当今互联网公司中必不可少的数据驱动的工具,很多公司把自己的应用来做一次AB实验作为数据驱动的试金石. 文 | 松宝 来自 字节跳动数据平台团队增长平台 在线AB实验成为当今互联网公司中必不可少的数据驱动的工具,很多公司把自己的应用来做一次AB实验作为数据驱动的试金石. 数据 => 洞察 => 优化,循环往复寻找最优解,寻找增长的方法. AB中有句经典的名言:大胆假设,小心求证. 本系列连载会从数据驱动.AB实验基本架构.指标选取与数据分析等角度切入,第一篇着重介绍AB实验与数据

CACE全称Compiler Average Casual Effect或者Local Average Treatment Effect.在观测数据中的应用需要和Instrument Variable结合来看,这里我们只讨论CACE的框架给随机AB实验提供的一些learning.你碰到过以下低实验渗透低的情况么? 新功能入口很深,多数进组用户并未真正使用新功能,在只能在用户层随机分流的条件下,如何计算新功能的收益 触达策略,在发送触达时进行随机分组,但触达过程存在损失,真正触达的用户占比很小,如

Hetergeneous Treatment Effect旨在量化实验对不同人群的差异影响,进而通过人群定向/数值策略的方式进行差异化实验,或者对实验进行调整.Double Machine Learning把Treatment作为特征,通过估计特征对目标的影响来计算实验的差异效果. Machine Learning擅长给出精准的预测,而经济学更注重特征对目标影响的无偏估计.DML把经济学的方法和机器学习相结合,在经济学框架下用任意的ML模型给出特征对目标影响的无偏估计 HTE其他方法流派详见因果

(转载请注明原创于潘多拉盒子) 算法效果的AB测试,是指在相同的应用场景下,对比不同算法的效果.通常的做法是,按照PV或UV随机分配流量到算法上,计算算法的CTR或转化率进行对比.为了表述简单,我们假设参与对比的算法有两个,比较的指标是CTR.这里面的关键细节有两个:1. 如何划分浏览?2. 如何计算CTR.下面从这两个角度讨论可能出现的问题. 定义1:按PV划分流量,是指对任意一个访问,按照预先设定的比例,随机分配到一个算法中.需要注意的是,在这种情况下,每个用户会被随机分配到一个算法中. 定

graphite 定时向Graphite中写入指标项数据,指标项模拟个数3000个 使用的类库 官方文档   dropwizard的github地址 Metric官方文档 metrics.dropwizard的GitHub地址 <dependency> <groupId>io.dropwizard.metrics</groupId> <artifactId>metrics-core</artifactId> <version>${dr

这篇论文是在 Recursive Partitioning for Heterogeneous Casual Effects 的基础上加入了两个新元素: Trigger:对不同群体的treatment选择个性化阈值. E.g优惠券力度,红包金额 新的Node Penalty: 旨在增强模型generalization 论文 C. Tran and E. Zheleva, "Learning triggers for heterogeneous treatment effects," i

这篇是treatment effect估计相关的论文系列第一篇所以会啰嗦一点多给出点背景. 论文 Athey, S., and Imbens, G. 2016. Recursive partitioning for heterogeneous causal effects. Proceedings of the National Academy of Sciences. 背景 论文给出基于决策树估计实验对不同用户的不同影响.并提出Honest,variance Penalty算法旨在改进CART

ES监控方案 本文主要讲述使用 Prometheus监控ES,梳理核心监控指标并构建 Dashboard ,当集群有异常或者节点发生故障时,可以根据性能图表以高效率的方式进行问题诊断,再对核心指标筛选添加告警. 根据<How to monitor Elasticsearch performance>一文中的介绍: Elasticsearch本身提供了大量的指标,可以帮助我们进行故障预检,并在遇到诸如节点不可用.JVM OutOfMemoryError和垃圾回收时间过长等问题时采取必要措施. 通

Meta Learner和之前介绍的Casual Tree直接估计模型不同,属于间接估计模型的一种.它并不直接对treatment effect进行建模,而是通过对response effect(target)进行建模,用treatment带来的target变化作为HTE的估计.主要方法有3种:T-Learner, S-Learner, X-Learner,思路相对比较传统的是在监督模型的基础上去近似因果关系. Meta-Learner的优点很明显,可以使用任意ML监督模型进行拟合不需要构建新的

Oracle Statspack报告中各项指标含义详解~~学习性能必看!!! Data Buffer Hit Ratio#<#90# 数据块在数据缓冲区中的命中率,通常应该在90%以上,否则考虑加大 db_block_buffers(9i 以上可是db_cache_size) Buffer Nowait Ratio#<#99# 在缓冲区中获取buffer 的未等待比率 Library Hit Ratio#<#98# 主要代表着sql在共享区的命中率,通常在98%以上 In Memory

Objective-C 中核心处理字符串的类是 NSString 与 NSMutableString ,这两个类最大的区别就是NSString 创建赋值以后该字符串的内容与长度不能在动态的更改,除非重新给这个字符串赋值.而NSMutableString 创建赋值以后可以动态在该字符串上更改内容与长度. 1.创建经典的NSString字符串 NSString 与 char* 最大的区别就是 NSString是一个objective对象,而char* 是一个字节数组.@+ " 字符串 " 

Java生鲜电商平台-SpringCloud微服务架构中核心要点和实现原理 说明:Java生鲜电商平台中,我们将进一步理解微服务架构的核心要点和实现原理,为读者的实践提供微服务的设计模式,以期让微服务在读者正在工作的项目中起到积极的作用. 微服务架构中职能团队的划分 传统单体架构将系统分成具有不同职责的层次,对应的项目管理也倾向于将大的团队分成不同的职能团队,主要包括:用户交互UI团队.后台业务逻辑处理团队与数据存取ORM团队.DBA团队等.每个团队只对自己分层的职责负责,并对使用方提供组件服务

[计算机视觉]目标检测中的指标衡量Recall与Precision 标签(空格分隔): [图像处理] 说明:目标检测性能指标Recall与Precision的理解. Recall与Precision 其实道理非常朴素: Precision就是精度,以行人检测为例,精度就是检测出来的行人中确实是行人的所占的百分比,也就是所谓的检测精度,可以提供给客户看,我们的检测精度是100%,也就是没有虚景,没有false positive: Recall就是正确检出的行人数量占行人总数的百分比,Recall=

大家好,又见面了. 到这里呢,已经是本SpringData JPA系列文档的第三篇了,先来回顾下前面两篇: 在第1篇<Spring Data JPA系列1:JDBC.ORM.JPA.Spring Data JPA,傻傻分不清楚?给你个选择SpringDataJPA的理由!>中,我们对JPA的整体概念有了全面的了解. 在第2篇<Spring Data JPA系列2:快速在SpringBoot项目中熟练使用JPA>中也知晓了SpringBoot项目快速集成SpringData JPA以

1.Java NIO核心组件 Java NIO中有很多类和组件,包括Channel,Buffer 和 Selector 构成了核心的API.其它组件如Pipe和FileLock是与三个核心组件共同使用的工具类. Channel 基本上,所有的 IO 在NIO 中都从一个Channel 开始.Channel 有点象流. 数据可以从Channel读到Buffer中,也可以从Buffer 写到Channel中. JAVA NIO中的一些主要Channel的实现: FileChannel(从文件中读写数

核心模块CoreModule在整个系统中只加载一次,如何实现? 创建core Modele:ng g m core 既然CoreModule是类,就有构造函数,在构造函数中进行依赖注入. export class CoreModule { constructor(parent: CoreModule){ if(parent){ throw new Error('模块已经存在,不能重复加载!') } } } 使用SkipSelf注解避免重复注入.去系统的父级找依赖. 使用Optional注解 让S

由于实验室用的是USART3接口,但是在基地实验时,由于没有RS232,只能换到USART1,进行实验.(在交作业的时候,记得要再换回去) 在这个过程中,遇到困难,用串口软件发送数据时无响应,应该意味着我的数据没有发成功. 仔细排查,发现,由串口1到串口3,需要改动以下部分. RCC_APB2PeriphClockCmd(RCC_APB2Periph_USART1, ENABLE);//USART1 RCC_APB1PeriphClockCmd(RCC_APB1Periph_USART1, EN