CTR预估中的贝叶斯平滑方法(一)原理及实验介绍
1. 背景介绍
2. 数据的层级结构

我们假设事件的发生并不是相互独立的,相反,在层级结构中相对比较靠近的两个事件的相关性要大于距离较远的两个事件,它们之间拥有很多共通之处。于是,我们便可以利用“相似”事件的信息来丰富某个我们感兴趣的事件(这个事件本事的发生的次数比较少)。具体到我们现有的场景下,可以利用与我们需要预估的事件(比如query-ad pair,或者page-ad pair)的“相似”事件的信息来帮助我们来做出预估计算。
假设有相同account下的N个ad,以及所在的page,我们感兴趣的是page-ad pair的CTR,于是我们可以利用贝叶斯的方法来结合(1)这个ad本身的信息,以及(2)该page下与这个ad来自相同account的其它ad的信息。我们观测到的点击信息为
,这些点击信息源自各个ad的隐含CTR信息
,点击信息服从二项分布
。而隐含的每个ad的CTR,可以看做是来自于它们相同的account的公有信息,其服从贝塔分布
。于是乎,每个ad的隐含CTR值,不仅与观测到的展示点击数据
有关,还与其所属的account的整体信息有关,即与
这对超参数有关。我们可以利用二项分布和贝塔分布的共轭特性,计算所有ad所属的相同account的似然函数,然后利用最大似然估计(MLE)来计算超参数
。当有了
的估计值
后,我们便可以得到每个ad的后验估计:
。这个后验估计值可以作为一个平滑后的CTR值,它要比单纯地统计CTR
拥有更小的方差,更加稳定。
3. 数据的连续性
在很多场景下,我们更关心CTR的趋势,而不是一个特定时间点的CTR值。因为对于展示量较少的page-ad pair,某个特定时间点的CTR预估值是包含很大噪声的。我们将展现和点击看做是离散集合的重复观测值,然后使用指数平滑技术进行CTR平滑。
假设对于page-ad pair,我们有M天的展现和点击
,然后我们希望预估出第M天的CTR。我们将平滑后的展现和点击记为
,它们可由下面公式得到(这里只给出了点击的公式计算,展现也同理):
其中,是平滑系数,它控制着我们把历史信息纳入我们平滑的计算中的权重大小。
上述的两种方法:(1)数据层级结构的贝叶斯平滑,(2)时间窗口的指数平滑,可以结合使用。
4. 数据层级结构的贝叶斯平滑方法具体介绍
这里我们规定将page-ad pair的信息在层级结构上上升到publisher-account pair的信息(不同page隶属于相同的publisher,不同的ad隶属于相同的account)。
有两个假设:
(1)对于publisher-account pair,有1个隐含的CTR概率分布,而每个page-ad pair的CTR可以看作是从这个整体的CTR分布中随机采样出来的。
(2)对于page-ad pair,我们观测到其对应的展现信息和点击信息。
其对应的概率图模型如下,灰色部分是观测变量,白色部分是隐含变量:
对于该publisher-account下的所有page-ad pair的点击计算出似然函数:
将上述的log似然函数分别对α和β求导数,即为:
通过fixed-point iteration方法,我们可以得到α和β在每一轮迭代中的更新公式:
迭代的终止条件为一个固定的迭代次数(如1000次),或者α和β在一次迭代中的变化值都小于一个epsilon(如1E-10)。一旦有了的估计值
后,我们便可以得到每个ad的后验估计:
。
5. 贝叶斯参数估计
这里简单介绍一下为什么有了的估计值
后,便可以得到后验估计:
。
我们知道贝叶斯参数估计的基本过程是:先验分布 + 似然函数 = 后验分布
由于我们假定了先验分布是Beta分布,而似然函数是二项分布,由Beta-Binomial共轭,我们可以得到,后验分布也是Beta分布,如下:
Beta(p|a,b) + BinomCount(m1,m2) = Beta(p|a+m1,b+m2)
这种共轭形式的好处是,我们能够在先验分布中赋予参数很明显的物理意义,这个物理意义可以延续到后验分布中进行解释,同时从先验分布变换到后验分布过程中从数据中补充的知识也容易有物理解释。
在我们这里,先验分布是服从Beta(α,β)分布的,而通过似然函数BinomCount(C,I-C)后,后验分布变为Beta(α+C,β+I-C)。
对这个后验分布,我们有两种参数估计方法:
1)MAP估计:直接看后验分布Beta(α+C,β+I-C)取值最大时候的参数,这时候为:(α+C-1) / (α+β+I-2)。
2)贝叶斯估计:对服从后验分布Beta(α+C,β+I-C)的变量求数学期望,这时候为:(α+C) / (α+β+I)。
数学期望的计算过程如下所示:
6. 实验介绍
评估指标:
1)MSE
2)KL_divergence
实验策略:
选取展示数不低于10000次的page-ad pair作为实验数据集,从中采样1% / 0.1% / 0.001% 用于预测page-ad ctr,剩余99% / 99.9% / 99.99% 的数据集用于对预测值进行评估。
PS:具体如何对贝叶斯平滑的参数进行估计,以及具体的代码实现,可见另一篇博客http://www.cnblogs.com/bentuwuying/p/6498370.html。
7. 参考文献
1. Click-Through Rate Estimation for Rare Events in Online Advertising
版权声明:
本文由笨兔勿应所有,发布于http://www.cnblogs.com/bentuwuying。如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任。
CTR预估中的贝叶斯平滑方法(一)原理及实验介绍的更多相关文章
- CTR预估中的贝叶斯平滑方法(二)参数估计和代码实现
1. 前言 前面博客介绍了CTR预估中的贝叶斯平滑方法的原理http://www.cnblogs.com/bentuwuying/p/6389222.html. 这篇博客主要是介绍如何对贝叶斯平滑的参 ...
- CTR预估中的贝叶斯平滑方法及其代码实现
1. 背景介绍 广告形式: 互联网广告可以分为以下三种: 1)展示广告(display ad) 2)搜索广告(sponsored search ad) 3)上下文广告(contextual ad) ...
- 广告点击率 CTR预估中GBDT与LR融合方案
http://www.cbdio.com/BigData/2015-08/27/content_3750170.htm 1.背景 CTR预估,广告点击率(Click-Through Rate Pred ...
- CTR预估中GBDT与LR融合方案(转载)
1.背景 CTR预估,广告点击率(Click-Through Rate Prediction)是互联网计算广告中的关键环节,预估准确性直接影响公司广告收入.CTR预估中用的最多的模型是LR(Logis ...
- 第十三次作业——回归模型与房价预测&第十一次作业——sklearn中朴素贝叶斯模型及其应用&第七次作业——numpy统计分布显示
第十三次作业——回归模型与房价预测 1. 导入boston房价数据集 2. 一元线性回归模型,建立一个变量与房价之间的预测模型,并图形化显示. 3. 多元线性回归模型,建立13个变量与房价之间的预测模 ...
- CTR预估中GBDT与LR融合方案
1. 背景 CTR预估(Click-Through Rate Prediction)是互联网计算广告中的关键环节,预估准确性直接影响公司广告收入.CTR预估中用的最多的模型是LR(Logistic R ...
- 深度学习在CTR预估中的应用
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由鹅厂优文发表于云+社区专栏 一.前言 二.深度学习模型 1. Factorization-machine(FM) FM = LR+ e ...
- NeurIPS 2018 中的贝叶斯研究
NeurIPS 2018 中的贝叶斯研究 WBLUE 2018年12月21日 雷锋网 AI 科技评论按:神经信息处理系统大会(NeurIPS)是人工智能领域最知名的学术会议之一,NeurIPS 2 ...
- android中获取root权限的方法以及原理(转)
一. 概述 本文介绍了android中获取root权限的方法以及原理,让大家对android 玩家中常说的“越狱”有一个更深层次的认识. 二. Root 的介绍 1. Root 的目的 可以让我们拥有 ...
随机推荐
- 安装ionice v2版本(官方帮助文档)
安装最新的 ionic 命令行工具 npm install -g ionic@latest 官方文档:http://ionicframework.com/docs/v2/getting-started ...
- 【渗透测试学习平台】 web for pentester -5.代码执行
Example 1 http://192.168.106.154/codeexec/example1.php?name=".system('uname -a');// Example 2 h ...
- C++预处理和头文件保护符
一预处理 1.常见的预处理功能 预处理器的主要作用就是把通过预处理的内建功能对一个资源进行等价替换,最常见的预处理有:文件包含,条件编译.布局控制和宏替换4种.文件包含:#include 是一种最为常 ...
- 导航跳转后保持选中状态 jquery高亮当前选中菜单
功能需求:今天在写一个站点需要用到在导航菜单点击链接跳转到新页面后,高亮当前菜单样式.简单的说,就是我点击导航菜单中的一个栏目,跳转到该栏目下,该栏目菜单也同时高亮(可以是背景色也可以是背景图片) 解 ...
- Go基础---->go的基础学习(二)
这里记录的是go中函数的一些基础知识.道听途说终是浅,身临其境方知深. go的基础知识 一.go中函数的基础使用 package main import ( "fmt" " ...
- Docker源码分析(四):Docker Daemon之NewDaemon实现
1. 前言 Docker的生态系统日趋完善,开发者群体也在日趋庞大,这让业界对Docker持续抱有极其乐观的态度.如今,对于广大开发者而言,使用Docker这项技术已然不是门槛,享受Docker带来的 ...
- LeetCode——Kth Largest Element in an Array
Description: Find the kth largest element in an unsorted array. Note that it is the kth largest elem ...
- whistle--全新的跨平台web调试工具
版权声明:本文由吴文斌原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/151 来源:腾云阁 https://www.qclo ...
- Shell主要逻辑源码级分析 (2)——SHELL作业控制
版权声明:本文由李航原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/110 来源:腾云阁 https://www.qclou ...
- 自定义事件类EventManager (TS中...args的使用例子)
一个自定义事件类 初衷是使用Egret的事件有两点比较麻烦 1 在事件处理函数时,需要从e中获取data hander(e:egret.Event){ let data = e.data; } 2 ...