本文记录几个在广告和推荐里面rank阶段常用的模型.广告领域机器学习问题的输入其实很大程度了影响了模型的选择,因为输入一般维度非常高,稀疏,同时包含连续性特征和离散型特征.模型即使到现在DeepFM类的方法,其实也都很简单.模型的发展主要体现于对特征的充分挖掘上,比如利用低阶和高阶特征.尝试自动学习交叉特征而非手动.尝试更精准地实现高阶特征(bounded-degree). 广告相关的领域最早大行其道的模型当属LR模型,原因就是LR模型简单,可解释性好,拓展性高,精心细调之后模型效果也会非常好.…

1. xDeepFM优势 自动高效的学习隐式和显示的高维特征交互 设计一个新的CIN网络可以显示学习高阶特征交互,且为Vector-Wise 2. xDeepFM整体算法框架    整个网络结构主要分为两部分:压缩交互网络和DNN网络.压缩交互网络主要是实现自动学习显示的高阶特征交互,DNN网络主要是实现隐式的学习高阶特征. 3. 压缩交互网络(Compressed Interaction Network,CIN) CIN中每一层的神经元都是根据前一层的隐层及原特征向量计算而来,其数学表达式为:…

xDeepFM用改良的DCN替代了DeepFM的FM部分来学习组合特征信息,而FiBiNET则是应用SENET加入了特征权重比NFM,AFM更进了一步.在看两个model前建议对DeepFM, Deep&Cross, AFM,NFM都有简单了解,不熟悉的可以看下文章最后其他model的博客链接. 以下代码针对Dense输入更容易理解模型结构,针对spare输入的代码和完整代码 https://github.com/DSXiangLi/CTR xDeepFM 模型结构 看xDeepFM的名字和De…

一.前言 随着深度学习在图像.语言.广告点击率预估等各个领域不断发展,很多团队开始探索深度学习技术在业务层面的实践与应用.而在广告CTR预估方面,新模型也是层出不穷: Wide and Deep[1].DeepCross Network[2].DeepFM[3].xDeepFM[4],美团很多篇深度学习博客也做了详细的介绍.但是,当离线模型需要上线时,就会遇见各种新的问题: 离线模型性能能否满足线上要求.模型预估如何镶入到原有工程系统等等.只有准确的理解深度学习框架,才能更好地将深度学习部署到线…

众所周知,深度学习在计算机视觉.语音识别.自然语言处理等领域最先取得突破并成为主流方法.但是,深度学习为什么是在这些领域而不是其他领域最先成功呢?我想一个原因就是图像.语音.文本数据在空间和时间上具有一定的内在关联性.比如,图像中会有大量的像素与周围的像素比较类似:文本数据中语言会受到语法规则的限制.CNN对于空间特征有很好的学习能力,正如RNN对于时序特征有强大的表示能力一样,因此CNN和RNN在上述领域各领风骚好多年. 在Web-scale的搜索.推荐和广告系统中,特征数据具有高维.稀疏.多…

计算广告领域中数据特点:    1 正负样本不平衡    2 大量id类特征,高维,多领域(一个类别型特征就是一个field,比如上面的Weekday.Gender.City这是三个field),稀疏 在电商领域,CTR预估模型的原始特征数据通常包括多个类别,比如[Weekday=Tuesday,Gender=Male, City=London, CategoryId=16],这些原始特征通常以独热编码(one-hot encoding)的方式转化为高维稀疏二值向量,多个域(类别)对应的编码向量…

wide&deep在个性化排序算法中是影响力比较大的工作了.wide部分是手动特征交叉(负责memorization),deep部分利用mlp来实现高阶特征交叉(负责generalization),wide部分和deep部分joint train. Deep&Cross Network模型我们下面将简称DCN模型,对比Wide & Deep ,不需要特征工程来获得高阶的交叉特征.对比 FM 系列的模型,DCN 拥有更高的计算效率并且能够提取到更高阶的交叉特征. 一个DCN模型从嵌入…

推荐系统模型演化 LR-->GBDT+LR FM-->FFM-->GBDT+FM|FFM FTRL-->GBDT+FTRL Wide&DeepModel (Deep learning era) 将从以下3方面进行模型分析: 1.why(模型设计背后的原理) 2.how(具体怎么设计,如何应用) 3.discussion(模型讨论) Wide&Deep why Memorization 和 Generalization 假如你设计了一个外卖推荐系统gugu,用户睡觉醒…

[阿里DIEN] 深度兴趣进化网络源码分析 之 Keras版本 目录 [阿里DIEN] 深度兴趣进化网络源码分析 之 Keras版本 0x00 摘要 0x01 背景 1.1 代码进化 1.2 Deepctr 1.2.1 统一视角 1.2.2 模块化 1.2.3 框架优点 0x2 测试数据 2.1 数据集介绍 2.2 原始样本骨架raw_sample 2.3 广告基本信息表ad_feature 2.4 用户基本信息表user_profile 2.5 用户的行为日志behavior_log 2.6…

腾讯 angel 3.0:高效处理模型 紧跟华为宣布新的 AI 框架开源的消息,腾讯又带来了全新的全栈机器学习平台 angel3.0.新版本功能特性覆盖了机器学习的各个阶段,包括:特征工程.模型训练.超参数调节和模型服务.自 2017 年 angel1.0 在 Github 上开源以来,angel 共获得星标数超过 4200.fork 数超 1000.腾讯发布了相关文章介绍了 angel3.0 更新细节等内容. Angel 概述 Angel 是基于参数服务器架构的分布式计算平台,专注于稀疏数据高…