CTR学习笔记&代码实现1-深度学习的前奏LR->FFM

【CTR学习笔记&代码实现1-深度学习的前奏LR->FFM】的更多相关文章

【PyTorch深度学习】学习笔记之PyTorch与深度学习

第1章 PyTorch与深度学习深度学习的应用接近人类水平的图像分类接近人类水平的语音识别机器翻译自动驾驶汽车 Siri.Google语音和Alexa在最近几年更加准确日本农民的黄瓜智能分拣肺癌检测准确度高于人类的语言翻译读懂图片中的图像含义现今深度学习应用中最受欢迎的技术和出现的时间点技术年份神经网络 1943 反向传播 20世纪60年代初期卷积神经网络 1979 循环神经网络 1980 长短期记忆网络 1997 深度学习过去的叫法 20世纪70年代叫控制论(cyb…

CTR学习笔记&代码实现1-深度学习的前奏LR->FFM

CTR学习笔记系列的第一篇,总结在深度模型称王之前经典LR,FM, FFM模型,这些经典模型后续也作为组件用于各个深度模型.模型分别用自定义Keras Layer和estimator来实现,哈哈一个是旧爱一个是新欢.特征工程依赖feature_column实现,这里做的比较简单在后面的深度模型再好好搞.完整代码在这里https://github.com/DSXiangLi/CTR 问题定义 CTR本质是一个二分类问题,$X \in R^N $是用户和广告相关特征, $Y \in (0,1)$…

学习笔记TF045:人工智能、深度学习、TensorFlow、比赛、公司

人工智能,用计算机实现人类智能.机器通过大量训练数据训练,程序不断自我学习.修正训练模型.模型本质,一堆参数,描述业务特点.机器学习和深度学习(结合深度神经网络). 传统计算机器下棋,贪婪算法,Alpha-Beta修剪法配合Min-Max算法.AlphaGo,蒙特卡洛树搜索法(Monte Carlo tree search,MCTS)和深度卷积神经网络(deep convolutional neural network,DCNN).估值网络(value network,盘面评估函数),计算盘面分…

CTR学习笔记&代码实现2-深度ctr模型 MLP->Wide&Deep

背景这一篇我们从基础的深度ctr模型谈起.我很喜欢Wide&Deep的框架感觉之后很多改进都可以纳入这个框架中.Wide负责样本中出现的频繁项挖掘,Deep负责样本中未出现的特征泛化.而后续的改进要么用不同的IFC让Deep更有效的提取特征交互信息,要么是让Wide更好的记忆样本信息 Embedding + MLP 点击率模型最初在深度学习上的尝试是从简单的MLP开始的.把高维稀疏的离散特征做Embedding处理,然后把Embedding拼接作为MLP的输入,经过多层全联接神经网络的非线性变…

CTR学习笔记&代码实现3-深度ctr模型 FNN->PNN->DeepFM

这一节我们总结FM三兄弟FNN/PNN/DeepFM,由远及近,从最初把FM得到的隐向量和权重作为神经网络输入的FNN,到把向量内/外积从预训练直接迁移到神经网络中的PNN,再到参考wide&Deep框架把人工特征交互替换成FM的DeepFM,我们终于来到了2017年... FNN FNN算是把FM和深度学习最早的尝试之一.可以从两个角度去理解FNN:从之前Embedding+MLP的角看,FNN使用FM预训练的隐向量作为第一层可以加快模型收敛.从FM的角度来看,FM局限于二阶特征交互信息,想要…