论文地址:Deep Interest Network for Click-Through Rate ... 这篇论文来自阿里妈妈的精准定向检索及基础算法团队.文章提出的Deep Interest Network (DIN),实现了推荐系统CTR预估模型中,对用户历史行为数据的进一步挖掘.同时,文章中提出的Dice激活函数和自适应正则方法也优化了模型的训练过程. Motivation CTR预估任务是,根据给定广告.用户和上下文情况等信息,对每次广告的点击情况做出预测.其中,对于用户历史行为数据的…

参考: https://zhuanlan.zhihu.com/p/51623339 https://arxiv.org/abs/1706.06978 注意力机制顾名思义,就是模型在预测的时候,对用户不同行为的注意力是不一样的,“相关”的行为历史看重一些,“不相关”的历史甚至可以忽略.那么这样的思想反应到模型中也是直观的. 如果按照之前的做法,我们会一碗水端平的考虑所有行为记录的影响,对应到模型中就是我们会用一个average pooling层把用户交互过的所有商品的embedding vecto…

[论文阅读]阿里DIN深度兴趣网络之总体解读 目录 [论文阅读]阿里DIN深度兴趣网络之总体解读 0x00 摘要 0x01 论文概要 1.1 概括 1.2 文章信息 1.3 核心观点 1.4 名词解释 0x02 解读思路 2.1 Memorization 和 Generalization 2.1.1 Memorization 2.1.2 Generalization 2.2 发展脉络 0x03 DNN 3.1 深度模型思路 3.2 DNN模型 3.3 工作机制 3.4 模型特点 0x04 DIN…

[阿里DIN] 深度兴趣网络源码分析 之 整体代码结构 目录 [阿里DIN] 深度兴趣网络源码分析 之 整体代码结构 0x00 摘要 0x01 文件简介 0x02 总体架构 0x03 总体代码 0x04 模型基类 4.1 基本逻辑 4.2 模块分析 4.2.1 构建变量 4.2.2 构建embedding 4.2.3 拼接embedding 0x05 Model_DIN 5.1 Attention机制 5.2 Attention实现 5.2.1 调用 5.2.2 mask的作用 Padding…

[阿里DIEN] 深度兴趣进化网络源码分析 之 Keras版本 目录 [阿里DIEN] 深度兴趣进化网络源码分析 之 Keras版本 0x00 摘要 0x01 背景 1.1 代码进化 1.2 Deepctr 1.2.1 统一视角 1.2.2 模块化 1.2.3 框架优点 0x2 测试数据 2.1 数据集介绍 2.2 原始样本骨架raw_sample 2.3 广告基本信息表ad_feature 2.4 用户基本信息表user_profile 2.5 用户的行为日志behavior_log 2.6…

[论文阅读]阿里DIEN深度兴趣进化网络之总体解读 目录 [论文阅读]阿里DIEN深度兴趣进化网络之总体解读 0x00 摘要 0x01论文概要 1.1 文章信息 1.2 基本观点 1.2.1 DIN的问题 1.2.2 DIEN创新 1.3 名词解释 0x02 总体概要 2.1 模型架构 0x03 兴趣抽取层 3.1 之前工作 3.2 GRU 3.3 辅助损失 3.3.1 辅助损失 3.3.2 全局损失 3.3.3 辅助损失作用 3.4 总结 0x04 兴趣进化层 4.1 演化规律 4.2 AUG…

[阿里DIN] 深度兴趣网络源码分析 之 如何建模用户序列 目录 [阿里DIN] 深度兴趣网络源码分析 之 如何建模用户序列 0x00 摘要 0x01 DIN 需要什么数据 0x02 如何产生数据 2.1 基础数据 2.2 处理数据 2.2.1 生成元数据 2.2.2 构建样本列表 2.2.3 分离样本 2.2.4 生成行为序列 2.2.5 分成训练集和测试集 2.2.6 生成数据字典 0x03 如何使用数据 3.1 训练数据 3.2 迭代读入 3.2.1 初始化 3.2.2 迭代读取 3.2.…

深度学习在推荐系统.CTR预估领域已经有了广泛应用,如wide&deep.deepFM模型等,今天介绍一下由阿里算法团队提出的深度兴趣网络DIN和DIEN两种模型 paper DIN:https://arxiv.org/abs/1706.06978 DIEN:https://arxiv.org/abs/1809.03672 code DIN:https://github.com/zhougr1993/DeepInterestNetwork DIEN:https://github.com/moun…

阿里封神谈hadoop学习之路   封神 2016-04-14 16:03:51 浏览3283 评论3 发表于: 阿里云E-MapReduce >> 开源大数据周刊 hadoop 学生 spark 摘要: 在大数据时代,要想个性化实现业务的需求,还是得操纵各类的大数据软件,如:hadoop.hive.spark等.笔者(阿里封神)混迹Hadoop圈子多年,经历了云梯1.ODPS等项目,目前base在E-Mapreduce.在这,笔者尽可能梳理下hadoop的学习之路. 引言 当前,越来越多的同…

深度剖析 | 可微分学习的自适配归一化 (Switchable Normalization) 作者:罗平.任家敏.彭章琳 编写:吴凌云.张瑞茂.邵文琪.王新江 转自:知乎.原论文参考arXiv:1806.10779和代码Github. 导读:归一化技术已经成为深度学习系统必不可少的重要组成部分,对优化神经网络的参数.提高泛化性能有着重要作用.这些归一化方法包括但不限于批归一化BN(Batch Normalization),实例归一化IN(Instance Normalization),和层归一化…