AFM:Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks 模型入上图所示,其中sparse iput,embedding layer,pair-wise interaction layer都和FM一样,后面加入了一个attention net生成一个关于特征交叉项的权重,将FM原来的二次项累加变成加权累加.这里的attention net其实…

AI(人工智能)技术已经广泛应用于美团的众多业务,从美团App到大众点评App,从外卖到打车出行,从旅游到婚庆亲子,美团数百名最优秀的算法工程师正致力于将AI技术应用于搜索.推荐.广告.风控.智能调度.语音识别.机器人.无人配送等多个领域,帮助美团3.2亿消费者和400多万商户改善服务和体验,帮大家吃得更好,生活更好. 基于AI技术,美团搭建了世界上规模最大,复杂度最高的多人.多点实时智能配送调度系统:基于AI技术,美团推出了业内第一款大规模落地的企业应用级语音交互产品,为50万骑手配备了智能语…

NVIDIA GPUs上深度学习推荐模型的优化 Optimizing the Deep Learning Recommendation Model on NVIDIA GPUs 推荐系统帮助人在成倍增长的选项中找到想要的东西.是在许多在线平台上推动用户参与的关键组件. 随着工业数据集规模的迅速增长,利用大量训练数据的深度学习推荐模型(deep learning,DL)已经开始显示出其相对于传统方法的优势.现有的基于DL的推荐系统模型包括广度和深度模型.深度学习推荐模型(DLRM).神经协同滤波(…

本文来自于腾讯bugly开发者社区,未经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/5809bb47cc5e52161640c5c8 Dev Club 是一个交流移动开发技术,结交朋友,扩展人脉的社群,成员都是经过审核的移动开发工程师.每周都会举行嘉宾分享,话题讨论等活动. 本期,我们邀请了 腾讯 TEG 技术工程师"文亚飞",为大家分享<深度学习在OCR中的应用>. 大家好,我是文亚飞,来自腾讯TEG,目前负责图像识别相关的工作.OCR(…

https://zhuanlan.zhihu.com/p/32626442 骆梁宸 paper插画师:poster设计师:oral slides制作人 445 人赞同了该文章 楔子 前些日在写计算数学课的期末读书报告,我选择的主题是「分析深度学习中的各个优化算法」.在此前的工作中,自己通常就是无脑「Adam 大法好」,而对算法本身的内涵不知所以然.一直希望能抽时间系统的过一遍优化算法的发展历程,直观了解各个算法的长处和短处.这次正好借着作业的机会,补一补课. 本文主要借鉴了 @Juliuszh…

[深度学习]CNN 中 1x1 卷积核的作用 最近研究 GoogLeNet 和 VGG 神经网络结构的时候,都看见了它们在某些层有采取 1x1 作为卷积核,起初的时候,对这个做法很是迷惑,这是因为之前接触过的教材的例子中最小的卷积核是 3x3 ,那么,1x1 的卷积核有什么意义呢? 最初应用 1x1 卷积核的神经网络是 Network In Network,然后 GoogLeNet 和 VGG 也不约而同的更正了. 他们在论文中解释,大概有下面 2 个意义. 1.增加网络的深度 这个就比较好理解…

学习率是深度学习中的一个重要超参数,选择合适的学习率能够帮助模型更好地收敛. 本文主要介绍深度学习训练过程中的6种学习率衰减策略以及相应的Pytorch实现. 1. StepLR 按固定的训练epoch数进行学习率衰减. 举例说明: # lr = 0.05 if epoch < 30 # lr = 0.005 if 30 <= epoch < 60 # lr = 0.0005 if 60 <= epoch < 90 在上述例子中,每30个epochs衰减十倍学习率. 计算公式…

背景 在之前的文章中,我们已经提到过团队在UI自动化这方面的尝试,我们的目标是实现基于 单一图片到代码 的转换,在这个过程不可避免会遇到一个问题,就是为了从单一图片中提取出足够的有意义的结构信息,我们必须要拥有从图片中切割出想要区块(文字.按钮.商品图片等)的能力,而传统切割算法遇到复杂背景图片往往就捉襟见肘了(见下图),这个时候,我们就需要有能力把复杂前后景的图片划分为各个层级图层,再交给切割算法去处理,拿到我们期望的结构信息. 经过传统切割算法处理,会无法获取图片结构信息,最终只会当成一张图…

欢迎大家前往腾讯云技术社区,获取更多腾讯海量技术实践干货哦~ 作者:高航 一. Wide&&Deep 模型 首先给出Wide && Deep [1] 网络结构: 本质上是线性模型(左边部分, Wide model)和DNN的融合(右边部分,Deep Model). 推荐系统需要解决两个问题: 记忆性: 比如通过历史数据知道"麻雀会飞","鸽子会飞" 泛化性: 推断在历史数据中从未见过的情形,"带翅膀的动物会飞" W…

之前研究的CRF算法,在中文分词,词性标注,语义分析中应用非常广泛.但是分词技术只是NLP的一个基础部分,在人机对话,机器翻译中,深度学习将大显身手.这篇文章,将展示深度学习的强大之处,区别于之前用符号来表示语义,深度学习用向量表达语义.这篇文章的最大价值在于,为初学者指明了研究方向.下面为转载的原文:   在深度学习出现之前,文字所包含的意思是通过人为设计的符号和结构传达给计算机的.本文讨论了深度学习如何用向量来表示语义,如何更灵活地表示向量,如何用向量编码的语义去完成翻译,以及有待改进的地方…