BERT 论文阅读 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 由 @快刀切草莓君 阅读编写. 1 引言 两种为下游任务应用预训练模型表示的现存策略 基于特征 e.g. ELMo:使用包括预训练表示作为额外特征的特定任务架构 精调 e.g. GPT Generative Pre-trained Transformer 引入最少的特定任务参数 这两种策略都使用了单一方向语言模型 限…

原论文链接:https://gitee.com/shaoxuxu/DeepLearning_PaperNotes/blob/master/YOLOv1.pdf 笔记版论文链接:https://gitee.com/shaoxuxu/DeepLearning_PaperNotes/blob/master/YOLOv1-PaperNotes.pdf 你只需要看一次:统一的.实时的目标检测 1. 简介 (1)主要作者简介: Joseph Redmon:YOLOv1.YOLOv2.YOLOv3.DarkN…

虽然国内必须FQ才能登录YouTube,但想必大家都知道这个网站.基本上算是世界范围内视频领域的最大的网站了,坐拥10亿量级的用户,网站内的视频推荐自然是一个非常重要的功能.本文就focus在YouTube视频推荐的DNN算法,文中不但详细介绍了Youtube推荐算法和架构细节,还给了不少practical lessons and insights,很值得精读一番.下图便是YouTube APP视频推荐的一个例子. 在推荐系统领域,特别是YouTube的所在视频推荐领域,主要面临三个挑战: 规模…

本文尽量贴合BERT的原论文,但考虑到要易于理解,所以并非逐句翻译,而是根据笔者的个人理解进行翻译,其中有一些论文没有解释清楚或者笔者未能深入理解的地方,都有放出原文,如有不当之处,请各位多多包含,并希望得到指导和纠正. 论文标题 Bert:Bidirectional Encoder Representations from Transformers 一种从Transformers模型得来的双向编码表征模型. 论文地址 https://arxiv.org/pdf/1810.04805 Abstr…

摘要 BERT是“Bidirectional Encoder Representations from Transformers"的简称,代表来自Transformer的双向编码表示.不同于其他的语言模型,它是使用transformer联合所有层的左右上下文来预训练的深度双向表示.在这个表示的基础上,只需要一个额外的输出层,就可以根据特定的任务对预训练的bert进行微调,无需对特定的任务进行大量模型结构的修改.论文贡献:1.论证了双向预训练对语言表征的重要性.BERT使用遮蔽语言模型来实现预训练…

目标检测20年综述(2019) 摘要 Abstract 该综述涵盖了400篇目标检测文章,时间跨度将近四分之一世纪.包括目标检测历史上的里程碑检测器.数据集.衡量指标.基本搭建模块.加速技术,最近的sota检测模型.还引入了一些重要的目标检测应用,比如行人检测.人脸检测.文本检测等.对这些技术以及挑战做出深度的解析. 1. Introduction 目标检测的其中一个基本任务:什么物体?在什么位置? 目标检测是计算机图像任务的基础,比如实例分割.图像翻译.目标追踪. 从应用层面来看,目标检测又被…

深度学习在推荐系统的应用(二)中AFM的简单回顾 AFM模型(Attentional Factorization Machine) 模型原始论文 Attentional Factorization Machines:Learning the Weight of Feature Interactions via Attention Networks 模型架构 模型原理 \[ ŷ_{AFM}(x)=ω_0+∑_{i=1}^{n}ω_{i}x_{i}+p^T∑^{n}_{i=1}∑^{n}_{j=i+…

State-of-the-art object detection networks depend on region proposal algorithms to hypothesize object locations. Advances like SPPnet [7] and Fast R-CNN [5] have reduced the running time of these detection networks, exposing region proposal computati…

深度压缩 DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING:用剪枝.训练量化和霍夫曼编码压缩深度神经网络 这篇论文是Stanford的Song Han的 ICLR2016 的 best paper 1 Abstract 论文想解决的问题? 神经网络的计算密集性以及内存密集性使得其在嵌入式设备上难以部署 论文如何解决该问题? 通过剪枝减少连…

深度学习图像分割综述 Image Segmentation Using Deep Learning: A Survey 原文连接:https://arxiv.org/pdf/2001.05566.pdf Abstract 图像分割应用包括场景理解.医学图像分析.机器人感知.视频监控.增强现实和图像压缩.本文涵盖了语义和实例分割的开创性工作,包括全卷积像素标记网络(FCN).编码器-解码器结构,多尺度和基于金字塔的方法.循环网络.视觉注意力模型.生成模型. 1. 引言 图像分割又分为两种,语义分割…