目录 简介 预训练任务简介 自回归语言模型 自编码语言模型 预训练模型的简介与对比 ELMo 细节 ELMo的下游使用 GPT/GPT2 GPT 细节 微调 GPT2 优缺点 BERT BERT的预训练 输入表征 Fine-tunninng 缺点 ELMo/GPT/BERT对比,其优缺点 BERT-wwm RoBERTa ERNIE(艾尼) 1.0 ERNIE 2.0 XLNet 提出背景 排列语言模型(Permutation Language Model,PLM) Two-Stream Sel…

一.学习NLP背景介绍:      从2019年4月份开始跟着华为云ModelArts实战营同学们一起进行了6期关于图像深度学习的学习,初步了解了关于图像标注.图像分类.物体检测,图像都目标物体检测等,基本了解了卷积神经网络(CNN)原理及相关常用模型,如:VGG16.MaxNet等.之后从9月份开始在华为云AI专家的带领指引下,对AI深度学习的另外一个重要领域:自然语言处理(NLP)的学习,到目前为止学习了:命名实体识别.文本分类.文本相似度分析.问答系统.人脸检测.在这一个多月对NLP的处理…

预训练语言模型的前世今生 - 从Word Embedding到BERT 本篇文章共 24619 个词,一个字一个字手码的不容易,转载请标明出处:预训练语言模型的前世今生 - 从Word Embedding到BERT - 二十三岁的有德 目录 一.预训练 1.1 图像领域的预训练 1.2 预训练的思想 二.语言模型 2.1 统计语言模型 神经网络语言模型 三.词向量 3.1 独热(Onehot)编码 3.2 Word Embedding 四.Word2Vec 模型 五.自然语言处理的预训练模型 六…

这是一篇还在双盲审的论文,不过看了之后感觉作者真的是很有创新能力,ELECTRA可以看作是开辟了一条新的预训练的道路,模型不但提高了计算效率,加快模型的收敛速度,而且在参数很小也表现的非常好. 论文:ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS ELECTRA全称为Efficiently Learning an Encoder that Classifies Token Replaceme…

本篇带来XL-Net和它的基础结构Transformer-XL.在讲解XL-Net之前需要先了解Transformer-XL,Transformer-XL不属于预训练模型范畴,而是Transformer的扩展版,旨在解决Transformer的捕获长距离依赖信息的上限问题.接下来我们详细的介绍Transformer-XL和XL-Net. 一,Transformer-XL 论文:TRANSFORMER-XL: LANGUAGE MODELING WITH LONGER-TERM DEPENDENC…

NLP论文解读 |杨健 论文标题: ERNIE:Enhanced Language Representation with Informative Entities 收录会议:ACL 论文链接: https://arxiv.org/abs/1905.07129 项目地址: https://github.com/thunlp/ERNIE 1.问题 论文作者认为尽管预训练语言模型能够从大规模文本语料中学习到词法.语法等信息,然而这些预训练模型却忽略了知识图谱提供的知识. 这些知识能够为预训练模型提供…

原创作者 | 杨健 论文标题: KEPLER: A unified model for knowledge embedding and pre-trained language representation 收录期刊: TACL 论文链接: https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00360/98089/ 项目地址: https://github.com/THU-KEG/KEPLE 01.问题 上一次我们介绍了ERNIE,其实…

原创作者 | 杨健 论文标题: K-BERT: Enabling Language Representation with Knowledge Graph 收录会议: AAAI 论文链接: https://ojs.aaai.org/index.php/AAAI/article/view/5681 项目地址: https://github.com/autoliuweijie/K-BERT 01 背景论述 笔者在前面的论文解读中提到过ERNIE使用基于自注意力机制来克服异构向量的融合,而KEPLER…

bert之类的预训练模型在NLP各项任务上取得的效果是显著的,但是因为bert的模型参数多,推断速度慢等原因,导致bert在工业界上的应用很难普及,针对预训练模型做模型压缩是促进其在工业界应用的关键,今天介绍三篇小型化bert模型——DistillBert, ALBERT, TINYBERT. 一,DistillBert 论文:DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter  GitHub…

本篇带来Facebook的提出的两个预训练模型——SpanBERT和RoBERTa. 一,SpanBERT 论文:SpanBERT: Improving Pre-training by Representing and Predicting Spans  GitHub:https://github.com/facebookresearch/SpanBERT 这篇论文中提出了一种新的mask的方法,以及一个新损失函数对象.并且讨论了bert中的NSP任务是否有用.接下来SpanBERT是如何预训练…