论文链接:https://aclweb.org/anthology/P18-1031 对文章内容的总结 文章研究了一些在general corous上pretrain LM,然后把得到的model transfer到text classiffication上 整个过程的训练技巧. 这些技巧的切入点是learning rate. 主要是三个: (1)discriminative fine-tuning (其中的discriminative 指 fine-tune each layer with d…

Direct && Noise Channel 进一步把语言模型推理的模式分为了: 直推模式(Direct): 噪声通道模式(Noise channel). 直观来看: Direct 模式 Noise Channel 模式 也就是说把数据和标签调换了位置. 公式推导 Direct: $$y_{test}=argmax\;P(y_{test}|\theta,c,x_{test})\;\;\;c=context$$ Noise Channel: $$y_{test}=argmax\;P(y)P…

https://blog.csdn.net/BitCs_zt/article/details/82938086 列出自己阅读的text classification论文的列表,以后有时间再整理相应的笔记.阅读价值评分纯粹是基于自己对于文章的理解,标准包括:动机.方法.数据集质量.实验安排.相关工作等,满分为5.列表如下: 名称 所属会议 类型 时间 阅读价值Recurrent Convolutional Neural Networks for Text Classification AAAI l…

https://www.sohu.com/a/233269391_395209 本周我们要分享的论文是<Universal Language Model Fine-tuning for Text Classificatio> 迁移学习在计算机视觉方面取得了很多成功,但是同样的方法应用在NLP领域却行不通.文本分类还是需要从零开始训练模型.本文的作者提出了一种针对NLP的有效的迁移学习方法,通用语言模型微调(ULMFiT)并介绍了用于微调模型的关键技巧. 越底层的特征越通用,越顶层的特征越特殊…

KLMo:建模细粒度关系的知识图增强预训练语言模型 (KLMo: Knowledge Graph Enhanced Pretrained Language Model with Fine-Grained Relationships) 论文地址:https://aclanthology.org/2021.findings-emnlp.384.pdf 摘要 知识图谱(KG)中实体之间的交互作用为语言表征学习提供了丰富的知识.然而,现有的知识增强型预训练语言模型(PLMS)只关注实体信息,而忽略了实体…

论文阅读笔记 Word Embeddings A Survey 收获 Word Embedding 的定义 dense, distributed, fixed-length word vectors, built using word co-occurrence statistics as per the distributional hypothesis. 分布式假说(distributional hypothesis) word with similar contexts have the…

论文阅读笔记 Improved Word Representation Learning with Sememes 一句话概括本文工作 使用词汇资源--知网--来提升词嵌入的表征能力,并提出了三种基于知网资源的词嵌入学习模型,在通用的中文词嵌入评测数据集上进行了评测,取得了较好的结果. 作者简介 该论文选自 ACL 2017,是清华大学孙茂松刘知远老师组的成果.论文的两名共同第一作者分别是牛艺霖和谢若冰. 牛艺霖,清华本科生. 谢若冰,清华研究生(2014-2017),清华本科生(2010-20…

1. NLP问题简介 0x1:NLP问题都包括哪些内涵 人们对真实世界的感知被成为感知世界,而人们用语言表达出自己的感知视为文本数据.那么反过来,NLP,或者更精确地表达为文本挖掘,则是从文本数据出发,来尽可能复原人们的感知世界,从而表达真实世界的过程.这里面就包括如图中所示的模型和算法,包括: ()文本层:NLP文本表示: ()文本-感知世界:词汇相关性分析.主题模型.意见情感分析等: ()文本-真实世界:基于文本的预测等: 显而易见,文本表示在文本挖掘中有着绝对核心的地位,是其他所有模型建构…

YOLO(You Only Look Once)是一个流行的目标检测方法,和Faster RCNN等state of the art方法比起来,主打检测速度快.截止到目前为止(2017年2月初),YOLO已经发布了两个版本,在下文中分别称为YOLO V1和YOLO V2.YOLO V2的代码目前作为Darknet的一部分开源在GitHub.在这篇博客中,记录了阅读YOLO两个版本论文中的重点内容,并着重总结V2版本的改进. Update@2018/04: YOLO v3已经发布!可以参考我的博客…

BERT 论文阅读 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 由 @快刀切草莓君 阅读编写. 1 引言 两种为下游任务应用预训练模型表示的现存策略 基于特征 e.g. ELMo:使用包括预训练表示作为额外特征的特定任务架构 精调 e.g. GPT Generative Pre-trained Transformer 引入最少的特定任务参数 这两种策略都使用了单一方向语言模型 限…