上下文嵌入(Bert词向量): 什么时候值得用? ACL 2018 预训练词向量 (上下文嵌入Bert,上下文无关嵌入Glove, 随机)详细分析文章 1 背景 图1 Bert 优点 效果显著 缺点 成本昂贵 (Memory,Time,  Money) (GPT-3,1700亿的参数量) 困惑 线上环境,资源受限(内存 CPU GPU) bert不一定是最佳 选择 用word2vec, glove等词向量有时候也能取得近似效果 但什么时候可以近似,需要实验说明,于是作者设计了实验 2 三种词向量…

Attention-over-Attention Neural Networks for Reading Comprehension 论文地址:https://arxiv.org/pdf/1607.04423.pdf 0 摘要 任务:完形填空是阅读理解是挖掘文档和问题关系的一个代表性问题. 模型:提出一个简单但是新颖的模型A-O-A模型,在文档级的注意力机制上增加一层注意力来确定最后答案 (什么是文档级注意力?就是每阅读问题中的一个词,该词对文档中的所有单词都会形成一个分布,从而形成文档级别的分…

https://github.com/google-research/bert BERT ***** New May 31st, 2019: Whole Word Masking Models ***** This is a release of several new models which were the result of an improvement the pre-processing code. In the original pre-processing code, we ra…

Abstract We introduce a new type of deep contextualized word representation that models both (1) complex characteristics of word use (eg, syntax and semantics), and (2) how these uses vary across linguistic contexts (i.e. to model polysemy). 我们引入了一种新…

最近对NLP中情感分类子方向的研究有些兴趣,在此整理下个人阅读的笔记(持续更新中): 1. Thumbs up? Sentiment classification using machine learning techniques 年份:2002:关键词:ML:引用量:9674:推荐指数(1-5):2 描述:基于电影评价,使用传统ML模型(Navie Bayes, maximum entropy classification和SVM)做情感分析. 心得: (1)主题分类(Topic Classi…

文章引起我关注的主要原因是在CoNLL03 NER的F1值超过BERT达到了93.09左右,名副其实的state-of-art.考虑到BERT训练的数据量和参数量都极大,而该文方法只用一个GPU训了一周,就达到了state-of-art效果,值得花时间看看. 一句话总结:使用BiLSTM模型,用动态embedding取代静态embedding,character-level的模型输出word-level的embedding. 每个词的embedding和具体任务中词所在的整句sequence都有…

Word Embeddings: Encoding Lexical Semantics Getting Dense Word Embeddings Word Embeddings in Pytorch An Example: N-Gram Language Modeling Exercise: Computing Word Embeddings: Continuous Bag-of-Words Word Embeddings in Pytorch import torch import torc…

词向量:编码词汇级别的信息 url:http://pytorch.org/tutorials/beginner/nlp/word_embeddings_tutorial.html?highlight=lookup 词嵌入 词嵌入是稠密向量,每个都代表了一个单词表里面的一个单词.NLP中每个Feature都是单词,但是怎么在电脑中表示单词呢?? ascii知识告诉我们每个单词是啥,没告诉我们是什么意思.还有就是,怎么融合这些表示呢? 第一步:通过one-hot编码.w=[0,0,1,0,0].其中…

Android Contextual Menus之二:contextual action mode 接上文:Android Contextual Menus之一:floating context menu ContextMenu的两种形式,上文讨论了第一种形式,兼容性较好. 本文讨论第二种形式,Android 3.0,即API Level 11之后可用. Contextual action mode Contextual action mode是 ActionMode 的系统实现,关注于执行上下…

Android Contextual Menus之一:floating context menu 上下文菜单 上下文相关的菜单(contextual menu)用来提供影响UI中特定item或者context frame的动作. 你可以为任何View提供上下文菜单,但是最常见的使用场景是在ListView.GridView或者其他集合类控件中的项目上,这样用户就可以对特定的项目执行一些直接的操作. 有两种方式来提供上下文相关的动作: 1.用悬浮上下文菜单( floating context me…