标题:Neural Machine Reading Comprehension: Methods and Trends

  • 作者:Shanshan Liu, Xin Zhang, Sheng Zhang, Hui Wang, Weiming Zhang

  • 链接:https://arxiv.org/pdf/1907.01118.pdf

摘要:过去几年里,随着深度学习的出现,机器阅读理解(其要求机器基于给定的上下文回答问题)已经赢得了越来越广泛的关注。虽然基于深度学习的机器阅读理解研究正蓬勃发展,但却没有综合性调研文章来总结该领域已经提出的方法和近期发展趋势。所以,本文对这一充满潜力的领域中的近期研究工作进行了全面概述。

具体来说,研究者首先对比了不同维度下的机器阅读理解任务,并介绍了总体架构。接着,他们又进一步对该领域常用模型中使用的 SOTA 方法进行分类。最后,研究者讨论了该领域新的发展趋势,并在文章结尾提出一些未决问题。

推荐:国防科技大学的这篇文章全面介绍了机器阅读理解研究的现状、发展和新趋势,是该领域内少有的综述类文章。机器阅读理解在机器问答、信息搜索等方面的具有重要意义,推荐有兴趣的读者阅读本文。

文章结构:

1.介绍MRC

2.任务和评估矩阵

MRC可以分成四个任务:

对应的数据集

loze Test, 完形填空

CNN & Daily Mail,CBT (The Children’s Book Test),LAM-

BADA dataset (LAnguage Modeling Boardened to Account for Discourse Aspects),Who-did-What,CLOTH,CliCR

Multiple Choice, 单选

MCTest,RACE

Span Extraction,跨度提取

SQuAD,NewsQA,TriviaQA,DuoRC

Free Answering,自由回答

bAbI,MS MARCO,SearchQA,NarrativeQA,DuReader

评价维度:construction, understanding, flexibility, evaluation and application

评价标准:ACC,F1, ROUGE-L, ROUGE (Recall-Oriented Understudy for Gisting Evaluation),BLEU (Bilingual Evaluation Understudy)

3.MRC系统的大体结构:

步骤

举例

Embeddings

Word2vec

Feature Extraction

RNN,CNN

Context-Question Interaction(在文中找到与问题最相关的部分)

Attention mechanism(注意力机制), unidirectional or bidirectional

Answer Prediction

4.深度学习在MRC系统中的应用

5.最新的进展

基于知识的机器阅读理解

不可回答问题

多段式机器阅读理解

对话问答

6.未解决的问题

外部知识的整合

MRC系统的鲁棒性

给定上下文的局限性

推理能力不足

7.结论

机器阅读理解综述Neural Machine Reading Comprehension Methods and Trends(略读笔记)的更多相关文章

  1. 机器阅读理解(看各类QA模型与花式Attention)

    目录 简介 经典模型概述 Model 1: Attentive Reader and Impatient Reader Model 2: Attentive Sum Reader Model 3: S ...

  2. 机器阅读理解(看各类QA模型与花式Attention)(转载)

    目录 简介 经典模型概述 Model 1: Attentive Reader and Impatient Reader Attentive Reader Impatient Reader Model ...

  3. 阅读关于DuReader:百度大规模的中文机器阅读理解数据集

    很久之前就得到了百度机器阅读理解关于数据集的这篇文章,今天才进行总结!.... 论文地址:https://arxiv.org/abs/1711.05073 自然语言处理是人工智能皇冠上的明珠,而机器阅 ...

  4. 论文选读二:Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification

    论文选读二:Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification 目前,阅读理解通常会给出 ...

  5. Attention-over-Attention Neural Networks for Reading Comprehension论文总结

    Attention-over-Attention Neural Networks for Reading Comprehension 论文地址:https://arxiv.org/pdf/1607.0 ...

  6. 微软发布MS MARCO数据集,提高计算机阅读理解能力

    ​ MARCO数据集,提高计算机阅读理解能力" title="微软发布MS MARCO数据集,提高计算机阅读理解能力"> ​ 本文译自:Microsoft data ...

  7. Cognitive Graph for Multi-Hop Reading Comprehension at Scale(ACL2019) 阅读笔记与源码解析

    论文地址为:Cognitive Graph for Multi-Hop Reading Comprehension at Scale github地址:CogQA 背景 假设你手边有一个维基百科的搜索 ...

  8. Tensorflow中使用TFRecords高效读取数据--结合Attention-over-Attention Neural Network for Reading Comprehension

    原文链接:https://arxiv.org/pdf/1607.04423.pdf 本片论文主要讲了Attention Model在完形填空类的阅读理解上的应用. 转载:https://blog.cs ...

  9. 神经机器翻译 - NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

    论文:NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE 综述 背景及问题 背景: 翻译: 翻译模型学习条件分布 ...

随机推荐

  1. linux tar打包压缩排除某个目录或文件

    用tar打包时想剔除打包目录中的某个子目录或文件: 比如你想打包/home这个目录,但是/home/afish/目录和/home/www/afish.php文件你都不想打包,方法是: tar -zcv ...

  2. java学习笔记15-封装

    把属性(成员变量)设置为私有(private),把方法设置为共有的(public),假如外界想要得到或者改变某个属性,只能通过方法来办到,这其实是封装的思想之一. 新建一个Student类,这个类有几 ...

  3. vue 后台获取文件流导出excel文件

    let params = { compStartTm: Date.parse(this.searchForm.compStartTm) / 1000, compEndTm: Date.parse(th ...

  4. nginx配置跨域之后前后端调用,二次请求

    公司项目从前后端不分离转到前后端分离 首先遇到的问题就是前后端分离的时候跨域的问题 但是当跨域成功配置并且能访问成功的时候发现 每次客户端的请求都会发送两次 第一次是OPTIONS的请求,然后才是正常 ...

  5. mongo operations

    Check Mongo Operate Logs db.getCollection('oplog.rs').find({'ns':{$in:['sxa.sxacc-organizations','sx ...

  6. IAR添加debug和release选项

    在IAR的Workspace窗口顶部的下拉菜单中有两个选项,Debug和Release. 名字和数量可以在菜单栏的Project-->Edit Configuration中增删修改 每个选项都对 ...

  7. 【安卓基础】使用Guideline与约束辅助布局的平分空间设计

    ConstraintLayout布局已经推出了很长一段时间,功能也是比较强大,能有效减少界面的视图层级嵌套,一定程度提升界面绘制效率. 在项目中,我也是最近才选择开始使用ConstraintLayou ...

  8. BZOJ 2169 连边 DP

    思路:DP 提交:\(1\)次(课上刚讲过) 题解: 如果不管重边的话,我们设\(f[i][j]\)表示连了\(i\)条边,\(j\)个点的度数是奇数的方案数,那么显然我们可以分三种状态转移: \(f ...

  9. 002_89C52_Proteus_DAC0832_输出50HZ,正弦波,三角波,矩形波,锯齿波

    (一)非常感谢:89C51与ad0832 输出正弦波,三角波,矩形波,锯齿波 (二)在上面的情况下进行程序的修改,实现50HZ的输出 (三)电路图 (三)输出方波 (四)输出锯齿波 (五)输出三角波 ...

  10. springboot与springcloud区别: