其实这是老板让上交的一份总结,贴出来,欢迎朋友们批评指正。

  

最近看了一部分关于NLP的几篇论文,其中大部分为神经网络实现,

从基本的HMM算法实现,到LSTM实现,有很多方法可以用来处理NLP任务中的阅读、QA或者记忆功能。另外,Facebook给出了20个NLP任务,也有一些公认的测试数据集。目前很多网络的改进和优化,以及各个LSTM变种的目标都是去完成这20个任务。

目前看完的论文的各种做法中:

1)         基于门函数控制的LSTM处理,属于网络变种,

2)         对序列化后读入的每一个词进行答案分析,最终得出分值比较高的答案,根据词序列,每读入一个词,结合问题序列分析一次答案,

3)         使用外部记忆模块,根据测试结果,将记忆模块分块分级,记忆效果更好,能有效加速查询,

4)         有些使用RNN+DNN组合网络的方法,能够实现较好的效果,

5)         相对于其他变种,觉得GRU的效果更好,或者说他结合了门控制函数,用于控制信息记忆与遗忘,这种机制比较好,

6)         也有些方法中,引入了知识图谱,作为预处理信息,但是这里,在实际应用中如何解决知识图谱的自动构建和更新,以及知识冲突时的规避原则等,都没有解决方案,

7)         也有方案中,自定义规则,抽取简单句问题中的几种问题类型,进行分门别类,但是面对多级问题时规则一点儿作用没有,或者说需要完整的规则,几乎不可能实现,

8)         在网络中引入聚焦模式的话,能够根据输入序列使得与问题相关的部分序列更加突出,也就相当于划重点的含义,

9)         有的引入大规模记忆模型,但是觉得模型应该是有网络可以直接参考的短期记忆,也应该有大规模的长期记忆,

10)     Facebook团队设计的端对端记忆网络模型中,构建了答案字典,可以用阈值限定精确匹配的标准,

11)     新的有效模型是循环聚焦模型,RNN+attention机制,

12)     有的使用了POS(part of speech)对输入语句进行语义解析,这个很难,但是具体效果上,或者从长期发展上看,不好说。目前已经有了较为准确进行语义解构的平台或者API,

  一家之言,认识还不成熟,目前禁止转载,

对NLP的一些新认识的更多相关文章

  1. NLP相关问题中文本数据特征表达初探

    1. NLP问题简介 0x1:NLP问题都包括哪些内涵 人们对真实世界的感知被成为感知世界,而人们用语言表达出自己的感知视为文本数据.那么反过来,NLP,或者更精确地表达为文本挖掘,则是从文本数据出发 ...

  2. NLP问题特征表达基础 - 语言模型(Language Model)发展演化历程讨论

    1. NLP问题简介 0x1:NLP问题都包括哪些内涵 人们对真实世界的感知被成为感知世界,而人们用语言表达出自己的感知视为文本数据.那么反过来,NLP,或者更精确地表达为文本挖掘,则是从文本数据出发 ...

  3. NLP/CL 顶会收录

    全文转载自知乎@刘知远老师:初学者如何查阅自然语言处理学术资料(2016修订版). 1. 国际学术组织.学术会议与学术论文 自然语言处理(natural language processing,NLP ...

  4. 理解BERT:一个突破性NLP框架的综合指南

    概述 Google的BERT改变了自然语言处理(NLP)的格局 了解BERT是什么,它如何工作以及产生的影响等 我们还将在Python中实现BERT,为你提供动手学习的经验 BERT简介 想象一下-- ...

  5. NLP新手入门指南|北大-TANGENT

    开源的学习资源:<NLP 新手入门指南>,项目作者为北京大学 TANGENT 实验室成员. 该指南主要提供了 NLP 学习入门引导.常见任务的开发实现.各大技术教程与文献的相关推荐等内容, ...

  6. 将迁移学习用于文本分类 《 Universal Language Model Fine-tuning for Text Classification》

    将迁移学习用于文本分类 < Universal Language Model Fine-tuning for Text Classification> 2018-07-27 20:07:4 ...

  7. nlp任务中的传统分词器和Bert系列伴生的新分词器tokenizers介绍

    layout: blog title: Bert系列伴生的新分词器 date: 2020-04-29 09:31:52 tags: 5 categories: nlp mathjax: true ty ...

  8. NLP的神经网络训练的新模式

    https://blog.csdn.net/jdbc/article/details/53292414 该模式分为:embed.encode.attend.predict四部分.

  9. 【NLP】十分钟快览自然语言处理学习总结

    十分钟学习自然语言处理概述 作者:白宁超 2016年9月23日00:24:12 摘要:近来自然语言处理行业发展朝气蓬勃,市场应用广泛.笔者学习以来写了不少文章,文章深度层次不一,今天因为某种需要,将文 ...

随机推荐

  1. SQL Server遍历表的几种方法 转载

    SQL Server遍历表的几种方法 阅读目录 使用游标 使用表变量 使用临时表 在数据库开发过程中,我们经常会碰到要遍历数据表的情形,一提到遍历表,我们第一印象可能就想到使用游标,使用游标虽然直观易 ...

  2. 引入Fresco

    这里告诉你如何在项目中引入 Fresco. 使用 Android Studio 或者其他 Gradle 构建的项目 编辑 build.gradle 文件: 1 2 3 4 dependencies { ...

  3. 100个Github上Android开源库

    项目名称 项目简介 1. react-native 这个是 Facebook 在 React.js Conf 2015 大会上推出的基于 JavaScript 的开源框架 React Native, ...

  4. 【leetcode】 Search a 2D Matrix (easy)

    Write an efficient algorithm that searches for a value in an m x n matrix. This matrix has the follo ...

  5. 【opencv】轮廓相关

    IplImage* contours_rect; IplImage* contours; CvMemStorage* countours_storage=NULL; if(contours_rect= ...

  6. 使用按钮控制HTML5背景音乐开关

    <!DOCTYPE HTML> <html> <head> <meta charset="utf-8"> <meta name ...

  7. 当对服务器端返回的极光推送数据请求时,AFN 的 GET 请求失败如何解决

    代码段 控制台   只需在 manager 那里添加一行代码即可 //传入json格式数据,不写则普通post     manager.requestSerializer = [AFJSONReque ...

  8. CSS设置超出指定宽度自动换行

    一.背景 最近项目中有用到在div中显示用户反馈的信息,是指定宽度的div,超出要自动换行,开始写好后感觉应该没什么问题,后来自己随便输入测试数据的时候发现:如果是纯字母或者是纯数字就会出现超出了也不 ...

  9. python基础——单元测试

    python基础——单元测试 如果你听说过“测试驱动开发”(TDD:Test-Driven Development),单元测试就不陌生. 单元测试是用来对一个模块.一个函数或者一个类来进行正确性检验的 ...

  10. 从xml中构建sqlSessionFactory

    String resource = "org/mybatis/example/Configuration.xml"; Reader reader = Resources.getRe ...