对NLP的一些新认识
其实这是老板让上交的一份总结,贴出来,欢迎朋友们批评指正。
最近看了一部分关于NLP的几篇论文,其中大部分为神经网络实现,
从基本的HMM算法实现,到LSTM实现,有很多方法可以用来处理NLP任务中的阅读、QA或者记忆功能。另外,Facebook给出了20个NLP任务,也有一些公认的测试数据集。目前很多网络的改进和优化,以及各个LSTM变种的目标都是去完成这20个任务。
目前看完的论文的各种做法中:
1) 基于门函数控制的LSTM处理,属于网络变种,
2) 对序列化后读入的每一个词进行答案分析,最终得出分值比较高的答案,根据词序列,每读入一个词,结合问题序列分析一次答案,
3) 使用外部记忆模块,根据测试结果,将记忆模块分块分级,记忆效果更好,能有效加速查询,
4) 有些使用RNN+DNN组合网络的方法,能够实现较好的效果,
5) 相对于其他变种,觉得GRU的效果更好,或者说他结合了门控制函数,用于控制信息记忆与遗忘,这种机制比较好,
6) 也有些方法中,引入了知识图谱,作为预处理信息,但是这里,在实际应用中如何解决知识图谱的自动构建和更新,以及知识冲突时的规避原则等,都没有解决方案,
7) 也有方案中,自定义规则,抽取简单句问题中的几种问题类型,进行分门别类,但是面对多级问题时规则一点儿作用没有,或者说需要完整的规则,几乎不可能实现,
8) 在网络中引入聚焦模式的话,能够根据输入序列使得与问题相关的部分序列更加突出,也就相当于划重点的含义,
9) 有的引入大规模记忆模型,但是觉得模型应该是有网络可以直接参考的短期记忆,也应该有大规模的长期记忆,
10) Facebook团队设计的端对端记忆网络模型中,构建了答案字典,可以用阈值限定精确匹配的标准,
11) 新的有效模型是循环聚焦模型,RNN+attention机制,
12) 有的使用了POS(part of speech)对输入语句进行语义解析,这个很难,但是具体效果上,或者从长期发展上看,不好说。目前已经有了较为准确进行语义解构的平台或者API,
一家之言,认识还不成熟,目前禁止转载,
对NLP的一些新认识的更多相关文章
- NLP相关问题中文本数据特征表达初探
1. NLP问题简介 0x1:NLP问题都包括哪些内涵 人们对真实世界的感知被成为感知世界,而人们用语言表达出自己的感知视为文本数据.那么反过来,NLP,或者更精确地表达为文本挖掘,则是从文本数据出发 ...
- NLP问题特征表达基础 - 语言模型(Language Model)发展演化历程讨论
1. NLP问题简介 0x1:NLP问题都包括哪些内涵 人们对真实世界的感知被成为感知世界,而人们用语言表达出自己的感知视为文本数据.那么反过来,NLP,或者更精确地表达为文本挖掘,则是从文本数据出发 ...
- NLP/CL 顶会收录
全文转载自知乎@刘知远老师:初学者如何查阅自然语言处理学术资料(2016修订版). 1. 国际学术组织.学术会议与学术论文 自然语言处理(natural language processing,NLP ...
- 理解BERT:一个突破性NLP框架的综合指南
概述 Google的BERT改变了自然语言处理(NLP)的格局 了解BERT是什么,它如何工作以及产生的影响等 我们还将在Python中实现BERT,为你提供动手学习的经验 BERT简介 想象一下-- ...
- NLP新手入门指南|北大-TANGENT
开源的学习资源:<NLP 新手入门指南>,项目作者为北京大学 TANGENT 实验室成员. 该指南主要提供了 NLP 学习入门引导.常见任务的开发实现.各大技术教程与文献的相关推荐等内容, ...
- 将迁移学习用于文本分类 《 Universal Language Model Fine-tuning for Text Classification》
将迁移学习用于文本分类 < Universal Language Model Fine-tuning for Text Classification> 2018-07-27 20:07:4 ...
- nlp任务中的传统分词器和Bert系列伴生的新分词器tokenizers介绍
layout: blog title: Bert系列伴生的新分词器 date: 2020-04-29 09:31:52 tags: 5 categories: nlp mathjax: true ty ...
- NLP的神经网络训练的新模式
https://blog.csdn.net/jdbc/article/details/53292414 该模式分为:embed.encode.attend.predict四部分.
- 【NLP】十分钟快览自然语言处理学习总结
十分钟学习自然语言处理概述 作者:白宁超 2016年9月23日00:24:12 摘要:近来自然语言处理行业发展朝气蓬勃,市场应用广泛.笔者学习以来写了不少文章,文章深度层次不一,今天因为某种需要,将文 ...
随机推荐
- 20145213《Java程序设计学习笔记》第六周学习总结
20145213<Java程序设计学习笔记>第六周学习总结 说在前面的话 上篇博客中娄老师指出我因为数据结构基础薄弱,才导致对第九章内容浅尝遏止地认知.在这里我还要自我批评一下,其实我事后 ...
- ubunto安装pycharm
转载:http://www.cnblogs.com/zhcncn/p/4027025.html 1. 下载 http://www.jetbrains.com/pycharm/download/ 选择L ...
- 搞笑世界杯(codevs 1060)
题目描述 Description 随着世界杯小组赛的结束,法国,阿根廷等世界强队都纷纷被淘汰,让人心痛不已. 于是有 人组织了一场搞笑世界杯,将这些被淘汰的强队重新组织起来和世界杯一同比赛.你和你的朋 ...
- 项目配置laungchImage
- hdu3038(带权并查集)
题目链接: http://acm.split.hdu.edu.cn/showproblem.php?pid=3038 题意: n表示有一个长度为n的数组, 接下来有m行形如x, y, d的输入, 表示 ...
- 关于java中的异常问题 1
1.首先参考一下关于java异常处理方面的知识 查看博客http://lavasoft.blog.51cto.com/62575/18920/ 这里介绍的很好,下面从中学习到一些东西,摘抄如下: 1. ...
- Eclipse内存不够解决办法
Window -- Preference --MyEclipse -- Servers -- Tomcat -- Tomcat6.x(选择自己安装的版本) -- JDK 在Optional Java ...
- Oracle RAC 连接
http://blog.csdn.net/hijk139/article/details/7452553 http://blog.itpub.net/4227/viewspace-677272/ ht ...
- Faster-rnnlm代码分析3 - EvaluateLM(前向计算ForwardPropagate)
先采用一个简单的输入文本做测试 [root@cq01-forum-rstree01.cq01.baidu.com rnnlm]# pwd /home/users/chenghuige/rsc/app/ ...
- Delphi基本数据类型---枚举、子界、集合、数组
参考:http://blog.csdn.net/qustdong/article/details/9230743 参考:http://www.cnblogs.com/xumenger/p/440222 ...