NLP之ROUGE[笔记]
0 前言
- [定义]ROUGE:recall-oriented understanding for gisting evaluation,面向召回的要点评估理解
- 召回率,recall rate;要点,gisting
- [应用领域]NLP:自动文本摘要评估(现主流评估方法之一)、机器翻译
1 结论[from paper]
本文介绍了一种用于总结的自动评价包ROUGE,并利用三年的DUC数据对ROUGE包中包含的自动措施进行了综合评价。为了检验结果的显著性,我们使用自举重采样估计相关的置信区间。我们发现:
- ROUGE-2、ROUGE-L、ROUGE-W、ROUGE-S在单文档摘要任务中表现良好.
- ROUGE-1、ROUGE-L、ROUGE-W、ROUGE-SU4和ROUGE-SU9在评价非常短的摘要(或类似标题的摘要)时表现出色.
- 相关高于90%时,很难实现对多文档摘要任务,但ROUGE-1,ROUGE-2,ROUGE-S4,ROUGE-S9,ROUGE-SU4,和ROUGE-SU9效果良好(stopwords排除在匹配时)
- 排除stopwords,通常能够提高相关性
- ①人类的评判通过使用多个引用,增加了其相关性。总之,我们证明了:ROUGE包可以有效地用于摘要的自动评估。
②在另一项研究中(Lin和Och 2004), ROUGE -L、W和S在机器翻译的自动评估中也被证明是非常有效的。
③作者于2004年(Lin)报道了不同测试样本大小下,ROUGE的稳定性和可靠性。
④然而,如何在多文档摘要任务中实现与人类评判的高相关性,仍然是一个有待研究的课题。 - 【感谢(Acknowledgements)】作者要感谢匿名评论者的建设性意见,Paul在美国NIST美国国防部高级研究计划局潮汐项目(DARPA TIDES project)支持这项研究。
2 延伸
- 会议/组织:ACL(Association for Computational Linguistics,计算语言学协会)【NLP推荐】
- 分会
- NAACL(北美分会)
- EACL(欧洲分会)
- AACL(亚太分会)
- ACL其它
- 交易/投稿
- 期刊主页(MIT出版)【NLP推荐】
- 分会
- 组织:ACM(Association for Computing Machinery计算机协会)
- 论坛/会议:ACM SIGIR【NLP推荐】
- Special Interest Group on Information Retrieval,ACM :情报检索专业组(美国计算机协会)
- 论坛/会议:ACM SIGIR【NLP推荐】
- 会议:AIRS((The Asia Information Retrieval Societies Conference亚洲信息检索学术会议)
- 会议:TREC(Text Retrieval Conference 文本检索会议,NIST,商务)
- 会议:DUC(DocumentUnderstandingConferences,2001-2007,NIST,美国商务部)
- 会议:TAC(Text Analysis Conference,2008-Now,NIST,美国商务部)
- 组织:NIST(National Institute of Standards and Technology,NIST,美国商务部)
- 会议:NLPCC(Natural Language Processing and Chinese Computing,CCF)【NLP推荐】
- 组织:CIPS(Chinese Information Processing Society of China中国中文信息学会)
- 会议:JSCL, 全国计算语言学联合会
- 会议:SEWM, Symposium of Search Engine and Web Mining,全国搜索引擎和网上信息挖掘学术研讨会【NLP推荐】
3 参考文献
.important{color:red;}
.small{font-size: 15px; line-height: 1.8;}
NLP之ROUGE[笔记]的更多相关文章
- Deep Learning for NLP学习翻译笔记(2)
Deep Learning for NLP Deep Learning for NLP Lecture 2:Introduction to Teano enter link description h ...
- [ NLP ] CS224N 学习笔记
Lecture1 One-Hot 定义:用N位状态寄存器编码N个状态,每个状态都有独立的寄存器位,且这些寄存器位中只有一位有效,说白了就是只能有一个状态.即保证每个样本中的每个特征只有1位处于状态1, ...
- 【转载】GAN for NLP 论文笔记
本篇随笔为转载,原贴地址,知乎:GAN for NLP(论文笔记及解读).
- 人工智能头条(公开课笔记)+AI科技大本营——一拨微信公众号文章
不错的 Tutorial: 从零到一学习计算机视觉:朋友圈爆款背后的计算机视觉技术与应用 | 公开课笔记 分享人 | 叶聪(腾讯云 AI 和大数据中心高级研发工程师) 整 理 | Leo 出 ...
- 【Deeplearning.ai 】吴恩达深度学习笔记及课后作业目录
吴恩达深度学习课程的课堂笔记以及课后作业 代码下载:https://github.com/douzujun/Deep-Learning-Coursera 吴恩达推荐笔记:https://mp.weix ...
- cips2016+学习笔记︱NLP中的消岐方法总结(词典、有监督、半监督)
歧义问题方面,笔者一直比较关注利用词向量解决歧义问题: 也许你寄希望于一个词向量能捕获所有的语义信息(例如run即是动车也是名词),但是什么样的词向量都不能很好地进行凸显. 这篇论文有一些利用词向量的 ...
- NLP︱高级词向量表达(二)——FastText(简述、学习笔记)
FastText是Facebook开发的一款快速文本分类器,提供简单而高效的文本分类和表征学习的方法,不过这个项目其实是有两部分组成的,一部分是这篇文章介绍的 fastText 文本分类(paper: ...
- 【NLP CS224N笔记】Lecture 3 GloVe: Global Vectors for Word Representation
I. 复习word2vec的核心思路 1. Skip-gram 模型示意图: 2.word vectors的随机梯度 假设语料库中有这样一行句子: I love deep learning and N ...
- 【NLP CS224N笔记】汇总
[NLP CS224N笔记]Lecture 1 - Introduction of NLP [NLP CS224N笔记]Lecture 2 - Word Vector Representations: ...
随机推荐
- idou老师教你学istio 21:基于角色的访问控制
istio的授权功能,也称为基于角色的访问控制(RBAC),它为istio服务网格中的服务提供命名空间级别.服务级别和方法级别的访问控制.基于角色的访问控制具有简单易用.灵活和高性能等特性.本文介绍如 ...
- 如何实现数组和 List 之间的转换?(未完成)
如何实现数组和 List 之间的转换?(未完成)
- SQL SERVER 2008 存储过程传表参数
最近项目使用到了存储过程传入表类型参数. --定义表类型 create type t_table_type as table ( id int, name varchar(32), sex var ...
- 使用math中的hypot实现向量
from math import hypot class Vector: def __init__(self,x=0,y=0): self.x = x self.y = y def __repr__( ...
- Python中的字典分组函数(groupby,itertools)
from operator import itemgetter # itemgetter用来去dict中的key,省去了使用lambda函数 from itertools import groupby ...
- [Assign the task][dfs序+线段树]
http://acm.hdu.edu.cn/showproblem.php?pid=3974 Assign the task Time Limit: 15000/5000 MS (Java/Other ...
- 编译安装PTLib和H.323 Plus Core
下载PTLib和H.323 Plus Core,官方网站很容易下载:http://www.h323plus.org/source/. 我下载这两个库后存放到目录/home/ynq/h323plus下, ...
- 捕获错误并处理try-catch
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
- javascript逻辑与(&&)
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
- 微信小程序 空白页重定向---二维码扫描第二次进入 不经过onLoad过程解析scene参数,跳转问题
在刚开始的时候将小程序的入口文件直接指向tabbar 的首页,此时出现问题:二维码扫描,第一次不关闭首页,第二次进入时:不会经过onLoad过程解析scene参数: 官方中解释:tabbar跳转方式触 ...