1. 前言

实体和关系的联合抽取问题作为信息抽取的关键任务,其实现方法可以简单分为两类:

  • 一类是串联抽取方法。传统的串联抽取就是首先进行实体抽取,然后进行关系识别。这种分开的方法比较容易实现,而且各个模块灵活度比较高。但是这种方法中,实体识别的结果会影响到关系识别的结果,所以容易产生误差累积。
  • 另一类是联合抽取方法:使用一个模型同时实现实体抽取和关系抽取,能更好的整合实体及其关系之间的信息。但现有的联合抽取方法也存在诸多问题,比如:大部分的联合抽取模型需要人工参与构建特征。为了减少人工抽取特征工作而提出基于神经网络的end-to-end模型,因在模型实现过程中分开抽取实体及其关系而导致信息冗余等问题。

本文解析的论文《Joint Extraction of Entities and Relations
Based on a Novel Tagging Scheme》
中提出了一个新的模型框架来解决此类问题,并在公开数据集 NYT 上取得了很好的效果。

2. 算法模型

这篇论文提出将一种新的标注方法来解决联合抽取任务,将联合抽取问题转化为标注问题,这样就可以避免复杂的特征工程。由于LSTM在end-to-end的命名实体识别模型当中有比较好的表现,而且LSTM本身能够学习长期依赖关系,有利于解决序列建模任务。所以本文基于新的标注方法,研究了基于LSTM的end-to-end模型来解决联合抽取实体和关系的任务。除此之外还在解码的过程中增加了偏置损失函数,增强了相关实体之间的联系,让模型更加适合特殊标签。

2.1 标注方法

上图所示,模型的输入一句非结构化的文本,输出为一个预定关系类型的三元组。
为了实现该任务,作者首先提出了一种新的标注模式,将信息抽取任务转化为序列标注任务。

如上图所示,这种标注模式将文本中的词分为两类,

  • 第一类代表与抽取结果无关的词,用标签“O”来表示;
  • 第二类代表与抽取结果相关的词,这一类词的标签由三部分组成:当前词在entity中的位置-关系类型-entity在关系中的角色。
    • 作者使用“BIES”(Begin,Inside,End,Single)标注,来表示当前词在 entity中的位置。
    • 关系类型则是从预先设定的关系类型集中获得的。
    • entity在关系中的角色信息,用“1”,“2”来表示。其中“1”表示,当前词属于三元组(Entity1,RelationType,Entity2)的 Entity1,同理“2”表示当前词属于Entity2。

最后根据标注结果将同种关系类型的两个相邻顺序实体组合为一个三元组。例如:通过标注标签可知,“United”与“States”组合形成了实体“United States”,实体“United States”与实体“Trump”组合成了三元组 {United States, Country-President, Trump}。如果一个句子中包含两个或者更多相同关系类型的三元组,我们基于最近原则将两个实体组合为三元组。本篇论文只考虑一个实体只属于一个三元组的情况。

2.2 End-to-End模型

当输入为文本语句的时候,为了自动实现对文本词序列的标注工作,作者提出了一个端到端的模型来实现了该工作。模型结构如下图

  1. 词嵌入层将每个词的 one-hot 表示向量转化为低维稠密的词嵌入向量(维度为 300);
  2. Bi-LSTM 编码层(层数为 300)用于获得词的编码信息;
  3. LSTM 解码层(层数为 600)用于产生标签序列。其中加入偏移损失来增强实体标签的关联性。

3. 实验结果及分析

本实验采用NYT数据,实验的训练集采用远程监督方法标注,而测试集为人工标注。训练数据包括353000个三元组,而测试数据包括3880个三元组,关系集的大小为24。本实验采用精确度、召回率和F1值进行评估。该算法与传统方法的不同之处在于,抽取三元组时不需要知道实体的类型信息,所以在评估过程中不需要考虑实体类型。当三元组的关系类型、以及对应的两个头部偏移实体都正确时,这个三元组被认为是正确的。实验结果如下:

前三行是串联抽取的结果,中间4-6行是联合抽取的结果,最后三行是基于基于本文所提出的新的标注方法的end-to-end模型实现的联合抽取的实验结果。可以发现联合抽取的方法优于串联抽取的方法,而end-to-end的联合抽取方法又优于联合抽取方法。而三种end-to-end模型中,编码过程都采用双向LSTM,而解码过程则分别用CRF、LSTM以及LSTM+Bias,可以发现LSTM的解码方式优于CRF,出现这一结果的原因是CRF 旨在最大化整个标签序列的联合概率,LSTM 能够学习序列元素之间的长距离依赖关系,由于关联标签之间可能彼此具有较长距离,所以基于 LSTM 的解码方式比 CRF 稍好。而增加了偏置权重以增强特殊标签的作用,并削弱无效标签的影响的LSTM+Bias解码方法可以获得比常见端对端模型更好地效果。

4. 总结

这篇论文提出一个新的标注方法,并且研究了利用end-to-end模型来联合抽取实体和关系,实验结果证明该方法非常有效。但是面对重叠关系,依旧存在缺陷。后续将研究在输出层用多分类代替softmax函数来解决重叠关系的问题。

Joint Extraction of Entities and Relations论文解析的更多相关文章

  1. 面部表情视频中进行远程心率测量:ICCV2019论文解析

    面部表情视频中进行远程心率测量:ICCV2019论文解析 Remote Heart Rate Measurement from Highly Compressed Facial Videos: an ...

  2. [Network Architecture]Mask R-CNN论文解析(转)

    前言 最近有一个idea需要去验证,比较忙,看完Mask R-CNN论文了,最近会去研究Mask R-CNN的代码,论文解析转载网上的两篇博客 技术挖掘者 remanented 文章1 论文题目:Ma ...

  3. LTMU论文解析

    LTMU 第零部分:前景提要 一般来说,单目标跟踪任务可以从以下三个角度解读: A matching/correspondence problem.把其视为前后两帧物体匹配的任务(而不考虑在跟踪过程中 ...

  4. CVPR2020论文解析:实例分割算法

    CVPR2020论文解析:实例分割算法 BlendMask: Top-Down Meets Bottom-Up for Instance Segmentation 论文链接:https://arxiv ...

  5. 人脸真伪验证与识别:ICCV2019论文解析

    人脸真伪验证与识别:ICCV2019论文解析 Face Forensics++: Learning to Detect Manipulated Facial Images 论文链接: http://o ...

  6. 人体姿态和形状估计的视频推理:CVPR2020论文解析

    人体姿态和形状估计的视频推理:CVPR2020论文解析 VIBE: Video Inference for Human Body Pose and Shape Estimation 论文链接:http ...

  7. 视频教学动作修饰语:CVPR2020论文解析

    视频教学动作修饰语:CVPR2020论文解析 Action Modifiers: Learning from Adverbs in Instructional Videos 论文链接:https://a ...

  8. 分层条件关系网络在视频问答VideoQA中的应用:CVPR2020论文解析

    分层条件关系网络在视频问答VideoQA中的应用:CVPR2020论文解析 Hierarchical Conditional Relation Networks for Video Question ...

  9. 慢镜头变焦:视频超分辨率:CVPR2020论文解析

    慢镜头变焦:视频超分辨率:CVPR2020论文解析 Zooming Slow-Mo:  Fast and Accurate One-Stage Space-Time Video Super-Resol ...

随机推荐

  1. Anti-Forgery Request Recipes For ASP.NET MVC And AJAX

    Background (Normal scenario of form submitting) To secure websites from cross-site request forgery ( ...

  2. 【struts2】预定义拦截器

    1)预定义拦截器 Struts2有默认的拦截器配置,也就是说,虽然我们没有主动去配置任何关于拦截器的东西,但是Struts2会使用默认引用的拦截器.由于Struts2的默认拦截器声明和引用都在这个St ...

  3. Spring Boot加载配置文件

    问题1:Spring如何加载配置,配置文件位置? 1.默认位置: Spring Boot默认的配置文件名称为application.properties,SpringApplication将从以下位置 ...

  4. MongoDB学习笔记(5)--document

    MongoDB 插入文档 本章节中我们将向大家介绍如何将数据插入到MongoDB的集合中. 文档的数据结构和JSON基本一样. 所有存储在集合中的数据都是BSON格式. BSON是一种类json的一种 ...

  5. 乙醇的webdriver实用指南java版本

    启动浏览器 关闭浏览器 浏览器最大化 设置浏览器大小 访问链接 打印当前页面的title及url 前进和后退 简单的对象定位 定位一组对象 层级定位 操作测试对象 send keys模拟按键输入 处理 ...

  6. ROC 曲线简要解释

    阳性 (P, positive)阴性 (N, Negative)真阳性 (TP, true positive):正确的肯定.又称:命中 (hit)真阴性 (TN, true negative):正确的 ...

  7. php分享十六:php读取大文件总结

    一:file函数读取 file()函数的效率很底下 如果是有规律的文件.比如每行一条相应数据.那么尽量不要是用file()函数,可以使用file_get_contents()然后用explode切割. ...

  8. HTML常用标签(整理)

    超文本标记语言,即HTML(Hypertext Markup Language),是用于描述网页文档的一种标记语言.现在应用主流是HTML 4.01版本,发布于1999年,为W3C推荐标准.HTML ...

  9. Eclipse Axis2 插件将代码生成WSDL指南

    Eclipse Axis2 插件将代码生成WSDL指南 快速学习手册 开发工具:https://spring.io/tools 插件地址:http://axis.apache.org/axis2/ja ...

  10. Atitit 项目的主体设计与结构文档 v5

    Atitit 项目的主体设计与结构文档 v5 1. 版本历史说明2 2. 功能大概说明2 3. 实现的目标3 3.1. cross device跨设备(pc 手机 平板)3 3.2. cross sc ...