Twenty-five years of information extraction

信息抽取的25年

摘要

信息抽取是将非结构化文本转换为包含从文本中选择的信息的结构化数据库的过程。这是使文本的信息内容可用于进一步处理的重要步骤。在本文中，我们描述了信息抽取在过去25年中的变化，从手工编码规则到神经网络，还有一些停留的过程。我们将这些变化与NLP的研究进展以及美国政府组织的评估联系起来。
关键词：信息抽取；信息理解

1.简介

这一周年纪念日使我们有机会回顾过去25年的信息抽取（IE），请考虑发生了什么变化以及发生这些变化的原因。
首先，有一些定义：
IE是自动识别和分类用户指定类型的实体，关系和文本事件的实例。输出是可以由其他应用程序容易地解释的结构化信息（例如，数据库）。说明书可以采取示例或对要抽取的信息的口头描述的形式。用户认为等效的文本应映射到相同的输出结构。
尽管有例外，但要抽取的信息仅限于特定个人和特定事件。排除了一般信息，条件信息，知识陈述和信念。这些限制旨在使任务比一般的语言理解更易于处理，输出内容更易于解释。
这与开放式IE不同，开放式IE将文本简化为一组基本句子（主语-动词-宾语三元组）供人类食用或搜索（但不一定涉及将替代的口头描述折叠成规范形式）。
尽管现在通用评估语料库是NLP大部分领域的组成部分，但美国政府的共享评估在IE的发展中发挥了特别重要的作用。尽管这些评估被称为“会议”，但它们涉及的内容更多：任务规范，参与者为任务系统实施的系统，测试数据的发布及其处理和评分。在过去的30年中，我们进行了三项主要评估：
MUC（MessageUnderstandingConference）开始于1988年以评估IE，MUC将IE建立为NLP的主要应用（Sundheim 1996）。
ACE（自动内容抽取）用几十个一般关系和事件代替了填充一个复杂且特定于任务的模板。产生了大量带注释的培训数据，促进了监督方法的发展（Doddington等人，2004年）。
KBP（知识库）增加了要处理的数据的规模，其目标是创建一个连接数以万计的具有约40个关系的实体的统一数据库，然后回答有关所选实体的问题。提供最少的带注释的训练数据，从而鼓励采用半监督方法（Ji and Grishman 2011）。
IE的定期评估反过来又成为了NLP其他许多领域评估的模型。
频繁的评估（每1或2年）可以准确了解过去30年中使用IE的各种方法。评估中的每个参与者都需要提供（多页）系统描述。参加者包括大学和工业界，并受其激励（受政府合同的可能性），将他们认为是“最佳实践”的东西并入，而不仅仅是最流行的方法。
由于会议都是由美国政府机构组织的，因此最初的参与者主要来自美国就不足为奇了。但是随着会议的进行，他们具有了更国际化的特征。到2005年，在15个小组中有6个不在美国。到2010年，KBP的20位参与者中只有7位来自美国，6位来自欧洲，其余分布广泛。

2.语料库之前：基于规则的系统

如果我们将时间倒退到1994年（25年前）以及本期刊的开头，我们将发现一种新的NLP技术正在引入更广阔的世界。
最近十年的信息爆炸式增长，对处理和分析大量在线数据提出了越来越高的要求。作为响应，高级研究计划局（ARPA）一直在支持研究以开发一种称为IE的新技术。 IE是一种文档处理，可以捕获并输出文档中包含的事实信息。 IE系统类似于信息检索系统，可以响应用户的信息需求。信息检索（IR）系统识别大型文本数据库中文档的子集，或者在图书馆场景中识别图书馆中资源的子集，而IE系统识别文档中信息的子集（Okurowski 1993）。
该公告基于一系列MUC，这些MUC定义了IE的任务及其评估。会议系列始于1988年，当时是应邀参加NOSC（海军海洋系统司令部）的会议（“ MUC-1”），讨论如何评估IE。为了能够比较系统，就需要共享模板以捕获文档中最重要的信息达成了共识。将根据系统填充这些模板插槽的准确性来判断系统。 MUC-2代表了这种评估的尝试； MUC-3同意使用召回率，精度和F度量进行评分。 （F度量是召回率和精度的谐波均值，被建议作为为参与系统分配等级的主要度量。）
MUC-1和MUC-2都使用海军演习消息流量（“雨形”和“ opreps”）作为语料。典型的消息如下：
22.1通过对ASROC和TORPEDOS的攻击对肉眼进行视觉观察。
22.2潜艇坠毁。
22.3 LOOSEFOOT 722/723继续搜索。
22.4布宜诺斯艾利斯路和星座之间。
附录A中显示了为MUC-2计划的模板。
MUC-3和4使用了拉丁美洲的恐怖主义新闻（Chinchor等，1993）。附录B中显示了示例消息以及从该消息生成的已填充模板之一。
随着任务的定义更加清晰，参与者的数量也在增加。根据MUC-5，1993年有16名参与者，大学和公司（主要是国防承包商）平均分配（MUC 1993）。 MUC任务在其他方面也越来越大。 MUC-5的参与者可以选择两种抽取主题（合资企业或微电子学）和两种语言（英语或日语）。模板比往年要复杂得多。a在MUC-5之后，简化了任务以限制参与所需的工作。为了强调针对新领域的IE系统的更快开发，从发布培训材料到实际评估的时间减少到一个月。 MUC-6涉及高管继任； MUC-7涉及火箭发射。
参与多个MUC导致抽取体系结构的融合，这是一个冗长的流程，其中包括一些熟悉的名称（Hobbs 1993）。例如，很快就很清楚，识别名称的预处理器至关重要。但是仍然存在一些基本分歧。

2.1解析或不解析

一个分歧涉及全句分析。 IE的工作是分析输入文本的结构，然后在该结构的指导下生成指定的输出关系。问题是要建立多少结构。一个可能的答案是建立一个完整的分析树，从而定义句子中每个单词的作用。但是，在1990年做到这一点并不容易。文法是手工构建的，要么太紧（无法解析1/3到1/2的句子），要么太松散（产生了数十个解析）。典型的解决方案是将严格的语法与一种机制结合起来，以在无法进行完整句子解析的情况下恢复部分解析。对于MUC-5，一半的参与者（8）试图为每个句子生成完整的分析；目前还不清楚它们有多成功。大多数的演讲者支持一种语言形式主义：MUC-5.b代表了GB（政府约束理论），LFG（词汇功能语法），HPSG（头部驱动的短语结构语法）和CCG（组合类别语法）。
完全解析的主要替代方法是部分解析（分块）。这是更快，更可靠的方法，但是只生成了一些所需的结构。语义模式必须完成其余的工作。例如，考虑雇用高管的“姓名”事件。它可能显示为一个简单的主动句子，即“ IBM命名为Fred President，IBM（命名公司职位的人选公司）”，一个被动句子，“ Fred被任命为IBM的总裁”，一个相对从句，“ Fred，被任命为IBM的总裁，等等。这对于表示一个事件的句子是可以的，但是考虑到表示两个事件的句子：
去年被任命为IBM总裁的弗雷德昨天突然辞职。
relative子句的模式仍然匹配，但是另一个事件（Fred … resigned）被分为两部分。创建一套完整的模式来处理所有这些情况非常棘手。
SRI团队提供了一个简洁的解决方案。他们实施了不确定性适用的事件规则，并可能跳过选定的组成部分。例如，“辞职”的简单现用句子模式已扩展为
人亲代词（名词组|其他）*动词组（名词组|其他）*辞职
可以跳过相对子句，同时匹配“ Fred”和“ resigned”。c由于不确定地应用了模式，因此两个模式都将匹配，并且将报告两个事件。最终的系统FASTUS既快速又有效（Hobbs等，1993 1997）。 SRI研究人员谨慎地指出，此解决方案适用于IE，但不适用于需要捕获事件之间关系的一般语言理解任务。
这时，第一个经过语料库训练的用于词性标注的系统可用（Church 1988）。他们比基于规则的前任要精确得多，并且开始在MUC-5中发现一些有限的用途。

2.2建立领域模型

一旦对输入数据进行了句法分析，我们必须检测到感兴趣的提及，确定它们的论据，并生成输出结构。尽管通过不同的站点以不同的术语进行了描述，但这通常是通过语义模式匹配过程实现的。模式由英语单词，特定领域的单词类和句法角色组成。如果系统生成了全语句解析树，则该模式必须匹配子树；如果系统生成了块序列，则该模式必须匹配一个子序列。
研究源文本并建立领域模型仍然是一种技巧。如果单词类太笼统或模式太简短，系统将过度抽取（低精度）。很有可能将省略某些模式，并且系统将抽取不足。
探索（部分）自动化此过程的可能性的一个站点是来自麻省大学阿默斯特分校的小组，该小组参加了MUC-4。大多数MUC任务规范都包含少量（通常为100个）带有手工标记的示例文档。对于MUC-3和MUC-4，政府提供了这100个带批注的文档，但也提供了1000多个未加标签的文档，其中一半是同一主题。这为半监督学习者提供了一个机会。文件已被抹黑，其中包括darelevant事件（在本例中为恐怖事件），而没有事件。这比用文档的插槽填充符注释文档要小得多。同时，对语料库进行了解析，并为语料库中的每个名词短语记录了其直接上下文（通常是主语-动词-宾语结构）。然后，他们针对每个上下文计算了包含与抽取任务相关的短语的文档分数。这些被排序，并且排名最高的短语被收集为有希望的抽取模式（Riloff 1996）。这组模式在IE上与一组手动选择的模式一样有效。
Pens TreeBank的建成于1990年代中期（Marcus等，1993），导致了一系列经过树库训练的解析器，其准确性不断提高（Collins，1996），并使全语句解析更具竞争力。这为时已晚，无法对其余两个MUC产生重大影响— BBN是唯一一个结合了基于树库的解析器的站点（Miller等人，1998年）–但是，对于为需要精确解析器的监督方法做好充分准备的领域。

2.3划分任务

直到MUC-5，参与MUC的唯一方法是创建一个完整的系统来填充事件模板，这可能需要多个组件子系统。为了鼓励开发这些组件，MUC-6划分了三个任务，分别是实体标记，共指，一个nd模板元素，并分别进行了评估（Grishman和Sundheim 1996）。这些被视为与场景无关的更一般的任务。原始任务被称为方案模板。我将更多的注意力放在这些任务上，并支持专注于一项任务的NLP专家的崛起。进行单独评估也可以“即插即用”。 MUC-7添加了第五项任务，即模板关系任务。
特别是命名实体任务很快就拥有了自己的生命。它有很多事情要做。这很容易解释。实现一个表现出有用性能的系统（使用手工编码的规则）并不是太困难。在引入机器学习方法的同时，就可以完成单独的任务。它本身很有用。
最后，在MUC-7之后，人们提出了有关持续MUC的价值的问题。其中一些模板非常具体； MUC-5包含一个具有40多个插槽的模板。这导致了很多与IE技术没有直接关系的工作。表现最好的人似乎都有在F = 50-60时达到最高。成立了一个工作组，该工作组建议抽取一组基本事件及其论据，而不是抽取整体模板（Hirschmanet等，1999）。这成为ACE程序（始于2001年）的基本主题。

3.受监督的方法：ACE

3.1实体、关系和事件

在ACE中，每个文档中的信息由一组实体，关系和事件表示。有七种实体，六种关系和八种事件。这些类型在附录C中显示；每个类型进一步分为子类型（未显示）。关系是二进制的；事件可以具有任意数量的参数。除少数例外，参数必须是实体或时间表达式（因此不包括将其他事件作为参数的关系或事件）。关系或事件的参数必须出现在同一句子中。这使注释更容易处理。它也简化了建模，因为它减少了对分类任务的关系标记（对同一句子中的所有实体对进行分类）。
带有注释的ACE评估语料库仍被广泛用作IE的基准。特别是，用于2005年评估的三种类型的数据结构仍被用于注释其他数据（Aguilar等人，2014）。
另一个基本主题是监督培训。从MUC和同时期的NLP研究中可以清楚地看到，对训练数据进行注释可能是提高抽取性能的有效方法。为了支持这种培训，在语料注解上进行了大量投资。每年发布新的语料库。在ACE 2005上，最大的是300,000个英语单词，以及相当数量的中文和阿拉伯语。
此外，为了评估抽取的鲁棒性，其中一个版本包含了音频转录本和OCR（光学字符识别）的嘈杂输出，但是并未对此进行进一步追求。
正如我们已经指出的，在1990年代初期，NLP的核心任务已经转移到语料训练的模型，最初用于词性标记，然后用于解析，这大大提高了中间结果的质量。
我们将依次考虑每种类型的IE结构最流行的模型：命名实体，实体，关系和事件。

3.2命名实体

该组件的一般作用是识别和分类我们语料库中的所有名称。更抽象地讲，它的工作是封装不属于核心语言的所有杂乱，临时结构。除名称外，还可以包括地址，一天中的时间和化学式（Nadeau和Sekine 2007）。
这本质上是一个序列标记问题，通常可以通过令牌级别的MEMM（最大熵马尔可夫模型）或CRF（条件随机场）解决（Nadeau和Sekine2007）。利用帐户的全球功能有一个小的好处，那就是可以使文档之间的名称保持一致：如果在两个文档中出现相同的名称，则我们倾向于将两个实例分配为相同名称类型的分析（Finkel et al。2005）。要对训练中未出现的名称进行分类，需要使用许多功能-主要是形状，前缀和后缀。在某些顶级系统中，这种基于功能的方法已被运行双序列模型的系统所取代，该系统运行在令牌级别，在字符级别运行一个双重序列模型（Klein等，2003）。

3.3实体

实体生成通常将在解析器输出上运行。它有两个主要功能：将核心短语组合在一起并为每个组分配一个语义类型。 ACE有七个实体语义类型，如附录C所示。不属于这七个类型之一的组将被删除。剩下的是一组实体，每个实体都包含一组提及的实体。
共参照使用了几种类型的模型，主要是提及提及模型（首先将每对实体的提及分类为共同参照的可能性，然后解决冲突）和提及实体模型（对文档进行一次遍历，处理实体以文本顺序进行提及，或者将提及分配给先前创建的实体，或者构造新的实体）（NG 2017）。

3.4关系

如前所述，由于关系是同一句子中成对的实体之间的关系，因此可以将关系标记视为分类问题，将每对实体分类为关系类型或NONE。使用最大熵方法进行了广泛的研究，并尝试了多种功能，包括单词，实体类型和依赖关系（Kambhatla 2004； Jiang and Zhai 2007）。内核方法也已成功使用（Zhao和Grishman 2005）。

3.5活动

正确处理事件更具挑战性，因为它涉及触发器（定义事件的主要词）和多个参数的相互作用。因此，它是结构化的预测任务。最简单的解决方案是首先确定事件的类型（如果有），然后分析参数（Ahn 2006）。但是，这失去了相当大的准确性，因为对于许多常用动词，其含义取决于所采用的论点。例如，发射人员与发射火箭是不同类型的事件。
更好的解决方案是使用联合推理：如果标签选择相互影响，则可以优化它们的组合。除了事件类型与事件自变量之间的交互作用外，相邻事件的类型之间也存在交互作用（攻击常与死亡并存）（Li等人，2013）。
事件抽取之后是事件共指，事件共指的作用是识别同一事件的多个提及。与实体共同引用一样，有几种可行的策略，包括提及对模型和提及排名模型（Lu and Ng 2018）。这些模型依赖于提及的参数结构：如果事件类型一致且参数值兼容，则它们将一对事件提及归为潜在的潜在干扰。可以通过引导学习一些兼容参数的示例，但性能不高（Huang等人2019）。部分原因是事件共指的许多情况都很复杂，涉及遏制或部分重叠。

4.半监督方法

ACE在产生带注释的语料和研究结果方面是成功的，但是存在一些未解决的问题。特别是，它单独处理文档，而许多现实任务涉及大量相互关联的文档。有关个人的信息可能需要从多个文档中拼凑而成。为了解决这些问题，NIST（美国国家标准技术研究院）组织了年度“文本分析会议”，其中心任务是“知识基础人口”（KBP）（Ji and Grishman2011）。从2009年开始，KBP任务逐年增加了其他组件。当数据集基本完成时，我们将描述截至2017年的“冷启动”变体。
为参与者提供了大量未注释的文档，各种报纸文章和博客，以及两到四百万种英语，中文和西班牙语的文档。一个小的其中每种语言的30,000个文档中的一部分用作测试语料库；预计站点将构建一个图形，其中每个节点代表测试集中提到的个人，组织，GPE（地缘政治实体），位置或设施。与每种类型的节点相关联的是一组属性。其值可以是数字，日期，字符串或网络中的另一个节点。例如，人员节点将具有age属性，该属性的值是整数，并且city_of_birth是GPE节点。
另外，站点必须将实体链接到测试集中出现的事件的参数。
与ACE相比，测试语料约大两个数量级。在这种规模下，对测试语料库进行完整的手动注释是不可行的。评分是通过抽样完成的：NIST选择了测试语料库中提到的一些名称，并检查（1）系统是否为此名称创建了一个节点，以及（2）该节点是否具有所需的属性。用于各种注释任务的培训文档非常少-运行任务的第一年提供的样本很少，随后的几年中通过评分所需的注释进行了补充。
大量的未注释数据和缺少注释的培训鼓励使用半监督方法进行实验-从部分标记的数据中学习。最直接的是将MUC-4中的早期工作推广到自举，这是一种从标记小种子开始的迭代策略。自举成功地应用于场景模板（Yangarber等，2000），命名实体（Collins和Singer，1999）以及关系（Agichtein和Gravano，2000）。然而，并非总是能保证成功。添加错误的元素可能会导致引导程序严重误入歧途。
与会者还获得了一个大型数据库BaseKB。这使研究人员能够探索一种训练关系分类器的方法，称为远距离监督（Mintz等，2009）。远程监管的基本思想是将一组现有的事实转换为带注释的语料库，然后使用带注释的语料库以常规方式训练分类器。这些对中的一个出现在由单词序列wi分隔的语料库中。我们将注释表示关系R的每个序列。
基本模型做出了强有力的假设，而实际数据并不能满足这些假设。假定如果对与语料库中的句子匹配，则该句子表示关系R。违反此假设会导致带噪注解的语料库，其中包含许多假阳性和假阴性。另一种MIML（多实例MultiLabel）模型仅要求该对中的至少一个实例表示一个关系，并且该对可以表示多个关系标签。该模型平均导致更清晰的注释（Surdeanu等，2012）。通过将远程监管与一些手动注释的数据相结合，可以实现进一步的改进（Pershina等，2014）。
还正在尝试更激进的方法，包括少打法，甚至零打法。这些解决了您拥有事件抽取器的情况，该事件抽取器可以识别N个事件类型，现在希望增加识别N +第一个事件类型的功能。在少数方法中，提供了少量的训练数据；在零方法中，没有提供其他训练数据。黄等。 （2018）建议基于事件的参数在共享语义空间中建立事件类型和事件实例的基础，然后在给定新的事件实例的情况下，将其分配给最接近的类型。 Levy等。 （2017）将一个关系转换为一组问题，然后依靠阅读理解系统来回答这些问题。
远程监督能否胜过手工构建的模式或监督培训取决于几个因素。手工准备图案需要相当的技巧和洞察力，但可能会产生相对干净的（高精度）系统。带注释的语料库的准备可能需要较少的技能，但需要更多的时间。远程监管需要最少的劳动，但可能会产生最嘈杂的模型。最好的方法很可能将涉及这些方法的某种组合。

5.深度学习

在过去的几年中，深度学习（多层神经网络）的发展已对所有NLP产生了巨大的影响。 IE也不例外。
与之前的可训练模型（主要是最大熵模型）相比，神经网络具有一个主要优势：只要有足够的训练数据和时间，它们就可以捕获其输入的任意功能。这意味着它们不需要手动特征工程。另一方面，时间因素可能很重要。引用一到两周的培训时间并不罕见。
尽管以前的模型在某种程度上利用了顺畅的词汇依存性，但单词通常被视为离散的符号。如果需要矢量表示，它将采用稀疏1热矢量的形式。但是，实用的神经网络需要使用连续值，低维向量进行表示。实际上，每个单词都由d空间中的一个点表示，术语编辑了单词嵌入。开发了几种捕获词汇语义特性的方法，特别是语义相似的单词将在d空间中出现。
在某种程度上，这是一种软的深度学习型IE模型。目前，主要网络类型使用的是使用LSTM（长短期记忆）的CNN（卷积神经网络）和RNN（递归神经网络）（Yin等人，2017年）。
5.0.0.1命名实体。目前，通过将双标记/字符模型与上下文化词嵌入结合起来，获得了最佳命名实体的性能（Akbik等人，2019年）。标准测试集的性能（CONLL用于2003年评估的路透社新闻专线）已从F 2003年的测量值为89，而F的测量值为93（Li等人2018）。
5.0.0.2关系。 CNN提供了特别简单的网络结构，但是卷积在固定的窗口大小内运行，这可能会限制捕获跨越整个句子的依存关系的能力。 ACE关系大多数是在近距离实现的，实体之间的间隔少于四个字。这使得使用CNN进行关系抽取变得合理。 Nguyen和Grishman（2015）报告了带有两个，三个和四个令牌的窗口的良好结果。
5.0.0.3事件。如上所述，事件抽取可以涉及多个交互，这些交互可以受益于联合推理。在神经网络中，可以通过一组“内存矩阵”直接捕获这些交互，将其值分配为网络训练的一部分，然后用于事件触发和参数预测（Nguyen等，2016）。
事件抽取在很大程度上是单词歧义消除的问题。但是直到最近，每个单词都被分配了一个单词嵌入，因此没有捕捉到意义上的区别。上下文化的词嵌入可放松该约束，使嵌入取决于上下文。在ACE语料库上使用上下文化词嵌入可以将事件分类提高约2点F度量（Lu and Nguyen 2018）。

6.用户生成的媒体

过去几年中的另一个重要补充是对用户生成的数据的处理。 Twitter成立于2006年；目前每天发送大约5亿条推文。自动监控的推文提供了当前活动的首屈一指的来源，因此它们已成为NLP开发人员的目标（Panem等，2014）。现在，有一个关于此类非正式交流的年度研讨会，WNUT（“嘈杂的用户生成的文本研讨会”，网站http://noisy-text.github.io/）。
但是这些推文与大多数NLP所针对的新闻专栏的编辑内容截然不同。这些推文可能包含许多拼写错误，标点符号很少或没有标点符号以及新创造的术语。结果，受过编辑文本训练的标记器在推文上的表现不佳（例如，排名最高的命名实体标记器在标准路透社测试语料库中获得的F分数超过90％，而在推文语料库中获得的F分数约为40％） 。
WNUT研讨会包括年度多站点评估，但是这些经过tweet优化的系统的性能并没有改善。 2016年评估中的最高绩效为F = 52％（Strauss等人2016）。通常，标记器使用与上述相似的设计，主要是使用LSTM构建的CRF和RNN。由于各个推文提供的上下文要少得多，因此推文标记者必须更多地依赖于名称列表（例如，宪报）。利用全局一致性（在不同的tweet中为相同的令牌分配相同的标记的偏好）也很重要（Ritter等，2011； L i u等，2011； Cherry和Guo，2015）。 （正如我们前面提到的，全局一致性在标记已编辑的文本中也起着作用，但作用较小）。

7.评价

乍一看，IE评估似乎相当简单。我们已经在MUC-3上同意使用召回率，精确度和F度量进行评分。我们准备一个密钥，并将其与IE系统的响应进行比较。

很快就明白事情不会那么简单。系统应该为每个事件生成一个模板。如果文档报告了两个事件，则应填写两个模板。但是，系统响应未明确指定如何将密钥和响应中的模板配对。为了解决此问题，生成了关键和响应模板的可能对齐并对其进行了评分，并报告了最高评分（MUC无日期）。如果一个事件中有多个参与者，则类似的问题会在较小的规模上出现。通常，当将新任务添加到MUC时，此召回/精确模型可提供令人满意的直观评分。一个例外是共同引用任务。最初设计了一种评分方案，并在MUC会议上提出了一种优雅的替代方案，但似乎都不直观。d迄今为止，在共指评分指标上存在分歧（Luo 2005）。
当MUC分为四个任务和后来的五个任务时，每个任务都有自己的评分标准，这很有意义，因为每个任务都可以独立使用。相比之下，ACE评估是基于一组针对实体，关系和事件的并行成本模型。每个模型都结合了检测，分类，聚类（即，共指）和其他功能。官方分数（“ ACE值”）基于所有这些因素，并进行了适当加权。为正确识别的每个元素分配一个正值，并对每个错误的输出收取虚假的警告罚款。如果错误数量超过正确识别的元素数量，则得分可能为负（Doddington等人，2004年）。这是标准的ROC（接收器工作特性）模型，但对参与者不直观；因此，它被用于正式的政府报告，但在已发表的文献中很少使用.
代替成本模型，大多数研究人员报告关系和事件的回忆/精确度得分。这些分数高度依赖于实体抽取的准确性，因为只有实体可以用作关系和事件的参数。为了隔离对关系和事件抽取的改进，大多数研究人员认为，关系或事件抽取器具有完善的功能。有关实体的信息。与运行真实实体抽取器相比，这具有产生更高（更乐观）分数的好处。
随着转向能够表示学习的深度学习标记器的发展，一些研究人员现在认为关系标记器对实体的信息很少，只有它们在句子中的位置，而不是语义类型。比较标记器性能时，必须考虑这些变化（反映不断变化的研究目标）。

8.展望未来

我们已经简要描述了过去25年中为构建IE系统而开发的各种方法，以及伴随这些方法的引入而逐渐提高的任务性能。结果是在金融（Ding等人2015），医学（Wang等人2018）和科学（Peters等人2014）中的应用越来越多。尽管如此，经过25年的发展，其性能（F评分）仅从标准事件分类基准的60年代低位发展到70年代低位，在进一步提高分数方面还存在严重的障碍。我们的前景如何？
（1）在某些方面，标准基准测试（从新闻专线和博客中得出）特别困难，因为主题范围如此之大，增加了事件分类错误的风险。大多数应用程序涉及的主题范围较窄，因此与基准。
（2）人工注释中会存在错误和不确定性，这限制了我们可以获得的分数。这甚至适用于使用双重注释和和解精心准备的文本，例如ACE语料库。注释关系需要确定两个容易被忽略的端点。相对抽象的类别将在关系和事件的分类中领先于行径保持性（Min and Grishman 2012）。我们应该将这种模糊性视为自然语言的力量的一部分，并在我们的评估中予以考虑。
（3）将有一些需要世界知识和推论的例子。例如，ACE事件包括电话事件（联系人的子类型）。给出句子“弗雷德给吉姆打了个电话，他后来打回了电话。”该系统必须能够推断出Jim后来打电话给Fred。正确处理此类情况可能需要对事件进行更深入的建模。在狭窄的域中这是更可行的。
（4）培训数据不足。我们希望通过将ACE训练数据的数量增加一倍，可以在事件抽取方面获得百分之几的改进。但是，当数据是政府的一项重大投资时，“恰好”一词可能不合适。展望未来，我们无法为每个想要拥有自己的IE系统的人提供类似的投资。在这里，我们可以通过半监督或无监督的方法来保存。至少，不受监督的系统可以提供关系和事件类型的核心，然后可以使用某种形式的域自适应来针对特定用户进行扩展和调整。
（5）管道问题。 IE仍然是一个多阶段的过程，其中早期阶段可能会引入错误，后期阶段会放大这些错误。联合推理策略可以减少这种影响。
我们应该记住，深度学习仍然是一项年轻的技术，我们可以期望机器学习会得到持续的改进，就像来自变形金刚（BERT）的双向编码器表示和上下文化嵌入的出现使许多系统都在后期发展一样（Devlin等（2018）。因此，我们的持续改进前景似乎很好。
随着性能的提高，具有商业可行性的应用程序数量将继续增长。为了保持其平台的市场份额，每一个“技术巨头”（以及多家初创企业）现在都希望提供一个NLP API，其中包括管道中的所有元素，并不断对其进行更新，从而带来新的状态。最先进的NLP组件更接近IE应用程序。在这种市场驱动的环境中，政府通过资助新的评估来指导研究的需求可能会减少。