自然语言句子抽象语义表示AMR研究综述*

2017-02-25 02:32曲维光周俊生吴晓东戴茹冰敏顾彦慧

数据采集与处理 2017年1期

关键词：实体解析语义

曲维光周俊生吴晓东戴茹冰顾敏顾彦慧

(1. 南京师范大学计算机科学与技术学院，南京, 210023; 2. 南京师范大学文学院，南京, 210097)

自然语言句子抽象语义表示AMR研究综述*

曲维光1,2周俊生1吴晓东1戴茹冰2顾敏1顾彦慧1

(1. 南京师范大学计算机科学与技术学院，南京, 210023; 2. 南京师范大学文学院，南京, 210097)

句子的语义处理是自然语言处理的重要难题与挑战。抽象语义表示(Abstract meaning representation, AMR)是近几年国际上新兴的句子级语义表示方法，突破了传统的句法树结构的限制，将一个句子语义抽象为一个单根有向无环图，很好地解决了论元共享问题，成为语言资源建设和句子语义解析的研究热点。本文从AMR概念与规范、解析算法和应用等方面对AMR相关研究进行系统的梳理，特别对AMR的各种解析算法进行了比较深入的分析和比较，指出了现有算法存在的问题和不足，同时介绍了中文AMR的开发进展，最后展望了AMR未来的研究方向。

抽象语义表示; 句法语义; 语义解析; 自然语言处理

引言

语义是语言形式所要表达的内在含义，如何实现对自然语言句子的完整语义理解，是人工智能和自然语言处理研究领域的一个重要研究目标。从某种意义上来讲，自然语言处理研究的最终目标就是在语义理解的基础上实现各种类型的应用，但是由于语义的模糊性、多义性，实现自然语言的语义理解是一个巨大的挑战[1]。近年来语义标注相关的研究有所进展，能够分别进行命名实体识别、词义消岐、语义角色关系和共指消解等各种单独语义的标注与分析任务，每一种语义任务都有各自的评测方法，而缺少一个针对整句进行逻辑语义表示的规范和语料库。为此，2013年Banarescu等提出了一种语义表示语言[2]，即抽象语义表示(Abstract meaning representation，AMR),并开发了一个较大规模的标注语料库，它由自然语言句子和与其对应的用AMR形式表示的句子的逻辑语义图构成。AMR建立了统一的标注规范，其简单可读的特点方便人们理解，AMR表示的逻辑语义也方便计算机的处理。自此，对AMR解析与应用等相关问题的研究受到了国内外学者的高度关注，引发了一股AMR研究热潮。可以预见，今后数年里AMR一定会受到更多研究者的关注。

本文将从AMR的定义与规范、AMR解析算法和AMR应用等方面对抽象语义表示相关研究进展进行系统的梳理，特别对各种AMR解析算法进行比较深入的分析和比较，并指出一些算法存在的问题和不足，同时对中文AMR的开发进行简介。最后展望了AMR未来的研究方向,以期对其在国内的研究起到一定的推动作用。

1 AMR的定义与规范

1.1 AMR的定义

图1 英文句子“He tries to affect a British accent.”的AMR图表示Fig.1 AMR graph of sentence “He tries to affect a British accent.”

传统的句子语义解析任务一般是针对一个特定的领域(例如地理数据库查询、航班信息查询等)设计一个相对简单的形式化的意义表示语言，然后再采用该意义表示语言对句子进行相应的逻辑意义标注[3，4]。AMR则是一种全新的、领域无关的句子语义表示方法，将一个句子的语义抽象为一个单根有向无环图。图1给出了一个英文句子的AMR图表示的示例。其中，句子中的实词抽象为概念节点，实词之间的关系抽象为带有语义关系标签的有向弧，且忽略虚词和形态变化体现较虚的语义(如单复数、时态等)。这种表示方法相比树结构拥有较大的优势：(1)单根结构保持了句子的树形主干；(2)图结构的使用可以较好地描写一个名词由多个谓词支配所形成的论元共享现象；(3)AMR允许补充句中隐含或省略的成分，以还原出较为完整的句子语义，能够更加全面地描写语义，并有利于语义的自动生成。

表 1 AMR概念关系

1.2 AMR的标注规范

AMR图中的每个节点表示一个语义概念，语义概念可以是单词(如“he”，“accent”等)、也可以是PropBank framesets[5](如“try-01”，“affect-02”等)或者是特殊的关键词。其中特殊关键词包括实体类型(如“country”，“date-entity”等)、量词(如“monetary-quantity”，“distance-quantity”等)以及逻辑连词(“and”等)。有向边的标注表示的是两个概念之间的关系。值得注意的是，有多个语义角色的词在有向图中只用一个节点来表示。所以当实体在句子中的作用很重要时，允许给有向图中的节点设置多个父节点(如图1中的节点“he”有两个父节点“try-01”和“affect-02”)。总体上，AMR涵盖约一百种概念关系，表1中给出了部分关系示例。AMR还包括几乎所有关系的逆关系(如“:arg0”对应的“:arg0-of”、“:location”对应的“:location-of”等)。此外每一个关系都有相关的具体化形式。例如，当想要具体化关系“：location”时，它对应的具体化形式就是转化为概念为“be-located-at-91”的节点。所以AMR是一种可以扩展和修正的语义表示，详细的AMR规范参见http://amr.isi.edu。AMR概念和概念关系的定义可以表示出任意形式的句子。AMR把所有的词用一种既合理又统一的方式考虑进来，能辅助完成很多基于语义的任务，在解决实际问题时有很大的潜在应用价值。

1.3 AMR的评测方法

在设计好AMR表示规范后，AMR解析的任务就是对给定的输入句子，预测和输出一个相应的AMR图结构。为评价一个AMR解析输出图结构的准确性，一种最简单的方法是整句准确性计算，即输出AMR图与人工标注AMR图(称为参考AMR图)完全一致时准确率为1，否则为0。显然这种评价方法粒度过粗，更合适的方法是评价一个输出AMR图结构的部分准确率，即准确率在0-1之间。然而，计算一个输出AMR图与一个参考AMR图之间部分匹配的程度是非常困难的问题，因为这两个图的节点集之间可能并不具有直接的匹配和映射关系，确定这两个图之间的最优顶点对齐关系实质上是一个NP完全问题。

针对AMR解析评测广泛采用的是一种称为Smatch的度量方法[6]。它在对两个AMR图进行匹配度计算时，首先将每个AMR图转化成一个逻辑三元组(triple)的集合，其中每个三元组表示图中的一个顶点或一条边；然后，Smatch方法计算两个三元组集合之间的匹配或重叠程度，度量指标也分为准确率(precision)、召回率(recall)和F1值。更准确地说，Smatch方法是通过搜索两个图之间的变量(节点)集的最优匹配而获取的最大的F1值。为给出多项式时间的Smatch值计算，一种方法是将计算问题转化为一个整数线性规划ILP问题，然后利用现有的ILP求解算法求解一个近似解；或者采用启发式爬山算法进行贪心式搜索以获取近似最优解。考虑到评测效率，目前的Smatch值计算主要是采用爬山算法进行近似求解[6]。

2 AMR解析算法

近年来，对AMR解析问题的研究受到国内外研究者的广泛关注，先后提出多种不同的解析模型与算法。依据解析过程与解析策略的不同，将现有的AMR解析算法划分成基于图的解析方法、基于转换的解析、基于组合范畴语法的解析方法和基于机器翻译的解析方法等4种不同类型，并对这4种类型的解析算法分别进行分析与比较。

2.1 基于图的解析方法

Flanigan等在2014年提出了第1个AMR解析器JAMR[7]。JAMR是一个基于统计的模型，由词串直接得到AMR有向图。JAMR使用管道式的方法分阶段完成AMR解析的两个子任务：概念识别和关系识别。

(1)概念识别阶段的任务是将输入句子中的词片段映射到概念图片段。其中，概念图片段大部分情况只含有单个的标注概念节点，但它有时也可能是一个含有多个概念节点和标注边的子图结构。JAMR将概念识别任务看成是一个序列化标注和切分任务，使用半马尔科夫模型[8]进行概念识别，并设计了一个动态规划算法进行解码。概念识别阶段的输出结果是概念图片段的序列。

(2)关系识别是在第1阶段输出的概念图片段序列中，通过添加带标注的有向边而构造一个AMR图。JAMR将关系识别看作是一个基于约束的组合优化问题，在给定约束集的条件下，搜索具有最大值的子图。子图的分值则采用按边分解的模式和线性模型进行计算，即有

(1)

式中：EG为子图的边集，θ为模型的参数，f(e)为用于计算边e的特征函数。具体地，JAMR分两个步骤实现关系识别：首先，设计了一个基于最小生成树Kruskcal算法而改造的算法MSCG生成一个包含所有概念图片段的最大连通子图；然后采用拉格朗日松弛算法[9]调整该生成图以满足确定性性约束，使得从图中每个顶点发出的有向边的关系标注类型(主要针对边的标注ARG0-ARG5)不重复。

为了训练解析器，需要将训练语料中的句子和标注的AMR图进行对齐，即需要知道句子中的词片段对应的AMR图的概念片段。为此，JAMR建立一个自动对齐器来实现对齐。自动对齐器定义了一系列启发式规则，对每个句子通过执行一个贪心算法过程去匹配定义的规则，以实现句子与AMR图的对齐，进而构造一个包含所有词片段到概念图片段的映射关系的对齐表。另外，Pourdamghani等也尝试采用统计机器翻译中常用的IBM词对齐模型来实现句子与AMR图之间的对齐，也取得了基本相当的对齐效果[10]。Werling等认为在JAMR中的关系识别子任务并不是解析过程中最大的挑战[11]，其已经取得了较好的性能，解析过程中主要难点则在于概念识别。因此，他们提出一种关于改进概念识别的新算法NER++。该算法将由输入句子中的词片段映射到概念图片段的任务看成是依次对句子中的词(或短语)施加不同类型的动作而生成相应概念图片段的过程，并具体设计了9个不同的动作：IDENTITY，VERB，VALUE，LEMMA，DICT，NAME，PERSON，DATE和NONE。然后，再引入一个最大熵分类器，将各个词片段到概念图片段的映射通过动作分类而实现。相对于JAMR，该方法获取了一定的解析性能提升；然而该方法的整体框架还是和JAMR一样，采用了管道式方法。

为缓解管道式AMR解析模型的误差传播，Zhou等提出了一种增量式联合模型同时执行AMR解析的两个子任务[12]，即将给定的句子x，直接映射到AMR图y，该联合解码问题的目标函数可定义为

(2)

式中：第1项用于计算推导出的概念片段序列的分值，第2项则是一个推导出的AMR子图的分值。显然，执行式(2)所表示的联合解码问题是一个难解的问题。为此，他们首先提出了一种新算法CWBS来实现增量式的关系识别，其基本思想是在追加当前的概念片段到左边的部分图时，仅考察当前概念片段与左边的各个连通分量之间的关系。具体地，设计了一种从右到左的嵌套柱状搜索算法，搜索当前片段与左边各连通分量之间的最优边集，并设计了SHIFT，LEFTARC，RIGHTARC和LEFT & RIGHT-ARCS4种类型的动作。CWBS算法不仅能保证最终输出AMR图的连通性，还可以有效避免搜索过程中的噪声；然后，再采用一种类似于multiple-beam的segment-based解码器来实现概念识别，并将关系识别的CWBS算法集成到一个联合分析框架中，从而实现两个子任务的增量式联合分析。对模型的参数训练，采用一种改进的参数更新方法Max-volation prceptron[13]，它在最大错误发生的位置对参数进行更新，这种参数更新算法的收敛速度更快并且精度也有所提高。实验结果显示，该联合模型获得了明显的性能改进。

2.2 基于转换(Transition-Based)的解析方法

以往的研究表明，基于转换的分析方法在依存分析、短语结构分析等句法分析任务中获得了成功的应用[14，15]。Wang等提出了一种通过对依存树进行转换的方法CAMR来实现AMR解析[16]，该算法主要包括两个步骤：(1)使用现有的依存解析器将句子生成相应的依存句法树；(2)采用一种新的转换算法将依存树转换为AMR图。解析器建立了一个转换动作的集合[16]，主要通过这个集合来完成依存树向AMR图的转换。动作集合的定义对最终的解析结果非常重要，集合中主要包括8个动作：SWAP-lr，REATTACHk-lr，REENTRANCEk-lr，REPLACE HEAD，MERGE，NEXT EDGE-lr，NEXT NODE-lc和DELETE NODE。例如，图2中的SWAP展示了节点间依存关系转换的过程。首先将节点“and”删除，然后将节点“and”插入到节点“Korea”之前，并修改节点相对应的边，这样通过SWAP这个动作来修改依存树与AMR图不同的依存关系。对句子的依存树进行AMR解析时，通过执行一个贪心解码算法选择一个最优的动作序列来完成依存树到AMR图的转换。基于依存树转换的AMR解析避免了其他解析器中AMR对齐中产生的错误，该算法的主要错误则出现在依存树转换到AMR图的过程中。他们又进一步对该算法进行了改进[17]，主要是定义了一种用于推导隐含概念的新动作INFER，并在模型中加入了语义角色标注、词义消歧和共指消解等扩展特征，从而获得了更好的解析性能。

图2 SWAP动作示例Fig.2 Example of action SWAP

Goodman等认为CAMR中采用的贪心解码算法不可避免地存在错误累积和传播问题，因此他们在CAMR算法的基础上探索扩展模仿学习[18]到结构化预测过程以实现AMR解析[19]。具体地，他们主要提出噪音消减和针对性搜索两种新的手段有效地减小搜索的空间，提高模仿学习的效率和性能，从而改进了AMR解析的准确性。

2.3 基于CCG的解析方法

Artzi等提出了一个基于组合范畴语法(Combinatory categorial grammar，CCG)的AMR解析算法[20]。CCG是一种可在句法和语义之间提供透明接口的范畴形式体系[21]，它能很好地表示出句子的语言特性，已广泛用于传统的语义解析任务[22，23]。该算法的基本思想是采用CCG的句法分析过程生成组合性的AMR结构，再采用因子图对非组合性语言现象(如指代关系等)建模求解。算法的处理过程分成两个阶段：

(1)通过CCG构造基于lambda演算表示形式的组合性AMR结构，即通过对句子执行CCG分析得到CCG分析树，得到未指定的逻辑形式，其中包含有未确定的变量。在CCG分析的推导过程中，仍采用传统的CKY分析算法去挑选最优的未指定的逻辑形式。对推导的概率值计算则采用对数线性模型。若定义D(z)为包含最后逻辑形式z的推导子集，θ∈Rl是一个l维的参数向量，则可定义z的概率值为

(3)

而对于一个推导d，其概率计算公式为

(4)

(2)采用因子图及对数线性模型将逻辑形式中的未确定的变量从候选集中搜索最优的变量赋值，从而得到完整的逻辑形式，最后再通过自定义的一套简单可逆的转换过程，将逻辑形式转换成标准AMR形式。这个基于CCG的两阶段AMR解析模型的学习。除了需要进行模型参数估计之外，面临的一大挑战是如何从训练数据中有效地归纳CCG词典的词汇项。显然，CCG词汇生成的质量对CCG分析的准确性有着重要的影响。而CCG词典词汇项的组合搜索空间巨大，是一个异常困难的问题[24]。因而如何有效解决CCG词汇生成问题成为制约基于CCG的AMR解析模型提高性能的主要瓶颈。

2.4 基于机器翻译框架的解析方法

Pust等将AMR解析看作是基于句法的机器翻译(Syntax-based machine translation，SBMT)问题[25]，也就是充分利用现有的串到树SBMT框架，将句子转换为相应的AMR图。为此，首先需要将AMR图转换为一种适用于SBMT机制的树结构。为实现从AMR图到树结构的转换，他们提出了一种多步骤的转换过程，包括修改AMR图为句法风格树结构、树重构、树重标注和重排序等多个步骤。由于图与树在结构上具有本质上的差异性，因此在第1个转换步骤中将会不可避免地丢弃一些信息。例如，对于图中具有多个父节点的节点，在转换后的树结构中仅能保留单个父节点。显然，这种从AMR图到树结构的转换是一种有损转换。进一步，他们在SBMT框架下引入了一种建立在AMR结构上的语言模型。特别地，他们将多种外部的语义资源加入到模型中，包含层次的语义范畴、词汇形态规范化和基于富含语义信息规则的对齐等，从而使系统获得了较好的解析性能。

2.5 各种解析算法的性能比较

目前，各种AMR解析器的实验主要是在几个不同版本的公开数据集上进行，包括LDC2013E117，LDC2014T12和LDC2014T12-proxy，其中数据集LDC2014T12-proxy是仅包含了数据集LDC2014T12中的新闻语料部分。实验结果的评价都采用了目前公认的Smatch值，分为准确率(P)、召回率(R)和F1值。为表示方便，采用一些缩写名称表示前述的各种AMR解析器。其中，JAMR表示文献[7]的解析系统，NER++表示文献[11]的解析系统，JOINT表示文献[12]的解析系统，CAMR表示文献[17]的解析系统，IMITATION表示文献[19]的解析，CCG表示文献[20]的解析系统，SBMT表示文献[25]的解析系统。在以上的各个AMR解析器中，系统CAMR和SBMT在训练模型时除了使用训练数据外，还额外地使用了较多的外部语义资源。表2中给出了各个AMR解析系统在3个不同的数据集上的实验结果。

表2 各种AMR解析系统的实验性能比较

通过比较表2中各个AMR解析器的实验数据可以看出：(1)目前英文AMR的自动解析效果普遍不高，最好成绩的F1值仅为0.71。(2)AMR的自动解析需要一定的外部资源。在LDC2013E117和LDC2014T12-proxy两个数据集上，系统JOINT均获得最高的F1值；在数据集LDC2014T12上，系统SBMT产生了最高的F1值，这也说明在AMR解析模型中合理地使用一些外部语义资源能有助于解析性能的提高。因此，AMR的自动解析技术还有很大的提升空间，在算法和资源建设方面也需要不断研究。此外，影响AMR解析效果还有一个重要因素。在自动解析之前，AMR需要进行概念和词语的自动对齐，而目前对齐的F1值仅有0.9左右[7，10]，如果能提升自动对齐的精度，则可以较大幅度提升解析效果。

3 AMR的应用

随着AMR标注规范的提出和AMR解析算法研究的快速发展，有研究者开始对如何利用AMR结构帮助解决各种自然语言处理领域的应用问题进行探索性研究。目前已有文献显示，在文本摘要、实体链接、生物信息抽取和标题生成等典型应用问题上[26-32]，利用AMR结构确实能够有效或显著地提高效果和性能。以下将以文本摘要和实体链接这两种典型应用为例，介绍AMR的应用方法与效果。

3.1 利用AMR实现文本抽象性摘要

图3 一个简单的英文抽象性摘要生成示例Fig.3 An example of a simple abstract generation

不同于传统的压缩式或抽取式摘要生成技术[33-35]，抽象性摘要是指一种对给定的内容要求从头生成相应的文本摘要的技术。Liu等利用AMR实现了一个抽象性摘要生成系统[26]，该系统包含3个基本步骤：(1)使用现有的AMR解析器将源文本中的每个句子分别解析成对应的AMR图；(2)将第1步中得到的多个AMR图经过合并和转化操作生成单个摘要AMR图；(3)从单个的摘要AMR图生成摘要文本。图3给出了一个简单的摘要生成过程实例。其中，第(2)步是一个关键和困难的步骤，第(2)步的实现又划分成两个阶段：第一阶段对第(1)步得到的多个句子AMR图通过执行概念融合、句子连接以及图扩展等步骤，生成单个连通的AMR图(称之为源图)；第二阶段再从第一阶段得到的源图中挑选部分节点和边构造一个子图(称之为摘要图)，而从源图中选择生成摘要子图的任务可以看成是一个结构化预测问题，其目标是在不改变内容主要语义信息的条件下输出最简洁和紧凑的表示结构。具体的，通过引入合适的特征和约束表示，采用整数线性规划求解该结构化预测任务，生成一个摘要子图。采用ROUGE-1得分[36]对该抽象性摘要系统的摘要结果进行评测，最后在测试集上利用标准AMR标注和JAMR解析结果生成的Oracle摘要的F值分别达到了65.8%和57.8%，这个初步的探索性研究的实验结果显示，利用AMR结构生成抽象性文本摘要的方法能够产生良好的结果。

3.2 基于AMR的无监督实体链接实现

实体链接是指将在源文本中提及的实体与知识库中的相关实体关联到一起[37-39]。Pan等利用AMR实现了一个无监督的实体链接系统[27]，该系统利用AMR结构中富含的深度语义信息提供描述各个实体指称出现的上下文特征的丰富表示，从而有利于协作者实体指称的最优集合的选择，进而有助于实现实体指称的消歧；在此基础上再采用无监督的图推导方法进行上下文比较，从而实现实体链接的目标。基于AMR的实体消歧方法可分解为3个基本步骤：(1)将实体指称出现的源文本解析成AMR，然后对给定的实体指称m采用基于规则的方法构造一个以m为中心的星形图状知识网络；(2)通过规则方法从知识库构造各个实体的知识网络，作为实体的上下文表示形式；(3)对于每个待链接的实体指称，利用实体显著度计算生成一个候选实体的列表，再采用基于上下文协作者的信息，对当前实体指称与各个候选实体之间根据之前构造的知识网络图进行Jaccard相似度计算，以重排序的方式实现实体链接。采用这种无监督的实体链接算法在增加人工实体链接标注的AMR数据集LDC2013E117上进行了实验，如果基于人工标注的AMR结构，在测试集上获得了91.13%的准确率，略高于目前有监督的实体链接方法达到的最高准确率91.01%，该有监督的实体链接方法是通过规则方法组合了两个不同的系统[40，41]，结合了两者的优势，并在大规模的标注数据集TAC-KBP2009-2014上训练重排序模型获取的；如果基于AMR解析器的输出，该算法也获得了88.52%的准确率。实验结果表明，相对于实体链接的其他方法，AMR结构确实能够更好地捕捉和表示实体指称的上下文信息。

4 中文AMR的开发

与传统的基于树的句法语义表示方法不同，AMR使用单根有向无环图来表示一个句子的语义，这种表示方法相比树结构拥有较大的优势。因此，增加更多语种的AMR语料和多语言自动解析技术就成为目前该领域最为迫切的研究内容。捷克语、汉语也开始标注了AMR小规模语料库[42]，微软依托自建的句子逻辑语义语料库，使用和AMR映射的规则方法，开发了英语、法语、德语、西班牙语和日语的AMR解析工具[43]。不过，受制于中文AMR语料的缺乏，针对中文的AMR自动解析方面的研究尚未展开。而中文AMR语料的构建一方面可以满足中文句法语义分析的应用需求，另一方面对于汉语的句法语义研究也有重要的语言学价值。南京师范大学Li等近来已经开始启动中文AMR的规范设计和语料库标注工作[44]。Li等(2016)基于AMR的框架结构，将AMR语义表示体系引入到汉语中，同时也充分考虑汉语与英语的表达差异性，重点解决了AMR概念和词语对齐的问题，初步建立了一套汉语抽象语义的表示方法和标注规范法[44]。他们首先根据中文宾州树库(Chinese Penn treebank, CTB)的分词规范，对1562句中文《小王子》语料进行了自动分词和人工校对。然后，根据中文Propbank的动词框架词典[45]，人工标注了每个句子的中文AMR，从而获得了一个与英文《小王子》句对齐的双语AMR语料库,参见http:∥www.cs.brandeis.edu/～clp/camr/camr.html。在此基础上，李斌等(2017)进一步比较了两种语言中图结构的对应情况、图结构存在的比例与图结构的共性和差异等，认为AMR的跨语言表示能力和AMR对于汉语的句法语义表示能力都较为理想[46]。目前，他们正在进行对CTB的AMR标注工作，以建立较大规模中文AMR标注语料库，将为汉语AMR的自动解析与应用提供良好的研究基础。

5 结束语

AMR对于句子语义较为简洁而完整的表示、可计算评测的特点，使其至少具有两点潜在价值：(1)提升文本摘要、事件分析和智能问答等应用技术；(2)为句子级别之上的篇章语义表示奠定研究基础。因而自AMR提出之后，就引起了国际上的高度重视，涌现了从自动解析技术到转化应用等多方面的研究论文。纵观AMR的研究现状，可以发现，一方面由于AMR图结构能够富含句子中完整的语义信息，因而能有利地促进各种自然语言应用问题的解决；另一方面，AMR解析器的性能是AMR结构能否有效应用的关键。然而现有的AMR解析算法研究结果显示，当前AMR解析算法的准确性还比较有限，最高F1值仅在70%左右，相对于句法分析算法当前所能达到的准确性，还存在不小的差距。因此认为今后在以下方面值得进一步展开更多、更深入的AMR相关研究。(1)概念对齐与生成是AMR解析的一个重要子任务，其性能的高低将是提高AMR解析准确性的重要瓶颈，而目前这方面的研究相对较少。由于概念对齐与生成是AMR图构造的一个前提任务，如何充分利用各种外部语义资源、设计有效的算法对输入句子中的各个词或短语生成有效的概念候选，特别是一些隐含或缺省概念的添加，是一个困难和重要的研究问题。(2)作为一种句子语义表示形式，AMR结构与句子的句法结构(特别是依存句法结构)之间存在很强的关联性。如果能将句子的AMR解析与句法分析两者构建成一个联合分析过程，使得句法分析与语义分析两个任务之间能够实现信息交互，相互利用以促进彼此的结构消歧，将会大大有益于句法分析与AMR语义解析两者的性能提升。(3)近年来神经网络和深度学习已经被广泛应用于自然语言处理的多个研究问题，利用神经网络学习生成词、短语和句子等分布式表示，在句子切分、依存句法分析和成分句法分析等任务上的应用均获得了明显的收益[47-50]。然而，将神经网络模型应用于AMR解析任务还是一个有待研究的问题。不同于传统的句法分析任务，AMR结构描述的是概念节点之间的语义关系，因此，如何学习生成有效的概念分布式表示是一个首先需要解决的问题。(4)进一步更广泛地开展AMR在多个自然语言处理应用领域中的应用研究非常有意义。AMR作为一种句子级抽象语义表示形式，其主要设计目标在于描述和揭示句子中蕴含的完整的、深度的语义信息，以利于和推动完美解决各种自然语言处理应用问题。目前的一些AMR应用研究已经初步显示了AMR语义结构的应用价值，然而还有必要针对更多的自然语言处理的应用问题展开探索性的AMR应用研究，例如信息抽取、问答系统、文本匹配和机器阅读理解等。

[1] 孙茂松，刘挺，姬东鸿. 语言计算的重要国际前沿[J]. 中文信息学报，2014, 28(1):1-8.

SunMaosong,LiuTing,JiDonghong.Animportantinternationalforefrontoflanguagecomputing[J].JournalofChineseInformationProcessing, 2014: 28(1): 1-8.

[2]BanarescuL,BonialC,CaiS,etal.Abstractmeaningrepresentationforsembanking[C] //Proceedingsofthe7thLinguisticAnnotationWorkshop．Sophia,Bulgaria:TheAssociationforComputationalLinguistics, 2013: 178-186.

[3]ZettlemoyerLS,CollinsM.Learningtomapsentencestologicalform:Structuredclassificationwithprobabilisticcategorialgrammars[C] //Proceedingsofthe21stConferenceinUncertaintyinArtificialIntelligence(UAI)．Edinburgh,Scotland:AUAIPress, 2005: 658-666.

[4]WongY,MooneyRJ.Learningforsemanticparsingwithstatisticalmachinetranslation[C] //ProceedingsoftheNorthAmericanChapteroftheACL(NAACL2006)．NewYork,USA:TheAssociationforComputationalLinguistics, 2006: 439-446.

[5]KingsburyP,PalmerM.Fromtreebanktopropbank[C] //Proceedingsofthe3rdInternationalConferenceonLanguageResourcesandEvaluation(LREC2002)．LasPalmas,CanaryIslands,Spain:EuropeanLanguageResourcesAssociation, 2002: 1989-1993.

[6]CaiS,KnightK.Smatch:Anevaluationmetricforsemanticfeaturestructures[C] //ProceedingsoftheAssociationforComputationalLinguistics(ACL2013).Sofia,Bulgaria:TheAssociationforComputationalLinguistics, 2013：748-752.

[7]FlaniganJ,ThomsonS,CarbonellJ,etal.Adiscriminativegraph-basedparserfortheabstractmeaningrepresentation[C]//ProceedingsoftheAssociationforComputationalLinguistics(ACL2014)．Baltimore,MD,USA:TheAssociationforComputerLinguistic, 2014: 1426-1436.

[8]JanssenJ,LimniosN.Semi-Markovmodelsandapplications[M].[S.l.]:Springer, 1999.

[9]RushAM,CollinsM.AtutorialondualdecompositionandLagrangianrelaxationforinferenceinnaturallanguageprocessing[J].JournalofArtificialIntelligenceResearch, 2012, 45(1): 305-362.

[10]PourdamghaniN,YangG,HermjakobU,etal.AligningEnglishstringswithabstractmeaningrepresentationgraphs[C] //ProceedingsoftheEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2014)．Doha,Qatar:TheAssociationforComputationalLinguistics, 2014: 425-429.

[11]WerlingK,AngeliG,ManningC.Robustsubgraphgenerationimprovesabstractmeaningrepresentationparsing[C] //ProceedingsoftheAssociationforComputationalLinguistics(ACL2015)．Beijing,China:TheAssociationforComputationalLinguistics, 2015: 982-991.

[12]ZhouJ,XuF,UszkoreitH,etal.AMRparsingwithanincrementaljointmodel[C] //ProceedingsoftheEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2016)．Austin,Texas,USA:TheAssociationforComputationalLinguistics, 2016: 178-186.

[13]HuangL,FayongS,GuoY.Structuredperceptronwithinexactsearch[C] //ProceedingsoftheHumanLanguageTechnologies:ConferenceoftheNorthAmericanChapteroftheAssociationofComputationalLinguistics(HLT-NAACL2012)．Montreal,Canada:TheAssociationforComputationalLinguistics, 2012: 142-151.

[14]NivreJ.Algorithmsfordeterministicincrementaldependencyparsing[J].ComputationalLinguistics, 2008, 34(4): 513-553.

[15]ZhangY,ClarkS.Syntacticprocessingusingthegeneralizedperceptronandbeamsearch[J].ComputationalLinguistics, 2011, 37(1):105-151.

[16]WangC,XueNW,PradhanS.Atransition-basedalgorithmforAMRparsing[C] //ProceedingsoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies(NAACL2015)．Denver,Colorado,USA:TheAssociationforComputationalLinguistics, 2015: 366-375.

[17]WangC,XueN,PradhanS.Boostingtransition-basedAMRparsingwithrefinedactionsandauxiliaryanalyzers[C] //Proceedingsofthe53rdAnnualMeetingoftheAssociationforComputationalLinguisticsandthe7thInternationalJointConferenceonNaturalLanguageProcessingoftheAsianFederationofNaturalLanguageProcessing(ACL2015)．Beijing,China:TheAssociationforComputationalLinguistics, 2015: 857-862.

[18]SilverD,BagnellJ,StentzA.Highperformanceoutdoornavigationfromoverheaddatausingimitationlearning[C] //Robotics:ScienceandSystemsIV．Zurich,Switzerland:TheMITPress, 2008: 262-269.

[19]GoodmanJ,VlachosA.Noisereductionandtargetedexplorationinimitationlearningforabstractmeaningrepresentationparsing[C] //ProceedingsofAssociationforComputationalLinguistics(ACL2016)．Berlin,Germany:TheAssociationforComputationalLinguistics, 2016: 1-11.

[20]ArtziY,LeeK,ZettlemoyerL.Broad-coverageCCGsemanticparsingwithAMR[C] //ProceedingsofEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2015)．Lisbon,Portugal:TheAssociationforComputationalLinguistics, 2015: 1699-1710.

[21]SteedmanM.Thesyntacticprocess[M].USA:TheMITPress, 2000.

[22]ZettlemoyerLS,CollinsM.OnlinelearningofrelaxedCCGgrammarsforparsingtologicalform[C] //ProceedingsoftheJointConferenceonEmpiricalMethodsinNaturalLanguageProcessingandComputationalNaturalLanguageLearning(EMNLP2007)．Prague,CzechRepublic:TheAssociationforComputationalLinguistics, 2007: 678-687.

[23]KwiatkowskiT,ZettlemoyerL,GoldwaterS,etal.InducingprobabilisticCCGgrammarsfromlogicalformwithhigher-orderunification[C] //ProceedingsofEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2010)．MITStataCenter,Massachusetts,USA:TheAssociationforComputationalLinguistics, 2010: 1223-1233.

[24]KwiatkowskiT,ZettlemoyerL,GoldwaterS,etal.LexicalgeneralizationinCCGgrammarinductionforsemanticparsing[C] //ProceedingsofEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2011)．Edinburgh,UK:TheAssociationforComputationalLinguistics, 2011: 1512-1523.

[25]PustM,HermjakobU,KnightK,etal.Usingsyntax-basedmachinetranslationtoparseEnglishintoabstractmeaningrepresentation[C] //ProceedingsofEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2015)．Lisbon,Portugal:TheAssociationforComputationalLinguistics, 2015: 482-489.

[26]LiuF,FlaniganJ,ThomsonS,etal.Towardabstractivesummarizationusingsemanticrepresentations[C] //The2015ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies(NAACL2015)．Denver,Colorado,USA:TheAssociationforComputationalLinguistics, 2015: 1077-1086.

[27]PanX,CassidyT,HermjakobU,etal.Unsupervisedentitylinkingwithabstractmeaningrepresentation[C] //The2015ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies(NAACL2015)．Denver,Colorado,USA:TheAssociationforComputationalLinguistics, 2015: 1130-1139.

[28]TakaseS,SuzukiJ,OkazakiN,etal.Neuralheadlinegenerationonabstractmeaningrepresentation[C]//ProceedingsofEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2016)．Austin,Texas,USA:TheAssociationforComputerLinguistic, 2016: 1054-1059.

[29]SachanM,XingE.Machinecomprehensionusingrichsemanticrepresentations[C] //ProceedingsofAssociationforComputationalLinguistics(ACL2016)．Berlin,Germany:TheAssociationforComputationalLinguistics, 2016: 486-492.

[30]GargS,GalstyanA,HermjakobU,etal.Extractingbiomolecularinteractionsusingsemanticparsingofbiomedicaltext[C]//ProceedingsofThirtiethAAAIConferenceonArtificialIntelligence(AAAI2016)．Phoenix,Arizona,USA:AAAIPress, 2016: 2718-2726.

[31]PourdamghaniN,KnightK,HermjakobU.GeneratingEnglishfromabstractmeaningrepresentations[C] //ProceedingsoftheNinthInternationalNaturalLanguageGenerationConference.Edinburgh,UK:TheAssociationforComputationalLinguistics, 2016: 21-25.

[32]MitraA,BaralC.Addressingaquestionansweringchallengebycombiningstatisticalmethodswithinductiverulelearningandreasoning[C] //ProceedingsoftheThirtiethAAAIConferenceonArtificialIntelligence(AAAI2016).Phoenix,Arizona,USA:AAAIPress, 2016: 2779-2785.

[33]RushAM,ChopraS,WestonJ.Aneuralattentionmodelforabstractivesentencesummarization[C] //Proceedingsofthe2015ConferenceonEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2015).Lisbon,Portugal:TheAssociationforComputationalLinguistics, 2015: 379-389.

[34]NallapatiR,ZhouB,SantosC,etal.Abstractivetextsummarizationusingsequence-to-sequenceRNNsandbeyond[C] //Proceedingsofthe20thSIGNLLConferenceonComputationalNaturalLanguageLearning.Berlin,Germany:TheAssociationforComputationalLinguistics, 2016: 280-290.

[35]ChengJ,LapataM.Neuralsummarizationbyextractingsentencesandwords[C] //Proceedingsofthe54thAnnualMeetingoftheAssociationforComputationalLinguistics(ACL2016).Berlin,Germany:TheAssociationforComputationalLinguistics, 2016: 484-494.

[36]LinC.ROUGE:Apackageforautomaticevaluationofsummaries[C] //ProceedingsofACLWorkshoponTextSummarizationBranchesOut.Barcelona,Spain:TheAssociationforComputationalLinguistics, 2004: 25-26.

[37]HacheyB,RadfordW,NothmanJ,etal.EvaluatingentitylinkingwithWikipedia[J].ArtificialIntelligence, 2013, 194(3):130-150.

[38]SilA,YatesA.Re-rankingforjointnamed-entityrecognitionandlinking[C] //Proceedingsofthe22ndACMInternationalConferenceonInformationandKnowledgeManagement(CIKM2013).SanFrancisco,CA,USA:ACM, 2013: 2369-2374.

[39]WickM,SinghS,PandyaH,etal.Ajointmodelfordiscoveringandlinkingentities[C] //Proceedingsofthe2013WorkshoponAutomatedKnowledgeBaseConstruction(AKBC@CIKM2013).SanFrancisco,California,USA:ACM, 2013: 67-72.

[40]ChenZ,JiH.Collaborativeranking:Acasestudyonentitylinking[C] //ProceedingsofEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2011).Edinburgh,UK:TheAssociationforComputationalLinguistics, 2011:771-781.

[41]ChengX,RothD.Relationalinferenceforwikification[C] //ProceedingsofEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2013).Seattle,Washington,USA:TheAssociationforComputationalLinguistics, 2013: 1787-1796.

[42]XueN,BojarO,HajicJ,etal.Notaninterlingua,butclose:ComparisonofEnglishAMRstoChineseandCzech[C]//ProceedingsoftheNinthInternationalConferenceonLanguageResourcesandEvaluation.Reykjavik,Iceland:EuropeanLanguageResourcesAssociationELRA, 2014: 1765-1772.

[43]VanderwendeL,MenezesA,QuirkC.AnAMRparserforEnglish,French,German,SpanishandJapaneseandanewAMR-annotatedcorpus[C] //The2015ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies(NAACL2015).Denver,Colorado,USA:TheAssociationforComputationalLinguistics, 2015: 26-30.

[44]LiB,WenY,QuW,etal.AnnotatingthelittleprincewithChineseAMRs[C] //Proceedingsofthe10thLinguisticAnnotationWorkshopheldinconjunctionwithACL2016.Berlin,Germany:TheAssociationforComputationalLinguistics, 2016: 7-15.

[45]XueN,PalmerM.AddingsemanticrolestotheChineseTreebank[J].NaturalLanguageEngineering, 2009, 15(1): 143-172.

[46] 李斌, 闻媛, 卜丽君, 等. 英汉《小王子》AMR语义图结构的对比分析[J]. 中文信息学报, 2017(1): 33-41.

LiBin,WenYuan,PuLijun,etal.AcontrastiveanalysisofAMRsemanticgraphfortheLittlePrinceinEnglishandChinese[J]．JournalofChineseInformationProcessing, 2017(1): 33-41.

[47]CaiD,ZhaoH.NeuralwordsegmentationlearningforChinese[C] //ProceedingsofAssociationforComputationalLinguistics(ACL2016)．Berlin,Germany:TheAssociationforComputationalLinguistics, 2016: 409-420.

[48]ZhouH,ZhangY,HuangS,etal.Aneuralprobabilisticstructured-predictionmodelfortransition-baseddependencyparsing[C] //ProceedingsofAssociationforComputationalLinguistics(ACL2015)．Beijing,China:TheAssociationforComputationalLinguistics, 2015: 1213-1222.

[49]SocherR,BauerJ,ManningCD,etal.Parsingwithcompositionalvectorgrammar[C] //ProceedingsofAssociationforComputationalLinguistics(ACL2013)．Sofia,Bulgaria:TheAssociationforComputationalLinguistics, 2013: 455-465.

[50]WatanabeT,SumitaE.Transition-basedneuralconstituentparsing[C] //ProceedingsofAssociationforComputationalLinguistics(ACL2015)．Beijing,China:TheAssociationforComputationalLinguistics, 2015: 1169-1179.

Survey on Abstract Meaning Representation

Qu Weiguang1,2, Zhou Junsheng1, Wu Xiaodong1, Dai Rubing2, Gu Min1, Gu Yanhui1

(1. School of Computer Science and Technology, Nanjing Normal University, Nanjing, 210023, China; 2. School of Chinese language and literature, Nanjing Normal University, Nanjing, 210097, China)

Semantic processing is a key challenge in natural language processing. Abstract meaning representation (AMR) is a novel framework of representing the meaning of a sentence. Instead of a tree, it abstracts the meaning of a sentence into a rooted acyclic directed graph, which solves the argument sharing problem. Thus, the corpus construction and automated parsing of AMR become a heated research field. This paper introduces the AMR's basic concept, annotation guidelines, parsing algorithm and applications. Then we discuss the problems and shortcomings of the parsing algorithms by comparison experiments. We also introduce the development of Chinese AMR researches. At last, we discuss the potentials of AMR, which are fruitful for Chinese semantic processing.

abstract meaning representation; syntactic semantics; semantic parsing; natural language processing

国家自然科学基金(61272221,61472191)资助项目;江苏省高校哲学社会科学研究项目(2016SJB74004)资助项目。

2016-11-27；

2017-01-20

TP391