基于抽象事理图谱的因果简答题求解方法

陈 越，何宇豪,孙亚伟，程 龚，瞿裕忠

(南京大学 计算机软件新技术国家重点实验室，江苏 南京 210023)

0 引言

标准测试是衡量人工智能的一种方法[1]，其中中国的普通高等学校招生全国统一考试(简称高考)已经吸引了众多人工智能学者的研究，例如， Cheng等[2]开展了历史学科选择题求解的研究，Ding[3]、Huang[4]和Li[5]等开展了地理学科选择题求解的研究。然而，目前在简答题求解任务上仍缺乏相应的研究工作。简答题求解任务需要针对问题给出一段长文本答案，此外，求解地理学科的简答题往往还需要进行因果分析，本文将这类简答题称为因果简答题(Casual Essay Question，CEQ)，例如：

问题： 简要分析鄂尔多斯内流区的形成原因。

答案： 地形较封闭，四周略高；降水少，蒸发旺盛，地表径流少。

求解高中地理因果简答题的主要难点在于需要融合多源知识并进行多跳因果推理。例如，上文的答案融合了地形和水循环等多种地理知识，并描述了多跳因果推理的过程。这与现有的问答任务不同，例如，Iida[6]和Oh[7]研究的“为什么”问题(why-questions)，以及其他可以通过检索等技术进行回答的非因果问题[8]。

本文在自建数据集GeoCEQA上进行实验，其包含了8 659个来自高中地理测试卷的无重复的因果简答题。由于缺乏公开的地理领域知识支撑求解这些问题，本文将GeoCEQA中的4 000个问答对作为领域语料，用于支撑剩余4 659个问题的回答。

为了实现知识集成和多跳因果推理，本文选择图结构表示知识。现今，比较流行的知识表示形式是知识图谱，其中，节点表示实体，边表示实体之间的关系，例如，ConceptNet[9]。然而，实体这种简单的概念并不能够支撑回答因果简答题。因果简答题大都围绕一些复杂的概念，包括状态(如降水少)、变化(如温度快速上升)以及动作(如灌溉农田)。本文通过概念级别的事件来表示它们，将这种事件称为抽象事件(Abstract Event，AE)，它与某实体在具体时间发生的具体事件不同。更进一步，本文从语料中抽取抽象事理图谱(Abstract Event Graph，AEG)来表示抽象事件之间的因果关系，这与Gottschak等[10]研究的具体事件之间的时序关系有所不同。

本文使用基于BERT[11]的方法，从领域语料中抽取抽象事件及其因果关系，构建AEG。此外，本文通过识别共指、相反和相似关系进一步扩充AEG。在解题时，给定一个因果简答题，本文首先将其链接到AEG中的抽象事件，然后通过个性化PageRank(简称PPR)从AEG中抽取一个子图，之后通过图神经网络对子图中的节点进行排序。最后，本文基于排序得到的最优的抽象事件，通过Transformer模型生成一段长文本答案。

本文的贡献主要有以下三点：

(1) 新任务： 提出并研究了一个新的任务——因果简答题求解，这项任务依赖知识集成和多跳因果推理。

(2) 新表示： 提出通过AEG的形式来表示抽象事件及其之间的各种关系。

(3) 新方法： 提出的模型基于图结构进行推理，可以融合因果简答题中的非结构化知识和AEG中的结构化知识。本文的方法在自建数据集GeoCEQA上显著超越了已有的基线方法。

数据集GeoCEQA和本文方法均已开源(1)https://github.com/nju-websoft/GeoCEQA。

本文的组织结构为： 第1节介绍相关工作；第2节介绍因果简答题求解任务的定义；第3节和第4节分别介绍AEG的构建方法和因果简答题的求解方法；第5节介绍实验结果及分析，第6节对全文进行总结。

1 相关工作

本文内容涉及问答任务、事件和关系抽取，以及图神经网络等研究。本节首先回顾已有的问答任务以及相应的方法，然后对事件和关系抽取，以及图神经网络的工作进行介绍。

1.1 问答任务

在现有问答任务中，MS MARCO[12]和NarrativeQA[13]要求从给定文档中抽取或生成一个短文本作为答案，而本文提出的研究任务要求生成一段长文本作为答案，传统的抽取模型难以取得好的效果。ELI5等[14]更具挑战性的问答任务尽管也要求生成一段长文本作为答案，但与本文不同，这些任务并不强调因果关系，因此不涉及因果推理；此外，ELI5任务预先给定了答题所需的文档，因此不涉及多源知识集成和多跳因果推理。

在面向其他相关问答任务的求解方法中，Shibuki等[8]提出利用检索解决非因果问题，Wang[15]、Hu[16]、Min等[17]提出从文档中抽取一个短文本作为答案，Nishida等[18]利用Transformer模型生成答案。这些方法并未显式地通过图结构来表示因果关系，推理能力较弱，难以适用于强调因果推理的简答题求解任务。Iida[6]和Oh等[7]通过文本编码方法在“为什么”问题上对给定的长答案进行压缩，虽然具有一定的因果关系处理能力，但该任务上不同问题间的因果关系相互独立，无须考虑全局的因果链，这些方法也未显式通过图结构来表示因果关系，而本文提出的方法构建了全局的AEG，实现了多源知识集成，通过显式的图结构为答题提供了较强的推理能力。此外，Fan等[19]构建了一个特定于问题的知识图谱作为Transformer模型的输入，用于生成答案，但知识图谱只能表示实体间的关系，这种简单的表示形式难以支撑因果简答题求解任务，而本文定义了新的表示形式AEG，通过构建AEG来表示抽象事件之间的因果关系。

1.2 事件和关系抽取

事件和关系抽取技术已被广泛研究，曾提出了BiLSTM-CRF[20]、RNN[21]、预训练语言模型[22]以及GAN[23]等方法。Dasgupta等[24]利用纯文本表示事件，而本文定义的抽象事件是结构化的，抽象事件由事件的类型及其元素组成。现有的事件关系抽取主要抽取的是时序关系[25-26]或者抽取具体事件之间的关系[27]，而本文关注的是概念级别抽象事件之间的因果关系抽取。Zhao[28]和Zhang等[29]通过句法模式进行事件及其关系抽取，而本文采用基于BERT的方法。此外，除了抽取句间关系[30]，本文通过共指等关系贯通多个句子和文档，构建AEG，从而实现多源知识集成。

1.3 图神经网络

图神经网络可支持基于图结构的推理，在自然语言处理领域已经被广泛应用。HotpotQA[31]和WikiHop等[32]阅读理解数据集需要多跳推理，针对此数据集，Tang等[33]在实体图谱上应用图神经网络进行推理。此外，Lin等[34]应用GCN和LSTM编码常识知识图谱来进行常识推理。Kim等[35]将GCN应用于多模态上下文图谱以解决多模态阅读理解任务。这些工作表明： 将图神经网络应用于图结构，经过多轮信息传递，可以更好地融合节点的向量表示，从而具有一定的推理能力。因此，本文利用图神经网络在AEG上进行因果推理，基于AEG定义事件之间的因果关系等，利用图神经网络进行节点间信息传递及多跳因果推理。本文提出的方法可以融合因果简答题的非结构化知识和AEG的结构化知识。

2 因果简答题求解任务

求解因果简答题需要分析因果关系，其标准答案描述了一系列的原因或者结果以及中间的推理过程，而推理过程往往需要多源知识集成以及多跳因果推理。

以引言中所示例题为例，问题要求求解“鄂尔多斯内流区的形成原因”，其标准答案描述了一系列原因及推理过程： 鄂尔多斯“地形较封闭”且“四周略高”，导致“形成内流区”；此外，“降水少”且“蒸发旺盛”导致“地表径流少”，进而导致“形成内流区”。该标准答案融合了地形和水循环两大地理知识，体现了多跳因果推理。

3 AEG构建

为了支持知识集成以及多跳因果推理，并用于求解因果简答题，本文提出了一种新的图结构的知识表示，称为AEG。本文首先定义AEG的结构，之后提出基于BERT的方法从文本中抽取AEG，最后将此方法应用于GeoCEQA数据集的语料。抽取AEG的示例如图1所示。

图1 抽取AEG的示例每条虚线表示一对“共现”边，“原因”关系被省略。

3.1 AEG的结构

AEG是一个有向图G=，其中，V是节点集合，表示概念级别的抽象事件；E是有向边集合，表示抽象事件之间的关系。针对高中地理的特点，本文定义了三种抽象事件的类型，每种抽象事件最多包含4个事件元素：

● 状态(概念，修饰)： 例如,“降水少”被表示为状态(降水，少)；

● 变化(概念，修饰，谓语，程度)： 例如,“温度快速回升”被表示为变化(温度，，回升，快)；

● 动作(概念，修饰，谓语)： 例如,“灌溉农田”被表示为动作(农田，，灌溉)；

本文定义了五种抽象事件之间的关系类型：

● 结果及其反向关系原因： 表示抽象事件之间的因果关系；

● 相反： 表示抽象事件是相反的，例如，相反方向的状态和变化；

● 相似： 表示相似但不共指的关系，例如拥有相似修饰元素的抽象事件；

● 共现： 表示出现在相同上下文中的抽象事件。

其中，相反、相似和共现关系都是对称的，这些非因果关系有助于因果分析。相反关系表明事件之间可能具有较强的负相关性；相似关系表明事件之间可能具有较强的正相关性；共现关系表明事件之间可能具有一定的相关性，但极性和强度未知。值得一提的是，以上的事件元素及其关系并不局限于地理领域，例如，相反和相似关系是具有一般性的事件关系，也适用于其他领域。

3.2 抽取抽象事件及其因果关系

本文从给定语料的每篇文档中抽取抽象事件及其因果关系。对于每篇文档d，本文的模型联合训练抽象事件的文本及元素的抽取以及因果关系的抽取。总架构如图2所示。

图2 抽象事件及因果关系抽取模型

识别抽象事件文本： 本文将文档d输入BERT，如式(1)所示。

(1)

(2)

(3)

(4)

其中，embed()函数表示对长度数值的编码。本文使用ej和ek之间单词表示的最大池化结果来表示的上下文向量，如式(5)所示。

(5)

(6)

其中，W和b是参数。上式表示将抽象事件ej和ek之间关系分类成如下类型的概率分布： ①因果，②并列，③无关。其中，并列关系有助于补充难以直接抽取的长距离因果关系，以“降水少，蒸发旺盛，地表径流少”为例，抽取出“降水少”与“蒸发旺盛”之间的并列关系，以及“蒸发旺盛”与“地表径流少”之间的因果关系后，可得出“降水少”与“地表径流少”之间的因果关系。本文选择概率最大的类别作为最终预测的抽象事件ej和ek之间的关系类型。如果被分类为因果关系，则在AEG中ej和ek之间添加“结果”边以及反向关系“原因”边；如果被分类成并列关系，则将ej和ek各自的“结果”边和“原因”边复制给对方。注意，“结果”边和“原因”边总是成对出现的。

联合训练： 以上所有的分类器均采用交叉熵损失函数，最后将所有损失求和进行训练，如式(7)～式(10)所示。

(7)

(8)

(9)

L=Lmention+Largument+Lrel

(10)

3.3 扩充AEG

为了融合抽取到的因果关系，增强多跳因果推理的能力，本文进一步合并了共指的抽象事件，并增加了其他的关系类型来关联抽象事件。

具体而言，本文将抽象事件的元素通过分号拼接，将其转化为一个句子。由于效率的原因，本文只考虑了对应句子对中至少包含一个相同单词的抽象事件对。对于任意一对抽象事件ej和ek，将其对应的句子对作为BERT句对分类模型的输入，分类类型包括： ①共指，②相反，③相似，④无关。其中，相反和相似关系刻画了事件之间的相关性，在很多情况下直接或间接表明了某种因果关系，故有助于因果推理。本文选择概率最大的类别作为最终预测的抽象事件ej和ek之间的关系类型。当预测为共指关系时，将AEG中的ej和ek合并；当预测为相反关系时，在ej和ek之间增加“相反”边；当预测为相似关系时，在ej和ek之间增加“相似”边。

除此以外，在同一篇文档抽取得到的抽象事件之间增加“共现”边[36]。

3.4 基于GeoCEQA构建AEG

本文将上述方法应用于GeoCEQA数据集的语料，其中，每篇文档d就是一个因果简答题q和其对应的标准答案a的组合。

基于GeoCEQA构建的AEG的部分数据如表1所示。下文将介绍训练数据和实验结果。

表1 从GeoCEQA构建的AEG的统计信息

抽取抽象事件及其因果关系： 本文从GeoCEQA的训练集中采样了2 082篇文档用于训练，从GeoCEQA的测试集中采样了521篇文档用于测试。邀请了四名标注人员标注训练集和测试集中的抽象事件及其关系(例如,因果、并列关系)，标注数据均被高级标注人员检查过。如表2所示，抽象事件文本的抽取结果质量较高(F1=0.754)。此外，考虑到本文的评估标准要求很高，AE的所有元素必须完全匹配才视为正确，因此事件元素抽取的质量尚可(F1=0.693)。实际上，抽象事件抽取的一些误差对下游任务不会有太大影响。关系抽取的难度较大，这是由于因果关系通常没有明显的语言模式，如图1所示。

表2 抽象事件及其因果关系的抽取质量

扩充AEG： 本文从人工标注的抽象事件中采样了52 858个事件对用于训练，13 215个事件对用于测试。对这些事件对人工标注它们之间的关系，包括共指、相反和相似关系。实验结果如表3所示，分类质量较高(F1=0.945)。

表3 扩充AEG的质量

4 因果简答题求解

给定一个因果简答题，本文基于AEG进行因果推理，选择最优抽象事件，生成一段长文本答案。出于效率考虑，本文首先在AEG上抽取一个与问题相关的子图，再执行上述过程。

4.1 基于AEG的因果推理及答案生成

给定一个因果简答题q和一个AEGG=，其中V和E分别是AEG节点和边的集合。本文首先进行因果推理，选择最优抽象事件，然后基于这些事件进行答案生成。方法的整体架构如图3所示。

抽象事件排序： 为了对抽象事件进行排序，本文提出了一种新的方法来结合问题q的无结构文本、V中结构化的抽象事件以及E中的异构关系。

(11)

图3 基于AEG的因果推理及答案生成模型

(12)

(13)

(14)

(15)

(16)

联合训练： 以上所有的分类器均采用交叉熵损失函数，最后将所有损失求和进行训练，如式(17)～式(19)所示。

(17)

(18)

L=Lrank+Lgen

(19)

4.2 抽取与问题相关的子图

在一个完整的AEG G=上进行推理效率很低。因此，给定一个因果简答题q，本文首先将其链接到V中的抽象事件，然后抽取一个与链接的抽象事件相关的子图。上述的推理和答案生成过程则基于该子图进行。

●抽象事件的链接： 本文首先从因果简答题q中进行抽象事件文本抽取，其中式(1)中d的答案a设置为空字符串，最终得到一个抽象事件文本集合εq。然后，对于其中的每个文本ej∈εq，从AEG中识别一个抽象事件子集Vj∈V，作为候选链接事件。Vj中包括了AEG中通过3.3节所示模型识别出的与ej类型相同且最有可能形成共指或相似关系的抽象事件，以及与ej的fastText向量表示[39]的余弦相似度最接近的抽象事件。最终，本文将ej链接到Vj中排序最优的抽象事件，排序应用了ROUGE和余弦相似度cos，如式(20)所示。

max{0,cos-0.5}

(20)

5 实验

由于缺乏高中地理因果简答题数据集，本节将本文方法与多个前沿的基线模型在自建数据集GeoCEQA上进行实验比较。

5.1 构建数据集GeoCEQA

本文从中国高中地理试卷中收集因果简答题。从三个网站爬取问题及其答案，并使用Huang[4]提出的方法去除重复问题。然而，收集到的问题并不都是因果简答题。为了识别因果简答题，人工标注了1 200个问题，其中456个属于因果简答题，另外744个不属于因果简答题。使用该标注结果训练BERT二分类模型以预测剩余的问题是否属于因果简答题。对于预测得到的所有因果简答题进行人工审核，防止分类错误。

GeoCEQA数据集包含了8 659个无重复的因果简答题及其对应的标准答案，每个答案都是一段长文本，平均包含7.6个句子，62.3个中文字符。

本文随机抽取了其中的4 000个因果简答题及其对应答案作为领域语料支撑解答剩余的因果简答题。剩余4 659个题目中3 279个作为训练集(70%)，560个作为开发集(12%)，820个作为测试集(18%)。

5.2 实现细节

本文使用中文版本的BERT-Base模型，使用Adam优化器，学习率设置为5e-5，学习率预热步数设置为100。

● 抽取抽象事件及其因果关系的模型： 768维隐藏层的BERT，训练步数为3 000，批量大小(batch size)为32。

● 扩充AEG的分类模型： 768维隐藏层的BERT，训练轮数(epoch)为8，批量大小为32。

● 基于AEG的因果推理及答案生成模型： 768维隐藏层的BERT，3层256维隐藏层的GNN(L=3)，6层768维隐藏层的Transformer解码器，解码时束大小(beam size)设置为5，训练步数为10 000，批量大小为16，每16个实例进行梯度累积。

在基于AEG的因果推理及答案生成模型中，为了训练式(14)中的判定抽象事件是否被用于答案生成模块的分类器，本文使用4.2节中介绍的方法自动将答案中的抽象事件链接到AEG中作为标准正例，用于生成答案段落。

本文抽取200个最优节点构成子图(ρ=200)，选择20个最优抽象事件用于生成答案(τ=20)。下文将展示ρ、L、τ不同设置下的实验结果。

5.3 基线方法

由于缺乏直接可以比较的方法，本文将4个相关任务下的11个最优方法迁移到因果简答题求解任务下进行对比。

● 句子选择： 应用BM25从语料中检索最相似的因果简答题，拼接对应的标准答案作为输出。类似地，利用中文预训练语言模型ERNIE[41]训练句对分类模型来计算因果简答题之间的相似度，拼接相似问题对应的标准答案作为ERNIE方法的输出。为了对ERNIE进行微调，本文首先通过BM25检索出20条最相似的因果简答题，然后通过ROUGE-LF1自动标注5个答案最相似的因果简答题作为正例，其他15个简答题作为负例。

● 序列到序列： 本文训练了MASS[42]、DeepNMT[43]、PreSumm[44]、BERT-fused[45]和mBART25[46]模型，这些模型根据因果简答题生成答案。本文在Wikipedia上预训练MASS。

● 开放域问答： 本文应用SRMRS[47]和HardEM[17]从语料中检索相关段落并抽取答案文本。

● 知识库问答： 本文应用BAMnet[48]对AEG中的节点进行排序，拼接最优的节点作为输出。为了训练BAMnet，本文使用4.2节中介绍的方法将因果简答题及其标准答案中的抽象事件链接到AEG中作为主题节点和答案节点。进一步，将BAMnet的输出作为本文方法中答案生成模块的输入，采用BERT作为编码器、Transformer作为解码器，去除基于AEG的推理模块，最终扩展为增强版的新方法BAMnet+。

为了比较的公平性，所有方法包括本文提出的方法均采用BERT的默认超参设置。关于其他超参数，每个基线方法的配置都遵循原文。

5.4 实验设置

本文将生成答案的最大长度设置为60个中文字符，与GeoCEQA中标准答案长度的均值(62.3)接近。由于其他长度约束(30，90)的实验结果与本文近似，不再展现。对于使用集束搜索的方法，约束最小长度为最大长度的一半。

5.5 人类表现

本文从测试集中随机采样了100个因果简答题，邀请了两名来自作者所在学校的本科生进行解题，允许他们在网络上搜索地理知识，但禁止直接搜索原题。

5.6 评价指标

本文通过ROUGE得分和BLEU得分将各方法输出的答案和标准答案进行自动比较。此外，本文邀请了一名阅卷经验丰富的中学地理教师作为任务专家对各方法在上文采样得到的因果简答题上输出的答案进行0～10范围内的打分，并邀请了另一名教师对打分结果进行了抽样复核。

5.7 实验结果

与基线方法比较： 在ROUGE和BLEU得分上，本文提出的方法在测试集上优于所有基线方法(表4)。在专家的人工评分上，本文方法超过基线方法0.42～2.15，并且几乎所有的差异都是显著的。这些实验结果表明了本文方法的有效性。

表4 本文方法与基线方法在ROUGE得分、BLEU得分和专家打分上的对比

表5 消融实验结果

在测试集上，本文提出的方法在ROUGE-1、ROUGE-2、ROUGE-L和BLEU-4得分上分别超出句子选择方法3.2～7.1、3.3～6.1、3.7～6.5和1.9～4.0，超出序列到序列方法1.4～6.7、0.8～5.1、0.8～4.9和0.6～3.3，超出开放域问答方法5.8～9.8、6.5～8.8、6.5～7.6和4.9～7.0。本文提出的方法在专家评分上超出句子选择方法0.42～1.02，超出序列到序列方法0.63～1.89，超出开放域问答方法1.35～1.69。与句子选择、序列到序列以及开放域问答的方法相比，本文提出的基于图的知识表示可以更好地支持多源知识集成和多跳因果推理。在测试集上，本文提出的方法在ROUGE-1、ROUGE-2、ROUGE-L和BLEU-4得分上超出知识库问答方法1.4～15.2、1.0～11.3、1.0～13.7和0.4～8.2，在专家评分上超出0.50～2.15。与知识库问答相比，本文提出的R-GCN+可以更好地探索AEG中的信息。这些特点使得本文提出的方法优于现有方法。

与人类表现比较： 如表4所示，尽管本文提出的方法优于所有基线方法，但在ROUGE、BLEU得分和人工评价上仍不如人类表现，因此需要开展进一步研究。注意到人类给出的答案在人工评价时也仅获得了6.40的分数，这表明了这项任务的难度。

消融实验： 本文将标准方法与6个变种进行对比。如表5所示，将本文使用的R-GCN+替换为原始的R-GCN或者关系型版本的R-GIN[49]之后，测试集上ROUGE-1、ROUGE-2和ROUGE-L得分分别下降了0.3～0.5、0.2～0.3和0.5～0.6，这表明了本文提出的新模型的有效性。将关系的类型或者非因果关系从AEG中去除之后，测试集上ROUGE-1、ROUGE-2和ROUGE-L得分分别下降了0.2～0.3、0.1和0.3～0.6，体现了这些具有通用性的事件关系在地理领域因果推理中的有效性。式(15)中，本文提出的方法结合了gbert和g(L)，消融实验中，只使用其中一项时，测试集上ROUGE-1、ROUGE-2和ROUGE-L得分分别下降了0.4～0.9、0.3～0.6和0.8～0.9，这体现了信息融合的有效性。

超参分析： 本文对方法中涉及的三个超参进行了调节，ρ∈{100,200,300}，L∈{1,2,3,4,5}以及τ∈{10,20,30}。如表6～表8所示，本文方法在ρ=200，L=3，τ=20的设置下取得了开发集上的最优结果，所以本文默认采用该设置。

表6 不同ρ值设置下本文方法的ROUGE得分

表7 不同L值设置下本文方法的ROUGE得分

表8 不同τ值设置下本文方法的ROUGE得分

5.8 错误分析

本文对测试集中答错的100个因果简答题进行了原因分析。推理和答案生成模块的错误占26%： 其中，20%来自于抽象事件排序，6%来自于解码。例如，表9示例1中答案相关的抽象事件“纬度低”存在于抽取的子图中，但被抽象事件排序模块误排在后面，未被用于答案生成；而抽象事件“山地多”尽管在抽取的子图中且排在前τ个，但解码器未利用其生成相关答案，这是解码的错误。与问题相关的子图抽取模块的错误占62%： 其中29%来自于事件链接的错误，33%来自子图抽取。例如，表9示例2中从问题抽取的抽象事件为“风能密度大”，却被误链接到抽象事件“线路密度大”；而表9示例1中答案相关的抽象事件“河谷海拔低”和“相对高差大”则未被子图抽取模块抽取。剩余的12%错误是由AEG的不完整导致的，例如，从表9示例3的问题抽取的抽象事件为“生产加气砖”，但在构建的AEG中没有可以链接到的抽象事件。

5.9 运行时间

在测试集上，本文提出的方法平均16s可以回答一个因果简答题，大多数的时间花费在抽象事件链接模块。

表9 错例分析

6 总结

本文提出了一项新的任务： 因果简答题求解，并在自建数据集GeoCEQA上开展实验。本文基于GeoCEQA的语料构建了一个AEG进行多源知识集成和多跳因果推理。

在实验中，本文提出的基于AEG的方法，其性能显著超过了现有的基线方法。注意，该方法可以泛化到其他类型的问题上，例如，本文提出的推理模型创新地融合了非结构化知识和结构化知识，可以与其他基于图的知识表示(不限于AEG)一起使用，这将是今后的工作。此外，我们还将进一步改进方法，以解决错误分析所发现的问题。