融合细粒度上下文信息的互动论点对识别方法

何宇航,鲍建竹,徐睿峰,孙 洋,赵 琴

(哈尔滨工业大学(深圳) 计算机科学与技术学院,广东,深圳 518055)

0 引言

随着社交媒体的发展,越来越多的用户习惯于在互联网上发表个人见解,围绕热点话题展开讨论,由此产生了大规模非结构化的论辩文本。论辩挖掘相关研究旨在从这些论辩文本中识别其论点、论据以及相关的辩论策略。此类研究有着广泛的应用场景,可以用于对同行评审对话、法庭判决记录、社交媒体文本等进行高效的分析[1],有助于减轻人工分析大量数据的压力,因此具有很高的研究价值。

早期的论辩挖掘相关研究聚焦于分析独白式的论辩文本。最近涌现了许多针对对话式论辩文本的研究,其中最具代表性的便是互动论点对识别问题,已成为当下对话式论辩挖掘研究的热点。不同于独白式论辩场景,互动论点对识别需要考虑对话式论辩场景中一系列论点的交互,模型需要深刻理解论点,并捕捉到对话双方之间的观点交互。图1给出了一条来自CMV数据集[2]的真实对话式论辩样本,其中,引述文本包含来自对话一方的引述论点和引述上下文,而答复文本则包含另一方的答复论点和答复上下文。互动论点对识别模型需要从一组候选答复论点中找到与引述论点有互动关系的一则答复论点。图1中,引述论点所表达的是“征税是盗窃”,而需要结合答复论点1的上下文描述,才能断定答复论点1是针对引述论点的正确互动论点。因此,如何更好地提取上下文中的关键线索,进而更深刻地理解论点语义,是解决互动论点对识别的关键问题。

图1 来自CMV数据集的互动论点对识别样例一个引述论点对应多个候选答复论点,每个答复论点都有其所对应的上下文,目标是从候选答复论点中选择出一个正确的答复论点,能够与引述论点构成互动论点对。下划线标注出了引述和答复上下文交互的关键词语。

针对上述挑战,Yuan等人[3]利用外部工具构建了基于上下文的知识图谱,然后通过图神经网络间接地编码上下文整体的语义表示。Wu等人[4]采用两个预训练语言模型,直接将所有上下文作为辅助信息,以语义匹配的方式分别推理上下文和论点的互动关系。Geng等人[5]则将此任务视为自然语言推理任务,通过将论点和所有上下文同时输入预训练模型,识别出蕴含互动关系的一对文本。

可以发现,现有的方法大都直接或间接地将上下文整体视为论点的补充解释。然而观察发现,上下文中往往存在一些与判断互动论点关系无关的噪声句子。此外,仅仅采用语义匹配来识别互动论点的方法,难以细粒度地感知对话间的互动关系。针对现有方法的不足,本文提出一种基于对偶互动图融合细粒度上下文信息的互动论点对识别方法(Fine-grained Context Dual Graph Network, FCDGN)。首先,为了减少利用上下文信息时可能引入的噪声,尤其是与论点语义弱相关的句子,该方法采用基于语义相似度的策略初步筛选保留相似度高的上下文句子。其次,为了细粒度地感知一对论点的互动关系,该方法通过构建对偶互动图,层次化地表示论点-上下文、论点-论点之间潜在的互动模式,进而采用图注意力神经网络细粒度地编码句子之间的关系。这一方法的思想在于通过对偶互动图,推理一对论点的互动关系。在CMV公开数据集上的结果显示,本文提出方法的性能优于现有方法,从而显示出筛选上下文策略和图注意力机制对模型性能优化的有效性。注意力机制的可视化结果表现出这一方法具有一定的可解释性。

本文的组织结构如下: 第1节介绍论辩挖掘和互动论点对识别的相关工作;第2节介绍本文提出的基于图神经网络融合细粒度上下文的互动论点对识别方法;第3节介绍主实验和实验结果分析;第4节对工作进行总结和展望。

1 相关研究

近年来,计算论辩学领域的相关研究发展迅速,主要包括论辩关系识别[6]、论点对识别[7]、论辩说服力评估[8]等。大多数的工作主要集中在对独白式论辩文本的分析研究。最近,对话式论辩文本分析成为了新的热点。其中,论点对识别是该领域的一个重要研究问题。

独白式论辩挖掘关注单篇文档内部论辩结构,大多以议论文、法律文书等为研究对象,自动地进行论点提取分类和论辩关系识别分类等。Bao等人[9]为了解决关系识别和论点提取分类任务,通过动作序列逐步构建论证图,提出基于神经转移的模型,避免了枚举所有的潜在论辩关系,能够高效地分析存在复杂论辩结构的文本。Morio等人[6]提出一种端到端的论辩挖掘模型,采用序列标注的方式提取并分类论点的片段,同时利用双仿射的方式识别并分类论点间的关系。

对话式论辩挖掘主要研究围绕特定话题的论辩对话,包括对话双方之间的互动行为、支持反驳、观点交换等。Wei等人[10]从线上论坛CMV中构建了一个数据集,根据原始论点和讨论的主题来分析争议质量与争议行为之间的相关性。Tan等人[2]研究了对话中的观点变化,寻找那些改变了他人观点的答复,并采用逻辑回归预测哪个答复更有说服力。Chakrabarty等人[11]针对CMV数据集,提出了论点挖掘模型,结合修辞结构解析器和预训练语言模型,分析多轮对话间的论辩结构。Habernal和Gurevych[12]构建了UKPConvArg1语料库,并使用SVM和双向LSTM来研究社交媒体论点令人信服的原因。Cheng 等人[13]提出了一种结合序列标注和关系分类的模型以解决学术评审对话文本的论点对抽取问题,Bao等人[14]则将此任务转换为机器阅读理解问题,获得了更好的性能。

互动论点对识别是对话式论辩挖掘领域中的一个重要问题,其目的是从对话式论辩文本中找出有着互动关系的一对论点。目前研究主要聚焦于如何有效地利用论点的上下文信息。Ji等人[7]提出使用CNN和GRU层次化地融合上下文整体信息,以实现论点对的互动识别。Yuan等人[3]则提出一种利用图神经网络间接地建模上下文信息的方法。他们先是利用外部工具在上下文整体上构建知识图谱,然后通过编码上下文知识图谱的方式辅助识别互动论点对。在2021年自然语言处理与中文计算(NLPCC)评测中,针对互动论点对识别任务,Wu等人[4]采用双语言模型分别编码整体上下文和互动论点对,设计了神经网络融合上下文向量,并使用数据增强的方法,获得了最优的性能。2020年中国法律智能技术评测[15]构建了中文司法领域的语料,并总结汇报了使用记忆网络提取上下文信息对模型性能提升的重要性。

虽然目前融合上下文信息的方法已取得成效,但是大多数工作间接或直接地建模所有上下文的信息,而忽视了对主题无关的上下文噪声文本的处理。针对这个问题,本文提出一种筛选相关上下文的方法,并构建了基于对偶互动图神经网络融合细粒度上下文信息的模型,从而有效减少上下文中的噪声干扰,同时更好地建模论点与上下文之间的细粒度联系。

2 基于对偶互动图神经网络的细粒度互动论点对识别模型

本节首先定义论点对识别任务,然后详细介绍本文提出的基于对偶互动图神经网络细粒度编码上下文信息的方法框架和其中的各个组件。本文提出了一种基于语义相似度筛选上下文的方法和互动论点对识别方法。该方法主要由两部分组成: 结点互动选择编码和图互动编码,其中结点互动选择编码利用注意力机制从上下文中选择重要的信息,图互动编码通过对偶互动图预测互动关系。整体模型框架如图2所示。

图2 基于对偶互动图神经网络的细粒度互动论点对识别模型

2.1 互动论点对识别任务定义

2.2 基于语义相似度的上下文筛选

(1)

2.3 对偶互动图构建

为了更好地建模引述论点和答复论点的互动关系,同时考虑到该互动关系是双向的,即引述文本Q是答复文本R的依据,答复文本R又是对引述文本Q的响应,本文构建对偶互动图,即以引述为导向的互动图和以答复为导向的互动图。这两个互动图可以相互指导并合作地判断互动关系。

(2)

(3)

或者以对偶互动图的形式表示,如式(4)所示。

(4)

2.4 对偶互动图的结点初始化表示

(5)

(6)

2.5 结点互动选择编码

(7)

(8)

(9)

(10)

2.6 图互动编码

在计算上下文中每个句子的重要性之后,需要在对偶互动图上推理每个结点对于论点对之间存在互动关系的贡献,即结点标签预测的条件概率P(y|nt,Gt)。为此,采用图互动编码依据互动图上的拓扑连接在图结点之间进行上下文信息的传播,从而更充分地利用所有上下文信息对每个结点进行预测,以第i个结点为例,如式(11)所示。

P(y|nt,Gt)=Edge-Attention(nt,Gt)

(11)

图中任一结点的邻居结点蕴含了与其有关且不同的上下文语境信息,为了有效地融合不同上下文信息,获得综合的上下文信息,图互动编码在互动图Gr,Gq上采用分层注意力机制,首先使用字词级图注意力网络来生成结点表示,然后使用句子级图注意力网络沿着边在结点之间传播信息。

2.6.1 字词级图注意力网络

本文首先提出字词级图注意力网络,利用字词级别注意力机制,针对每一个结点,计算其特定的邻接结点的向量表示。具体地,对于第s结点及其表示向量Ht,s,字词级图注意力网络根据它的邻接结点e,以及其表示向量Ht,e,得到结点s特定的邻接结点e表示向量zt,e→s。为此,字词级注意力网络通过余弦相似度计算s结点的第i个词对邻接结点e的第j个词的注意力系数,如式(12)所示。

(12)

2.6.2 句子级图注意力网络

本文使用句子级图注意力网络将邻居结点的信息聚合在中心结点,以获得结点互动表示向量。具体地,根据结点s计算邻接结点e的注意力聚合系数λt,e→s,如式(13)所示。

λt,e→s=Softmax(Linear(zt,s∘zt,e→s))

(13)

其中,“∘”表示拼接操作。然后,通过结合邻接结点的细粒度表示更新结点表示,以获得用于单结点互动预测的表示向量vt,s,如式(14)所示。

(14)

由于结点s用其邻接结点信息更新自身的结点表示: 首先由字词级注意力计算特定的邻接结点的表示,然后由句子级注意力聚合传播的表示向量,因此它蕴含了来自多个邻接结点的综合上下文信息,表征了对论点互动关系推理的贡献。

结点s更新后的向量表示vt,s随后被用于计算单结点互动标签的条件概率P(y|nt,Gt),如式(15)所示。

(15)

最后根据上下文句子与论点对互动关系的相关性,参照式(4)对互动图中的结点级预测进行加权。整个模型采用交叉熵作为损失函数进行训练,如式(16)所示。

(16)

3 实验结果及分析

3.1 数据集

本文使用CMV公开数据集来验证模型的有效性。CMV数据集最初由Tan等人[2]使用Reddit API获取,包含2013年2月到2015年3月的论坛帖子。在CMV数据集里,用户通常以特殊的标记引述并答复对方的论点。利用这个特点,Ji等人[7]在原始CMV数据集的基础上,总结归纳并处理得到了互动论点对识别任务的数据集,并划分出11 565条训练样本和1 481条测试样本。其中,每条样本包括1条引述文本Q和5条候选的答复文本R,如图1所示。模型需要在候选答复文本中找出正确的答复文本。

3.2 评价指标

与之前的工作相同[4,7],本文将互动论点对识别任务转换为句子对排序问题,采用Precision@1 (P@1)作为评价指标,计算对5条候选答复文本排序后第1条的准确率。

3.3 实验设计

3.3.1 超参设置

为与之前的工作保持一致,我们使用预训练的BERT-base模型获取结点的向量表示。参数优化采用AdamW[18]优化量,学习率设置为6e-6。所有的Linear神经网络均设置为单层,768维的隐藏层。预训练模型的Dropout[19]设置为0.1。这里筛选出前k=6句语义相关性最强的上下文句子。训练的batch-size为8。为保证训练标签类别的平衡性,每一个batch中包含相同数目的正例和负例,负例从4个错误候选答复文本中随机选取。

本文从训练集中随机划分20%的样本作为验证集,每次实验采用Earl-stoping策略训练10个epoch,其Patience设置为3。每个实验均使用不同的随机种子运行10次,报告平均结果。所有实验均在1块NVIDIA A100 Tensor Core显卡上实现。

3.3.2 对比模型

本文方法所对比的模型如下:

•BERT[20]: 此方法利用预训练的 BERT 模型在实验数据集上进行微调,单独对一对论点进行分类而未使用论点的上下文信息。

•DVAEHierarchicalContext[7]: 此方法使用离散化的变分自编码器编码论点对,并且结合 CNN和GRU 建模上下文的每个句子,获得上下文整体的表示向量,通过分别编码论点和上下文表示向量进行分类。

•BERTHierarchicalContext[3]: 此方法作为DVAE Hierarchical Context的拓展,将变分自编码器替换为预训练的BERT模型。

•BERTKnowledgeGraph[3]: 该方法利用信息抽取获取上下文语料的(实体-路径-实体)三元组,构建知识图谱结构化地编码上下文,间接地获得上下文整体的表示向量,与论点对的表示向量拼接进行互动论点对的识别。

•ACE[4]: 该方法设计了两个BERT模块,分别建模论点对和上下文文档。引述文本和答复文本的上下文表示向量由单独的BERT编码,最后论点对表示向量和上下文表示向量求和,输出互动的预测概率。该方法还使用了对抗扰动的数据增强策略来提升性能。

3.4 实验结果分析

3.4.1 总体性能实验

总体性能实验结果如表1所示。可以看出,我们提出的模型FCDGN相较于当前最优的ACE模型的P@1提升了约3.01%。基础的BERT模型由于没有融合论点上下文的信息,总体效果不佳。DVAE Hierarchical Context由于所使用的离散化自编码器的性能不如预训练的编码器,因此总体性能表现较差。BERT Hierarchical Context使用预训练的语言模型改进了这一点,取得了性能的提升。BERT Knowledge Graph和ACE采用不同的方法建模上下文,均取得了一定性能提升。然而,BERT Knowledge Graph建模上下文的效果较大程度地依赖于三元组抽取的质量,导致表现反而不如直接建模上下文的信息。分析发现ACE虽然考虑到了上下文整体对论点互动的贡献,但是没有区分每一句上下文的信息与论点在语义上的关联,而本文提出的FCDGN方法则对上下文进行了筛选,从更细粒度的角度来衡量不同上下文句子对论点的贡献程度,且不依赖数据增强,取得了更高的总体性能。

表1 各模型总体性能 (单位: %)

3.4.2 消融实验结果

为了评估模型中各个部分对总体性能的影响,本文进行了详细的消融实验,其具体设置如下:

• FCDGN w/o Filter-Random: 不使用基于语义相似度的方法筛选上下文句子,而是随机采样k段句子构成引述和答复的上下文句子Cq,Cr作为模型的输入。

• FCDGN w/o Filter-Block: 不筛选上下文句子,而是将完整的上下文分割成包含噪声的多个片段作为模型的Cq,Cr输入。

• FCDGN w/o Node attention: 结点互动选择编码时,使用平均池化替代注意力机制,将答复上下文和引述上下文的平均句子向量作为结点的选择表示向量计算P(nt|Gt)。

消融实验结果如表2所示,从实验结果FCDGN w/o Filter-Random来看,基于语义相似度筛选的策略有效地选择了互动关系更强的上下文句子,带来8.68%的显著性能提升。w/o Filter-Block不可避免地包含无关噪声,其表现优于随机选择上下文的方法,证明了细粒度的FCDGN具有过滤噪声建模互动关系的能力。结点互动选择编码的注意力机制Node Attention对模型性能的提升,则说明了注意力机制对进一步筛选论点语义相关的上下文句子有很大帮助。Edge attention因为融合了论点互动的细粒度特征,进一步提升了效果,说明了融合细粒度上下文的重要性。除此之外,多头注意力的方式也在一定程度上加强了模型建模更丰富语义信息的能力,增强了模型的能力。

表2 消融实验结果 (单位: %)

3.4.3 筛选阈值分析

为了评估引入上下文的多少对模型的影响,本文通过调整基于语义相似度筛选的阈值k,观察模型随k值变化的表现,实验结果如图3所示。

图3 模型性能随筛选阈值的变化best表示最优的结果,avg表示多次结果的平均值

从图3可看出,随着阈值k的增加,模型的性能总体处于上升趋势,这是因为引入更多的上下文信息。当k=1时,模型只利用了与论点语义最相似的一句上下文,已超过无上下文信息的BERT模型。具体来说,k=1,2时,模型只融合了有限的上下文语境,因此还不足以超过融合了全部上下文语境的ACE模型。而当k=3时,本文提出的模型便可以超过当前的最优模型。我们认为本文提出的筛选和融合上下文的机制能够有效过滤噪声,使得模型效果优于直接融合整体上下文的方法。同时,随着k的增大,模型可以利用更丰富的上下文获取得性能提升。然而,当k=7时,会引入较多噪声上下文,导致模型性能出现明显下降。

上述对筛选阈值的分析说明本文提出的模型有效地提取了上下文的关键信息,理解了互动论点的语境,有助于更加准确地识别互动论点对。

3.4.4 注意力可视化

为了探究本文所使用的细粒度注意力机制的效果,这里对一条正例样本的注意力权重结果进行了可视化。结果如图4所示,引述和答复上下文依照式(1)中的相似度分数排序,句子序号越小,此句与论点的语义相似度越高。词语颜色表示一个词在给定句子中的重要性,颜色越深表示该词所获得的注意力越强。

图4 注意力机制可视化图

引述上下文句子1谈论的是“社会服务”,答复上下文句子1谈论的是“税收”,它们分别与答复论点中的“服务条款”和引述论点中的“征税”联系紧密。另外,抽取出的上下文句子还可能帮助解释自身论点或与另一方论点互动,例如,引述上下文3直接补充解释了引述论点。

另一方面,从可视化图中可以发现,模型更加关注上下文中对论点互动推理有贡献的词语。例如,在引述上下文句子1中,“社会保障”“医疗补贴”的注意力权重较高,它们都属于一类社会服务,呼应了答复论点中的“服务条款”。同时,在答复上下文句子1中,“税收”的权重最高,正确地呼应了引述论点中“征税是强盗”这一说法。

此外,模型还能够细粒度地关注上下文句子之间的互动词。在引述上下文句子2中,“劳动能力”颜色较深,这与答复上下文句子3中的“出售劳动力”关系密切,因而被模型认为更加重要。在答复上下文2中,“服务”颜色较深,与引述上下文句子1中的“社会服务”联系较强,也被模型正确地捕捉到。

通过以上可视化的结果可以说明注意力机制较好地帮助模型捕捉到上下文中对互动关系推理有贡献的互动词,有助于模型正确地识别互动论点对。

4 总结与展望

本文针对互动论点对识别任务提出了一种融合细粒度上下文信息的方法。该方法首先使用基于语义相似度的策略筛选出合适的上下文句子,同时过滤掉与论点互动关系较弱的上下文以去除噪声。而后,基于对偶互动图神经网络提出了融合细粒度上下文信息的模型。该模型构建了对偶互动图,并分两步完成了互动论点对的推理。在CMV数据集上的实验结果显示,本文提出的方法能够有效提升互动论点对识别的准确性。未来的工作可以考虑使用其他更优的筛选方法来选择合适的上下文句子,并在对偶互动图上设计不同的编码器来更好地建模论点互动关系。