基于对抗训练和片段级别的双向情感三元组抽取模型

关键词：情感分析;情感三元组抽取;双仿射;片段;对抗训练

中图分类号：TP391 文献标志码：A

0 引言（Introduction）

情感三元组提供了对文本主观态度的结构化理解，可应用于舆情监测[1-2]、产品评价分析[3-4]等领域，作为情感分析的重要子任务，其目标是从非结构化文本中抽取出语义完整的情感三元组，即“情感词-情感目标-情感极性”。近年来，深度学习技术在自然语言处理领域取得显著进展，为情感三元组抽取提供了新的思路。但是，该任务仍然面临一定困难，如情感词确定的语义模糊性、交叉句子的远程依赖关系等。

目前，应用于此类任务的模型主要分为流水线模型和端到端模型。流水线模型无法解决实体重叠问题，并且容易导致错误传播;端到端模型无法有效地建立词与词之间的联系，忽略了元素之间的语义和句法关系，导致模型无法准确理解文本的深层含义。此外，目前的模型没有考虑到多特征交互[5]的情感三元组抽取可能受到训练数据集偏向的影响，限制了其泛化能力和适用范围。因此，本文以SBN（A Span-level BidirectionalNetwork for Aspect Sentiment Triplet Extraction）模型[6]作为基线，提出了基于对抗训练和片段级别的双向情感三元组抽取模型AD-ASTE （Bidirectional Aspect Sentiment TripletExtraction Model Based on Adversarial Training and SpanLevel）。

1 相关工作（Related work）

方面级情感分析（Aspect-Based Sentiment Analysis，ABSA）可分为多个细粒度任务，例如方面词抽取（Aspect TermExtraction，ATE）[7]、观点词抽取（Opinion Term Extraction，OTE）[8]、关联对抽取（Aspect-Opinion Pair Extraction，AOPE）[9]等。然而，单独处理某一子任务并不能提供完整的情感要素，因此在实际应用中的价值受到了一定的限制。PENG等[10]首次提出了方面情感三元组抽取任务，并设计了两段式流水线模型。该模型在第一阶段抽取出评论句中的方面词、观点词和情感极性对，然后在第二阶段进行配对。该流水线模型用于判断情感极性时，未充分考虑观点词的影响，分割了词与词之间的联系，同时无法有效地解决方面词重叠的问题，进一步加剧了误差的积累。

基于此，研究者开始提出一系列端到端的方法。XU等[11]提出了一种端到端的模型JET（Position-Aware Tagging forAspect Sentiment Triplet Extraction）进行目标和观点片段的联合抽取。该模型采用了一种位置感知的标记方案，将目标和观点片段编码为标签序列。采用端对端的方式直接避免了原有模型因分阶段处理导致特征提取出不完整的弊端，根据三元组之间的关系计算每个词的标签，并通过条件随机场获得最佳的标签顺序。

以上方法在判断情感极性时均只利用了字符级别（Token）的信息，没有充分利用片段级别（Span）的信息，并且严重依赖于方面词和观点词之间的相互作用，不能很好地处理包含多个单词的方面词和观点词。为此，XU等[12]引入了实体关系联合抽取领域的方法，提出Span-ASTE（Learning Span-Level Interactions for Aspect Sentiment Triplet Extraction）模型，通过耦合方面词和观点词片段表示，预测它们之间的情感关系。模型通过双通道剪枝策略减少计算成本，并使有效的方面词和观点词片段配对在一起的机会最大化，充分利用多词术语的语义信息。

随着ASTE任务的推进，越来越多的研究者将其他领域的方法引入该项任务中。CHEN等[13]将ASTE转化为多轮机器阅读理解任务，提出了BMRC模型，基于双向机器阅读理解框架，设计了三轮查询来识别方面情感三元组。ZHANG等[14]提出GAS模型，设计了注释式和抽取式建模的范式，通过将ASTE任务表述为文本生成问题来实现训练过程。CHEN等[15]提出了一种增强型多通道图卷积网络模型（EMC-GCN），通过将单词和关系相邻张量分别作为节点和边，将句子转换成多通道图，充分利用词与词之间的联系。

2 研究方法（Research methods）

如图1所示，本文提出的网络主要由编码层、对抗训练层、候选片段层、双向抽取网络层和输出推理层5个部分组成。下文先对ASTE任务进行定义，然后详细说明网络结构。

2.2 基于SpanBERT模型的词向量编码

与主流的情感三元组抽取模型不同，本文受文献[16]的启发，将SpanBERT用于词向量编码，使用SpanBERT+BiGRU进行文本特征提取。基于Transformer[17]的预训练模型BERT采用了双向Transformer结构，可以对句子建模，以获取上下文语义特征信息，并通过预测掩码语言模型任务学习文本表示。然而，BERT是随机掩码输入序列中的字，这样做会让本来有强相关性的字词在训练的时候割裂开，难以建立词与词之间的关联信息。本文提出将SpanBERT作为词向量模型，以保持上游任务与下游任务的一致性。

SpanBERT是一种基于BERT的改进模型，主要在掩码机制和训练目标上有所差异。具体来说，SpanBERT在训练时对随机的邻接片段添加掩码，而不是对随机的单个词语（Token）添加掩码，并通过使用分词边界表示，预测被掩码的分词内容。此外，SpanBERT还提出了一个新的训练目标（Span-BoundaryObjective，SBO）进行模型训练。通过这些改进，SpanBERT能够更好地表示和预测分词片段，提高模型在片段级别任务上的性能。图2为SpanBERT训练图例。其中，片段“an Americanfootball game”作为掩码处理，SBO任务使用边界标记x 和x的输出表示，用于预测被掩码片段中的每个字。

其中：TP 是预测正确的三元组数量，FP 是预测不正确的三元组数量，FN 是未能预测出的正确三元组数量。

3.4 实验基线

为了评估本文模型的性能，将其与以下基准模型进行比较。

Peng-Two-Stage[10]：该模型以流水线的方式将ASTE任务分为两个阶段。第一阶段预测所有方面词和观点词以及对应的情感极性，第二阶段使用关系分类器与第一阶段得到的结果进行配对，获得有效三元组。

JET-BERT[11]：该模型采用端对端的方式，提出了一种位置感知的标注机制，该机制充分考虑了情感三元组中各个元素之间的交互信息，根据条件随机场获得最佳的标签顺序。

GTS-BERT[25]：该模型提出一种网格标注方式，根据提取到的令牌的情感特征计算初始预测概率，并设计了一种推理策略，利用不同意见词之间潜在的相互指示进行最终预测。

Span-ASTE[12]：该模型提出了一种基于文本片段的模型，该模型考虑了片段级别的交互，并提出了一种双通道剪枝策略，以提高时间效率。

SBN[6]：该模型同时从由方面到观点和由观点到方面的两个方向提取信息，并使用KL散度（Kullback-Leibler Divergence）分离相似片段，使用推理策略消除相似片段。

3.5 对比实验

表2给出了不同的基线模型和本文提出的AD-ASTE模型在ASTE-Data-V2数据集上的实验结果。实验结果表明，本文提出的框架在4个数据集上几乎都达到了最高的F1分数。对于最优结果，表1中通过加粗方式予以标识，*表示该结果从原文处复制。

从表2中的数据可以看出，相较于流水线模型（Peng-Two-Stage），端到端的模型（JET-BERT、GTS-BERT、Span-ASTE、SBN）在4个数据集的各项评测指标上都有很大程度上的提高，说明端到端的方法可以捕捉文本中的复杂情感依赖关系，避免了流水线方法存在的错误传播的问题，降低了错误累计的风险，并提高了系统的整体性能，因此可以更好地处理ASTE任务。

尽管都是端到端的方法，与基于序列标注级别的模型（JET-BERT、GTS-BERT）相比较，基于片段级别的模型（Span-ASTE、SBN）显著超过了基于序列标注的方法，这是因为片段长度和首尾特征信息在片段识别过程中起到了重要作用，这两项信息可以帮助模型更好地确定候选项的边界，这一结果证明了完整的文本片段级别的交互信息对ASTE任务的完成有巨大的促进作用。

虽然都采用了基于文本片段的方法，但是本文提出的模型在4个数据集上的F1分数均超过了基线的最优模型SBN（ASpan-level Bidirectional Network for Aspect Sentiment TripletExtraction）。具体而言，在4个数据集上的F1指标分别超过了SBN模型0.85百分点、1.42百分点、2.27百分点和2.85百分点，仅在14LAP和15RES上的准确率指标略低于SBN，这可能是因为引入了噪声，导致模型偏向于某些类别的预测，但是F1值仍然保持较高水平。并且，模型在RES15和RES16 两个数据集上的F1指标有较大幅度的提升，表明了引入FGM 的方法更适应数据语法结构较强的情况，提高了网络的泛化性和鲁棒性。

3.6 消融实验

为验证AD-ASTE模型中不同模块的有效性，包括对抗训练FGM方法、BiGRU模块和Biaffine分类器对模型最终效果的影响，本文设计了消融实验进行进一步研究，以F1值为评价指标，其中“-”表示未加入该模块，“-SpanBERT”为仅使用普通的BERT预训练模型。逐步去掉本文提出的模块后，消融实验结果如表3所示。

从表3中的数据可以看出，停止使用FGM 方法训练后，4个数据集上的F1值分别降低了0.55百分点、0.58百分点、1.02百分点和1.12百分点，说明使用对抗训练方法为模型添加扰动后，模型的鲁棒性和泛化能力均有所提升。去除BiGRU模块和Biaffine模块后，4个数据集上的F1值略有下降，表明BiGRU能够有效地捕捉上下文信息，能够对上下文信息进行更全面的特征提取，Biaffine分类器能够利用仿射变换捕捉文本中词对之间的关系，从而更好地理解文本中的语义信息和对上下文的依赖。使用BERT替换SpanBERT后，4个数据集上的F1值分别降低了0.44百分点、0.47百分点、0.88百分点和1.04百分点，表明SpanBERT可以更好地捕捉文本片段层面的信息，处理文本中的复杂结构和语义信息，实验结果证明SpanBERT模型可以更好地处理基于片段级别的下游任务。

4 结论（Conclusion）

本文提出了一种端到端的方面情感三元组抽取模型，通过片段级别的方法学习多词术语之间的语义联系，以SpanBERT 为预训练模型，对输入句子进行编码，保证了上下游任务的一致性。在模型的嵌入层添加FGM 对抗训练算法添加扰动，以此提高模型的鲁棒性和泛化性。并且，采用BiGRU网络进行文本特征的提取，以片段级别的方法识别方面词和观点词的边界，通过双向解码模块实现更完整的情感三元组提取。实验表明，本文方法在ASTE任务上取得了较优性能。

虽然本文提出的模型在ASTE任务中取得了一定的效果，但是在相似片段的识别过程中，依然存在识别不清晰以及重叠三元组识别不完全的问题。接下来，将考虑采用更为有效的自适应相似片段分离方法加强对三元组片段的识别，从而进一步提升ASTE任务的整体抽取性能，这将是本文下一步工作的重心。

作者简介：

周奕（1998-），男，硕士生。研究领域：自然语言处理。

马汉杰（1982-），男，博士，副教授。研究领域：视频图像传输与处理，情感计算。本文通信作者。

许永恩（1993-），男，硕士，高级工程师。研究领域：音视频编解码。

宗佳敏（1997-），女，本科。研究领域：计算机视觉。

李少华（1998-），男，硕士生。研究领域：计算机视觉。