RoBERTa融合BiLSTM及注意力机制的隐式情感分析

张 军，张 丽，沈凡凡，谭 海，何炎祥

1.东华理工大学 信息工程学院，南昌 330013

2.东华理工大学 江西省放射性地学大数据技术工程实验室，南昌 330013

3.武汉大学 计算机学院，武汉 430072

4.南京审计大学 计算机学院，南京 211815

文本情感分析是指利用自然语言处理和文本挖掘技术对带有情感色彩的主观性文本进行分析、处理和抽取的过程[1]。文本情感分为显示情感和隐式情感[2]。显示情感含有明显的情感词，使得文本情感容易被区分；而隐式情感文本中不含有显示情感词，这使得文本情感分析变得困难，但是可以表达出比显示情感更加丰富多彩的情感，这对当今互联网时代来说显得尤为重要。例如，商家可以对用户评论中隐藏的情感进行分析，以此对自己的产品进行优化，从而更好地满足用户需求。但是隐式情感通常表达比较含蓄、不直观，导致隐式情感的分析与特征提取比较困难，因此隐式情感分析在自然语言处理中成为亟需解决的难点之一[3]。

近年来，自然语言处理领域中针对文本情感分析的研究层出不穷，王丽亚等人[4]针对传统的卷积神经网络（convolutional neural networks，CNN）中同层神经元之间特征信息无法充分利用、缺乏句子整体特征表示、限制模型的特征学习能力等问题，提出了基于CNN-BiGRU联合网络并引入注意力机制的模型，有效地提高了文本分类的准确率。翟社平等人[5]针对双语文本情感分析方法稀缺及准确率较低的问题，根据同一英文词汇在不同语境下具有不同文本情感作用这一特点，提出了基于注意力机制和双向长短期记忆网络（bi-directional long short term memory，BiLSTM）的双语文本情感分析模型，提高了双语文本情感分析的准确率。陶永才等人[6]认为单一的文本词向量不能全面表示文本中的情感特征信息，且无法有效捕获文本和标签之间的联系，提出了一种基于多特征融合的短文本情感分析模型，从多特征矩阵中学习到句子中更全面的情感信息，使得短文本情感分析能力得到了有效提升。

目前关于情感分析的大部分研究以显示情感分析为主，忽略了对隐晦情感表达的文本进行分析，但不少文本情感分析应用场景中又经常出现带有隐式情感的文本。相较于显示情感分析，隐式情感分析面临着更多更具复杂性的挑战[7]：（1）隐式情感文本不含显示情感词，语言表达比较含蓄，使得基于情感词典的方法和基于词袋模型的文本表示不再有效；（2）隐式情感与语境和主观表达联系密切，缺乏通用性，使得对语义本身的理解更加困难。表1展示了蕴含不同情感的隐式情感句示例。

表1 隐式情感句示例Table 1 Samples ofimplicit sentiment sentences

表1中，中性隐式情感句是对客观事实进行陈述，不掺杂任何隐式情感，相对容易区分；褒义情感句营造了令人心旷神怡、十分惬意的氛围；贬义情感句侧面反映了动物园的人流量大，影响游客观看动物的心情。这些看似普通的文本实则包含了不同的隐式情感，使得这些文本的情感分析更具挑战性。

针对隐式情感分析中不含显示情感词引起的文本情感识别困难的问题，Zhang等人[8]研究发现使用一些领域名词以及名词短语能够隐晦表达情感，针对句子中被忽略的具有隐式情感倾向的名词短语问题，提出了一种识别具有隐式情感领域名词特征的方法，通过修改特征的意见词和上下文语境来确定特征极性。赵容梅等人[9]利用卷积神经网络对文本进行特征提取，并结合长短期记忆网络（long short term memory，LSTM）[10]结构提取上下文信息，并且在网络中加入注意力机制，构建了一种新型混合神经网络中文隐式情感分析模型。隐式情感的识别通常还需要引入其他包含隐式情感的特征和知识。黄山成等人[11]根据文本的隐式情感极性与句中实体词、上下文语境、外部知识相关的特点，提出一种基于ERNIE2.0-BiLSTM-Attention的隐式情感分析方法，能够较好捕捉隐式情感句的语义及上下文信息，有效提升了隐式情感的识别能力。陈秋娥等人[12]分析认为现有序列化模型的中文隐式情感分析中的特征信息提取不够准确，对篇章级的文本信息提取存在梯度爆炸或梯度消失的问题，提出了融合双向长短时神经网络和树形递归神经网络（context-aware tree recurrent neutral network，CA-TRNN）的并行混合模型，有效提高了分类结果的准确率，并且时间代价小，具有更好的适用性。

然而，上述研究仍然存在隐式情感特征提取不够准确的问题。对此，本文提出了一种基于RoBERTa的融合模型——RoBERTa-BiLSTM-Attention（RBLA）模型，通过优化隐式情感分析任务中隐式情感特征的提取机制，进一步提高隐式情感分类的精确率。本文的主要贡献如下：

（1）使用RoBERTa模型进行语言预训练，在增加训练数据的基础上使用更大的batch size，同时采用动态Masking机制对长句序列进行训练，有效捕捉了隐式情感句中词语的语义特征。

（2）使用BiLSTM对隐式情感文本的上下文进行特征提取，弥补了预训练模型遗忘上下文信息的缺陷，可以更加准确地捕获隐式情感文本的上下文特征。

（3）引入Attention机制，对隐式情感文本中不同分类的隐式情感词进行权重计算，避免了重要语义信息的丢失，可有效捕捉隐式情感文本中包含的隐式情感特征，并探究了Attention机制对RBLA模型在不同隐式情感分类中的影响。

1 相关原理

1.1 RoBERTa预训练模型

RoBERTa模型[13]是在BERT预训练模型[14]的基础上加以改进得到的。RoBERTa主要针对BERT做了三点改进[13]：（1）采用动态Masking机制，每次向模型输入一个序列时，都会生成一种新的遮盖方式。（2）删除了Next Sentence Prediction（NSP）任务。（3）增加了预训练过程的语料规模，扩大Batch Size的同时增加了训练时的步长。

与BERT模型一致，RoBERTa模型同样使用多个双向Transformer模型[15]的encoder部分堆叠组成主体框架，能更彻底地捕捉文本中的双向关系。图1展示了Transformer模型的encoder逻辑结构。

图1 Transformer-encoder逻辑结构Fig.1 Logical structure of Transformer-encoder

图1中，词向量表示单词在整个语料库中的位置信息；位置编码表示单词出现在句子中的位置，用于模型感知词与词之间的位置信息。词向量和位置编码相加作为encoder的输入X。多头注意力机制模块使用多个独立的Attention模块对输入层的信息进行并行计算，可有效防止产生过拟合现象。残差连接和层归一化层是由残差连接和层归一化两部分组成。层归一化将每一层神经元的输入都转化为均值方差，以增加非线性变化。残差连接部分将输入X和一个非线性变换F(X)进行线性叠加，并将叠加后的结果作为输出。其网络结构如图2所示，F(X)表示残差，F(X)与X维度一致。

图2 残差连接网络结构Fig.2 Residual connection network structure

前馈神经网络层利用公式（1）对encoder的输入进行计算，生成相应的向量矩阵We。该网络层主要包含一个两层的全连接层，其中，第一层使用了Relu激活函数，使收敛速度更快，计算更加高效。

公式（1）中，W1与W2表示两个全连接层之间的权重矩阵，b1与b2表示两个全连接层之间的偏置项。

1.2 长短期记忆网络（LSTM）

LSTM是循环神经网络（recurrent neural network，RNN）[16]的一个变体，有效缓解了RNN中存在的梯度消失问题。图3展示了LSTM逻辑结构，该结构中包括遗忘门、输入门和输出门，分别实现LSTM的遗忘阶段、选择记忆阶段和输出阶段。

图3 LSTM逻辑结构Fig.3 Logical structure of LSTM

图3中，ft、it和ot分别表示遗忘门、输入门和输出门；ht-1为上一时刻的输出，xt表示词嵌入，二者一起作为LSTM的输入；Ct表示细胞状态，Ct-1表示上一时刻细胞状态，保留了未被遗忘的历史信息；ht为t时刻的输出的隐藏层状态。

遗忘门是对上一时刻的输出进行选择性遗忘，其计算如公式（2）所示。其中，Wf表示权重矩阵，bf为偏置参数。

输入门用于更新细胞状态。上一个时刻的输出ht-1和当前输入的信息xt通过sigmoid激活函数计算生成需要更新的信息it，计算如公式（3）所示；它们再通过tanh函数计算生成一个新的候选值向量C͂t，计算如公式（4）；最后，利用公式（5）计算得到新的细胞状态Ct。公式（3）～（5）中，Wi、Wc表示权重矩阵，bi，bc为偏置参数。

输出门用来确定下一个隐藏状态ht的值，其输入为前一个隐藏层状态信息ht-1和当前输入xt，通过sigmoid激活函数对其进行计算，筛选出需要记住的重要信息，计算如公式（6）所示；之后利用tanh函数对输入门新产生的细胞状态Ct进行非线性化处理，输出t时刻的隐藏层状态ht，计算过程如公式（7）所示。公式（6）和（7）中，Wo∈Rdh×dk表示权重矩阵，bo∈Rdh为偏置参数。

其中，·和⊗分别表示矩阵乘法和元素乘法。

2 RBLA模型

2.1 任务定义

本文的隐式情感分析任务是对隐式情感句进行三分类（中性、褒义、贬义）。隐式情感句的上下文情感对隐式情感句的分类任务有着重要影响，对此，本文不仅捕捉隐式情感句本身的情感特征，还对隐式情感句上下文的情感特征进行提取。

本文对隐式情感句分类任务可以定义为：对于给定的任意隐式情感句Xt及其对应的上下文句子Xc，对其进行预测Xt和Xc对应的Pt。公式（8）定义了隐式情感句的分类任务。

公式（8）中，Xt表示隐式情感句包含的语义情感特征，用矩阵形式表示为Xt=(Xt1,Xt2,…,Xtn)，其中，n表示隐式情感句中包含的词语数量，Xtn表示隐式情感句Xt的第n个词语的情感特征。Xc表示隐式情感句上下文句子中包含的语义情感特征，用矩阵形式表示为Xc=(Vtc1,Vtc2,…,Vtcn)，其中，Vtcn表示隐式情感句Xt对应的上下文语句的第n个词语的情感特征。Pt表示隐式情感句Xt所属类别的概率，其中pt0表示的是该隐式情感句为中性的概率，pt1表示的是该隐式情感句为褒义的概率，pt2表示的是该隐式情感句为贬义的概率。

2.2 RBLA模型结构

针对隐式情感分析面临的句中隐藏情感捕捉困难等问题，本文提出了一种基于RoBERTa的RBLA融合模型，利用大规模预训练模型RoBERTa学习隐式情感句中字词的语义特征。该模型融合了双向长短期记忆网络和注意力机制，捕获句子间的依赖关系，可有效提取文本中深层次的隐式情感特征，从而可更好地提升隐式情感分析模型的性能。RBLA模型包括输入层、预训练模型层、BiLSTM层、Attention层、全连接层和输出层，其模型结构如图4所示。

图4 RBLA模型逻辑结构Fig.4 Logical structure of RBLA model

2.3 输入层

本文模型的输入层将输入文本中的每个词语通过one-hot编码表示法转换为相对应的向量。首先将分类值映射成整数值，然后将每个整数值表示为二进制向量，再使用位置编码保存单词在序列中的相对或绝对位置、感知词与词之间的位置信息，将得到的词向量与位置编码相加生成的词嵌入向量作为预训练层中的输入，表示为，其中，E的维度大小为n×d。输入层逻辑结构如图5所示。其中，[CLS]表示起始位置分隔符，[SEP]表示句子结束标识符。

图5 输入层逻辑结构Fig.5 Logical structure of input layer

2.4 RoBERTa层

本文模型的RoBERTa层采用了12层的Transformer双向编码器作为隐式情感句的特征提取器。RBLA模型输入层中的每个词嵌入向量经过RoBERTa层编码运算后，可实现词嵌入向量之间的双向关联，使得模型能学习到不同语境下每个词嵌入向量包含的语义特征。

RoBERTa层采用动态Masking机制对词嵌入向量进行预训练，其结构如图6所示。该层需要进行两个预训练任务。第一个任务需将词嵌入向量复制10份，每份都随机选择15%的Tokens进行动态遮盖，使得在大量数据不断输入的过程中，模型会逐渐适应不同的掩码策略，学习到不同的语言表征。第二个任务则使用FULL-SENTENCES训练方式，从多角度学习来自输入层的词嵌入向量，丰富语义信息，并将当前的输出输入到前馈神经网络层，以加快收敛速度。词向量E经过RoBERTa层编码后得到隐式情感文本中每个隐式情感词在不同语境下所包含的情感特征为Xt=(Xt1,Xt2,…,Xtn)。

图6 RoBERTa层逻辑结构图Fig.6 Logical structure of RoBERTa layer

2.5 BiLSTM层

在文本情感分类任务中，当前时刻的输出不仅和当前时刻之前的状态有关，还可能和当前时刻之后的状态有关系。双向长短期记忆网络BiLSTM是由一个正向处理序列的LSTM和一个反向处理序列的LSTM组成，可对输入的上下文信息进行深层次特征提取，从而有效捕捉隐式情感句上下文中包含的情感特征。因此，本文模型在RoBERTa层后引入了BiLSTM层，利用BiLSTM对隐式情感文本的上下文进行特征提取，以更加准确地捕获隐式情感文本的上下文全局特征信息，从而弥补RoBERTa层中预训练模型容易遗忘上下文信息的缺陷。BiLSTM的逻辑结构如图7所示。在BiLSTM层中，两个反向的LSTM共同决定了BiLSTM的最终输出。对于每个时刻t，输入信息会同时提供给正反两个方向的LSTM。

图7 BiLSTM的逻辑结构Fig.7 Logical structure of BiLSTM

双向长短期记忆网络对隐式情感文本进行特征提取时，第一层的正向长短期记忆网络对t时刻的输入信息xt与t-1时刻的输出信息St-1进行正向运算得到t时刻的正向输出信息St，其计算如公式（9）所示；第二层反向长短期记忆网络对t时刻的输入信息xt与t+1时刻的输出信息Lt+1进行反向运算得到t时刻的反向输出信息Lt，其计算如公式（10）所示；隐藏层将正反向的运算结果保存下来共同决定双向长短期记忆网络在t时刻最终的输出结果Vt，其计算如公式（11）所示：

其中，W、U、V代表正向计算的权重矩阵，W"、U"、V"代表反向计算的权重矩阵。通过BiLSTM层输出隐式情感句上下文中隐式情感词包含的情感特征，表示为Xc=(Vtc1,Vtc2,…,Vtcn)。

2.6 注意力机制层

为了有效突出隐式情感文本中隐含的重要信息，本文提出的RBLA模型还引入了注意力机制，对BiLSTM层的输出词向量依据其重要性分配高低不同的权重值，可减少预测所需的可学习权重的数量，从而更高效地学习目标词周围句子的上下文嵌入语义。同时还可以在对每个输入词向量的权重系数再次加权平均时，有效过滤原文本中存在冗余信息和噪声，从而进一步提高分类的精度。

注意力机制层首先对BiLSTM层输出的隐式情感句上下文包含的情感特征Xc进行计算，得到其隐含表示H，其计算如公式（12）所示；然后计算H与随机初始化参数矩阵WT的相似度，将输入的每个词向量在整体语义场景下分配的权重系数用softmax函数进行归一化处理，得到每个词向量的标准化权重α，其计算如公式（13）所示；最后将得到的权重矩阵αT与BiLSTM层输出的隐式情感句上下文的情感特征信息Xc相乘得到最终的加权输出Y，Y即是捕获到的隐式情感文本中包含的隐式情感特征，其计算如公式（14）所示：

其中，Wa表示注意力层权重矩阵，ba表示注意力机制层的偏置项。

2.7 全连接层

本文模型的全连接层将隐式情感倾向相关的融合分布式特征表示映射到实例标签空间，对隐式情感文本进行分类。将注意力机制层的输出Y输入到全连接层，与全连接层权重矩阵Wd计算后输出M，计算如公式（15）所示：

其中，bd表示全连接层的偏置项。

2.8 输出层

本文模型的输出层采用softmax函数对全连接层的输出信息M进行归一化处理，得到隐式情感文本中每个隐式情感词的概率值m，通过隐式情感句中m值最大的隐式情感词判断隐式情感句的情感倾向。计算过程如公式（16）所示：

其中，Ws表示输出层参数矩阵，b为输出层的偏置项。

3 实验结果与分析

3.1 数据集与预处理

本文评测使用的数据集来源于2021年举办的第十届全国社会媒体处理大会中文隐式情感分析评测数据集。该数据集主要来源于各大产品论坛、旅游网站、新浪微博，内容包括旅游、国考、传统节日、春节联欢晚会、雾霾等方面。该数据集使用了一个大规模情感词典对所有包含显式情感词的文本进行过滤，并对剩下不含显式情感词的数据进行标注。其中，无情感倾向的数据被标注为标签0、具有褒义隐式情感倾向的数据被标注为标签1、具有贬义隐式情感倾向的数据被标注为标签2。该数据集相关信息如表2所示。

表2 数据集信息表Table 2 Datasets information

由于数据集中的样本数量不平衡，本文采用了Easy Ensemble采样方法[17]对训练数据进行随机下采样。为了保障采样质量，每次抽样过程均独立采样，对数据量大的类别降低抽样比例，对数据量小的类别提高抽样比例。实验过程中，对数据集进行10次采样后，生成了相对平衡的测试数据集。再结合CleanLab数据清洗方法对生成的新数据集进行数据交叉清洗，去除数据集中的异常点。为了增强本文模型的泛化能力，在不改变原文语义的情况下，本文还对数据进行了增强处理。在下采样的过程中，本文使用了NLPCDA工具包[18]对数据进行增强操作，利用随机同义词替换方法对数据集进行扩充。

3.2 参数设置

为了在隐式情感分析数据集上取得更优的分类结果，本实验进行了一些超参数设置，如表3所示。其中，Batch Size表示每个batch中训练样本数量，BiLSTM网络层的两层LSTM设置相同的隐藏层单元数，Epoch表示训练迭代次数，LR表示学习率。实验采用了Dropout方法缓解过拟合现象。

表3 参数设置Table 3 Parameter settings

考虑到本次实验使用的计算平台算力有限，Batch Size值设为32。BiLSTM网络层的隐藏单元数在实验过程中分别设置了64、128、256三个值，当其取值128时分类效果最好，因此，将BiLSTM网络层的隐藏单元数设为128。通过类似的实验方法确定了LR参数的取值。参数Epoch和Dropout的取值分析如3.5.3小节所述。

3.3 评价方法

实验采用准确率P、召回率R以及F1值等3个指标评价模型性能，其计算分别如公式（17）～（19）所示。

（1）精确率P表示正样本预测为正样本的数量占所有预测为正样本的比重，计算如公式（17）所示：

（2）召回率R表示正样本预测为正样本的数量占所有实际类别为正的样本数量的比重，计算如公式（18）所示：

（3）F1值为精确率和召回率的加权调和平均值，计算如公式（19）所示：

其中，TP表示将正样本预测为正样本的数量；FN表示将正样本预测为负样本的数量；FP表示将负样本预测为正样本的数量。

3.4 对比模型

为了验证RBLA模型在隐式情感分析任务中的有效性，本文进行了两种类别的对比实验。第一种是将RBLA模型与几种典型的现有文本分类模型进行比较；第二种是探究注意力机制对本文模型的影响。本文实验共与以下六种文本分类模型进行了对比。

（1）LSTM：通过学习句子的语义信息，获取句子间依赖关系的传统文本分类模型。

（2）LSTM-Attention[19]：在长短期记忆网络中引入注意力机制的隐式情感分析模型。

（3）BERT：使用BERT预训练模型做隐式情感文本分类任务。

（4）RoBERTa：使用RoBERTa预训练模型做隐式情感文本分类任务。

（5）EBA（ERNIE-BiLSTM-Attention）：使用ERNIE2.0预训练模型进行文本表示，再利用BiLSTM+Attention混合网络将其输出文本表示进行隐式情感分析。

（6）CA-TRNN[20]：使用BiLSTM和TRNN两个模型分别对上下文和目标情感语句进行建模的隐式情感分析模型。

3.5 实验结果与分析

3.5.1 本文模型对比当前流行的分类模型

为了验证RBLA模型在隐式情感分类中的整体性能，分别与上述六种模型进行了对比实验，测试了它们的精确率、召回率和F1值，其实验结果如表4所示。

表4 实验结果对比Table 4 Comparison of experimental results单位：%

从表4可以看出，RBLA模型与LSTM-Attention、LSTM、BERT和RoBERTa四种基线模型中性能表现最好的RoBERTa模型相比，RBLA模型在精确率、召回率和F1值上分别高出了3.07、2.12和1.01个百分点。这说明相较于典型的基线模型，本文提出的RBLA融合模型在隐式情感分析任务上具有更好的性能。另外，与当前主流的CA-TRNN和EBA两种隐式情感分析模型中分类效果最好的EBA模型相比，RBLA模型在精确率、召回率和F1值上分别高出了EBA模型1.44、2.72和1.42个百分点。这说明相较于主流的融合模型，本文的RBLA融合模型在RoBERTa预训练模型的基础上融合双向长短期记忆网络和注意力机制后，更加准确地捕获了隐式情感文本中的隐含情感特征，对隐式情感分析的整体效果得到了有效提升。

3.5.2 探究注意力机制对本文模型的影响

本文将隐式情感文本的情感倾向类别定义为中性、褒义和贬义三种，分别用标签0、1、2表示。为了探究RBLA模型方法中注意力机制对情感分类的影响，对RBLA模型和不加注意力机制的RBL（Roberta-BiLSTM）模型进行了隐式情感分类性能对比，实验结果如表5所示。

表5 情感分类结果对比Table 5 Comparison of emotion classification results单位：%

从表5可以看出，本文提出的RBLA模型在中性、褒义和贬义三种情感分类的精确率上分别高出RBL模型1.63、0.71和1.73个百分点。同样，相较于RBL模型，RBLA模型在中性情感分类和贬义情感分类的F1值上分别高出0.72和0.78个百分点，在褒义情感分类的召回率上高出1.04个百分点。虽然RBLA模型在中性情感和贬义情感分类的召回率及褒义情感分类的F1值上略低于RBL模型，但从整体性能上看，RBLA模型在精确率和F1值上均高于RBL模型。

3.5.3 模型参数分析

为了进一步提高模型预测精确率，实验还采用Dropout方法缓解过拟合现象。Dropout取值不同会影响模型的输出结果。为了设置合理的Dropout值，进行了多组实验。从图8中可以看出，当Dropout取值为0.5时，各项指标值最高，提高了模型的泛化能力。因此，Dropout参数取值为0.5。

图8 Dropout曲线Fig.8 Dropout curve

为了进一步展示本文提出的RBLA模型的优越性，本文对该模型的训练过程进行了进一步探究。为了反映实验在迭代过程中的动态变化，本次进行了10次迭代实验。先对整体损失率进行了动态刻画，再对不同的情感的精确率、召回率和F1值分别进行了动态刻画，实验结果如图9～图12所示。

图9 整体损失率变化图Fig.9 Variation of loss rate

图12 不同情感的F1值Fig.12 F1 values of different sentiments

图11 不同情感的召回率Fig.11 Recall rate of different sentiments

图9展示了RBLA模型训练过程中的loss值整体变化趋势，在第10次迭代完成时，趋于收敛。因此，将参数Epoch的值设为10。

为了验证Epoch参数取值的有效性，还对RBLA模型的精确率、召回率和F1值的收敛情况进行了实验分析。从图10～图12可以看出，当Epoch取值为10时，RBLA模型的精确率、召回率和F1值均趋于收敛。

图10 不同情感的精确率Fig.10 Precision rate of different emotions

另外，从图10～图12还可以看出，RBLA模型对中性情感的预测具有最佳效果。而在预测褒义情感分类时，精确率、召回率和F1值相较于其他两种情感整体偏低。褒义情感在三种情感分类中的初始指标值最低，说明隐式文本中的褒义情感识别难度更大。但是，在模型训练过程中，RBLA在隐式文本的褒义情感分类性能上也取得了较好的提升，褒义情感的各项指标的增长率均高于中性情感和贬义情感。

3.5.4 实例分析

为了进一步分析RBLA模型提取的隐式情感特征在隐式情感分类中的有效性，本文从数据集中抽取了几个隐式情感例句与其他模型进行对比分析，如表6所示。其中，“多数模型”代表本文在3.4节中选取的对比模型中大部分模型得出的结果，“少数模型”代表本文在3.4节中选取的对比模型中小部分模型得出的结果。

表6 情感句对比Table 6 Comparison of emotional sentence

从表6中的1、2句可以看出，RBLA模型和大部分对比模型在中性情感句上都已具有较好的分析效果。从3、4句可以看出，对褒义情感句进行情感倾向判断时的准确率较低，难度较大，但RBLA模型相较于大部分对比模型在褒义情感句上的分析效果最好。从5、6句可以看出，RBLA模型相较于其他对比模型在贬义情感句上的分析效果最优。更有力地说明了本文提出的RBLA模型在隐式情感分析任务上有效提高了隐式情感特征提取的准确性。

4 结语

针对隐式情感文本中隐式情感特征捕捉不够准确导致的情感倾向分析困难问题，本文提出了基于RoBERTa融合双向长短期记忆网络和注意力机制的RBLA模型。该模型使用RoBERTa模型捕获隐式情感句中字词的语义特征，再使用BiLSTM学习句子的正反向语义信息，捕获句子间的依赖关系，以此对隐式情感句上下文进行深层次的特征提取，最后使用注意力机制对包含隐式情感的情感词进行权重计算，突出文本中隐含的重要情感信息，进一步提升了隐式情感分析的性能。通过实验结果可以看出，与现有的几种典型的隐式情感文本分类模型相比，本文提出的RBLA模型在隐式情感分析的整体性能上得到了有效提升。

从实验结果来看，褒义隐式情感分类效果不如中性隐式情感和贬义隐式情感分类效果好。本文接下来将对隐式情感分析中的褒义情感分类开展更深层次的研究。