融合情感增强与句法特征的卷烟消费者评价方面级情感分析

邵小东 高松 刘帅 狄涛 梅雨婷 施旭 李祯寿 侯秋强 单双吕

摘  要：为了解消费者对卷烟产品不同属性的情感信息，帮助烟草企业了解消费者评价及情感倾向，指导产品开发和市场营销决策，该文利用爬虫采集2010—2022年共18 205条卷烟消费者评价数据，基于预训练模型（BERT）和双向长短时记忆网络（Bi-LSTM）对文本进行特征提取，结合句法依赖树获取语义间关系，建立融合情感增强和句法特征的方面级情感分类模型BAGCN，将BAGCN模型的分类结果与其他4种方法进行对比。结果显示，BAGCN模型在方面级情感分类效果最优，准确率和F1值达到79.49%和75.26%，BAGCN的各模块对最终的分类效果均有贡献。通过方面级情感分析发现，消费者更关注卷烟产品的价格和口感属性，对价格方面的评价多为消极情感，而口感方面的情感分布较为均衡，消费者对外观和品控方面的评价相对积极。

关键词：卷烟；消费者评价；方面级情感；预训练模型；SVM算法

中图分类号：TP391.1      文献标志码：A          文章编号：2095-2945（2024）19-0001-07

Abstract： In order to understand consumers' emotional information about different attributes of cigarette products， help tobacco enterprises understand consumer evaluation and emotional tendency， and guide product development and marketing decisions， this paper uses crawlers to collect a total of 18 205 cigarette consumer evaluation data from 2010 to 2022， extracts the features of the text based on a pre-training model （BERT） and Bidirectional Long Short-Term Memory （Bi-LSTM） network， and combines syntactic dependency tree to obtain semantic relations. An aspect-level emotion classification model BAGCN which combines affective enhancement and syntactic features is established， and the classification results of BAGCN model are compared with the other four methods. The results show that BAGCN model has the best effect in aspect-level emotion classification， and the accuracy and F1 value reach 79.49% and 75.26% BAGCN. Through the aspect-level emotion analysis， it is found that consumers pay more attention to the price and taste attributes of cigarette products， and the evaluation of price is mostly negative emotion， while the emotional distribution of taste is more balanced. Consumers' evaluation on appearance and quality control is relatively positive.

Keywords： cigarette; consumer evaluation; aspect-level emotion; pre-training model; SVM algorithm

方面级情感分析（Aspect-Based Sentiment Analysis，ABSA）是一种细粒度的情感分类任务，目的在于预测文本中某个特定方面的情感极性[1]。近年来，随着电子商务的快速发展，互联网中产生了大量消费者对产品的评论数据，这些评论蕴含着用户的情感倾向和态度信息。通过对这些评论进行分析和进一步挖掘，有利于深入地剖析消费者对产品的消费偏好和潜在需求。周法国等[2]提出一种基于情感词典和深度学习结合的中文方面级情感模型。潘芳等[3]利用Transformer对中文在线课程评论方面情感分析进行研究。商容轩等[4]利用双向循环神经网络对政务APP中的评论进行倾向识别。王萍等[5]结合方面词的位置权重和条件随机场对医疗文本信息的方面级情感进行分析。方面级情感分析在各行业的市场营销和品牌管理中应用越来越广泛，对企业进行目标市场定位、产品改进及品牌管理等方面具有重要意义。

随着我国卷烟市场竞争加剧和经济水平的提高，消费者对卷烟产品需求逐渐呈高端化、个性化、多元化发展，相关烟草部门也开展了面向卷烟消费者评价的情感分类研究。金吉琼等[6]利用向量空间和TF-IDF对电子烟市场的消费热点进行挖掘。苏凯等[7]利用关联规则的方法分析了消费者斗烟产品市场的偏好性。杨春晓等[8]构建了卷烟在线评论情感词典，并基于指数表达式挖掘卷烟在线评论中的情感表达。王锐等[9]提取烟草领域的专有词汇，并构建了融合Bi-LSTM和注意力机制的卷烟评价情感分析模型。上述研究多采用基于统计学习或 Word2vec的方法构建领域词典和向量表示，尚存在以下问题：①基于统计学习或Word2vec无法解决词语歧义问题。在卷烟的命名中，为强化当地民众的品牌自豪感和信心，品牌商通常会用地名命名。例如，“玉溪”“泰山”等，这类词语在不同语境下的含义不同，对词向量表示有很大影响。②上述方法仅对整个卷烟消费评论句子预测整体情感极性，无法进行方面级的情感分析。以“软中华口感很好，但价格实在太贵了”为例，该句包含“口感”和“价格”2个方面，具有不同的情感极性，仅仅预测整个句子的情感极性，显然无法满足烟草企业全面分析消费者情感的需求。

与上述研究的情感分析不同，方面级情感分析要求模型对同一事物的不同方面分别进行情感分类。随着深度学习技术的发展，基于预训练BERT模型[10]进行文本表示，再利用双向长短时记忆网络（Bi-directional Long Short-Term Memory，Bi-LSTM）等模型进行特征提取，成为当下广泛使用的情感分类方法。在此基础上，注意力机制[11]常被用于获取词语权重，作为Bi-LSTM模型的补充。但注意力机制不能捕捉方面词与上下文之间的句法依赖关系，导致为方面词分配错误的情感信息。为了缓解这个问题，一些基于依存树的图卷积网络（Graph Convolution Network， GCN）[12]的方法被提出，其使用句法依赖树对句子进行建模，并通过图卷积计算来捕获长距离的句法依赖关系。为此，通过爬虫收集卷烟消费者评价方面级情感数据，利用预训练BERT和Bi-LSTM对评价文本上下文进行特征提取，结合句法依赖树和GCN建模句间关系，构建卷烟消费者评价方面级情感分析模型。旨在帮助烟草企业了解消费者对产品不同方面的情感倾向，进一步改善产品质量以满足消费者的需求。

1  数据与方法

1.1  数据集构建

本文通过Python爬虫采集烟悦网2010—2022年消费者的评论数据，共计56 724条。对评论数据进行编码转换、去除HTML标签和无效符号，构建初始的卷烟消费者评论语料。为了解消费者对卷烟不同方面的情感倾向，在卷烟领域情感词典[8]基础上，采用Jieba分词对所有的评论语料进行分词和词频统计，并结合专家意见构建了卷烟消费者评价方面级和方面词表，不同方面级包含的词汇见表1。

采用字符串匹配的方式从初始语料中抽取包含方面词的评论句，分别对方面词的情感极性进行人工标注，标注样例见表2。

为了确保人工标注的准确性和一致性，使用Kappa系数[13]检验评估不同标注者之间的标注差异，对标注差异较大的样本进行重新标注或剔除。最后构建含18 205条包含方面词的卷烟消费者评价数据集，将数据集按8∶1∶1的比例随机划分为训练集、验证集、测试集。各评价方面级情感的标注分布见表3。

1.2  模型构建

本文提出的BAGCN模型框架如图1所示。BAGCN模型由BERT编码层、特征提取层、特征融合层和分类层组成。

1.2.1  问题定义

给定包含m个字符的卷烟消费者评论Sc={e， e，…，e}和包含n个方面词集合St={e，e，…，et}，其中St是Sc的子序列。方面级情感分析的任务是预测给定方面词的情感极性et∈{Positive，Negetive，O}，其中Positive，Negetive，O分别表示“积极”“消极”和“中性”情感。

1.2.2  词嵌入和Bi-LSTM特征提取层

本文采用预训练模型BERT获得评论文本和方面词中的语义表示，根据公式（1）将评论上下文和方面词结合，输入BERT模型得到表达式为E∈Rn×d，可以有效解决卷烟品牌一词多义的问题。

E=BERT（[CLS]  评论文本  [SEP]  方面词  [SEP]）。 （1）

为捕获文本的上下文特征，将词嵌入矩阵E∈Rn×d输入Bi-LSTM提取语义信息。LSTM引入了特殊的门控机制，通过门结构保留或丢弃信息，解决了传统RNN存在的梯度消失或爆炸问题。LSTM结构如图2所示。

图2中ft为遗忘门，决定前一时刻细胞中有多少信息需要传递到当前时刻；it为输入门，用来控制当前时刻的信息保存到细胞单元的程度；Ct为记忆单元，用来记录不同门结构情况下细胞的状态;Ct和输出门Ot计算得到当前时刻的输出ht。具体计算过程如下

1.2.3  注意力机制层

注意力机制可以根据词语对情感表达的权重衡量不同词语在情感分类中的重要性，从而进一步提高分类准确率。本文将Bi-LSTM 输出层的上下文矩阵ht 通过注意力机制计算权重，如式（8）所示

同样的，计算Bi-LSTM输出层方面词的特征矩阵注意力权重，得到Bi，j。最终将上下文注意力和方面词注意力权重矩阵拼接作为该层输入AttGCN网络，如式（9）所示

将处理后的注意力矩阵A作为输入，根据其相邻的隐藏表示更新AttGCN第l层中的每个节点。

1.2.4  句法特征和情感增强层

在方面级情感分析任务中，判断方面词的情感极性关键在于捕获文本中方面词的修饰和描述。本文在考虑上下文特征的基础上，结合句法结构信息和方面词增强特征，以提高文本的特征表达能力。

首先，使用 HanLP获得句法依赖树（图3），并根据句法依赖树构建邻接矩阵D∈Rn×n。构建规则为：若任意节点i，j之间句法有着依存关系，则Dij=Dji=1，否则 Dij=Dji=0。同时将单词自身的依存关系设置为 Dij=1。

在此基础上，选择BosonNLP[14]作为情感词典，构建情感增强矩阵S∈Rn×n。如式（12）所示

Si，j=|BosonNLP（wi）|+|BosonNLP（wj）| ， （12）

式中：BosonNLP（wi）∈[-1，1]表示词语在BosonNLP词典经过归一化后的情感分数。同理，根据wi是否为方面词构建方面词增强矩阵T∈Rn×n，将情感增强和方面词增强的矩阵与邻接矩阵D相结合，得到最终的 DepGCN输入矩阵Gij为

Gij=Dij×（Sij+Tij+1） 。 （13）

1.2.5  Biaffine模块和分类层

为了提高AttGCN和DepGCN的交互学习效率，本文采用Biaffine模块[15]计算AttGCN和DepGCN间的特征表示，将最后一层的输出进行平均池化和拼接后，得到最终的情感特征表示F。如式（14）所示

最后，将情感特征F输入全连接层进行分类

p=softmax（WF+b）， （15）

式中：W、b分别为全连接层的权重矩阵和偏置项；p为情感概率分布，概率分布最大的值即为最终的情感分类结果。

1.3  模型环境与参数

基于Ubuntu18.06系统搭建Python3.6编程环境，选择Pytorch1.10构建网络模型，显卡为 GeForce RTX 3080。词嵌入模型选择BERT-base-chinese，词向量维度为768；使用学习率为 2×10-5的Adam优化器进行优化；GCN层数设置为2；L2正则化系数设置为10-5；训练样本批次大小为32；Dropout丢弃率为0.3；训练轮数为20；选择交叉熵损失作为损失函数。

1.4  模型评估

通过调整参数设置使模型达到最佳分类效果，选择准确率（Accuracy）和F1值作为评价指标评估模型的性能。同时，为了更好地对比本文模型的算法性能，选择与情感词典法、经典的统计学习模型SVM、深度学习模型Bi-LSTM-Attention和SSGCN进行结果比较。

1）SVM算法[16]：一种经典的机器学习算法，通过设定核函数寻找分类超平面，将不同类别的样本分开，在早期情感分类领域得到了广泛的应用。

2）Bi-LSTM-Attention模型[17]：采用Word2vec词嵌入，通过双向LSTM来捕捉文本中的上下文信息，并利用注意力机制获得方面词上下文信息权重，具有很好的文本建模和特征提取能力。

3）SSGCN模型[18]：在句法依赖树的基础上，增强特定上下文词与方面词之间的关联，并作为外部特征输入GCN网络，提高模型情感分类效果。

2  结果与分析

2.1  情感分类结果对比

BAGCN模型与对比模型的结果见表4。从表4可以看出，BAGCN模型在准确率和F1值上均高于其他对比模型。情感词典法的F1值最低，说明通过情感词典匹配的方式在泛化能力和语义理解中存在一定的局限性。Bi-LSTM-Attention和SSGCN模型在F1值上均高于SVM模型，表明深度学习方法可以更好地建模文本序列中的长距离依赖关系和关键信息，从而在情感分类任务上取得更好的性能。BAGCN相比Bi-LSTM-Attention、SSGCN模型的F1值分别提升了1.82%和1.23%，表明预训练BERT词向量具有更好的文本表征能力，而图卷积网络则可以捕捉句法结构信息，有利于提升方面级情感分类效果。

方面级情感的分类结果见表5。由表5可知，在标注样本更少的情况下，外观和品控方面的分类准确率和F1值均优于口感和价格方面，推测是因为外观和品控维度的情感描述和修饰比较简单，比如“盒子很漂亮”“烟嘴细腻”等，这些修饰词相对明确和直观，更容易被模型识别。相比之下，口感和价格通常包含更多口语化的评价，比如“价格亲民”“口感很顺”等，这些修饰词更加复杂和主观，也容易受到烟民的个人口味偏好和评价标准的影响，导致分类准确率出现下降。

2.2  消融实验结果对比

针对Attention、Bi-LSTM、BERT和DepGCN模块的消融实验的结果见表6。由表6可知，在不同消融模块下，模型的准确率和F1值均有所下降，证明了BAGCN中每个部分对情感分类结果均有贡献。其中DepGCN、BERT、Bi-LSTM对模型性能的影响最为显著，注意力机制可以更好地捕捉不同词语之间的重要性，对模型的性能提升也有一定贡献。

2.3  消费者方面级情感分析

不同价位下消费者情感关注程度如图4所示，图4中价位-方面级对应区域颜色代表消费者评论中出现的频率占比，颜色越深代表消费者对该方面的关注度越高。可见，在低价位的卷烟市场中，价格是消费者最关注的因素，而对外观和品控方面关注明显较少。但随着价位的提高，消费者对价格的关注度相对减少，口感、外观、品控方面得到的关注度持续提升，说明消费者在购买高价位的卷烟品牌时对产品的整体品质和形象均有着较高的期望。

消费者在不同方面级的情感分布随价格变化情况如图5所示，图5中的数字代表该情感评价占整体情感的比例。可见，在低端价位的卷烟评价中，消费者在价格方面表达出的消极情感多于积极情感。口感方面则因个人喜好不同，并未呈现出明显的情感差异。在整个价格范围内，消费者对于卷烟产品的外观和品控方面都是相对稳定且积极的评价。因此，烟草企业在高价位的卷烟市场中应该注重产品质量和口感的提升，以满足消费者的需求。同时，在低价位市场中，降低价格可以减少消费者对价格的负面情感，但企业也应该注重提升产品的口感和外观质量，以提高消费者多方面满意度。

根据消费者评论中不同方面修饰词的频率占比，利用Python中的Wordcloud库生成的方面级评价词云如图6所示。可见，在价格方面，“不值”“涨价”“溢价”“贵”等消极的评价词出现频率更高。在口感方面，“清新”“柔顺”“醇厚”“微甜”是常见的积极评价词，而“苦”“没劲”“干”代表大部分负面评价。在外观方面，“精美”“上档次”“好看”等积极评价词词频明显多于“垃圾”“老气”等消极评价词。在品控方面，“柔软”“舒适”“满意”等积极评价词占主导地位，“太硬”“没感觉”“差评”等消极词汇出现的频率较低。消费者在不同方面级修饰词的频率占比与本文模型识别的情感分布基本一致。

3  结论

通过采集2010—2022年卷烟消费者评论数据，构建卷烟消费者评价方面级数据集，建立融合情感增强和句法特征的方面级情感分类模型BAGCN，并与主流的SVM、 Bi-LSTM-Attention、SGCN等模型进行对比。研究结果表明，BAGCN模型在准确率和F1值上均高于其他对比模型，BAGCN模型在 F1值上相比SVM、BiLSTM-Attention和SGCN分别提高了5.91%、 1.82%和1.23%。其中，Attention、Bi-LSTM、BERT和DepGCN模块均证明有利于提升情感分类效果。消费者情感分析结果表明，当购买低价位的卷烟时，消费者往往更加关注价格的变动，其表达出的消极情感多于积极情感。然而，消费者对于口感的要求因个人喜好不同而没有明显的情感差异。在外观和品控方面，消费者的评价在整个价格范围内都相对稳定，且评价大多数是积极的。本文模型可以帮助烟草企业了解消费者对产品的评价和情感倾向，有助于企业在产品开发和市场营销方面做出更好的决策。

参考文献：

[1] PONTIKI M， GALANIS D， PAPAGEORGIOU H， et al. Semeval-2016 task 5： Aspect based sentiment analysis[C]//ProWorkshop on Semantic Evaluation（SemEval-2016）. Association for Computational Linguistics，2016：19-30.

[2] 周法国，孙冬雪.融入情感和话题信息的中文方面级情感分析[J].计算机应用研究，2022，39（12）：3614-3619，3625.

[3] 潘芳，张会兵，董俊超，等.基于高效Transformer的中文在线课程评论方面情感分析[J].计算机科学，2021，48（S1）：264-269.

[4] 商容轩，张斌，米加宁.基于BRNN的政务APP评论端到端方面级情感分析方法[J].数据分析与知识发现，2022，6（Z1）：364-375.

[5] 王萍，李璋寅，郭茹燕，等.面向医疗文本信息的方面级情感分析[J].武汉大学学报（理学版），2023，69（1）：60-68.

[6] 金吉琼，刘鸿，郑赛晶.基于在线评论文本挖掘技术的电子烟市场消费热点分析[J].烟草科技，2019，52（12）：106-114.

[7] 苏凯，付博，杨永锋，等.基于互联网数据的斗烟市场偏好性分析[J].烟草科技，2019，52（8）：106-113.

[8] 杨春晓，张鹤馨，黄家雯，等.卷烟在线评论的文本情感分析[J].中国烟草学报，2020，26（2）：92-100.

[9] 王锐，郑新章，宗国浩，等.融合BiLSTM和注意力机制的卷烟消费者评价情感分类方法[J].烟草科技，2022，55（11）：106-112.

[10] DEVLIN J， CHANG M W， LEE K， et al. BERT： Pre-training of deep bidirectional transformers for language understanding[D]. arXiv，2018.

[11] MA D，LI S，ZHANG X，et al.Interactiv eattention networks for aspect-level sentiment classification[C]//Proceedings of the 26th International Joint Conference on Artificial Intelligence.2017： 4068-4074.

[12] ZHANG C， LI Q， SONG D. Aspect-based sentiment classification with aspect-specific graph convolutional networks[C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing andthe 9th International Joint Conferenceon Natural Language Processing（EMNLP-IJCNLP），2019：4568-4578.

[13] COHEN J. A coefficient of agreement for nominal scales[J]. Educational and psychological measurement， 1960，20（1）：37-46.

[14] MIN K， MA C， ZHAO T， et al. BosonNLP：An ensemble approach for word segmentation and POS tagging[C]//Natural Language Processing and Chinese Computing： 4th CCF Conference， NLPCC 2015， Nanchang， China， October 9-13，2015，Proceedings 4. Springer International Publishing， 2015：520-526.

[15] DOZAT T， MANNING C D. Deep biaffine attention for neural dependency parsing[D].arXiv，2016.

[16] JIANG L， YU M， ZHOU M， et al. Target-dependent twitter sentiment classification[C]//Proceedings of the 49th annual meeting of the association for computational linguistics：human language technologies，2011：151-160.

[17] WANG Y， HUANG M， ZHU X， et al. Attention-based LSTM for aspect-level sentiment classification[C]//Proceedings of the 2016 conference on empirical methods in natural language processing，2016：606-615.

[18] 李帅，徐彬，韩祎珂，等.SS-GCN：情感增强和句法增强的方面级情感分析模型[J].计算机科学，2023，50（3）：3-11.