基于深度学习的方面级情感分析方法研究进展

2022-04-01 09:56刘培玉张殿元朱振方
关键词:分析模型卷积神经网络

刘培玉 卢 强 张殿元 朱振方

(1)山东师范大学信息科学与工程学院,250358,济南; 2)西北大学信息科学与技术学院,710127,西安;3)山东交通学院信息科学与电气工程学院,250357,济南)

近年来,随着Internet技术的飞速发展,具备便利性、独创性和交互性特点的网络社交平台在互联网中得到广泛应用,越来越多的民众习惯于通过网络了解有关教育、金融和医疗等方面的知识和资讯,并通过网络表达观点和意见.政府和管理机构也可以通过社交平台了解社情民意,辅助各类政策的制定和实施.与此同时,淘宝、京东等网络购物网站日益融入到人们的日常生活,人们在使用这些网站购物的时候,相关评论成为人们进行商品选择的重要依据.如此以来,不管是社交平台,还是购物网站,都会产生大量包含情感信息的文本数据,如何从大量的文本数据中分析用户对事件、商品和服务等方面的情感倾向性,成为研究人员关注的热点之一.在分析网络民意时,通过分析文本数据获取人们对事件的看法和观点,可以帮助政府准确地掌握舆论的发展趋势,协助政府引导网络舆论朝着正确的方向发展,促进网络和社会环境的健康发展;在网络购物时,通过分析评论数据获取其他用户对商品的满意程度,可以帮助用户更好地了解商品的质量和相关服务,为用户的购物选择提供参照.因此,对文本数据进行情感分析具有极高的应用价值和社会意义.

文本情感分析,又称为文本倾向性分析,旨在利用自然语言处理技术对含有情感色彩的主观性文本进行分析和处理,判断文本所包含的情感是积极的、消极的还是中性的[1].文本情感分析按照粗细粒度可分为篇章级情感分析、句子级情感分析和方面级情感分析,其中篇章级情感分析和句子级情感分析属于粗粒度情感分析,方面级情感分析属于细粒度情感分析.粗粒度情感分析只能分析整篇或整段句子的情感极性,而整篇或整段句子中不仅仅只包含一个方面的观点,对于篇章级和句子级情感分析而言,确定的情感极性基于整篇或整段句子而不是句子中给出的方面,这可能导致情感分类不准确.方面级情感分析通过识别句子中的特定实体对实体进行分析,可以更加准确地判断句子中朝向特定实体的情感极性,这使得方面级情感分析成为情感分析领域中的热点研究任务.

1 基本概念和定义

方面级情感分析(ABSA,Aspect-Based Sentiment Analysis)是情感分析中一项基本任务,旨在识别句子中存在的方面并判断每个方面的情感极性[2].方面级情感分析包含两个子任务,即方面提取和方面情感分析.方面提取旨在识别并提取句子中包含的方面,方面情感分析旨在对提取的方面进行情感判断,其中方面情感分析分为方面术语情感分析和方面类别情感分析.方面术语情感分析描述了在句子中显式出现的特定实体,而方面类别情感分析隐式描述了一般的实体类别.

如图1所示,在“This restaurant is a little big and a bit noisy for me,the juices and pizzas are the best I have ever had!”这一评论句子中,方面术语为“restaurant”、“juices”和“pizzas”,它们描述了句子中显式出现的特定实体.方面类别“ambience”描述了方面术语“restaurant”,方面类别“food”描述了方面术语“juices”和“pizzas”,方面类别隐式描述了一般的实体类别.用户通过形容词“big”和“noisy”对方面术语“restaurant”表达了消极的情感极性,通过“best”对方面术语“juices”和“pizzas”表达了积极的情感极性,即对方面类别“ambience”和“food”分别表达了消极和积极的情感极性.

图1 方面级情感分析示例

2 方面提取模型

方面提取旨在提取给定句子中表达意见的实体方面[3].例如,在“This restaurant is a little big and a bit noisy for me,the juices and pizzas are the best I have ever had!”这句话中,方面词是“restaurant”、“juices”和“pizzas”.在方面提取中执行两个子任务:一是从评论语料库中提取所有方面术语;二是将具有相似含义的方面术语聚类到代表一个方面的类别中.以前的方面提取工作可以分为有监督、无监督和半监督三种方面提取方法.

2.1基于有监督学习的方面提取方法有监督学习方法利用带有标注数据的样本数据集进行训练,实现对方面词的提取.具有代表性的方法是使用机器学习技术,例如隐马尔可夫模型(HMM,Hidden Markov Model)和条件随机场(CRF,Conditiond Random Field).Jakob等人[4]将CRF应用于特征提取任务,Li等人[5]使用相同的方法通过组合CRF 的两种变体(Skip-CRF 和 Tree-CRF)来提取特征和意见.随着深度学习技术的发展,神经网络技术应用于有监督的方面提取,Liu等人[6]提出一种使用循环神经网络(RNN,Recurrent Neural Network)和词嵌入的判别模型.A Akbik等人[7]提出使用不同类型的RNN来训练词嵌入,经过这种训练的模型的内部会生成一种新型的词嵌入,并将这种词嵌入应用于方面词的提取.然而上述基于序列神经网络的方法始终存在长距离依赖问题,因此Luo等人[8]提出了一种新的双向依赖树网络来从给定的句子中提取依赖结构特征,从而在一定程度上提供了该问题的解决方法.Chen等人[9]提出了一个关系感知协作学习(RPCL,Relationship Perception Cooperative Learning)框架,该框架允许多种子任务通过堆叠多层网络中的多任务学习和关系传播机制协调工作,从另一个角度为长距离依赖问题提供了解决办法.

2.2基于无监督学习的方面提取方法无监督学习方法利用无标注数据的样本数据集进行训练,采用无监督方法来避免对监督学习所需的标记数据的依赖.Hu等人[3]提出一种用于方面提取的算法Apriori,使用以Apriori为基础的关联规则提取词频较大的名词及名词短语作为候选方面词,同时对错误的词语进行剪枝过滤.Li等人[10]基于中文语法特征对Apriori算法进行了改进,实现了中文方面的提取.Huang等人[11]从学习每个方面词提及的通用嵌入开始,使用语言结构组合特定上下文的嵌入,将其链接到知识库并学习其相关知识表示,然后通过一种新的联合层次聚类和链接算法来提升方面词识别的准确率.Labusch等人[12]提出将预训练模型应用于方面实体提取, 通过在大量历史德语文本进行无监督预训练取得了良好的效果.

2.3基于半监督学习的方面提取方法半监督学习方法是结合了监督学习与无监督学习的一种方法,是在有标签数据和无标签数据混合成的训练数据中使用的机器学习算法.Lu等人[13]提出了一种利用名词性显式方面词语作为先验知识来训练半监督pLSA模型的方法.Andrzejewski等人[14]提出了一种基于(LDA,Linear Discriminant Analysis)的半监督模型DF-LDA.Wang等人[15]使用了两个半监督学习模型从中文产品评论中抽取显式方面.He等人[16]提出了一个可以从域外语料库和域内未注释文本中学习的统一模型,该模型包含两个主要模块,一个模块用于跨域学习,另一个模块用于半监督学习.其中跨域学习模块可以根据域相似度学习域外信息,而半监督学习模块可以通过自我训练来学习域内未注释的信息.

3 方面级情感分析模型

方面级情感分析模型可以分为传统的情感分析模型和基于深度学习方法的情感分析模型.传统的情感分析模型采用情感词典和机器学习的方法进行情感分析,基于情感词典的方法需要大量的先验知识,过于依赖情感词典的构建,因此推广能力较差.机器学习的方法包括基于规则的方法和基于统计的方法.Jin等人[17]提出使用词汇化的隐马尔可夫模型来解决这一任务,Varghese等人[18]提出了将支持向量机用于该项任务.上述方法主要侧重于提取情绪词汇特征和词汇袋特征来训练情绪分类器,并且它们的分类结果往往是由少数支持向量决定最终结果,这有助于我们掌握关键样本,剔除大量冗余样本,但这些方法的性能在很大程度上取决于特征工程工作的有效性,需要耗费大量的人力且泛化性较差.

近年来,深度神经网络方法可以自动生成句子特征,在很大程度上提升了情感分析模型的推广性和泛化性,因此引起了越来越多的关注.基于深度学习方法的方面级情感分析通过词嵌入技术[19]将文本转化为词向量,并利用多层非线性处理单元来进行文本的特征提取和转换.相较于传统的情感分析方法,基于深度学习方法的方面级情感分析模型能更好地进行文本特征的提取和语义关系的建模.现有的基于深度学习方法的方面级情感分析模型主要分为基于卷积神经网络的情感分析模型、基于循环神经网络的情感分析模型、基于递归神经网络的情感分析模型、基于记忆神经网络的情感分析模型、基于注意力网络的情感分析模型、基于图网络的情感分析模型和基于预训练的情感分析模型等.

国内外研究学者对基于深度学习模型的方面级情感分析做了大量研究,表1展示了卷积神经网络、循环神经网络、递归神经网络、记忆神经网络、注意力网络、图神经网络和预训练模型的情感分析模型的研究成果.

表1 各深度神经网络特点及代表性出版物

3.1基于卷积神经网络的方面级情感分析模型卷积神经网络(CNN,Convolution Neural Network)[20]是一类带有卷积结构的前馈神经网络,包含输入层、卷积层、池化层和全连接层.CNN通过卷积层和池化层完成文本特征的提取和简化,并使用全连接层的激活函数获得输出.CNN的局部感受野和权值共享操作,可以很好地提取文本的局部特征,并通过池化操作简化网络参数以缓解模型的过拟合问题,因此,CNN在情感分析领域也表现出了很好的效果.

Xue等人[21]提出了一种融合门控机制的卷积神经网络应用于方面级情感分析,提出的门控单元具有两个非线性门,通过与卷积层连接可以根据给定的方面信息有选择地提取特定于方面的情感信息.Huang等人[22]提出了一种新颖的参数化卷积神经网络用于方面水平的情感分类,使用参数化滤波器卷积神经网络(PF-CNN)和参数化门控卷积神经网络(PG-CNN)将方面信息合并到卷积神经网络中进行特定方面的情感分析.但先前的研究在处理上下文词和目标方面项的关系时仍然存在不足,因此Hyun等人[23]提出了一种针对目标级情感分析任务的目标相关卷积神经网络(TCNN,Target Correlation Convolution Neural Network),TCNN利用目标词及其相邻词之间的距离信息来学习每个词对目标的重要性.Gan等人[24]提出了一种基于稀疏注意的可分离扩张卷积神经网络(SA-SDCCN),可分离的扩展卷积模块主要由堆叠的点式卷积层和不同的扩展深度卷积层组成,可以使模型探索更多的上下文语义信息和集成多尺度上下文特征.稀疏注意机制可以促使模型注意情感取向的特征并处理一些复杂的序列.尽管CNN在情感分析领域取得了很好的效果,但其本身在捕获长距离依赖和建模序列信息方面很弱,因此,Liu等人[25]假设一个句子由一些情感线索组成,而一个情感线索由多个词组成.基于此,他们提出了门控交替神经网络.同时,为了解决上述问题,他们设计了一个模块用于学习信息依赖于方面的情感线索表示,在这些表示中,每个上下文词和方面目标之间的相对距离、序列信息和情感线索中的语义依赖性被同时编码.为了滤除噪声,他们还设计了门控机制来控制信息流以获得更精确的表示,并且采用卷积池化机制捕获关键的局部情感线索特征,获取特征的位置不变性.

3.2基于循环神经网络的方面级情感分析模型循环神经网络(RNN,Recurrent Neural Network)[26]是一类善于处理序列特性数据的神经网络,每一序列的输入都与前一节点的输出相关,即当前隐藏层的输入不仅包含当前节点的输入,还包含前一节点的输出.RNN通过每层之间节点的连接结构来记忆之前的信息,并利用这些信息来影响后面节点的输出,这使得RNN能够充分挖掘序列数据中的时序信息以及语义信息,在处理时序数据时比全连接神经网络更具有深度表达能力.

Tang等人[27]提出了两个目标相关的长短期记忆网络(LSTM,Long and Short Term Memory Network)模型TD-LSTM和TC-LSTM.TD-LSTM使用两个LSTM对前向和后向的上下文和目标词进行建模以更好地利用目标字符串的语义.TC-LSTM通过合并目标连接组件来扩展TD-LSTM,该组件在构成句子表示时显式地利用了目标词和每个上下文词之间的连接.TC-LSTM和TD-LSTM忽视了句法信息在文本特征表示中的重要性,因此Zhang等人[28]提出了两个用于目标情感分析的门控神经网络,一个用于推文级别的句法和语义信息,另一个用于对给定目标的左上下文和右上下文之间的交互进行建模.随着注意力机制在自然语言处理领域的快速发展,注意力机制逐渐被应用于方面级情感分析任务.注意力机制源于人类视觉的研究,旨在从大量信息中选择有价值的信息,通过允许模型动态地关注当前输入的某些部分,将这种有价值的信息结合起来.Wang等人[29]提出了一种基于注意力机制的LSTM模型,通过将方面向量连接到句子隐藏表示形式中以计算注意权重和添加方面向量转换为输入词向量两种方法以充分考虑方面信息的作用.He等人[30]提出了一种捕获观点目标语义的方面信息表示方法,并利用句法信息来构建基于语法的注意力模型以使注意力机制可以选择性地集中于在句法路径上接近目标的上下文词.Bao等人[31]在AT-LSTM的基础上提出了一种使用注意力LSTM神经网络直接利用现有词典资源提供的数字极性特征的方法,并使用正则化函数来解答模型的过拟合问题,然而上述方法容易忽视上下文文本的原始句子结构,因此Li等人[32]使用CNN提取来自双向RNN层的转换词表示的显著特征,在这两层之间,他们还提出了一个组件来生成句子中特定于目标的单词表示,同时结合了一种从RNN层保存原始上下文信息的机制来捕捉句子的原始句子结构.Zhang等人[33]提出了一个位置加权卷积网络来提供一个特定于方面的语法感知的上下文特征表示,该特征主要由双向LSTM架构进行抽取,并通过接近加权卷积进一步增强.随后他们探索了两种确定接近权重的方法,即绝对位置注意力权重和依赖位置注意力权重,进一步提升了位置注意力的效果.

3.3基于递归神经网络的方面级情感分析模型递归神经网络(RecNN,Recursive Neural Network)[34]是一类带有树状结构并通过对树状结构节点进行递归的神经网络.递归神经网络是对循环神经网络的一个有效扩展,因为神经网络的输入层单元个数是固定的,因此必须用循环或者递归的方式来处理长度可变的输入.循环神经网络实现了前者,但面对同一序列,不同的语法解析树对应了不同的意思,因此在处理树和图结构时,递归神经网络展现出更好的效果.

Dong等人[35]提出了一种自适应递归神经网络(AdaRNN)用于Twitter的方面级情感分析,AdaRNN使用了多个合成功能将单词的情感自适应地传播到目标,并根据上下文和语言标签自适应地选择合并功能.Nguyen等人[36]提出了一种识别实体方面情感的短语递归神经网络(PhraseRNN),该方法通过组合组成树和依赖树来构建的“目标相关的二元短语依赖树”获得方面的表示,并使用两种合成函数来代替全局函数.Wang等人[37]提出了一中新颖的联合模型“RNCRF”,该模型在高级表示学习中使用递归神经网络编码中方面与观点之间的关系,并提出一种基于最大似然和反向传播的联合优化方法,以同时学习递归神经网络和条件随机场组件.

3.4基于记忆神经网络的方面级情感分析模型记忆神经网络(MN,Memory Network)[38]是一类利用记忆组件保存信息以实现长期记忆功能的神经网络.记忆网络通过引入外部存储来记忆相关信息以解决RNN等模型记忆存储能力弱以及容易丢失部分语义信息的问题.

Tang等人[39]提出了一种用于方面级别情感分类的深度内存网络,该方法由具有共享参数的多个基于内容和位置的注意力模型组成,可以捕获对方面级别情感分类重要的上下文单词.Majumder等人[40]提出了一种新颖的记忆网络,可以利用多跳注意机制的循环记忆网络将邻近方面的相关信息合并到目标方面的情感分类中.Zhu等人[41]提出了一种新型的带有辅助存储器的深度记忆网络模型,该模型采用基本记忆网络来捕获上下文词的重要部分,通过构建辅助存储器以建立方面和术语之间的联系,并通过主存储器和辅助存储器之间的交互输出结合方面和术语的特征向量进行情感分析.Lin等人[42]提出了一种具有语义依赖性和上下文记忆的深层屏蔽存储网络(DMMN-SDCM)应用于方面级情感分析,在提出的DMMN-SDCM模型中,语义解析信息被集成到深层存储网络中,以引导注意力机制和跨领域学习网络,从而为不同的计算层选择上下文存储器的不同部分,并针对所需方面利用同一句子中有用的方面信息.Liu等人[43]提出了一种新颖的端到端记忆神经网络(ReMemNN),ReMemNN专门设计了一个名为嵌入调整学习模块的模块将预训练词嵌入转换为调整词嵌入,以解决预训练词嵌入的弱点,并设计了一种多元素注意力机制来生成强大的注意力权重和更精确的与方面相关的情感表示.

3.5基于注意力网络的方面级情感分析模型注意力机制从被提出用以解决机器翻译问题以来,就成为神经网络研究中的一个非常重要的研究方向.随后有研究者以注意力机制为基础提出了多种注意力网.注意力网络在提升神经网络性能的同时,还增加了神经网络结构的可解释性.由于传统的神经网络是一个黑盒模型,因此提高其可解释性对机器学习模型的公平性、可靠性和透明性的提高至关重要.其次,注意力网络能够帮助缓解递归神经网络中的一些缺陷,比如随着输入序列长度的增加导致的性能下降和对输入的顺序处理所导致的计算效率低下等.

Huang等人[44]提出了一种用于方面层面情绪分类的注意过度注意神经网络,通过一种联合的方式建模方面项和句子,并明确地捕获了方面项和上下文句子之间的交互作用,这种注意力网络可以共同学习方面和句子的表示,并自动关注句子中的重要部分.Yang等人[45]首先通过利用词性特征和词位特征来学习特征增强的词表示,然后开发了一个多视图共同注意网络,通过对上下文词、目标词和情感词进行交互建模来学习更好的多视图情感感知和目标特定的句子表示.然而上述的注意力网络大多采用粗粒度的注意机制,如果文本中的方面项方面有多个单词可能会带来信息丢失.因此Fan等人[46]提出了一种细粒度的注意机制,它可以捕获方面和上下文之间的单词级交互信息;然后,他们利用细粒度和粗粒度的注意机制来组成多粒度注意力网络(MGAN,Multi Granularity Attention Network)框架.Xu等人[47]提出了一个多注意网络(MAN,Multi Attention Network)来解决上述问题;MAN使用层内和层间注意机制, 在前者中,MAN 使用变压器编码器代替序列模型来减少训练时间,变压器编码器并行编码输入句子并保留长距离情感关系.在后者中,MAN 使用全局和局部注意力模块来捕获方面和上下文之间不同粒度的交互信息.

3.6基于图神经网络的方面级情感分析模型图神经网络(GNN,Graph Neural Networks)[48]是一类善于处理非欧式空间数据的神经网络,通过提取节点和边之间的信息进行建模,能更好地处理句法结构等树结构以解决长距离依赖关系,因此被广泛应用于文本的方面级情感分析.

Zhang等人[49]提出了一种图卷积神经网络(AS-GCN)应用于方面级情感分析,AS-GCN通过多层图卷积结构捕获特定于方面的特征,然后通过屏蔽机制保留高级方面的特定特征,最后使用基于检索的注意力机制来检索特定方面的信息用于方面级情感分析.Huang等人[50]提出了一种新颖的目标依赖图注意力网络(TD-GAT)用于方面级的情感分类,TD-GAT采用多层图注意力网络将情感特征从重要的语法邻域词传播到方面目标,并在模型中进一步集成了LSTM单元,以在递归邻域扩展过程中跨层显式捕获方面相关的信息.Chen等人[51]提出了一种针对方面级情感分类的协作图注意力网络(CoGAN),该方法构建了两个图注意力网络以关注权重来衡量偏好度,从而对双重情感偏好进行建模.然后采用一种交互机制来共同模拟双重偏好以获得更好的与方面相关的句子表示.Cai等人[52]提出了一种分层图卷积网络(Hier-GCN),底部模块利用BERT(Bidirectional Encoder Representation from Transformers)分别获取两个子任务的隐藏表示,较低层的GCN用于建模多个类别之间的内部关系,而较高层的GCN用于捕获类别与类别之间的相互关系导向的情绪.Zhou等人[53]提出了一种新的基于句法和知识的图卷积网络(SK-GCN)模型用于基于方面的情感分类,开发了两种对句法依赖树和常识知识图进行建模的策略,并采用多头位置注意机制来捕获GCN输出的关键部分以针对给定方面更好地表达句子.Zhao等人[54]提出了一种基于GCN的方面级情绪分类模型,该模型可以有效地捕获一个句子中多方面之间的情绪依赖关系,同时该模型首先引入了具有位置编码的双向注意机制,以建模各个方面与其上下文单词之间的特定方面的表示,然后在注意机制上使用GCN来捕获一个句子中不同方面之间的情绪依赖关系.然而上述研究仍然缺乏对它们的依赖关系的利用,并且缺乏区分重要关系以及从基于图的不同层次模型中学习的有效机制.因此Tian等人[55]提出了一种显式地利用具有类型感知图卷积网络(T-GCN)的方面及情感分析依赖分析的方法,其中注意力被用于T-GCN来区分图中不同的边(关系),并提出了注意层集成,以全面学习不同层的T-GCN.

3.7基于预训练模型的方面级情感分析模型近年来,预训练模型(PLMs,Pre-trained Language Models)的出现将自然语言处理带入了一个新的时代.PLMs使自然语言处理由原来的手工调参、依靠 ML 专家的阶段,进入到可以大规模、可复制的大工业施展的阶段;并且PLMs是一种迁移学习的应用,利用几乎无限的文本,学习输入句子的每一个成员的上下文相关的表示,它可以隐式地学习到通用的语法语义知识.

Song等人[56]提出了一种注意编码器网络,它避免了递归,并使用基于注意力的编码器在上下文和目标之间进行建模, 同时他们还将预训练好的BERT应用于方面级情感分类任务.然而由于预训练模型需要耗费大量的计算资源,因此微调预训练受到了人们越来越广泛的关注.微调预训练模型可以将预训练好的模型在下游任务上进行微调,从而获取更加适合下游任务的特征向量.M Hoang等人[57]展示了使用来自预训练语言模型 BERT 的上下文词表示以及带有附加生成文本的微调方法的潜力.Dai等人[58]首先比较了PTMs的诱导树和对几种流行模型的依赖解析树的比较,并最终将RoBERTa(A Robustly Optimized BERT Pretraining Approach)的诱导树用于方面级情感分类任务.Yan等人[59]将方面级情感分类任务的每个子任务目标重新定义为由指针索引和情感类索引混合的序列,将所有子任务转换为统一的生成公式,然后基于统一公式,利用预训练序列到序列模型 BART(Bidirectional and Auto-Regressive Transformers)来解决端到端框架中的所有子任务.

4 方面级情感分析评测指标和数据集

4.1评测指标方面级情感分析常用的评测指标分别是准确率(Accuracy)、精确率和召回率(Precision and Recall)以及F1-Measure值.

4.1.1 准确率 准确率是评价分类器性能的主要指标,其定义是:对于给定的测试数据集,分类器正确分类的样本数和总样本数之比,公式如下:

(1)

其中TP表示对正例的正确预测,TN表示对负例的正确预测,FP表示对负例的错误预测,FN表示对正例的错误预测.

4.1.2 精确率和召回率 精确率是针对预测结果而言,它表示预测为正的样本中有多少是真正的正样本,预测为正有两种可能,一种是把正例预测为正(TP),另一种就是把负例预测为负(FP),公式如下:

(2)

而召回率是针对原有样本而言,它表示原有样本中的正例有多少被正确预测了,一种是把原来的正例预测成正(TP),另一种就是把原来的正例预测成负(FN),公式如下:

(3)

4.1.3 F1-Measure值 F1-Measure值是在Precision和Recall的基础上提出的概念,为了能够评价不同算法的优劣,来对Precision和Recall进行整体评价.F1-Measure的定义如下:

(4)

4.2数据集针对情感分析任务中不同任务和语种的问题,国内外研究者们构建了多个公开的数据集语料库,常应用于方面级情感分析的数据集主要有SemEval数据集,其中SemEval数据集主要分为SemEval-2014 Task 4、SemEval-2015 Task 12、SemEval-2016 Task 5和SemEval-2017 Task 4数据集.表2展示了每个标准数据集使用情况的统计概览,并总结了每个数据集的代表性出版物.从表2可以看出,SemEval-2014 Task 4、SemEval-2015 Task 12、SemEval-2016 Task 5和SemEval-2017 Task 4数据集已经做了大量工作.

表2 数据集使用以及代表性出版物

4.2.1 SemEval-2014 Task 4数据集 SemEval-2014 Task 4数据集[70]应用于方面情感分析主要包含三个子任务,分别是方面词提取、方面术语极性的判断和方面类别检测.SemEval-2014 Task 4数据集包含从餐厅类评论数据集中提取的3 500个句子和从笔记本评论数据集中提取的3 000个句子作为训练数据集,其中一部分划分为测试集,去除有冲突情感极性或没有方面项的数据后,餐厅类训练样本1 978个,测试样本600个.笔记本类训练样本1 462个,测试样本411个.

方面词的提取:给定一组带有预定义实体(例如餐馆)的句子,标识句子中存在的方面词,并返回包含所有不同方面词的列表.

方面术语极性的判断:对于句子中给定的一组方面术语确定每个方面术语的极性是肯定的、否定的、中立的或冲突的.

方面类别检测:给定一组方面类别(例如价格,食物),并判断给定句子中讨论的方面类别.方面类别通常比方面词提取任务中的方面术语更粗糙,并且不一定在给定句子中作为术语出现.

4.2.2 SemEval-2015 Task 12数据集 SemEval-2015 Task 12数据集[71]应用于方面情感分析主要包含三个子任务,分别是方面类别的识别、意见目标表达的提取和情感极性分类.该数据集由2 000条餐厅评论组成,分别标注了方面及其用于训练和测试的情感极性.每个评论可能包含多个句子,每个句子都包含类别、方面术语和方面术语极性的注释.去除冲突情感极性数据后,训练样本1 120个句子,测试样本582个句子.

方面类别的识别:目的是识别给定文本中表达意见的每个实体E和属性A对,E和A应从实体类型(例如、餐厅、笔记本电脑、食品)和属性标签(例如设计、价格、质量)的预定义清单中选择.

意见目标表达(OTE,Opinion Target Expression)的提取:提取意见目标表达,即给定文本中使用的语言表达,以引用每个E#A对的已审核实体E.

情感极性分类:为每个已识别的E#A对分配以下极性标签之一:正面,负面,中性(轻度正面或轻度负面情绪).

4.2.3 SemEval-2016 Task 5数据集 SemEval-2016 Task 5数据集[72]应用于Sentence-level方面级情感分析的子任务与SemEval-2015 Task 12数据集相同,分别是方面类别的识别、意见目标表达的提取和情感极性分类.数据集包含从餐厅类评论数据集中提取的2 000个句子作为训练数据集,其中一部分划分为测试集,去除有冲突情感极性或没有方面项的数据后,训练样本1 247个,测试样本440个.

方面类别的识别:目的是识别给定文本中表达意见的每个实体E和属性A对,E和A应从实体类型(例如餐厅、笔记本电脑、食品)和属性标签(例如设计、价格、质量)的预定义清单中选择.

意见目标表达(OTE,Opinion Target Expression)的提取:提取意见目标表达,即给定文本中使用的语言表达,以引用每个E#A对的已审核实体E.

情感极性分类:为每个已识别的E#A对分配以下极性标签之一:正面,负面,中性(轻度正面或轻度负面情绪).

4.2.4 SemEval-2017 Task 4数据集 SemEval-2017 Task 4数据集[73]主要包含5个子任务,该数据集由2 000条推特数据集组成,分别标注了方面及其用于训练和测试的情感极性.每个评论可能包含多个句子,每个句子都包含类别、方面术语和方面术语极性的注释.去除冲突情感极性数据后,训练样本1 561个句子,测试样本213个句子.

子任务A:给定一条推文,确定它表示的情感极性是正面、负面还是中立.

子任务B:给定一条推文和一个主题,将针对该主题传达的情绪分为两类:积极与消极.

子任务C:给定一条推文和一个主题,按照5类标准对推文中该主题表达的情感进行分类:强正、弱正、弱负和强负.

子任务D:给定关于主题的一组推文,估计推文在POSITIVE和NEGATIVE类中的分布.

子任务E:给定关于主题的一组推文,估计推文在以下5个类中的分布:强正、弱正、中性、弱负和强负.

5 总结与展望

本文结合近年来方面级情感分析的研究成果,首先对方面级情感分析的基本概念和相关定义进行了阐述,然后对现在方面提取的模型进行了介绍,并对基于卷积神经网络、基于循环神经网络、基于递归神经网络、基于记忆神经网络和基于图神经网络的方面级情感分析模型进行归纳和总结,并详细介绍了用于方面级情感分析的评判指标和SemEval数据集.虽然方面级情感分析在单一领域和单一语言方面取得了较好的成果,但是在一些方面仍然存在问题和挑战,我们认为方面级情感分析仍然存在以下挑战:

1)现阶段的方面及情感分析数据主要来源于餐馆、笔记本、商品等的用户评论,而在这些评论中极易存在带有情感倾向的长文本,这些长文本中往往包含有多个方面和多种情感,目前现存的方法在解决这种长文本的长距离依赖问题仍然存在很大缺陷,因此对于长文本的情感分析仍然是方面级情感分析的难点问题.

2)由于中文的多义性和复杂性,同一词汇在不同语境中可能表达不同的含义,这需要情感分析模型能够准确地识别出同一词汇在不同语境的隐性情感.相对于较为成熟的显性情感分析,隐形情感分析更具有挑战性.

3)文本不同于其他形式的数据,它往往包含有一定的语法限制规则,而目前大部分模型忽略文本的语法限制规则和词之间的依赖规则,这可能导致无关的上下文词对方面情感极性的分析产生干扰.

随着图神经网络的快速发展,图神经网络逐渐被应用于文本的方面级情感分析任务中,并展现出巨大的潜力,在未来的工作中,可以从以下几个方面开展进一步的研究.

1)图神经网络能够较好地处理依赖树等结构,但在解析依赖树时可能存在解析错误等问题,将基于图神经网络的模型与基于序列的模型结合起来以避免因依赖项解析错误而产生的潜在噪声是一个值得探索的研究方向.

2)预训练模型可以通过自监督学习从大规模数据中获得特定上下文中的语义表征,并可以通过微调针对不同的任务修正网络,将预训练模型与图神经网络相结合进行方面级情感分析是一个值得探索的研究方向.

3)大多数深度学习模型在讽刺、反讽刺、种族歧视、深度推理、常识等隐含情感表达的场景下效果较差,而常规的神经网络无法很好地学习它们.此外,这些模型严重依赖于数据的大小.

猜你喜欢
分析模型卷积神经网络
基于BERT-VGG16的多模态情感分析模型
基于3D-Winograd的快速卷积算法设计及FPGA实现
卷积神经网络的分析与设计
神经网络抑制无线通信干扰探究
从滤波器理解卷积
基于神经网络的中小学生情感分析
基于傅里叶域卷积表示的目标跟踪算法
层次分析模型在结核疾病预防控制系统中的应用
基于神经网络的拉矫机控制模型建立
全启发式语言分析模型