句法特征融合增强的方面级情感分析

付朝燕,黄贤英,刘瀚锴,齐嵩喆

(重庆理工大学 计算机科学与工程学院,重庆 400054) E-mail：wldsj_cqut@163.com

1 引 言

当今社交媒体发展迅速,越来越多人通过网络平台分享自己对事物的态度.针对大量的网络评论信息,方面级情感分析旨在分析文本中人们对事物的某些方面表达的情感、观点及态度.对于在线商城调整经营策略、分析商家信誉值,社交平台分析热点事件舆情走向、维护社区网络环境等应用场景都具有重要意义.文本中事物的某些方面由单个词或一组词表示,这些词称作这段文本中的方面项.一般来说评论数据的情感偏向比较明确,可以分为消极(Negative)、积极(Positive)、中性(Neutral)3个极性,例如笔记本电脑的一条评论文本“I charge it at night and skip taking the cord with me because of the good battery life.”,提到了笔记本电脑的两个方面项“cord”、“battery life”.文本中没有对“cord”评论,没有明显的情感倾向,则其情感极性划分为中性(Neutral),而对于“battery life”则进行了夸赞,有积极的情感词“good”修饰,则为其情感极性划分为积极(Positive).同理在一条文本中如果有消极情感倾向的描述指向方面项时,其情感极性划分为消极(Negative).在方面级情感分析任务的研究发展过程中,早期基于人工特征如建立情感词典、预处理获得句法依赖信息等,再利用最大熵、支持向量机、朴素贝叶斯、决策树等传统分类器进行情感分类的方法曾取得不错的效果,但需要消耗大量人工成本.随着深度学习的出现,基于循环神经网络(Recurrent Neural Network,RNN)、长短期记忆网络(Long-Short Term Memory,LSTM)和GRU[1](Gate Recurrent Unit)、卷积神经网络(Convolutional Neural Network,CNN)等的方法减轻了对人工特征的依赖,能有效地提取特征信息.

近年来融合多种方法的多策略混合模型成为方面级情感分析的研究新趋势,特别是句法依存树结合图卷积神经网络(Graph Convolutional Network,GCN)的建模方法在方面级情感分析及其相关任务中得到广泛应用.2019年的研究工作中Sun等人[2]提出了将句法依存树与神经网络相结合的语义依存关系树应用于表示学习的模型CDT(Convolution over Dependency Tree Model).Zhang等人[3]提出的AS-GCN(Aspect-specific Graph Convolutional Network)模型把句法依存树信息引入到多层GCN中.2020年的研究工作中Tang等人[4]提出基于transformer[5]和GCN的双通道模型DGEDT(Dependency Graph Enhanced Dual-transformer Network)以迭代交互的方式融合两个通道的结果,相互强化两通道的表示学习.Veyseh等人[6]使用给定的方面术语来定制隐藏向量,再基于句法依存树和GCN来计算句子中每个单词的重要性分数.Zhou等人[7]提出了基于句法依存树和常识知识的图卷积网络SK-GCN(Syntax and Knowledge via GCN)模型.宋威等人[8]提出利用门控机制实现特征蒸馏,建立FDDN模型提取句子的情感语义特征.Sun等人[9]通过Bert构建辅助句子,引入外部特征建模,起到了数据增强作用.

相比以往一些经典模型,近两年提出的这些句法依存树结合GCN的模型在性能上有较大提升,也能表明基于GCN引入图结构的模型相比传统的序列化建模处理的模型,能更有效地提取到非线性的复杂语义信息,在一定程度上提升模型性能.现有研究[9,10]表明在实体抽取、方面级情感分析这些文本处理任务中多策略混合的方法效果较优.但这些模型都只运用了单一特征级的句法信息来加强单词表示,利用GCN建模时未充分利用句法依存树中除边和节点之外的信息,基于句法依存树与GCN结合的方法有进一步改进提高的空间,有必要对新的特征提取和融合方法进行研究.

因此本文提出一个用于提取句法依存树上有效信息的多级特征提取算法ML-FE(Multi Level- Feature Extraction)并用其搭建句法特征融合增强模型进行实验,以此验证算法的有效性.本文主要工作：1)数据预处理时改进句法依存树建立句法图,进行深度优先搜索、计算每个单词的权值,进一步得出浅层句法特征信息;2)在GCN建模时根据词之间相对位置信息将句法图划分为多个子图并分别建模,来提取深层句法特征信息;3)加入注意力融合单元,将深层特征信息映射到句子的编码层的输出序列,得到句子的深层特征级表示;4)融合浅层特征级和深层特征级的句子表示得到最终的多层级特征的句子表示后进行情感分类.

2 相关工作

2.1 句法依存树

句法依存树在实体抽取、文本分析、命名体识别、情感分析、智能问答等领域有着广泛的应用.使用Stanford NLP工具包(1)http：//nlp.stanford.edu对文本数据进行预处理,构建句法依存树,如图1所示节点是文本中的单词,节点之间的连边是语义关系或依存关系.句法依存树展示了句子中各个词之间的语法依赖关系,图中每条边都有自己的标签,不同标签代表不同依赖关系.如“det”标签代表决定词,图中带有“det”标签的有向边从方面词“quality”指向定冠词“The”,就表示“quality”的决定词即冠词是“The”.

句法依存树上的节点之间的路径长度能表示句子中词之间的语义逻辑距离,有直接依赖关系的词之间的语义逻辑距离比词在文本中的相对位置距离更短.引入句法依存树建模有利于在任务中处理长文本数据,解决长距离依赖问题.但是在方面级情感分析中,句法依存树在缩短方面词与对应情感词距离上的作用不明显,如图1中可以看到方面词没有可以到达情感词的路径.因此Zheng等人[10]反转句法依存树部分依存关系边加入额外的边和节点,提出了一种随机游走方面级情感分析模型RepWalk.此外Liu等人[11]提出通过除去停用词、反转边等操作修剪句法依存树结构的句子相似度比较方法.Hewitt等人[12]基于Bert提出一种结构探针(Structural Prob)验证了Bert词向量有效学到了句法依存树结构.张沁洋[13]等人提出利用句法依存树信息改进实体表示的方法.这些相关研究表明引入句法依存树的建模方法能学习到句子的语义信息.

2.2 图卷积神经网络

2013年Bruna等人[14]在谱空间定义图卷积,提出了第一个图卷积神经网络.GCN可以用来提取非欧几里得结构的拓扑图的空间特征,学习节点表示,捕获节点在图中的特征信息[15].图卷积神经网络模型第l层的计算方法如式(1)所示：

(1)

GCN广泛应用于节点分类、链接预测、推荐系统、社交网络分析、图分类等研究领域中.在真实的图结构数据中,除了节点和边的信息外还蕴含有许多有用信息,目前一些GCN模型建模时使用子图拆解、参数重调、对偶建图等方法,在卷积操作中使用这些额外信息提升模型效果[15].如2018年Schlichtkrull等人[16]提出的关系图神经网络(R-GCNs)以连边的标签类型对原图进行拆解,分别对子图建模.2020年Chen等人[17]在方面实体抽取任务中对GCN进行改进,提出融入相对位置信息的D-GCN(Directional Graph Convolutional Networks)模型.此外Li等人[18]对卷积层数对模型性能影响进行分析,提出单层的GCN明显优于全连接网络,而使用多层的GCN会导致效果降低,原因是在更新目标节点表达时会混合其他类节点的信息,从而导致效果降低.相关研究[14-16]表明基于GCN建模的方法能有效提取深层特征信息,融合多种策略建模,可以提高模型方面级情感分析的能力.

综上所述基于句法依存树构建句法图,在句法图上进行深度优先搜索获得浅层句法特征信息,在GCN建模时划分句法图为多子图并分别建模,能更好地将单词之间的依赖关系整合到模型中,学习到包含深层句法特征信息的句子表示.因此本文提出的方法具有技术和理论可行性,使用特征融合增强的句子表示,能有效提高模型性能.

3 句法特征融合增强模型

模型整体结构如图2所示,包括输入层、嵌入层、编码层、多级特征提取层和聚合层、输出层.

图2 句法特征融合增强模型架构图Fig.2 Framework of our syntactic feature fusion enhancement model

3.1 输入层

输入层采用如2.1节所述的构建句法依存树方法为输入的目标句子建立句法依存树后,反转句法依存树中指向方面项中第1个词的所有边,构建以方面项中第1个词为根节点的句法图(Syntactic graph).

根据上述句法图建立句法图信息列表和句法图邻接矩阵.句法图信息列表是由句法图中单词、单词词性标签、依赖关系边、依存关系边标签、方面词的位置标记组成的嵌套列表,用符号S表示.句法图邻接矩阵(Syntactic graph adjacency matrix)是句法图的矩阵表示形式,用Α∈n×n表示,当单词i和单词j之间有依赖关系边则ai,j=1,反之ai,j=0,ai,j是句法图的邻接矩阵Α∈n×n中的元素,1≤i≤n,1≤j≤n.

3.2 嵌入层

使用深度学习方法处理文本信息,需要通过词嵌入将文本转为向量形式,嵌入层使用词嵌入技术将文本映射成低维向量,得到分布式的词向量表示.使用预训练好的300维GloVe词典[19]来初始化嵌入层,对句法图信息列表中包含的单词进行词嵌入得到词向量序列X={x1,x2,…,xn-1,xn},X∈n×dx.n为单词个数,dx为词嵌入的向量维度,xi∈dx表示第i个词的词向量.

此外分别设置相应的嵌入维度将词性标签和依存关系边标签也通过嵌入层转为向量形式.pi∈dp是第i个词的词性标签向量、dp为词性标签嵌入的向量维度,Re∈dr是依存关系边e的标签向量,dr为依存关系边标签嵌入的向量维度,1≤i≤n.

3.3 编码层

编码层使用双向GRU(Bi-GRU)来实现,输入包括词向量和词性标签向量两部分.对词向量和词性标签向量进行拼接,输入Bi-GRU中提取上下文特征,得到融合词性信息和语义信息的特征提取序列H={h1,h2,…hn-1hn},H∈n×dh.dh为特征提取序列中向量的维度,hi∈dh表示特征提取序列中第i个词的带有高层语义信息的向量,计算公式如式(2)所示.

hi=Bi-GRU(xi;pi)

(2)

其中Bi-GRU表示双向GRU,xi∈dx表示第i个词的词向量,1≤i≤n,n为文本长度,pi∈dp是第i个词的词性标签的嵌入向量,dp为词性标签嵌入的向量维度,“;”表示向量拼接.

3.4 多级特征提取层

多级特征提取层的目的是更好的整合单词之间的依赖关系到模型中,学习到更好的句子表示,以增强模型能力.该层分为浅层特征提取和深层特征提取两层,其本质区别是对句法图的使用方法不同.浅层特征提取层仅基于对句法图的深度优先搜索来计算每个单词的权值,从而得出句子的浅层特征级表示.深层特征提取层采用多子图GCN进行建模提取句法图的图结构特征,相比传统的序列化建模处理的模型,能更有效地提取到非线性的复杂语义信息,在一定程度上提升模型性能.

3.4.1 浅层特征提取层

浅层特征提取层的目的是在句法图中从代表方面词的根节点出发进行深度优先搜索,遍历图中每个节点,学习到融入句子的句法结构特征信息的句子表示.单词权重计算如图3所示,其中每条边权重值计算方法如式(3)所示：

le=σ([hu;hv]WpRe+bp)

(3)

其中e表示以节点u为起点和v为终点的边,le代表e的权重值,hu∈dh代表起始节点u的编码层表示,hv∈dh代表终节点v的编码层表示;Re∈dr是依存关系边e的标签向量,dr为依存关系边标签嵌入的向量维度;Wp∈2dh×dr是权重参数矩阵,bp是偏置项,σ是Sigmoid激活函数,“;”表示向量拼接.

单词i的权重αi通过将从根节点到目标节点i的路径上的边的权重相乘来计算,1～m表示方面项中词的Id,m表示方面项中的单词个数,对于方面项中的词,权重都置为零.εi表示是从根节点到目标节点i的路径上的边集.权重αi计算方式如式(4)所示：

(4)

图3 浅层特征提取层节点权重计算例图Fig.3 Shallow feature extraction layer node weight calculation

浅层特征提取层最终的句子表示d∈dh的计算方式如式(5)所示：

(5)

其中n为句子长度,1≤i≤n.

3.4.2 深层特征提取层

深层特征提取层的目的是利用GCN学习到句法图上的深层特征信息,增强句子表示.该层由两个相对位置图卷积(Relative Position Graph Convolutional Network,RPGCN)单元和注意力融合单元组成.

在句子上从左往右按升序的方式顺序给每个词分配一个标号Id,单词i与单词j相对位置信息用其标号Id相减的差来表示,记为dir.词与词之间的相对位置信息在句法图的邻接矩阵中有更直观的体现.参考Chen等人[17]的实体抽取模型DGCN中引入相对位置信息建模方法,把邻接矩阵中元素的下标关系对应到单词的相对位置关系上,改进GCN建模方式,并加入归一化层建立RPGCN单元.

图4 相对位置图卷积(RPGCN)单元结构图Fig.4 Framework of relative position graph convolution(RPGCN)unit

RPGCN单元如图4所示,由K层卷积层和归一化层组成.将输入的特征矩阵划分为3个子矩阵(3个子矩阵是分别提取原矩阵的上三角矩阵元素、下三角矩阵元素和对角线上元素后,再用“0”填充扩展到原矩阵大小构成的矩阵,子矩阵对应着子图),在每个子矩阵上分别建模、独立地进行特征提取.将节点在不同子矩阵上得到的结果相加,作为下一层网络的输入.句法图邻接矩阵和序列Η作为初始输入进入第一个RPGCN单元.第k层卷积操作的计算方法如式(6)和式(7)所示：

(6)

(7)

其中ai,j是句法图的邻接矩阵A∈n×n中的元素,是该层的特征矩阵中的元素也是融入了上一层卷积信息的权重矩阵中的元素;dh×dh表示处理不同子矩阵数据时选取不同的权重矩阵,dir<0时时dh×dh,dir>0时dh×dh.

在模型中使用了两个RPGCN单元,第2个RPGCN单元的初始输入包括句法图邻接矩阵和第一个RPGCN单元的输出序列G′∈n×dh,最终得深层特征信息序列G={g1,g2,…,gn-1,gn},G∈n×dh和编码层输出序列H经过一个注意力融合单元进行一次融合,融合的计算方法如式(8)和式(9)所示.

∂1=softmax(HW1GT)

(8)

h′=∂1G

(9)

其中∂1∈n是经过注意力融合单元后得到的权重序列,n是文本长度,GT∈dh×n是G的转置,h′∈dh是序列G在序列H上的得到的一个映射,是该层的最终输出也是该层得到的句子表示,dh是编码层输出向量的维度.

3.4.3 多层特征提取算法

综上所述,该层多级特征提取层的算法流程具体见表1.

表1 多级特征提取层算法Table 1 Feature extraction layer algorithm

3.5 聚合层

聚合层的作用是融合得到的句法图浅层特征与深层特征得到最终的句子表示.聚合计算如式(10)所示：

o=LN(ReLU(h′⊕d))

(10)

其中⊕表示逐元素相加,经过ReLU激活函数和LN(Layer Normalization)归一化层得到最终的句子表示o∈dh.

3.6 输出

该层包括一个全连接层和一个归一化层来预测情感极性分布,预测结果计算方法如式(11)所示：

(11)

3.7 损失函数

在实验中应用中断策略来减轻过拟合,优化器采用Adam.最终的损失函数如式(12)和式(13)所示,包括了交叉熵(Cross Entropy)损失、L1、L2正则化项：

(12)

(13)

其中αz∈n对应样本中第x条文本的经过浅层特征提取层后的权值向量,n为该条文本长度.τ对应于所有的可训练的参数,β和λ调节L1正则化项和L2正则化项的影响,φ表示两个正则化项相加的和.是基本真实的情感极性,K是训练的样本数量,C是情感极性类别的数量,表示预测的情感极性.

4 实 验

4.1 数据集

不同的公开数据集有着不同的极性划分标准,如部分中性的词语在不同的数据集中可能会被分为积极或者是消极,因此在模型中使用错误或者不符合实际极性的数据会引入噪声,导致决策边界偏移,得到分类不准确的模型.因此选择在4个较为权威的公开数据集上进行实验,对本文模型性能和算法有效性进行评估.数据集Restaurant14(Rest14)、Laptop 14(Laptop)来自SemEval 2014 task 4[20],Restaurant 16(Rest 16)来自SemEval 2016 task 5[21].此外还有Li等人[22]的Twitter 评论数据集.这些数据集是方面级情感分析任务的主流数据集,极性划分较为权威.各个数据集中测试集和训练集的情感极性分布情况统计如表2所示.

表2 数据集统计表Table 2 Dataset description

4.2 参数设置

在实验中使用PyTorch框架(1.8.1+cu102版)实现模型编码.4个数据集的Batch-Size都设为32,Rest16、Rest14、Twitter 3个数据集的学习率为1×10-3,Laptop数据集学习率为5×10-4.输出层中的中断率(Dropout Radio)在Rest16数据集上设置为0.3,Twitter数据集上设置为0.4,Laptop、和Rest14数据集上设置为0.5,其他的参数各个数据集统一设置,详见表3.

表3 实验参数设置表Table 3 Experimental parameter settings table

4.3 实验结果

采用准确率(ACC)和Macro-F1(F1)值作为模型的评价标准,对比模型和实验结果如表4所示.

表4 句法特征融合增强模型与基线模型结果对照表Table 4 Syntactic feature fusion enhancement model and baseline model results comparison table

对比模型中除基于人工特征的SVM-feature模型外,可以分为以下两类：

·线性序列模型：LSTM、RAM、SA-LSTM-P、MGAN、HSCN.

·非线性序列模型：CDT、GCAE、Repwalk、SK-GCN、FDDN、New models.

选取SVM-feature作为对比的基准模型之一是为了比较传统机器学习方法与基于深度学习中图卷积方法的优劣.实验结果表明,基于图卷积神经网络的方法整体优于SVM-feature模型.

线性序列模型中除LSTM模型仅简单使用LSTM对文本进行编码外,MGAN模型还提出多粒度注意机制、HSCN模型额外提取了方面和上下文之间交互的特征信息.但这些模型都仅基于BiLSTM对句子编码提取上下文信息,没有考虑使用句子的句法特征来提取非线性的复杂语义信息,都是线性序列模型.从表4中实验结果数据可以看出,本文模型的准确率(ACC)和Macro-F1(F1)值始终优于这些主流的序列化建模处理的模型.

CDT模型仅利用句法依存树的边和节点信息建模提取句法特征信息.GCAE利用CNN建模结合门控机制获取特征信息.SK-GCN模型在使用GCN建模的基础上还引入了外部知识进行特征增强.FDDN模型使用门控机制实现特征蒸馏.New models采用GCN获取上下文特征进而改进实体表示.Repwalk模型基于RNN建模提取上下文信息,再通过简单遍历句法图提取浅层特征级信息.相比Repwalk模型,本文模型在Rest16数据集上的准确率提高了2.12%、F1值提高了4.79%;在Rest14数据集上准确率提高了1.71%、F1值高了3.63%;在Laptop数据集上的准确率提高了1.97%、F1值高了2.67%;在Twitter数据集上的准确率提高了1.64%、F1值高了2.24%.

从4个数据集上的实验结果来看,句法特征融合增强模型该模型除在Twitter数据集的F1值指标上稍低CDT外,本文的模型性能整体优于这些主流模型,也验证了多级特征提取算法的有效性.

4.4 实验分析

将通过以下几组实验和个例分析对模型进行性能评价.实验1分析RPGCN单元中卷积层数对整体模型准确率的影响;实验2分析深层特征提取层中RPGCN单元数量对模型的影响;实验3分析Bi-GRU编码层特征提取序列中向量的维度对模型的影响;实验4分析输出层的Dropout Radio(中断率)对模型的影响;实验5分析多级特征提取层中各个层对模型的影响.5组实验中除该组分析的参数外,其他参数均统一设置为4.2节所述数值.

1)分析RPGCN单元中卷积层数对整体模型准确率的影响,卷积层数取1、2、3、4、5层时各数据集的实验结果.如表5所示：在实验中随着卷积层数的增加,模型的性能并没有提升,相反计算速度变慢,在最终模型中每个RPGCN单元的卷积层取1层.

2)分析深层特征提取层中RPGCN单元的个数对模型的影响,在实验中,模型的RPGCN单元个数分别设定为1、2、3、4、5,测定RPGCN单元有几个时模型效果较好.经过实验发现当RPGCN单元的超过2个时,模型的准确率并没有随着RPGCN单元的个数增加而有所提升,反而耗费更长的实验时间.基于表6所示结果分析,增加层数会增加模型的复杂性.

表5 卷积层数对模型的影响Table 5 Effect of convolutional layers on the model

在一开始增加RPGCN单元数可以提升模型的性能,但随着层数持续增加,模型性能呈下降趋势,原因是过于复杂的模型容易过拟合.故最终模型选择的RPGCN单元的个数为2时是较合理的.

表6 RPGCN单元对模型的影响Table 6 Effect of the RPGCN unit on the model

3)分析编码层特征提取序列中向量的维度对模型的影响,维度设置为200、400、600、800、1000这5项.实验结果如表7所示,通过对实验数据的观察可以发现,增加编码层特征提取序列中向量的维度在一定程度上可以提升模型的性能,但也同时提升了学习参数的复杂度,因此在训练模型时需要考虑选择合理的编码层输出序列的维度.此外也可以看出,刚开始逐步增加编码层特征提取序列中向量的维度时,模型性能有上升趋势,这是因为随着编码层输出序列的维度的增加,模型可以提取到更多高阶隐含信息,从而提升模型预测精度.但是当编码层输出序列的维度达到一定阈值时,编码层输出序列的维度对模型性能的影响已经到达极限,再增加维度可能会学习到其他信息引入噪音.这不仅不能对模型性能带来更多提升,还增加了模型复杂度,甚至会导致模型性能下降,因此需要合理选择编码层特征提取序列中向量的维度.

表7 编码层输出序列维度对模型的影响Table 7 Effect of the coding layer output sequence dimension on the model

4)在输出层中句子表示h′和d对应元素相加后设置中断层,分析Dropout Radio参数变化对模型性能的影响,Dropout Radio参数实验中分别选取0、0.3、0.4、0.5、0.7这五个参数进行对比实验,在Twitter、Rest16数据集上的实验结果如图5所示,经观察可知在该模型中,Rest16数据集的中断率设置为0.3,Twitter设置为0.4较好,合理设置中断率对提升模型性能有一定的帮助.

图5 输出层中断率对模型的影响Fig.5 Impact of the output layer dropout radio on the model

5)分析多级特征提取层中两个不同级的特征提取层对模型性能的影响,在模型中分别移除浅层特征提取层和深层特征提取层,进行消融实验.实验结果如表8所示,Out-DFS表示移除浅层特征提取层、Out-GCN表示移除深层特征提取层,结果验证浅层特征提取层和深层特征提取层融合的模型结构设计相比单一特征级的模型结构确实可以提取出更多对于方面级情感分析有价值的信息,不同层级的特征融合增强的结构设计可以增强分类效果.此外也能看出浅层特征提取层提取到的浅层特征信息的重要性并不比图卷积层提取到的信息低,在使用图卷积神经网络提取深层特征信息时可以考虑融入浅层特征信息进行特征增强.

6)深度特征提取层中的注意力融合单元的有效性分析.以Rest16数据集中的“i am not a vegetarian but,almost all the dishes were great .”和“we started off with a delightful sashimi amuse bouche .”两句文本作为观察样本,使用热力图来可视化分析样本经过注意力融合单元后各单词上的权重值.热力图中颜色相对较暗的单词表示权重较小的单词,颜色较浅的是权重较大的词.如图6所示,经过注意力融合单元后模型的重心落在一些有助于推断情感极性的重要词上.两句样本中权重最大的单词是分别是“great”、“delightful”两个情感词,相对的一些人称代词和符号的权重较低.经观察可知注意力融合单元能够捕获丰富的上下文单词信息,突出显示情感词.第2个观察样本表明,注意力融合单元也可以成功地捕获有关方面项的信息,方面项中的词“sashimi ”、“amuse”、“bouche”权重值都很低.从这两个观察样本的注意力融合单元得到的权重序列结果中可知,本文所提出的模型能够借助注意力融合单元来捕获重要的上下文信息,在方面级的情感分类任务中取得不错效果.

图6 注意力融合单元结果图Fig.6 Results of the attention fusion unit

5 总结和展望

在近几年的方面级情感分析任务研究中,引入句法依存树和深度神经网络等的多策略方法已经成为研究趋势.本文提出基于句法依存树的多级特征提取层算法,建立句法特征增强模型.在4个方面级情感分析任务常用的基准数据集上进行了实验,结果表明本文提出的模型性能整体优于目前的一些主流方法,能够有效地捕捉句子中方面词的上下文信息特征,能提升GCN和句法依存树的融合效果,改善句子表示,提高模型性能,也验证了多级特征提取层算法是有效的.通过实验发现在Twitter数据集上基于句法依存树的模型相比其他模型性能较差,原因是Twitter评论数据集中文本口语化较明显,包含新出现的一些网络热词,建立句法依存树容易存在噪声,建立错误的句法依存树则影响了模型后期的句子表示学习.

基于句法信息的模型的性能很大程度上取决于将句子解析成正确的依存关系树的能力.将句法信息用于处理偏正式、无过多拼写或语法错误的数据集将会取得不错的效果.现实中网络评论基本都是简短、随意的口语化句子,解析成正确的句法依赖关系时会存在困难.在未来将研究使用知识图谱、迁移学习等方法处理这类句子,优化模型.