基于深度学习的中文情感分析研究

2020-10-21 23:01贾鹏
青年生活 2020年20期
关键词:深度学习

摘要:对于各行各业来说,使用情感分析技术挖掘中文文本数据,并通过中文文本查找情感信息非常重要。因此,情感分析已成为自然语言处理领域最为活跃的部分之一。本文针对基于深度学习的中文情感分析模型进行了基本研究,以CNN为重点分析对象,分别对多通道和多注意力CNN的情感分析模型进行了深入探索。

关键词:深度学习;中文情感分析;CNN

引言

随着网络信息技术的飞快发展,社交网络已成为人们生活必不可少的一部分。通过网络平台,人们可以更加自由地表达意见,并产生了大量带有情感信息的中文数据。近年来,深度学习在自然语言处理领域得到了更加广泛的应用,基于深度学习的中文情感分析取得了良好的效果。

一、情感分析模型--CNN

2006年,Hinton首次提出了深度学习的概念,而卷积神经网络(CNN)是深度学习的模型之一。该模型最初主要是用于图像识别和视觉开发,特别是在图像识别领域,CNN的应用带来了质的飞跃[1]。一九九八年,有着“CNN之父”之称的YannLeCun教授在其论文中提出了LeNet-5模型,这是CNN首次在数字识别中得到了成功应用。CNN创建了一种监督学习算法,通过减少空间的相对关系来减少参数的数量,从而提高模型训练性能。从本质上来看,CNN使用数学中的卷积概念通过池化层以及卷积层从文本中提取特征。因此,它主要是由卷积层和池化层组成。

(一)卷积层

卷积层是CNN的关键部分,主要是由节点组成,每个节点的输入由上一层神经网络中的一块组成。对于大小不同的窗口,其过滤器通常是卷积层的一部分,并且大小取决于实际操作。过滤器是用于识别特征的识别器。通过使用相同的过滤器以减少参数的数量。过滤器也被称为卷积核,是卷积层的核心部分。卷积过程可以理解为使用过滤器扫描整个图矩阵并获得新的矩阵,卷积层会更深入地分析神经网络的每个小块,并获得更多的抽象特征。

(二)池化層

它的作用主要是通过减少参数来筛选特征,也可以视为是一种删除参数的过程,并留下主要参数计算数量。卷积将导致大量的特征图数据庞大,训练数据也不足,从而导致过度拟合的问题。卷积层的主要特征之一是特征的不变性,例如图像是一只小动物,在压缩之后依然可以看出是一只小动物。在压缩过程中,仅仅删除了与小动物无关的信息。第二,特征尺寸减小。如果图片具有过多的信息和特征,下一步则需要简化其复杂性,删除不相关的部分信息,并保留最重要的特征。

二、多通道CNN的情感分析模型

基于CNN的情感分类模型可以充分挖掘中文的情感特征信息,接收词汇向量输入,并通过不同大小的卷积核提取出输入中文的丰富特征。在完成中文情感分析模型的过程中,由于中文文本中包含的信息有限,为了提取更丰富的情感特征,一些研究将这种词向量和独特的情感特征信息作为CNN输入,在文本中挖掘隐藏的情感特征[2]。尽管该方法增加了情感特征,并取得了比传统方法更好的效果,但该方法在情感特征使用上通常取决于人工情感词典,无法充分利用其他方法中的特征信息。为了解决这些问题,基于多通道CNN的情感分析模型已被广泛使用。该模型采用词性向量来表达中文中的情感词,可以在训练过程中学习到更多细微的情感特征。通过介绍词汇的位置特征,可以表达出词汇在中文文本中的重要性。最后,通过多通道接收不同特征的组合信息,挖掘中文中丰富的特征信息。

三、多注意力CNN的情感分析模型

通过调整注意力矩阵,可以在训练过程中更加注意某些信息。例如,在特定目标的情感分析过程中,网络模型可以通过在训练过程中通过注意力特征映射,来密切关注特定目标句子的情感信息,从而正确识别不同目标的情感特征。为了更加关注情感信息分析的特定目标,有效识别目标特征,基于多注意力CNN的情感分析模型的提出显得非常重要。通过将注意力机制与接收并行输入的CNN相互结合,模型的训练速度与顺序神经网络相比较更快。同时,基于多注意力CNN的情感分析模型增加了一些词性关注机制,以另一种方式更加关注特定目标的情感信息,从而更好地利用句子中特定目标的特征信息。

(一)注意力机制

在情感分析模型的特定任务中,结合注意力机制的深度网络模型可以通过调整注意力矩阵,识别同一句子中不同目标的信息。该机制最初主要是应用于图像处理,这使得神经网络在处理数据时能够处理到一些重要的信息。2014年,mnih等人提出将注意力机制在图像分类任务中加以应用,证明了该机制在图像处理领域的有效性,并使神经网络与该机制的结合成为深度学习领域的研究热点。

(二)多注意力卷积神经网络

本文将介绍如何通过CNN输入层中的三种注意力机制将其与不同类型的注意机制结合起来,主要包括以下几个部分:

(1)输入矩阵。存储了三种不同注意力机制的矩阵信息;

(2)操作层。针对三种不同的注意力矩阵,使用不同的操作来构造输入文本的特征表示,这使得模型在训练过程中从不同形式更加关注特定目标;

(3)卷积层。为了简化网络模型,使用卷积层提取不同注意机制信息的特征,通过对多个窗口和卷积核的卷积运算,可以获得更加丰富的输入特征;

(4)池化层。对于通过不同卷积运算获得的输入信息的局部特征,分别进行池化处理,挖掘不同注意力机制中最重要的情感特征;

(5)合并层。从上一层次中提取的重要信息用作合并层的输入,以形成文本的深度特征向量表示,合并层的输出向量可以用作完整连接层的输入;

四、结束语

近年来,深度学习已在自然语言处理领域得到了越来越广泛的应用,并取得了良好效果。中文情感分析模型是自然语言处理领域的研究热点之一,通过在中文中提取出情感信息加以应用,对许多行业都具有重要意义。该领域的许多专家已经进行了深入研究,本文只是基于他们的理论进行了初步探索,仍有许多需要改进的地方,未来还将对基于深度学习的中文情感分析进行深入学习和研究。

参考文献

[1]杨丹,张梦,朱毅.基于深度学习的中文情感分析研究[J].电脑知识与技术学术版,2019(7X):188-190.

[2]金相宇.基于深度学习的中文短文本情感分析[D].沈阳工业大学

[3] 范涛, 吴鹏, 曹琪. 基于深度学习的多模态融合网民情感识别研究[J]. 信息资源管理学报, 2020(1):39-48.

[4] 罗元, 王薄宇, 陈旭. 基于深度学习的目标检测技术的研究综述[J]. 半导体光电, 2020, 41(1).

[5] 余传明, 李浩男, 王曼怡,等. 基于深度学习的知识表示研究:网络视角*[J]. 数据分析与知识发现, 2020, 4(1).

作者简介:贾鹏(1995-),男,汉族,山西省吕梁市人,硕士,单位:西华大学计算机与软件工程学院,研究方向:情感分析

猜你喜欢
深度学习
有体验的学习才是有意义的学习
电子商务中基于深度学习的虚假交易识别研究
MOOC与翻转课堂融合的深度学习场域建构
大数据技术在反恐怖主义中的应用展望
深度学习算法应用于岩石图像处理的可行性研究
基于深度卷积网络的人脸年龄分析算法与实现