复杂文本多标签分类算法的设计与仿真

李楚贞，吴新玲，余育文

(1. 广东理工学院信息技术学院，广东 肇庆 526100；2. 广东技术师范大学计算机科学学院，广东 广州 510665；

1 引言

随着互联网技术的迅猛发展，各种文本信息和数据飞速增加，如何在海量文本信息中有效筛选出更加有价值的信息是目前社会各界学者研究的主要内容[1，2]。国内外相关专家给出了一些较好的研究成果，例如肖琳等人[3]针对语义信息和文章内容间的对应关系，利用标签语义注意力机制获取不同文档的权重取值，同时对各个标签的重要性进行分析，实现分类。李校林等人[4]分别在训练和测试样本的相似性，同时将相似性结果进行对比，实现分类。以上两种算法由于未能加入卷积神经网络，导致分类结果不准确，分类复杂度增加，容错率下降。为了更好地解决上述问题，提出一种全新的复杂文本多标签分类算法。仿真结果表明，所提算法能够获取理想的分类结果，提升容错率，降低分类复杂度。

2 复杂文本多标签分类算法

2.1 复杂文本的特征选择

文本特征选择操作步骤具体如图1所示。

图1 复杂文本的特征选择流程图

以下主要通过Bootstrap方法进行复杂文本抽样，具体的操作步骤如下所示：

(1)

接下来对抽取的特征进行评价，由于复杂环境下的文本标签具有一定的特殊性，需要在特征选择阶段对各个文本进行二元分解，同时将其划分为多个数据子集，各数据子集中还含有一个二元类标签。

为了更好提升算法的整体性能，进行特征选择前需要进行数据集抽取[7]，将抽取的特征进行评价，最终通过投票的方式确定权重的取值，具体的计算式为

(1)

式中，Wi代表特征的相关性；L代表参与投票的总人数。

将获取的特征权重按顺序进行排列，用户根据自身需求选择对应的权重。

2.2 基于卷积神经网络的复杂文本多标签分类

通过Word2vec工具将复杂文本特征提取结果转换为词向量，同时将句子整理为向量矩阵的形式。进而利用粒子群算法对卷积神经网络进行优化，最终达到分类的目的。

卷积神经网络(如图2)由四个层次组成，其中，输入层重点负责数据的整合和向量矩阵的组建；卷积层负责文本数据的特征提取；池化层负责文本特征的二次提取；而全连接层负责对提取的特征进行分析，得到各个文本的类别信息，同时将其划分为概率最大的类中，有效实现分类。以下重点对卷积神经网络进行优化，具体的操作步骤如图2所示。

图2 卷积神经网络结构

1)输入层

为了将卷积神经网络模型更好地应用于复杂文本多标签分类中，需要将上述获取的特征作为模型输入。在卷积神经网络的输入层中，使用一种比较直接的特征组织方式，即将词向量的维度设定为矩阵的横向维度[8，9]，各个短文本中包含的词语即为矩阵的纵向维度，以此为依据完成词粒度特征向句子粒度特征的转换。

2)卷积层

在卷积核中，主要使用长度为h的卷积窗口对文本进行卷积操作，得到的输出特征如式(2)所示

si=f(W*ai：i+h-1+b)

(2)

式中，b代表卷积的偏置项；f代表激活函数。以下将Leaky ReLU函数设定为激活函数，具体的计算式为

(3)

式中，ai代表(1，∞)区间内的固定参数。在卷积核中对输入数据进行卷积操作，能够获取全新的特征向量图(S∈Rm-h+1)，具体的表现形式如式(4)所示

S=[S1，S2，…，Sm-h+1]T

(4)

一般情况下，一个卷积层中只含有一个卷积核。但是为了获取更加理想的分类效果，使用Text-CNNM模型设定三个规格不同的卷积核，通过其提取文本的局部特征。当经过卷积核操作后，会形成三种不同的特征图。

3)池化层

在CNN架构中连续卷积层会定期插入池化层，池化层在输入体积的各个深度切片中单独进行体积采集。以下在池化层中主要通过Max-pooling操作，即提取池化窗口中取值最大的数据局部最优特征，进而实现输入数据到提取的全部过程。

4)全连接层

通过全连接层完成文本多标签分类。以下将Softmax函数作为全连接层的损失函数，根据各个句子的类别概率完成文本分类。Softmax比较适用在分类和回归任务中，将获取的输出概率进行对比，选取取值最大的作为最终的分类结果。其中，各个元素的Softmax值如式(5)所示

(5)

其中，卷积神经网络的训练过程如下所示：

1)通过随机值对全部过滤器的参数和权重进行初始化操作。

2)网络主要将训练数据作为输入，通过前向传播步骤获取不同类别的输出概率。

3)计算输出层的误差总值。

4)通过反向传播计算权重的梯度误差，同时采用梯度下降法更新滤波器中的权重取值和参数[10]。

5)对训练集中的全部数据重复步骤2)～4)，直至网络状态稳定。

虽然，CNN模型的功能是十分强大的，但是需要进化的参数也是十分多的。以下主要采用粒子群算法对CNN模型参数进行优化，进而实现文本多标签分类。

基于卷积神经网络的复杂文本多标签分类算法是对文本特征向量进行高层次提取和压缩的过程。为了得到更加理想的分类结果，以下使用粒子群算法对卷积神经进行优化，有效解决卷积神经网络的局部极小值和参数泛滥等问题，具体的操作流程如图3所示。

图3 基于粒子群算法的卷积神经网络优化

由于粒子群算法对于参数的变化十分敏感，在解决不同问题的过程中，设置的参数取值也会存在十分明显的差异。但是神经网络的训练时间较长，假设直接在神经网络中进行参数调试，会浪费大量的时间。为了有效节省时间，选取粒子群算法对卷积神经网络进行优化。分析粒子群算法的基本原则，对粒子群的优化速度和位置更新影响力最大的参数如下所示：

1)惯性权重ω

当ω的取值较大时，粒子的全局搜索能力较强；反之，局部搜索能力更强。ω的取值主要包含以下几种情况，如式(6)所示

(6)

2)学习因子常量c1和c2

c1和c2两者的取值大小决定了粒子向更优解接近的变化速率。通常情况下，两者的取值如以下公式所示

(7)

3)粒子群种群数量pop-size

主要用来描述粒子群的规模，规模越大，则说明优化耗时越多。

通过上述对比分析，确定最终的参数组合。当粒子群算法确定不同的参数之后，即可将粒子群算法代入到卷积神经网络中进行训练。当样本规模较小时，粒子群算法的寻优效果要更好一些；但是当规模较大时，粒子群算法容易陷入局部最优。通过对粒子群算法进行分析可知，将各个样本设定为神经网络模型训练的一个约束。当样本数量越多[11]，约束也会相应低增加，粒子群算法的探索能力也会受到不同程度的影响。为了获取更加精准的分类结果，需要对网络权值参数进行训练，直至适应度收敛到一定范围内。以下详细给出使用卷积神经网络进行复杂样本多标签分类的主要操作流程：

1)设定参数：

设定卷积神经网络中各个参数的取值，其中包含粒子的位置和速度等。

2)计算适应度：

分析各个粒子在卷积神经网络中的作用，同时结合前向传播进行适应度计算，如式(8)所示

(8)

式中，V代表速度；r1和r2代表分布在[0，1]范围内的随机变量；pbest(i，t)代表局部搜索最佳位置；gbest(i，t)代表全局搜索最优位置。

3)如果误差能够收敛到一定范围内，则停止计算，同时输出最优值；反之，则通过式(9)对粒子的位置和速度进行更新

(9)

式中，i代表粒子的索引；Np代表粒子的总数；t代表当前迭代次数。

4)将经过更新的粒子位置和速度设定为权值，全部代入到神经网络中，同时使用前向传播进行误差计算[12]。

5)返回至步骤3)再次进行迭代，直至粒子群算法停止。

6)选取适应度靠前的20个位置不邻近的粒子，同时梯度下降法进行训练。其中，输出结果的最优解即为模型的最终参数。

7)当卷积神经网络模型完成训练后，将数据输入到模型进行分类。

3 仿真研究

为了验证所提算法的有效性，以基于标签语义注意力的多标签文本分类方法和基于质心的多标签文本分类方法为对比方法，在表1所示的实验环境下进行仿真分析：

表1 仿真环境

实验主要采用THUCnews数据集，其中主要包含体育以及财经等多种类型的文本数据。

1)分类结果

实验优先对各个算法分类性能的好坏进行对比，选取召回率和分类错误率作为测试指标，其中，召回率取值越高，分类错误率取值越低，则说明分类结果越准确，具体实验对比结果如图4所示。

图4 不同算法的分类结果

分析图4中的实验数据可知，随着样本类别数量的持续增加，各个算法的召回率和分类错误率均发生了明显的变化。其中所提方法的召回率明显更高一些，分类错误率明显更低一些。由此可见，所提算法能够获取高精度的分类结果。

2)容错率/%

为了更好验证所提算法的综合性能，以下实验测试重点对比三种不同算法的容错率，具体实验结果如图5所示。

图5 容错率

分析图5中的实验数据可知，随着实验次数的持续增加，各个算法的容错率也发生了十分明显的变化。由于所提算法进行分类的过程中，加入卷积神经网络对模型进行训练，有效提升了算法的整体性能。

3)分类复杂度/%

以下实验测试重点对比三种不同算法的分类复杂度，具体实验对比结果如表2所示。

表2 不同算法的分类复杂度对比

分析表2中的实验数据可知，所提算法由于在分类的过程中加入了卷积神经网络，有效简化了算法的操作步骤，最终达到降低分类复杂度的目的，分类复杂度在三种算法中最低。

4 结束语

为了更好解决传统分类算法存在的问题，结合卷积神经网络，提出一种基于卷积神经网络的复杂文本多标签分类算法。测试结果表明，所提算法能够获取理想的分类效果，降低分类复杂度，同时提升算法的容错率。