试题知识点预测： 一种教研知识强化的卷积神经网络模型

胡国平，张 丹,3，苏 喻,2，刘青文，李 佳，王 瑞

(1. 科大讯飞股份有限公司，安徽 合肥 230088；2.安徽大学 计算机科学与技术学院，安徽 合肥 230039；3. 中国科学技术大学 计算机科学与技术学院，安徽 合肥 230027)

0 引言

随着大数据和人工智能的发展，个性化学习的发展越来越快，它能够为教师提供班级个性化诊断报告，帮助教师轻松掌握班级学习情况；为家长提供学生个性化诊断报告，让家长对自己孩子的学习情况一目了然；更重要的是为学生提供个性化诊断报告和个性化资源推荐，帮助学生了解自己，并运用大数据和人工智能为学生规划适合自己的学习路径，推荐适合自己的个性化学习资源，改变过去“千面一人”的教学模式，让学习变得简单高效[1-3]。在个性化学习模式中，无论是个性化诊断报告的生成，还是个性化资源推荐，行之有效的方法是从知识点的维度构建结构化题库，进而结合学生的学习历史生成个性化诊断报告和推荐资源[4-6]。因此，如何给试题准确标注知识点是进行题库构建和个性化学习的首要问题。

试题的知识点是描述试题用到的知识，例如，数学学科的知识点标签包括“函数的基本概念”、“函数定义域与值域”等。它描述一道试题需要知识，从而根据学生的做题历史能够诊断出学生各个知识掌握的程度和准确定位学生需要学习提高的地方，对学生的学习有极大帮助。本文将研究如何对试题进行知识点标注。

传统的知识点标注有两种方法，人工标注方法[7]和机器学习方法。人工标注方法即是让教研人员或一线教师，对每一道试题选择试题合适的知识点。另外，近年来NLP在教育领域的应用也取得了不错的效果[8-11]，可以通过文本分类的方法进行知识点自动预测。由于一道试题含有一个或多个知识点标签，因此知识点标签预测常作为多标签分类问题进行解决。常用的有传统机器学习方法和普通的深度学习方法。

然而，人工标注门槛高，要求标注人员有较强的学科知识。由于试题繁多，耗时耗力，且随着新题的增加，需要持续投入人力进行标注。

另外，人工标注主观性强，标注一致性低。因此，统一标准的标签自动预测能力显得尤为重要。而机器学习领域目前常用的多标签分类方法，未结合教研经验，预测效果有限，尤其对标注语料少的知识点的表现极差。要想达到标准一致，且效果较好的自动标签预测所面临的挑战是巨大的。

为解决以上问题，本文提出了一种教研知识强化的卷积神经网络方法，简称ECNN(Expertise-Enriched Convolutional Neural Network)。本方法希望融合教研和机器学习的优势来弥补各自在试题知识点标注上的不足。ECNN方法中教研只需投入少量人力进行教研经验编写，并且合理结合了教研经验和机器学习的优势，使决策和教研信息互相约束。知识点教研经验即是教研中认为一个知识点下常出现的词语、公式和模式，对一个学科内的所有试题通用，一个学科只需编写一份，增加新题不需重新编写。在ECNN方法中，第一步抽取试题信息；第二步由教研编写知识点的教研经验；第三步通过卷积神经网络对试题信息和教研经验进行深层语义理解和表达，并使用注意力机制[12]计算教研信息对试题的重要程度，使得和试题相关知识点的教研经验更重要；第四步将决策和教研经验互相约束，要求二者相互补充相互制约，提升泛化能力。实验表明与传统的机器学习方法和普通深度学习方法相比，本文方法的性能更好。综上，本文所提出的知识点预测方法的主要创新点如下： (1)提出一种人机结合的框架，能够在深度学习中融入教研经验；(2)决策和教研经验互相约束。

本文的其他部分组织如下： 第一节介绍知识点预测的相关工作；第二节介绍本文提出的ECNN模型；第三节给出实验方法及结果；第四节简述结论及下一步工作。

1 相关工作

知识点标签预测可作为多标签文本分类问题，并且该问题具有文本短、领域受限、样本分布失衡、标签层次化等特点。目前已有的研究工作大多无法针对上述几个关键问题直接给出一个令人满意的分类模型。根据分类特征的表达方式不同，本节将相关的研究工作总结为以下两个方面。

1.1 基于浅层特征的文本分类方法

传统的文本分类方法常采用向量空间模型(vector-space-model，VSM)来描述文本特征，VSM基于词袋模型(bag-of-words)假设，将文本表示成词表维度的向量，并基于词的频率统计量(TF-IDF等)来刻画向量的每一维特征[13]。这些特征最后用来训练SVM、朴素贝叶斯、决策树等分类模型[14-17]。VSM存在严重的特征稀疏问题，研究者们考虑到文档中的词共现关系，并据此提出了LSA、LDA等一系列名为隐语义分析的文本分类方法,取得了不错的效果[18-19]。

然而，无论是向量空间模型还是隐语义分析都基于词袋假设，因而无法建模词序、词语搭配、篇章结构等信息，而这些信息对于文本分类，尤其是对于短文本分类来说是十分重要的特征。另外，上述模型也无法有效地融合领域专家知识和层次化的标签结构，而这些正是知识点标签预测问题所面临的挑战。

1.2 基于分布式语义表示的文本分类方法

深度神经网络是一种强大的表示学习方法，并且已经在计算机视觉[20]和自然语言处理[21]等许多任务上取得了惊艳的成果。在NLP任务中，深度学习的核心思想是通过有效的训练把词、句子、篇章表达成稠密的矢量(分布式语义表示)，这些矢量不但蕴含了1.1节中所述的基本统计特征，而且刻画了词的上下文、句子词序或者篇章结构等语义信息。常见的文本表示学习方法包括Word2Vector、CNN、RNN等[22-24]，人们一般通过这些方法得到文档的矢量表达，然后将其输入到分类损失函数中以训练最终的文本分类模型。

然而上述方法仍然无法解决领域知识融合及样本分布失衡等问题。本文通过引入一种基于注意力机制的领域知识融合模型，在一定程度上缓解了样本分布失衡问题，并有效地提高了分类准确率。

2 ECNN方法

定义知识点集合K={k1，k2，…，km}，试题集合Q={q1，q2，…，qn}，试题知识点对应集合S={sq1，sq2，…，sqn}，其中sqi为试题qi包含的知识点。则本文的目标是给定知识点集合K，试题集合Q，试题知识点对应集合S，对于不在Q中的试题qt，预测该试题的知识点sqt。

本文方法的关键点在于能够融入教研经验，决策和教研经验互相约束。一共分为四个部分： (1)试题文本信息抽取；(2)教研经验获得；(3)计算教研经验对试题的重要程度；(4)决策和教研经验互相约束。

2.1 试题文本信息抽取

本步是为了抽取试题文本信息特征，供对试题做深度语义理解使用。对于给定的试题qi，抽取试题的文本信息Fqi={f1，f2，…，fu}。

试题文本包括题面、答案、解析，如表1。首先抽取题面的信息，如图1。将试题的题面中的中文和公式进行切割，切割后将中文使用带有学科词典和停用词的分词器进行分割。再将公式解析成公式树，从公式树上抽取语义信息，然后将分词结果和公式语义信息按顺序一起组成如表2所示的unigram特征Fqic。

表1 试题的题面答案解析

图1 试题的题面信息抽取

题面若奇函数f(x)在(-∞,0)内是减函数,且f(-2)=0,则不等式x·f(x)<0的解集为Unigram特征奇函数/FUN_VALUE_VAR/INTEVAL/NINF/内/减函数/FUN_VALUE/EQUAL/NUM/不等式/VARx/CDOT/FUN_VALUE_VAR/INEQUAL/NUM/解集/TARGET

其中，学科词典为含有学科专有词的词典。例如，数学学科词典含有函数、定义域、单调递增等。停用词指分词过程中需过滤掉的无用词。例如: 的、若等。公式树是将公式解析成树状结构，如x•f(x)<0解析成如图2所示的树，其中在公式树上抽取出的特征种类有269类，如表3所示。

图2 公式树

特征含义FUN_VALUE_VAR带变量的函数INTEVAL区间NINF负无穷FUN_VALUE函数EQUAL等于NUM数字VARx变量xCDOT乘TARGET求解目标

然后将试题的答案和解析用同样的方式抽取unigram特征Fqis，Fqia。Fqic、Fqis、Fqia合并成试题文本信息Fqi={f1,f2,…,fu}。

2.2 教研经验信息获得

本步是为了获取教研经验，以供在模型中加入教研经验。对于知识点kj，获取教研经验信息Jkj={j1,j2,…,jh}。

对于知识点kj，其教研经验信息包含此知识点的相关试题中经常出现的词语、公式及模式信息。教研经验信息可直接编写为unigram特征的形式，也可先编写为如试题的题面一样的文本形式，再由2.1中的抽取方式抽取成unigram特征的形式。但无论以何种格式编写，最终都要转换成unigram特征的表示形式，这样在后续计算教研信息对试题的重要程度时能取得更好的效果。例如，对于知识点“增函数与减函数”，教研经验信息Jkj最终表示为表4所示，其中“/”为分隔符。

表4 教研经验信息

教研经验信息可人工制作，也可以人机结合制作。人工制作是指由学科专家完全凭自己的经验进行编写。人机结合制作是指先由机器通过频繁模式挖掘出知识点的关键词语、公式和模式，再由学科专家对此结果根据自身教研经验进行增删改。两种方式均需要由多名教研人员参与，多名教研人员先独立制作，然后根据制作出的多份教研经验中的unigram特征进行投票。投票高于阈值的unigram特征保留，低于阈值的unigram特征由多名教研人员进行二次投票。二次投票高于阈值的保留，低于阈值的去掉。对比发现人机结合的制作方式能够更加快速且更加全面的获得教研经验信息。

2.3 计算教研信息对试题的重要程度

本步是为了对试题进行深度语义理解，并且由于m个知识点的教研信息对试题并不是同等重要，因此需要计算教研信息对试题的重要程度。

例如，对于表1中的试题，知识点“函数的奇偶性”、“函数的单调性与单调区间”和“不等式求解”要比其他知识点的教研信息重要。计算教研信息对试题重要程度具体的方式是使用注意力机制(attention model)。如图3所示，首先将试题文本信息和教研经验都转换成深层语义表示，然后通过注意力机制计算教研信息对试题的重要程度W={w1,w2,…,wm}。其中W∈Rm，m为知识点个数。

图3 计算教研信息对试题的重要程度

2.3.1 提取试题深层语义信息

对2.1中抽取的试题文本信息的unigram使用google开源的Word2Vec转换为word embedding。设试题qi的unigram为式(1)。

qi={f1,f2,…,fu}

(1)

经过word embedding之后，该试题文本信息表示为式(2)。

QEqi={qe1,qe2,…,qeu}

(2)

其中QEqi∈Rd×u，d表示word embedding的维数,u表示qi的unigram数目。将QEqi送入多层卷积和Pooling构成的深层神经网络中提取其语义特征，得到QDqi，如图3所示。我们用g(.)表示多层卷积和pooling的非线性变换，整个过程可以表示为式(3)。

QDqi=g(QEqi)

(3)

其中，QDqi∈Rd。

2.3.2 提取教研经验深层语义信息

同时，对2.2中抽取的m个知识点的教研经验进行word2vec转换。设知识点kj的教研经验表示为式(4)。

Jkj={j1,j2,…,jh}

(4)

经过word embedding之后，该知识点教研经验表示为式(5)。

JEkj={je1,je2,…,jeh}

(5)

其中JEkj∈Rd×h，d表示word embedding的维数,h表示qi的unigram数目。将JEkj送入多层卷积和Pooling构成的深层神经网络中提取其语义特征，得到JDqi，如图3所示。我们用f(.)表示多层卷积和pooling的非线性变换，整个过程可以表示为式(6)。

JDkj=f(JEkj)

(6)

其中，JDkj∈Rd。对m个知识点的教研经验都做此操作，可得到教研经验的深层语义表示为式(7)。

JD={JDk1,JDk2,…,JDkm}

(7)

其中m为知识点集合所包含的知识点个数。

2.3.3 注意力机制度量知识点的重要程度

在得到QDqi和JD={JDk1,JDk2,…,JDkm}后，我们使用注意力机制来度量试题QDqi与所有知识点JD之间的相关程度。具体地，对于知识点教研经验的JDkj，使用一层或多层前向神经网络计算QDqi和其之间的相似度，前向神经网络的非线性变换用函数σ(.)表示，相似度计算过程可以表示为式(8)。

wqikj=σ(QDqi,JDkj)

(8)

对于m个知识点，均可得到每个知识点和QDqi的相似度，归一化后得到式(9)。

Wqi=(wqik1,wqik2,…,wqikm)

(9)

其中Wqi∈Rm，m为知识点个数，这样使用Wqi对所有知识点的语义表示JD进行加权累和，得到对于试题qi的QDqi的知识点的响应表示Cqi，如式(10)所示。

(10)

其中Cqi∈Rd。

2.4 决策和教研经验互相约束

最后考虑试题语义信息和教研经验的互相约束。我们不仅能对试题进行深度语义理解，通过注意力机制计算教研信息对试题的重要程度，而且训练目标会结合知识点标签标注信息，并且决策和教研经验互相约束。

将2.3.1节得到的试题深层语义信息QDqi和2.3.3节得到的教研经验对试题的重要程度Cqi拼接起来，输入多层前向网络，预测知识点。

此过程为式(11)所示。

Pqi=ρ(QDqi,Cqi)

(11)

其中Pqi表示试题含有各知识点的概率，ρ(.)表示多层前馈神经网络。

模型的损失函数定义为式(12)所示。

(12)

其中Pqikj为试题qi预测含有知识点kj的概率，Tqikj为试题qi真实含有知识点kj的概率，wqikj为知识点kj的教研经验对试题qi的重要程度，λ和η为损失函数的超参。至此，整个模型描述完成。

3 实验

3.1 数据集介绍

实验所用的数据集为某知名教育企业题库数据，抽取其中高中数学试题，共278 167道试题。

此企业的知识点体系为三级树状结构，一级包含12个知识点，二级48个知识点，三级361个知识点。以一级知识点集合为例，知识点体系如表5所示。

表5 知识点体系

试题为文本格式，其中的公式为latex格式，每道试题上均标有一个或多个三级知识点。详细信息见表6。将278 167道试题，在考虑题型、知识点分布的情况下分为8∶1∶1，分别作为训练集、开发集、测试集。因此训练集试题数： 开发集试题数： 测试集试题数=222 406∶27 856∶27 905。其中测试集试题知识点标签为两位数学学科专家共同标注，然后将不一致部分取出多位专家共同讨论确定。

表6 实验数据集

3.2 实验评价指标

为了评价本文所提出的知识点预测方法ECNN的预测效果本文分别验证知识点预测任务下的整体效果和单知识点的效果。整体效果和单知识点效果均采用精准率(precision，P)、召回率(recall，R)和F1指标来评价ENCC方法和其他对比方法的效果。

3.2.1 整体效果评价指标

整体效果即是所有试题的效果，精准率、召回率、F1值定义如式(13)～(15)所示。

其中n为试题总量。由于一道试题中含有大于等于一个知识点，式中的TPi为试题qi所含知识点被预测出的数量，FPi为试题qi预测出的知识点不是试题qi所含知识点的数量，FNi为试题qi所含知识点未被预测出的数量。

3.2.2 单知识点效果评价指标

为了分析每个知识点的效果，采用单知识点的精准率、召回率、F1值，对于知识点kj，其定义如式(16)～(18)所示。

对于单个知识点kj的效果，TPkj为含有知识点kj且预测出知识点kj的试题数量，TPkj为不含知识点kj且预测出知识点kj的试题数量，FNkj为含有知识点kj且未预测出知识点kj的试题数量。

3.3 对比试验方法

为了验证ECNN知识点预测的效果，本文将ECNN与如下实验方法进行对比：

(1) KNN协同过滤方法[25]。首先，计算待预测试题和已标注知识点试题间的cosine相似度，找出和待预测试题相似度最大的k个试题，也即是和待预测试题最相近的试题。然后，根据k个最相似试题的知识点预测目标试题的知识点。

(2) 传统机器学习方法。此处选择了朴素贝叶斯(NB)和支持向量机(SVM)。对试题的题面抽取特征后，对每个知识点进行二分类，通过多个二分类进行多标签预测。

(3) 普通神经网络方法。由于试题的题面一般不长，用递归神经网络(RNN)效果略差，此处选择了深度神经网络(DNN)和卷积神经网络(CNN)。首先使用Word2Vec将试题的题面转换成词向量，然后通过DNN或CNN进行试题深层语义理解，进行多标签预测。

3.4 实验结果及分析

实验部分从以下四个方面进行试验并阐明实验结果：

(1) 对比试验，ECNN方法相比于对比方法效果是否有提升？

(2) 训练数据规模对效果是否有影响？随着数据量的增大，效果是否会持续提升？当数据量很小时，ECNN方法能否准确预测知识点？

(3) 加入的教研经验是否合理？

(4) 决策和教研经验互相约束是否合理？

3.4.1 对比试验

本实验是为了验证ECNN方法相对于对比方法效果是否有提升。

其中人工标注方案是高中一线数学老师对测试集中试题进行人工标注，与测试集中知识点标签进行对比。本实验将多种方法在相同数据集上进行知识点预测，以整体效果评价指标进行对比，因知识点体系为三级体系，我们同时对比一级、二级、三级效果。但是试题上最终标注的都是三级知识点，因此以三级知识点效果最为重要。

图4 一级知识点标注效果

实验结果如图4、图5、图6所示。对于一级、二级、三级知识点，本文的ECNN方法均优于传统机器学习和普通深度学习方法；ECNN方法的效果几乎和人工标注结果持平，也即是达到一线数学老师人工标注水平。此外，从图中，我们还可以看到基于深度结构的模型(DNN、CNN、ECNN)优于传统机器学习模型(KNN、NB、SVM)，由此可知，基于深度结构的模型能够充分理解试题与标签之间的深度语义，比基于浅层特征的传统模型有更好的表示效果。

图5 二级知识点标注效果

图6 三级知识点标注效果

3.4.2 训练数据规模对效果的影响

本实验为了验证(1)当数据量很小时ECNN方法是否有效；(2)数据集规模对效果有怎样的影响。

由于一些知识点标注数据总量很少，因此不适合设计对所有知识点样本量个数取值从小到大进行试验。此处我们将361个知识点按照样本量从小到大排序，观察单个知识点预测效果的变化趋势。虽然知识点间的差异对效果有影响，但是仍可看出数据量从小到大变化时效果的变化趋势。

数据量从小到大变化时，效果的变化趋势如图7所示。其中横坐标为单个知识点训练样本量，纵坐标为单个知识点效果。从图中可以看出，当数据量很小时，ECNN方法远优于传统机器学习方法和普通深度学习方法；随着数据量的增加，ECNN方法效果增大较快；ECNN方法和普通深度学习方法对于数据量较大时依然能保持随着数据量的增加效果变好。

图7 知识点效果F1变化趋势

3.4.3 加入教研经验的重要性探讨

本实验为了验证加入的教研经验是否合理。

随机取试题qi，对比教研信息对试题qi的重要程度Wqi和试题知识点sqi。其中，试题qi和sqi如表7所示，Wqi共361维，其中数值最大的15维如图8所示。其中k1到k15表示知识点如表8所示。

表7 试题及其知识点

图8 教研信息对试题重要程度

k1等差数列的通项公式k2等差数列的性质k3等差数列的判定与证明k4等差数列的应用k5等差数列的求和k6等差数列与等比数列的综合应用k7数列的分类k8等比数列的通项公式k9等比数列的性质k10等比数列的求和k11等比数列的判定与证明k12等比数列的应用k13数列的概念及表示法k14数列的函数特征k15一次和二次函数

由图8可以看出，和教研信息对试题最重要的知识点为等差数列的通项公式、等差数列的性质、等差数列的判定与证明，其中前两个为试题本身所含有的知识点，而第三个知识点为同一个二级知识点下的相邻知识点，由此可看出加入教研经验是合理的。

另外知识点等差数列的判定与证明在决策和教研信息互相约束时被去除，此实验在3.4.4节中说明，此处不做详细说明。

3.4.4 不同种类教研经验对效果的影响

本实验为了探讨词语、公式、模式三种教研经验对效果的影响。

分别使用教研经验中的词语、公式、模式、词语+公式、词语+公式+模式五种方式在高中数学学科上进行实验。

实验结果如图9所示。可以观察到，词语和公式教研经验更有利于提高召回率，模式教研经验更有利于提高准确率，三种教研经验一起使用效果要优于使用其中一种或两种教研经验。

图9 三级知识点效果对比

3.4.5 决策和教研经验互相约束的重要性分析

本实验为了证明在损失函数中将决策和教研信息互相约束是否合理。

将2.4节中的损失函数改为式(19)。

(19)

进行对比试验，观察整体效果变化情况。

实验结果如图10所示，可以观察到，在损失函数中去掉决策和教研经验的互相约束，效果有所下降，可以得出决策和教研经验互相约束是合理的。

图10 三级知识点效果对比

4 总结

针对人工标注、传统机器学习和普通深度学习在知识点标注任务上的缺陷，即人工标注门槛高，耗时耗力、传统机器学习未考虑文本的深层语义和教研先验知识、普通深度学习未考虑教研先验知识，本文提出了一种教研知识强化的卷积神经网络ECNN方法，该方法分为四步: 第一步为试题文本信息抽取；第二步为获取教研经验信息。此信息同一学科通用，由教研提前制作完成后直接使用即可；第三步对试题和教研经验进行深层语理解，计算各知识点教研信息对试题的重要程度；第四步将试题信息和教研先验信息融合，决策和教研信息互相约束，预测试题知识点。通过大量对比试验，证明了本文所提出的ECNN方法的合理性和可解释性。

本文所提出的知识点预测方法、教研先验经验由教研人员人工抽取，后续可考虑从试题信息和试题已标注知识点的信息中自动抽取教研先验经验。并且本文对于一道试题的知识点未分主次，后续可对预测结果分主次知识点，而实际上一道试题的知识点是有主次之分的，这也是未来研究方向之一。

[1] 冯建军. 论个性化教育的理念[J]. 教育科学, 2004, 20(2): 11-14.

[2] Hong, Chin Ming, et al. Intelligent Web-based Tutoring System with Personalized Learning Path Guidance[J]. Computers and Education,2008,51(2): 787-814.

[3] 刘淇,陈恩红，等.面向个性化学习的学生认知能力分析[J].中国计算机学会通讯, 2017,4(13): 28-35.

[4] 朱天宇,黄振亚,陈恩红,等. 基于认知诊断的个性化试题推荐方法[J]. 计算机学报, 2017(1): 176-191.

[5] Rupp Andre A, J Templin. The Effects of Q-Matrix Misspecification on Parameter Estimates and Classification Accuracy in the DINA Model[J]. Educational& Psychological Measurement, 2008,68(1): 78-96.

[6] 王晓华, 文剑冰. 项目反应理论在教育考试命题质量评价中的应用[J]. 教育科学, 2010, 26(3): 20-26.

[7] Tatsuoka K K. Rule Spaec: An Approach for Dealing with Misconceptions Based on Item Response Theory[J]. Journal of Educational Measurement, 1983, 20(4): 345-354.

[8] 胡韧奋. 汉语词汇测试自动命题研究[J]. 中文信息学报, 2017, 31(1): 41-49.

[9] 陈志鹏, 陈文亮. 基于文档发散度的作文跑题检测[J]. 中文信息学报, 2017, 31(1): 23-30.

[11] Piech C, Spencer J, Huang J, et al. Deep Knowledge Tracing[J]. Computer Science, 2015, 3(3): 19-23.

[12] Bahdanau D, Cho K, Bengio Y. Neural Machine Translation by Jointly Learning to Align and Translate[J]. arXiv preprint arXiv: 1409.0473, 2014.

[13] Soucy P, Mineau G W. Beyond TFIDF weighting for text categorization in the vector space model[C]//Proceedings of the International Joint Conference on Artificial Intelligence. Morgan Kaufmann Publishers Inc.2005: 1130-1135.

[14] Hu Y. A Bayes Text Classification Method Based on Vector SpaceModel[J]. Computer & Digital Engineering, 2004.

[15] 毛伟, 徐蔚然, 郭军. 基于n-gram语言模型和链状朴素贝叶斯分类器的中文文本分类系统[J]. 中文信息学报, 2006, 20(3): 29-35.

[16] Joachims T. Transductive Inference for Text Classification using Support Vector Machines[C]//Proceedings of the Sixteenth International Conference on Machine Learning. Morgan Kaufmann Publishers Inc.1999: 200-209.

[17] 朱远平, 戴汝为. 基于SVM决策树的文本分类器[J]. 模式识别与人工智能, 2005, 18(4): 000412-416.

[18] Zhang Y F, He C. Research of Text Classification Model Based on Latent Semantic Analysis and Improved HS-SVM[C]//Proceedings of the International Workshop on Intelligent Systems and Applications. IEEE, 2010: 1-5.

[19] Li W B, Sun L, Zhang D K. Text Classification Based on Labeled-LDAModel[J]. Chinese Journal of Computers, 2008, 31(4): 620-627.

[20] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the International Conference on Neural Information Processing Systems. Curran Associates Inc.2012: 1097-1105.

[21] Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality[C]//Proceedings of the International Conference on Neural Information Processing Systems. Curran Associates Inc.2013: 3111-3119.

[22] Su Z, Xu H, Zhang D, et al. Chinese sentiment classification using a neural network tool— Word2vec[C]//Proceedings of the International Conference on Multisensor Fusion and Information Integration for Intelligent Systems. IEEE, 2014: 1-6.

[23] Bengio Yoshua, P Vincent, C Janvin. A neural probabilistic language model[J]. Journal of Machine Learning Research. 2003,3(6): 1137-1155.

[24] 刘龙飞, 杨亮, 张绍武,等. 基于卷积神经网络的微博情感倾向性分析[J]. 中文信息学报, 2015, 29(6): 159-165.

[25] Zhang M L, Zhou Z H. ML-KNN: A lazy learning approach to multi-labellearning[J]. Pattern Recognition, 2007, 40(7): 2038-2048.