基于组合赋权与模型自优化的能力评价

张 睿，白晓露，赵 娜，李 吉，潘理虎，陈立潮

(太原科技大学 计算机科学与技术学院，山西 太原 030024)

0 引 言

综合能力评价是研究生研究能力的衡量依据，建立一套科学的研究生综合能力评价体制，对革新教学评价方式、改善研究生考核全面性和准确性、助力高等学校科学研究范式的转型升级以及增强研究生的专业综合素养具有重要意义。

现阶段关于研究生能力评价工作的研究已经取得一些成效：Ince等[1]将模糊层次分析法与遗传算法相结合，开发了一种智能问题评价与选择软件，为教育评估提供高质量的测试表；Fei等[2]以模糊综合评价法为基础，建立学生社会意识评价模型，为责任意识教育和培养提供决策依据；陈莹[3]采用层次分析法构建了创业意识、创业品质和创业技能等大学生创新能力评价指标，为创新创业能力的绩效评价提供借鉴；刘佳[4]采用基于LM算法以及BP神经网络评价模型对40组大学生科研能力样本进行分类评估，准确率达到了92.5%；张永梅等[5]采用模糊神经网络设计实现了程序设计能力、实践与创新能力评价方法；Feng Xiang等[6]提出一种基于长短时记忆注意机制和注意机制的学业情绪分类算法，在测试集上准确率达71%；张毅等[7]利用神经网络调节学生综合能力评价隶属函数，极大提高了运算效率。

综上所述，能力评价的研究多聚焦在层次分析法、专家打分法、模糊评价法等赋权方法的优化[8,9]，评价因素特征信息相对独立且评价模型缺乏自适应性。由此本文开展基于组合赋权与模型自优化的能力评价的研究。构建出能够反映研究生主、客观综合能力的评价体系，并提出P-TMVGG自适应网络模型实现合理有效的能力评价，在保证综合评价体系主客观评价指标科学配比的同时，也有效提高研究生各类综合能力评价性能。

1 综合能力评价体系构建

科学、可靠的评价体系是实现智能评价的前提。为进一步提高现阶段研究生研究能力评价的主客观综合性、可靠性，本文提出以最小相对信息熵原理进行评价体系主、客观组合赋权，同时在模糊系统基础上,结合了定性描述与定量评价改进隶属度矩阵，以期进一步优化评价过程中的主、客观评价指标的科学配比和评定。构建综合能力评价体系流程如图1所示。

图1 综合能力评价体系流程

1.1 评价指标建立与组合赋权

指标体系的建立为能力评价收集对象可表现信息，给权重的确定以及结果的量化一个可用的初始数据。构建如U={u1,u2,…,un} 此类指标集合，u1,u2,…,un代表一级指标，且u1,u2,…,un可细化为 {u11,u12,…u1k,u21,u22,…u2k,…,un1,un2,…unk} 此类二级指标。

主客观组合赋权将各指标重要程度量化，保证评价流程的可靠性。本文主观权重的计算先运用层次分析法[5]分别求得多位领域专家的权重判断值，再结合整合灰色关联度方法对所得多个权重判断值进行汇总。客观权重的计算则利用变异系数法[10]进行计算，最后利用最小相对信息熵原理[7,11]求出组合权重。

其中，整合灰色关联度分析方法计算方法与步骤如下：

(1)构造多位领域专家权重综合矩阵

领域专家权重的综合矩阵形式如式(1)，式中，anm指第m个专家对第n个指标的权重判断数据，也即该专家经过层次分析法得到的全体单个判断矩阵的合成权重

(1)

(2)确定对照数据序列A0及相对距离Di0

A0=(a10,a20,…，an0)T

(2)

式中：a10=a20=…=an0=max{a11,…,a1m;a21,…,a2m;…;an1,…,anm}。

(3)求取综合能力评价指标赋权体系中主观权重

求解出综合能力评价指标体系主观权重系数ωai(i=1,2,…n) 后，根据构建评价指标体系所制定的评分细则收集研究生关于各类指标原始数据应用变异系数法进行指标权重体系中客观权重的计算，求得综合能力评价指标体系客观权重系数ωbi,(i=1,2,…,n)。

结合综合能力评价指标体系中各指标因子的主观权重ωai和客观权重ωbi可利用最小信息熵原理得到对应的综合权重ωi,(i=1,2,…n)， 即综合能力评价指标体系的最终权重系数。

1.2 模糊评价结果量化

综合评分将取得的综合能力评价结果直观体现，为之后智能评价工作提供合理的数据集。具体步骤如下：

(1)确定评语集以及模糊权重向量P

以能力评价对象和指标因素为基础，确定出评语集V={v1,v2,…,vn}， 本文中评价语句设定为V={优，良，中，差}。 模糊权重向量P即为综合能力评价指标权重体系最终得到的综合权重ωi。

(2)确定模糊变换矩阵R

由于本文构建的指标包含定性指标和定量指标，针对不同的指标类型，本文给出了不同的隶属函数确定方法。对于定性指标的处理：采用模糊统计法确定隶属度函数，邀请m位领域专家对评价对象关于体系中定性指标根据n个评语等级分别进行评价，评价后对结果进行综合统计，据式rij=mij/m计算评价对象对应于指标Ui的隶属度rij， 式中m为专家个数，mij表示指标Ui隶属于该评价等级的专家人数。可得定性指标模糊映射矩阵R1ij=(ri1,ri2,……rin)。 对于定量指标的处理：由于体系中定量指标全部属极大型指标，隶属度采用指派法确定。对该类指标隶属度函数定义如式(3)。收集研究生各项指标得分数据归一化处理后确定评价标准参数为：a1=0.1，a2=0.4，a3=0.6，a4=0.8。 将标准参数带入隶属度函数后将实际值代入函数即求得指标隶属度ui， 进而得到定量指标模糊映射矩阵R2ij=(ri1,ri2,……rin)。 将定性与定量指标的模糊映射矩阵联立构造综合能力的模糊变化矩阵，即指标隶属度矩阵如式(4)所示

(3)

(4)

(3)模糊评价结果获取以及分析

在权重矩阵P和指标隶属度R基础上，进行复合运算求得各评价对象的最终评价结果。本文采用的是加权平均算子，如式(5)所示，b′j表示评价对象隶属于评语Vj的程度。模糊评价结果获取后，采用量化处理的方式对结果进一步描述和分析。量化时，先将评语集V上的各个评价语句赋予相应的分值，本文中对应评价语句赋予分值为 {优=95,良=80,中=65,差=50}， 将分值集合和模糊评价结果B′采用加权平均算子进行计算，可依式(6)求得评价对象综合得分G，式中，gj是对V上第j个评价语句赋予的分值

(5)

(6)

2 综合能力评价方法实现

高效、精准的智能评价算法是实现综合能力评价的关键。为了有效改善小样本条件下，一维离散序列样本信息丰富度低，数据间关联性弱，以及传统机器学习评价方法特征提取不充分，评价模型人工优化耗时费力等问题，本文提出一种基于GASF的自适应综合能力评价方法的研究。该评价方法技术路线如图2所示，可分为数据预处理、评价网络构建及网络训练测试。通过数据预处理将评价体系工作的离散指标依次处理为一维序列、二维图像样本，并进行数据增强；将增强后的数据集投喂入智能优化算法搜索得到的最优深度网络结构中进行训练；最后，通过已训练模型实现对每类样本精确识别。

图2 综合能力评价方法技术路线

2.1 数据预处理

经量化后的原始评价样本还是离散样本，虽可以转换成一维连续序列，增加数据相关性，但所包含的评价特征信息依然较少，特征之间相关性表达不充分，同时深度学习网络对二维数据样本较友好，由此本文利用格拉姆角和场(gramian angular summation field，GASF)算法[12]对评价样本进行空间域变换，将本文评价特征提取聚类问题转化为适用于深度学习网络的二维图像处理问题。

(7)

为了进一步避免样本量少、样本不均衡引起的过拟合现象，以及对深度网络泛化能力的影响，本文对二维图像样本进行数据增强处理，即利用各种能够生成可用图像的随机变换来获得更多样本，包含随机裁剪、翻转变化、增加噪声等多种方式，以期提高样本的多样性以及模型的泛化性。

2.2 P-TMVGG网络模型构建

针对能力评价样本少、浅层CNN网络特征提取不充分、网络模型调参数人为经验性强、调参过程耗时耗力等问题，本文结合迁移学习利用大样本量所获得的知识解决数据稀缺、知识稀缺问题的优势[13,14]，以及粒子群优化算法(particle swarm optimization，PSO)[15,16]全局寻优调参少、鲁棒性好、收敛速度快等特点，构建了P-TMVGG网络模型。

(1)TMVGG网络模型构建。本文以VGG-16模型[17,18]为基础，首先在ImageNet上训练好VGG16模型conv1-conv4的结构和参数冻结，再将原模型conv5卷积块中3个步长均为1的3*3卷积核替换为1*1卷积、3*3卷积与5*5卷积的第三维并联结构，使得网络中每一层都能学习到“稀疏”(3*3、5*5)或“不稀疏”(1*1)的特征。同时采用横向空间上的叠加来组合各卷积核输出不同尺度特征，这种并联结构采用不同大小的卷积核以获得不同大小的感受野，较原始模型拓宽了网络宽度，丰富了特征提取。

(2)PSO自适应卷积神经网络模型优化。基于PSO的卷积神经网络模型自适应优化流程如Algorithm1伪代码所示。先初始化TMVGG网络改进多尺模块中权值矩阵和偏置矩阵，根据PSO算法中各维度搜索范围更新粒子位置重构TMVGG网络，训练重构好的TMVGG网络并利用式(8)计算它在验证集上的验证误差，式中batch为训练批中的样本量，t(i) 为真实值，y(i) 为预测值。将f定义为粒子群优化算法中的适应度函数，最终结合迭代参数结果，设计出最优P-TMVGG网络模型，可有效提高模型优化的自适应性和评价性能

(8)

Algorithm1: Selection of key parameters in CNN.

Input:

T:the maximum iterations,N:the number of particle

D:the dimensions of each particle (Number of parameters to be optimized in CNN)

c1,c2:the variation factor of the particle swarm

w:the adaptive weight of particle swarm

Initialize a population ofNparticles and define their positions and velocities.

Output:

Xbest:the optimum position of the particle swarm

Fg:optimal fitness of particle swarm

(1)WHILE(k

(2)FOReach particleninN

(3) calculate fitness value,updateXbest

(4)ENDFOR

(5) Select the particle with the best fitness value asFg

(6)FOReach particleninN

(7)FOReach dimensiondinD

(8) calculate velocity according to the equation

(9)vid(k+1)=w*vid(k)+c1*rand1(pid-xid)+c2*rand2(pgd-xid)

(10) update particle position according to the equation

(11)xid(k+1)=xid(k)+vid(k+1)

(12)ENDFOR

(13)ENDFOR

(14)k=k+1

(15)ENDWHILE

(16)RETURNXbest,Fg

3 实验分析-以太原科技大学计算机学院2017-2019级研究生为例

3.1 数据集构建

为了验证本文综合能力评价方法的适可靠性，项目组以太原科技大学计算机学院2017-2019级研究生为评价对象，依据相关领域专家意见及已有相关文献[1-7]，结合主、客观因素，建立了表1所示的研究生综合能力评价指标体系，其中包含3项一级指标，23项二级指标。指标体系构建完成后制定评分细则用以进行客观权重ωbi的确定，对定量类指标采用终结性评分，如：英语水平项指标评分细则中，未获得证书记1分、四级记4分、六级记8分、八级及以上记10分；对定性类指标采用形成性评分，如：知识分析能力指标评分细则中，采用李克特量表问卷测试评分。之后基于前文所述以及式(1)、式(2)求得所列指标体系中主观权重ωai， 并将ωai与ωbi综合为评价体系最终权重系数ωi。 最终所得各层指标的权重向量见表2。

将评价体系最终权重系数ωi作为模糊权重向量，在学生各指标得分基础上，按照式(3)～式(6)进行隶属度矩阵计算，并得出模糊评价结果B’以及最终综合素质得分G。最后按照所得综合评分由所属区间进行分类处理，取得最终能力评价体系评价结果。本文中将综合得分处于评语集

表1 研究生综合能力评价指标

里良(80)-优(95)区间的学生数据给定为A类、处于中-良区间的数据给定为B类、处于差-中区间的数据给定为C类。其中一名学生的综合能力评价结果计算过程如下所列

模糊评价结果B′1表示该生评价结果隶属于评语“优”的程度为0.2155。综合素质得分G1表示该学生属B类能力评价结果。最终，汇总得出3届学生中含A类数据31条，B类数据171条，C类数据22条，共计224条数据。

表2 评价指标体系权重向量

3.2 数据集预处理

图3 KNN、BP、SVM这3类模型分类效果

经转换后，收集到了224张样本图片。为避免样本不平衡引起过拟合现象，利用Keras深度学习库中批量生成器方法对样本进行数据增强。其中，随机旋转角度参数设置为40，其它参数设置为0.2。处理边缘值时，fill_mode

表3 3种评价类型一维序列图及对应GASF图像

参数设置为nearest，当进行变换时超出边界的点将根据本参数给定的方法进行处理。经处理，将原先样本集中A类数据大致扩充14倍、B类数据大致扩充3倍、C类数据大致扩充20倍，每类数据都达到450数量的样本集。以本文中A类中某一数据样本为例，经多种方式数据增强后评价结果GASF图像如图4所示。

3.3 评价分析

图4 数据增强图像

表4 不同网络的评价准确度对比/%

基于表4分析，对“迁移学习+VGG”模型进行2.2章节所述多尺度卷积核改进以及自适应模型优化。PSO参数寻优中，每个粒子的10个维度分别对应着模型的10个关键参数：学习率(L_rate)、梯度下降函数(Op)、改进多尺卷积层的3个激活函数(Act_1、Act_2、Act_3)、训练批次大小(Batch)、改进多尺卷积层中4类卷积核通道数大小(Ke_1、Ke_2、Ke_3、Ke_4)。PSO的主要参数初始设置见表5。经迭代寻优后，最优粒子所含10个参量见表6，进行3次实验后，为直观体现粒子迭代过程，以Ke_1、Ke_2为横、纵坐标，绘制第二次实验粒子3D迭代图如图5所示，粒子适应度曲线如图6所示，各粒子均可按自身位置移动公式迭代寻找到最优适应度。实验结果表明本文采用PSO自适应选取CNN参数防止了网络过早陷入局部最优，具有较好的自学习能力。

表5 PSO的主要参数初始设置

表6 PSO优化后获得的最优参数

图5 粒子迭代3D图(深色板块为最优适应度100)

图6 粒子适应度曲线

经优化后的P-TMVGG网络结构如图7所示，改进后的结构有效缓解原型conv5层训练过程中需要学习到的参数将会不断增加从而导致计算量过大以及出现过拟合的问题。将之前预训练网络模型中卷积层最后一层2,359,296的参数量减少到了591,872，大约减少了4倍。

图8是P-TMVGG网络评价分类准确度曲线，可以看出P-TMVGG网络对评价结果样本的分类效果较好，网络模型收敛快且稳定，准确率98.52%。图9为P-TMVGG评价分类混淆矩阵，表7为P-TMVGG与VGG-16(迁移)在识别精度和单幅图像测试时间上的对比，可以看出该模型对每类样本的准确评价均达到97%以上，均高于前期实验结果，且在单幅图像测试时间上相对VGG-16网络可提高近70%的时间效能，验证了本文评价方法的高效性。

4 结束语

本文开展了基于组合赋权与模型自优化的能力评价的研究。通过组合赋权及模糊系统中隶属度函数改进实现研究生能力评价的主客观评价体系的综合性、可靠性优化。同时针对能力评价样本少、传统机器学习特征提取不充分、网络计算模型优化自学习能力弱等问题，结合GASF、迁移学习、群智能PSO优化算法，给出了具体P-TMVGG网络模型及其构建方法。最终实现对研究生综合能力数据收集、处理、评价流程化，且对270组3类测试样本可达98.52%的准确率。实例验证表明本文方法具有可行性和有效性，可为基于离散序列样本的评价、预测、诊断等相关领域提供科学的理论框架与行为指导。本文方法仅以评价准确率为计算模型全局寻优目标，下一步将兼顾计算模型训练效率、精度等其它指标开展多目标模型自适应优化方法研究，以期更好地提升评价性能。

图7 P-TMVGG网络结构及参数

图8 P-TMVGG模型识别准确率

图9 P-TMVGG网络模型混淆矩阵

表7 P-TMVGG与VGG-16(迁移)识别精度和测试时间对比/%