基于综合评价分析法的江苏省本科教育质量评价分析

文传军,许定亮,吴 奇，辛玉琴,朱逸庭，章 琦

(常州工学院 数理与化工学院，江苏 常州 213032)

一、引言

自1999年高等教育扩招以后,我国已进入了高等教育大众化的阶段。但在面对取得成绩的同时，更应该正视高等教育质量中所出现的毕业生素质、能力参差不齐等严峻问题。并且由于日益激烈的全球人才竞争，我们不得不正视社会对高等教育质量提出的新要求。优质的教育质量是高等学校得以持续发展的命脉，而搞好教育质量评价的关键在于确定科学合理的评价指标体系，因此本科教育质量评价方法成为高等教育研究的热点。

众多学者对高等教育质量评估问题进行了研究。谢慧松等人运用问卷调查法、实验法等研究方法以北京体育大学为例构建了体育院校本科教学监控体系，对监控体系的中心环节教学评价进行了深入分析，建立了体育院校教学质量监控体系，修订了体育院校课堂教学评价方式及教学评价的具体指标，对改进体育院校教学质量评价提供了参考依据[1]。蔡谱等人通过对学校本科教学质量保证体系构建的分析与总结，阐述建立由领导决策、执行保障、评价监控和反馈改进四部分组成的教学质量保障体系，推动教学质量持续提升[2]。文献[3]从校本评价的内涵和特点入手，提出基于校本评价的本科教育质量评价指标体系和评价模型，使得教育质量评价成为高等学校的一种内生机制。刘小洋从当今的高校本科教学质量的现状入手，分析了教学质量不高的深层次原因，提出了用贝叶斯分类技术来实现高校教师的教学质量的评价[4]。文献[5]对双一流视角下水土保持与荒漠化防治专业本科教学改革进行了研究并提出了建议：首先扩充水土保持与荒漠化防治学科教学的内涵；其次要及时更新专业知识；第三要借助社会资源实现高校、科研院所、企业协同办学，从而能更好地满足在水土保持与生态环境建设领域的社会需求。王兴宇等人对 NSSE(National Surveyol of Student Engagement，全美大学生学习性投入调查)本科教育质量评价方法进行了研究，NSSE根据学业挑战度、主动合作学习水平、生师互动、校园环境支持度、教育经验的丰富度等五大核心指标收集学生的学习信息，关注学生的学习体验，不仅充分实践了“以学生学习为中心”的理念，还为现行的评价制度提供了有力的补充[6]。文献[7]将本科教育质量评价关注的视点指向学生主体，使用清华大学教育研究院CCSS调查工具，分析武汉纺织大学在五项可比指标与全国及分类院校的比较情况，对学校本科教育质量和过程进行评价，从而发掘学校教育教学中存在的问题并提出改进建议。李长熙系统考虑影响教学质量的各个工作环节,并以现代教育评价理论为指导,合理设计评价方案，以系统性、科学性、全面性为基本原则，构建全员参与、全过程监控、科学评价的本科教育质量评价体系[8]。吴雅颖基于突变级数法，建立本科教学质量评价的数学模型及评判方法。突变级数法对目标进行递阶分解，实现定性分析与定量计算的结合，评价结果具有较高可信度[9]。吴勰雯等人利用决策模型对江苏省高校发布的2013年本科教学质量报告中24类支撑数据进行挖掘和分析，不仅体现了本科教学质量报告中支撑数据的客观性，且尊重了专家对支撑数据属性重要性的认知程度[10]。

作为一个教育大省，江苏省的本科教育发展在全国名列前茅，而江苏省13个地级市的本科教育质量发展并不平衡。对江苏省高校教育质量进行评估研究，有利于江苏省本科教育更加健康稳健地发展。在上述研究的基础上，对江苏省本科教育质量综合评价进行研究。首先根据筛选出影响本科教育质量的9个核心指标,结合熵值法模型，对原始数据无量纲化处理并进行权重分配，基于主成分分析算出每一所高校的综合得分和排名，最后通过建立敏感度分析模型，确定决定得分排名的关键性指标，并针对综合得分较低的院校改善该指标，验证该指标的改善是否缩小了不同地区间的教学质量差异。

二、基于综合评价分析法的江苏省本科教育质量评价分析

(一)评价模型基本假设

为了能够有效准确地对本科教育质量进行评价，作出一些合理化基本假设：

1.假设本文需要分析的本科教育质量范围是江苏省49所本科高校；

2.假设从《高等学校科技统计资料汇编》和各大高校《2016—2017学年本科教学质量报告》中搜集的数据真实有效；

3.假设本文选取的指标较能全面反映本科教育质量；

4.假设数据具有可比性，各高校数据之间互不影响。

(二) 数据处理

1.多变量综合评价方法处理数据

利用多变量综合评价方法对相关指标数据进行处理。多变量综合评价方法是指运用多个指标对多个参评院校进行客观、公正、合理的全面评价的方法。从技术上看，多指标综合评价是通过一定的数学函数将多个评价指标值“合成”为一个整体性的综合评价值。综合评价法的基本思想是将多个指标转化为一个能够反映综合情况的总指标来进行评价。其特点是，评价过程是通过一些特殊方法同时完成多个指标的评价，而不是逐个指标顺次完成；评价过程中，一般要根据指标的重要性进行加权处理；最重要的是，综合评价的结果不再是具体含义的统计指标，而是以指数或分值呈现参评单位的“综合状况”的排序。

2.确定指标的影响因素

江苏省本科教育质量评价影响指标如表1所示。

表1 江苏省本科教育质量评价指标

3.数据搜集及标准化处理

数据来源：《高等学校科技统计资料汇编》和各大高校《2016—2017学年本科教学质量报告》。其中一些抽象指标教学条件与利用，将生均占地面积、教学仪器设备总值增加额、生均图书总册数和生均日常教学经费支出等一系列具体的指标数据进行量化处理，作为教学条件与利用指标的计算依据。数据标准化处理包括标准0-1变换和区间型属性的变换[1]83-88，在本文中利用MATLAB算法进行数据的标准化处理。

4.量化处理方式及计算依据

量化处理方式及计算依据如表2所示。

表2 量化处理方式

(三) 江苏省本科教育质量评价分析

1.评价流程图(图1)

图1 江苏省13个地级市本科教育质量综合评价流程图

2.指标层的综合得分

通过主成分分析算出指标层各项因素的权重，根据权重算出每项指标的得分。加权平均可以得到准则层各项指标的综合得分。

主成分分析的步骤如下：

(1)对原始数据进行标准化处理，称

(1)

为标准化指标变量，xij表示第i个院校的第j个指标的标准化数据。

(2)计算相关系数矩阵R=(rij)m×n，有

(2)

(3)计算特征值和特征向量。计算相关系数矩阵R的特征值

λ1≥λ2≥…≥λm≥0，对应的特征向量μ1,μ2,…,μm，其中μj=[u1j,u2j,…,umj]T。

(4)选择p个主成分，计算综合评价值。

1)计算特征值的信息贡献率和累计贡献率。称

(3)

为主成分yj的信息贡献率。

2)计算综合得分

(4)

3.准则层的综合得分

这里通过熵值法确定各个指标的权重。熵值法是一种客观的确定各个指标权重的方法。熵值法主要借鉴信息熵的理论和方法，根据每个指标的指标值数据差异程度确定其权重。一般地，某指标的指标值的差异程度越大，则其有序性越好，熵值越小，最后赋予的权重越大。运用熵值法确定指标权重的步骤包括：

第一步，计算第i个被评价对象第j个指标值在所有被评价对象第j个指标值总和中的比例。该比例的计算通常基于无量纲化后的指标值，计算公式为

(5)

第二步，计算第j个指标的熵值

(6)

该步骤借鉴了信息熵的理论和方法。信息熵理论中，Pi表示概率空间中某一取值出现的概率，并基于上述公式来计算信息熵，如果每个样本点出现的概率越平均，则无序度越大，熵值也越大。熵值法借鉴这一理论和方法，当比例Pij差异越小时，计算得到的熵值越大，表明其信息量越少。计算中设定，当Pij=0时，ln(Pij)=0 。从计算结果来看，ej∈[0,1]而且当Pij完全相等时，ej=1。

第三步，计算每个指标的权重

(7)

由熵值法算出的每项指标的权重进行加权得分可以得出每个学校的综合得分Si，计算公式如式(8)所示：

(8)

4.院校按地级市分类

江苏省各个每个城市本科院校的数量为：南京市25所，苏州市4所，徐州市4所，常州市3所，淮安市、南通市、盐城市、镇江市各2所，连云港、宿迁市、泰州市、无锡市、扬州市各1所。

结合每个指标的权重和经过标准化处理后的各个院校的数据，对49所高校的9个指标通过无量纲化进行权重分配，算出每一所高校的综合得分，再按地级市进行分类，以985、211、普通院校数量占江苏省本科院校数量的比例确定权重，即可算出每个地级市的本科教育质量对应的综合得分。

5.计算每个地级市的综合得分

表3 13个地级市的综合得分

(四)模型敏感性分析

建立敏感度分析模型来分析具体是哪个指标造成江苏省各地级市本科教育发展的差异。计算敏感度的公式为：

(9)

其中，Δxi为第i个变量x变化的幅度；Δyi为第i个指标y由于变量x引起的变动幅度。

其计算方法为：按照+20%、+40%与+60%的变化范围，改变一个指标，不改变其他指标，计算该指标变化后的得分，并与原得分对比，计算该变量的敏感度；然后再选择另一个指标，重复进行上述操作，计算出所有可能影响的指标变化后的综合得分。根据计算出的敏感度值可知，值最大的变量是最敏感的因素，最小的是最不敏感的因素。计算得到如表4所示的结果。

从表4中敏感度值可以看出，生师比、招生人数等是最不敏感的指标，科研投入与产出等是最敏感的指标。即各地级市加大对高校的科研投入，改善师资队伍与结构会有效改善本科教学质量，缩小地级市间本科教育发展的差异。

下面以指标科研投入与产出排名稍微靠后的地级市为例，将南通市作为参考标准，修改泰州市、宿迁市等该指标的值，验证其改变后，是否能有效缩小地级市之间本科教育发展的差异。保证其他指标不变，将科研投入与产出的原始数据分别增加20%、40%、60%与80%，计算综合得分，结果如表5所示。

表4 敏感度分析表

表5 修改科研投入与产出指标后的部分城市得分排名计算结果

从表5可以看出，当科研投入与产出这一指标增加60%后，常州市超过淮安市从第四名上升至第三名，连云港市超过南通市排名第一。可以说明所建立的敏感度分析模型有效，当地级市政府加大对高校的科研投入等可以尽可能缩小地级市的本科教育发展差异。

三、结论

对江苏省本科教育质量建立综合评价模型进行研究，结合相关数据对江苏省49所本科院校进行综合得分排名，其中，南京院校的综合得分最高。同时运用敏感度分析确定对综合得分有较大影响的关键性指标，结果显示科研投入与产出对综合得分的变动影响最大。评价模型显示江苏省不同城市的本科教育质量存在显著的地区差异。同时，本文中还分析了不同指标对本科教育质量影响程度的大小，因此关键指标的改善对提升教育质量也有非常显著的影响。