基于“指标回路法”的本科高校教育质量评估指标体系研究

王家明,丁 浩

(1.中国石油大学胜利学院 文法与经济管理学院,山东 东营 257000; 2.中国石油大学(华东) 经济管理学院,山东 青岛 266580)

2018年教育部要求全面整顿本科教育教学秩序,构建高水平人才培养体系,提高本科高等院校教育质量,本科高等院校教育质量评估至关重要。目前国内比较认可的高等教育评价机构主要有武书连的《中国大学评价》、中国校友会、ARMU及中国科教评价研究院等,以上几种机构评价为现有高等教育评价及本科高等教育质量的提升做出了贡献。但以上机构评价均侧重于产出,即以成果作为评价主要依据,此类评价固然重要,但各高校投入差距较大,若单从产出角度,投入不足的本科高校排名很可能靠后。因此，应用“指标回路法”从投入产出角度对本科高校教育质量评估的指标体系进行研究,以对现有专家机构的评价做出有益补充,为本科高校教育质量评估及水平的提升做出贡献。

一、文献综述

现有专家学者对高校教育质量评估研究较为广泛,主要集中在评估指标体系、评估方法、教育质量评估、质量保障等方面。陈蓓(2008)[1]对目前高校教育质量评价的概念、方法、问题及建议等方面进行了梳理研究,特别指出教学评价从功能上、方法上和评价主体上的不同分类;彭贞贞(2014)[2]从高校人才培养质量的内涵入手,对现有评价指标体系构建及评价方法的选择进行了综述;耿慧(2015)[3]从目前高校教育质量评价存在的问题入手,对高校教育质量评价指标体系及其影响因素进行研究,最后进行了评价与展望。除此之外,现有学者从质量评价、大学分类等方面也有研究,比如樊晶明(2008)[4]、武书连(2001)[5]等。但综合现有研究可以发现,目前高校教育质量评估研究均为实证研究范式,且指标选取均从前人研究中获取,并未进行充分论证,因此,文章提出“指标回路法”对其构建的评估指标体系进行论证,并提出一套完善的研究范式为前人研究作出补充。

二、“指标回路法”及指标体系的初步构建

“指标回路法”是在实证评价领域研究重点前移的条件下提出的。目前大多数专家学者对实证评价的研究重在评价模型选择和创新,重在对评价结果的分析。评价模型和结果固然重要,但再复杂、再新颖的评价模型都是在评价指标体系之上完成的。因此,实证评价中评价指标体系的构建至关重要。

(一)指标回路法

指标体系作为科学有效实证评价的首要前提,其科学与否直接决定了实证评价的科学性和价值性。同一指标体系,采用不同模型评价可能得到相同或差异不大的评价结果,但不同指标体系、不同指标权重,采用同一模型或不同模型所得的评价结果是截然不同的。基于此,“指标回路法”指标体系的构建从以下三方面进行理解[6]:

(1)“回路”指从被评价主体到各末级指标可正向层层分解,也可从各末级指标到被评价主体层层诠释,即指标体系具有可逆性。指标体系的构建是一个闭环,需要从正向、逆向两条路径进行完善。

(2)“指标回路法”强调指标的独立性和鉴别力,即各评价指标之间相关度限制和单个评价指标的鉴别能力。对于指标的独立性和鉴别力,可结合因子分析法进行定量测算。

(3)指标体系正向、逆向验证后,需进行最后的合理性验证。

(二)本科高校教育质量评估指标体系的初步构建

本科高校教育质量评估简单来讲是对本科高校教育的质量评价,即设定标准和评价指标,采用相关理论模型将现有数据进行计算论证,将所得结果与评价标准进行比照或进行排序,形成评价结论。整个过程最重要的是标准和指标体系的构建,对于标准现无统一论证,大都采用排序进行结果展示,因此评估指标体系的构建是整个实证研究过程中的重中之重。故在构建本科高校教育质量评估体系之前,文章梳理了国内外先进的高等教育评估经验,包括美国以认证制度为核心的高等教育质量评价模式、法国的“外控式”模式、英国的多元性评价模式、荷兰的内外结合评价模式,以及国内武书连、校友会及软科的评价体系。在此基础上,从我国本科高校内涵、外延及人才培养目标入手,结合不同主体对本科高校的人才培养需求,从投入、产出两个角度,形成了本科高校教育质量初步评估指标体系[7],如表1所示。

三、指标体系完善及赋权

前文强调“指标回路法”的指标体系要具有可逆性,要通过相关性、鉴别力及合理性的验证,因此初步的指标体系要再次进行优化完善才可作为实证评价所用。本文运用指标回路法对本科高校教育质量评估指标体系的构建,所采用的实验数据为山东省2017年本科高校数据。

(一)相关性筛选

相关性分析是研究两个指标的一致性程度,即对于评价主体而言二者贡献度是否一致或相似解疑对相关性较大的指标进行筛选,优化指标体系。目前对相关性的测度较为成熟的主要有线性相关性分析、偏分析和距离分析。文章借鉴迟国泰(2018)[8]的研究,使用线性相关分析并用相关系数r来表示,而线性相关可分为正相关、负相关及无线性相关三种。正相关是指两变量在对评价主体的评价贡献上存在一致性,相关系数为正值;负相关是指在对评价主体的评价贡献上不存在一致性,相关系数为负;无线性相关是指相关系数为零,两变量对于评价主体的评价贡献不相关。

r的计算可以通过Pearson相关系数、Spearman和Kendall相关系数。对定距连续变量的数据使用Pearson相关系数计算,而对于分类变量的数据或变量值的分布明显非正态或分布不明时,在离散数据排序或定量变量排秩后需要通过Spearman和Kendall相关系数来计算。

对于定序变量则采用等级相关来描述,即R系数与γ系数。本文中对于R系数采用英国统计学家C.E.Spearman推导的简洁式

(1)

式中,di为变量值差,即xi-yi,i=1,2,…,N,N为次数。

等级相关系数R的绝对值与变量的相关性成正相关。设定临界值r=0.6,文章删除了I2、I20、I21、I22共4个评价指标,保留了余下的指标构成第二轮的评价指标体系。

表1 本科高校教育质量初步评估指标体系

(二)鉴别力筛选

在构建评价指标体系中,评价指标的鉴别力是必须要考虑的，假设被两个或多个评价区域在某一指标上区别不大,同时呈现很高或很低的得分或数值,或不能充分解释被评价对象,则说明此指标鉴别力差;相反,在同一指标上被评价对象存在显著差异,则可判定此指标在评价竞争力上鉴别力较强。在目前的学术研究中,所使用差异系数来描述评价指标的鉴别力,差异系数用标准差相对于平均数大小的相对量来表示:

CV=s/x.

(2)

式中,CV为变差系数,s为标准差,x为平均值。变差系数与鉴别力呈正相关关系。基于变差系数的测算,文章删除变差系数相对小的I3、I4、I10、I23共7个指标,保留了52个评价指标,构成了最终的评价指标体系,见表2。

表2 本科高校教育质量最终评估指标体系

(三)合理性验证

通过初步构建文化产业竞争力评价指标体系,加之相关度、鉴别力的筛选,形成目前的评价指标体系,不过此指标体系的合理性还有待验证。目前学术界对评价指标体系合理性的评价集中在因子分析、AHP、模糊综合评价、TOPSIS法等,在此文章借鉴王里克(2013)[9]的研究,结合上文因子分析数据,采用因子分析对其合理性进行验证。因子分析验证即如何将众多变量通过少数因子表示,并且保证信息损失最小和因子间不具有显著相关的变量统计分析方法。在本文中就是最终由52个指标能否充分代表原始的60个指标形成的指标体系。

因子分析用方差表示信息含量,据此建立指标体系构建合理性的判定标准。设S为指标数据的协方差矩阵,借助协方差矩阵及协方差的迹对筛选后的指标的信息贡献率In进行测算:

In=trSn/trSp=99.8%.

(3)

式中,n为筛选后最终指标体系的指标个数,p为筛选前原始初步指标体系的指标个数,表明从海选指标中筛选出87%(52/60)的指标反映了99.8%的原始信息。经验证,此指标体系是合理的。

(四)指标权重的确定

单一的客观赋权法无法考虑指标的实际意义,权重计算结果会与指标实际重要程度相差较大,而单一的主观赋权法则会导致主观性过强,专家赋权差距大。因此,有必要选择主客观结合的组合赋权法,获得较为合理的指标权重。文章将结合主观的层次分析法及客观的熵值法进行组合赋权,鉴于层次分析法与熵值法均属于本领域非常成熟经典的模型,故在此不多做介绍。

组合赋权法即结合多种赋权法的赋权结果,形成综合权重,从而避免单一客观赋权法无法考虑指标的实际意义以及单一主观赋权法主观性过强无法反映现实的弊端。综合权重计算公式为

W组合权重=αW主观权重+βW客观权重.

(4)

式中,α、β两种赋权法的权重系数,层次分析法和熵值法分属主观赋权法与客观赋权法,在进行组合权重计算时,鉴于最终指标体系中定性、定量指标参半,故认为两种赋权法同等重要,均赋以0.5的权重,即α=0.5。组合赋权法权重结果见表2。

(五)原始数据的处理

通过表2可以看出,本体系中指标有定性定量差异、量纲差异、数量级差异及正负向的差异等,因此在采用本体系进行实证评价之前,需对已采集的数据进行处理。现有数据处理方式比较成熟的标准化处理,这可对以上四大差异进行规范,增加数据的可比性和可使用性,标准化处理见式(5)、(6)。

(5)

(6)

(六)评估模型的选择

现有学术界对评估模型的研究较为成熟,比如传统经典的AHP、模糊综合评价以及现有TOPSIS、因子分析模型、神经网络等都可作为实证评价的模型备选方案。但对本科高校教育质量评估而言,定性指标数据的获取难度较大,故建议采用组合评价法,即对不同评价模型进行权重赋值,根据不同评价模型的评价结果进行权衡后,依据权重对评价结果进行综合处理。

四、结语

文章提出了“指标回路法”,并设定了指标回路法的研究规范。运用“指标回路法”构建了一套完善的本科高校教育质量评估指标体系,对指标间相关性及各指标的鉴别力进行论证,对整个指标体系进行了合理性验证。从指标体系构建及完善、赋权、数据处理与评价模型选择四方面提出了一套完整的实证评价研究范式,为现有实证评价研究作了补充,但由于评价模型不同,对于实证评价中标准设定未作深入探讨。