基于德尔菲法和层次分析法的硕士研究生生源质量评价指标体系研究㌳

何其迅 马小蕊 吴 萍

(1.首都医科大学公共卫生学院,北京 100069; 2.首都医科大学研究生院,北京 100069;3.首都医科大学教务处,北京 100069)

随着高等教育逐步走向大众化趋势,各高校的工作重心已经从如何扩大招生规模向着如何吸优质生源改变。作为高校发展的原动力,生源不仅是高校人才培养的起点,也提升了高校内涵式发展的速度。如何提升生源质量已成为各高校必须解决的根本性、方针性问题。硕士研究生生源质量反映了在硕士研究生教育阶段开始时,学生掌握的与未来研究方向有关的基础理论和系统知识以及科研精神和学习态度满足硕士研究生培养要求的程度[1],因此,构建准确、有效、易操作的研究生生源质量评价体系,从高校可利用的视角对研究生生源质量进行评价,对提高研究生教育质量水平,促进研究生教育健康发展具有非常重要的意义。

本研究运用德尔菲法构建硕士研究生生源质量评价指标体系,并通过层次分析法确定相应指标权重,旨在从整体角度对现有的研究生生源情况进行全面系统的描述及评定,为促进学科发展提供了重要的参考依据、获取研究对象群体在入学时自身的知识能力及素质状态、帮助高校发现现实生源情况与目标生源的差距[2],从而进一步调整优化招生策略提供方向。

1 对象与方法

1.1 专家遴选与构成

邀请来自首都医科大学有丰富研究生指导经验的导师、校院两级资深研究生工作管理人员以及来自其他高等院校的研究生教育专家共35人参与专家咨询(表1)。

表1 咨询专家基本情况

1.2 项目的初步确定

与35位专家以访谈会的形式进行访谈与讨论,在既往有关生源质量评价相关的文献研究[3-12]的基础上,根据质量评价框架设计思路,参考利益相关者对评价指标认可度调查问卷结果,初步拟定硕士研究生生源质量评价体系以“成绩指标、背景结构、专业适配、综合素质”为一级指标。其中,成绩指标属于生源结构范畴,基于硕士研究生招生考试初试成绩以及因其带来的一系列结构指标组成,可以比较全面地考察学生的基础理论知识和系统知识,是集中反映生源质量水平的基础指标;背景结构属于生源结构范畴,通过考生自身的身份及学习背景,考察考生的综合能力素质、科研学习态度,也是反映生源质量水平的基础性指标之一;专业适配属于生源素质范畴,依托硕士研究生招生考试复试及心理测试结果,主要反映考生与专业对口的系统知识和业务能力等,也是整个生源质量评价体系重要的维度之一;综合素质属于生源素质范畴,主要通过考生既往获奖的情况反映考生的科研精神和学习态度,是生源素质情况评价的重要指标。确定4个一级指标后,根据问卷调结果、专家意见及参考文献[3-12],初步确定了15个二级指标(表 2)。

表2 初步拟定硕士研究生生源质量评价体系

1.3 专家咨询与评分标准

通过电子邮件的形式进行了两轮德尔菲法咨询。在咨询前与专家就相关抽象的指标概念进行解读,提高对指标评价打分的准确性。第二轮咨询问卷的设计基于第一轮专家咨询问卷回收后的打分情况进行编制修改。问卷中,评价指标重要性专家意见采用Likert5级评分:很重要5分、重要4分、一般3分、不重要2分、很不重要1分。专家权威系数通过熟悉程度及判断依据进行计算,其中指标重要性熟悉程度量值分为非常熟悉、很熟悉、熟悉、一般、不太熟悉、不熟悉,分别赋值1.0、0.8、0.6、0.4、0.2、0;指标重要性判断依据包括“实践经验、理论分析、国内外同行了解、直觉”4个方面,分别赋值0.8、0.6、0.4、0.2。在专家填写个人情况资料,并对一级指标熟悉程度、判断依据进行评分后,计算专家权威系数:(熟悉程度系数+判断依据系数)/2,以权威系数大于等于0.7为可接受的系数。专家意见一致性采用Kendall协调系数检验呈现,专家意见一致性的程度通过Kendall协调系数分析,取值范围为0～1,系数越大表明专家意见一致性越高[13]

1.4 评价指标的最终确定

第一轮专家咨询结束后,收集并汇总专家对评价指标重要性打分及意见,再根据每项指标的重要性得分计算算术均数和变异系数。采用界值法并充分结合专家意见筛选评价指标:满分频率、算术均数界值=均数-标准差,得分高于界值的入选;变异系数界值=均数+标准差,得分低于界值的入选;三者均在界外的指标则被删除[14]。经讨论后决定删除“应届生与往届生比例”指标。在进行第二轮德尔菲法之前,统计汇总了第一轮专家的对于指标评价重要性均值及满分频率均值,并展示于第二轮调查表中,以作为专家再次评分的参考依据。第二轮咨询完成后,统计专家打分与意见,全部指标保留,最终确定生源质量评价指标体系的构成。

1.5 层次分析法

1.5.1 计算指标的权重

(1)汇总专家对各级评价指标重要性得分的算数均数,利用各指标均数差值确定Saaty标度。具体的方法如下(Zij和Zik为某一评价体系中任意两个指标的重要性均数分值[15]):若Zij-Zik≤0.2,Zij和Zik同等重要,Saaty标度取1;若0.4＜Zij-Zik≤0.6,Zij比Zik稍微重要,Saaty标度取3;若0.8＜Zij-Zik≤1.0,Zij比Zik相当重要,Saaty标度取5;若1.2＜Zij-Zik≤1.4,Zij比Zik强烈重要,Saaty标度取7;若1.6＜Zij-Zik,Zij比Zik极端重要,Saaty标度取9;如差值在两个尺度之间,则Saaty标度为2,4,6,8。通过Saaty1～9标度法对指标进行两两比较,从而建立判断矩阵。(2)采用乘积方根法计算判断矩阵各行的几何平均值(Wi),具体公式为:对各行的几何平均值进行归一化处理得到各指标的权重系数。

1.5.2 进行判断矩阵的一致性检验

1.6 统计学方法

使用Excel2013进行数据的录入,采用SPSS 21.0软件进行统计分析,计算评价指标的重要性得分均数、标准差及专家的积极性、权威系数、Kendall协调系数;利用SPSSAU软件进行矩阵的权重计算和一致性检验。以P＜0.05为差异有统计学意义。

2 结 果

2.1 专家积极性

第一轮德尔菲法共发放专家咨询表35份,收回35份,有效回收率为100%;第二轮德尔菲法共发放专家咨询表35份,收回31份,有效回收率为88.6%,专家的积极性较高。

2.2 专家权威程度

第一轮专家的判断依据为0.7457,熟悉程度为0.8657,权威系数为0.8057;第二轮专家的判断依据为0.7484,熟悉程度为0.8648,权威系数为0.8314。

2.3 专家协调程度

第一轮专家咨询Kendall协调系数为0.125(P＜0.001),第二轮专家咨询Kendall协调系数为0.406(P＜0.001)。

2.4 指标权重及一致性检验

一级指标成绩指标、背景结构、专业适配、综合素质权重分别为0.42、0.23、0.23、0.12,二级指标的权重及组合权重见表3。一级指标判断矩阵计算得到CR值为0.004,二级指标判断矩阵的CR分别为0.017、0.018、0.018、0。

表3 硕士研究生生源质量评价体系及指标权重

3 讨 论

3.1 基于德尔菲法和层次分析法,建立科学、易操作的硕士研究生生源质量评价体系

本研究基于德尔菲法构建评价指标体系,采用层次分析法计算各级指标权重,两种方法结合运用是经典普适的定性与定量结合的决策方法,具有科学性和适宜性。本研究选取的专家来自丰富研究生指导经验的导师、校院两级资深研究生工作管理人员以及其他高等院校的研究生教育专家,专业领域覆盖全面,并且均具有中高级等级职称和较长的工作年限,代表性较好。两轮德尔菲法专家咨询问卷有效回收率高表明专家积极性较高;权威系数大于等于0.7表明专家权威程度较高;Kendall协调系数在第一轮结果显示专家的意见虽具有一致性,但一致性较差。考虑到对于生源质量的看法,专家个人的主观倾向较大,且业界对于生源质量评价的具体内容宣传较少,有些指标概念过于抽象,对于专家的评分影响较大。因此采取以下解决方案:①立即与部分专家进行追踪反馈,尤其针对评分有较大的分歧的指标,认真听取不同专家评分的考虑。②对于部分概念描述过于抽象的指标,更新文字解释内容,如:细化“考生正向动机”的内容,使指标描述更加准确、更易理解。③将第一轮专家对各项指标打分情况统计汇总,展示于第二轮调查问卷中,便于专家参考。通过以上做法,在第二轮专家咨询中,Kendall协调系数显著上升,表明专家意见趋于一致;以上几项结果表明咨询结果可靠。最终构建了包括4一级指标和14个二级指标的硕士研究生生源质量评价指标体系并确定指标权重,其中一级指标、二级指标判断矩阵的CR＜0.1,意味着本次研究判断矩阵满足一致性检验,计算所得权重具有一致性,计算出的指标权重结果可靠。

3.2 硕士研究生生源质量评价指标体系可综合评估学校的研究生生源质量

硕士研究生生源质量评价指标体系一级指标权重最高的为成绩指标。其次是背景结构和专业适配,两者权重一致。最后为综合素质。硕士研究生入学考试分为初试和复试,其中初试更是由全国组织统一命题或招生单位统一命题,因此,考生的初试成绩以及相关的数据结构指标有着数据易获取及评价更客观的特性,在一定程度上从宏观角度评价高等院校研究生生源的基本情况,高校适用性广。同时采用比例指标来衡量生源质量更有说服力[4]。将综合素质的评价纳入整体的评价体系,是为了更全面地了解研究生生源的综合能力和素质,但由于综合素质的标准及量化指标的设定难免受主观影响,同时没有针对能力和素质的统一性考评,也使得其评价结果不能处于评价生源质量高低的决定性的地位。

二级指标权重中,复试表现、毕业院校类别、录取率相对较高。复试是研究生入学考试中的重要组成部分,主要考察考生的创新能力、专业素质和综合素质等[9],多采取笔试面试相结合的方式。复试分数是各高校选拔人才的重要参考依据,复试分数高低与生源质量评价密切相关。考生的毕业院校存在办学规模、综合水平、学科实力高低差异,这在某种程度直接对考生的培养质量造成影响,毕业院校实力雄厚的考生,在研究生选拔的竞争实践中,往往具有更好的优势。录取率作为结构指标,直接反映了过线考生数和实际录取人数的比值情况,过线考生是否充足,直接反映了生源质量的高低。

3.3 硕士研究生生源质量评价指标体系为研究生教育的培养、就业跟踪评价提供了基础资料

本研究形成的硕士研究生生源质量评价指标体系,包括各级指标权重及评价标准,可直接用于高校对生源质量评价的实证研究。通过所需要评价的目标,按照评价标准的公式算出相应具体数值并根据具体数值进行评分,再过指标权重计算就可以得出生源质量评价各指标得分及整体得分。以此得分为依据,可进行不同类别的横向比较及不同年度的纵向比较,对研究生生源质量进行科学的诊断性评估,有利于高校更好地进行研究生生源的质量的保障和监控[2]。不仅可以作为高校调整招生策略、招生宣传方式、招生计划分配的反馈依据[11],而且通过对研究对象在初始阶段的系统描述和评定,为研究生教育的培养、就业跟踪评价奠定了重要的基础作用。

综上所述,基于德尔菲法和层次分析法建立起的硕士研究生生源质量评价体系,可综合评估学校的研究生生源质量,为研究生教育的培养、就业跟踪评价提供了基础资料,并为学校研究生教育的可持续发展奠定了重要的基础作用。

利益冲突所有作者均不存在利益冲突

作者贡献声明何其迅、吴萍:提出研究思路,设计研究方案;何其迅、马小蕊:调研、数据分析;何其迅:论文撰写;吴萍:总体把关、审订论文

(本文编辑:高健)

[10]黄海云, 李科浪, 桑莎. 硕士研究生初复试成绩与生源质量关系的实证研究——基于深圳大学2017级硕士研究生竞争性奖学金的分析[J]. 中国多媒体与网络教学学报(上旬刊), 2020(8): 180-182.

[11]郭巍. 硕士研究生生源质量现状及提升措施研究[J]. 沈阳建筑大学学报(社会科学版), 2020, 22(2): 201-206.

[12]刘芳. 高校招生生源质量评价体系的设计与应用——以北京林业大学为例[J]. 中国林业教育, 2021, 39(1): 34-38.

[13]孙欣然, 孙金海. 运用德尔菲法和层次分析法构建基于基本能力和基本状态的养老照护评估指标体系[J]. 实用心脑肺血管病杂志, 2018, 26(2): 58-62.

[14]王春枝, 斯琴. 德尔菲法中的数据统计处理方法及其应用研究[J]. 内蒙古财经学院学报(综合版), 2011, 9(4): 92-96.

[15]孙金伟. 普通高等学校教师综合评价系统的研究[D]. 大连: 大连理工大学, 2004: 1.