我国医学类本科院校综合评价指标体系构建研究

许新月，杜晓莉，刘 斌，严 立，刘 利

1 重庆医科大学公共卫生与管理学院，医学与社会发展研究中心，健康领域社会风险预测治理协同创新中心，重庆，400016； 2 重庆医科大学校办公室，重庆，400016；3 重庆市教育评估院办公室，重庆，400020

教育评价事关教育发展方向。长期以来，由于评价中盛行的管理主义、技术和效率至上，高校围绕单一标准办学，导致大学面临“去特色化”困境以及人才培养趋同性与社会需求多样性分离等问题。面对高校综合性评价中日益凸显的问题，2020年发布的《深化新时代教育评价改革总体方案》要求系统推进教育评价改革，扭转不科学的教育评价导向，同时推进高校分类评价，引导不同类型高校科学定位，办出特色和水平。医学类本科院校是高等教育体系的重要组成部分，其既存在与其他类型高校共有的特征，也存在众多个性因素[1]。单独构建富有特色的医学类本科院校综合评价指标体系对于引导医学类本科院校特色办学，推动医学高等教育高质量内涵式发展十分必要。目前国内外关于医学院校评价方面的研究多集中于对医学院校构成的某一方面的评价，例如对医学院校科技人才胜任力的评价[2]、对医学院校研究生导师的评价[3]、对医学院校生源质量的评价等[4]，缺乏对于医学院校的综合评价。此外，一些第三方机构以大学排行榜形式构建的医学院校综合评价指标体系也多是在综合大学评价指标体系基础上筛选部分指标构成，甚至完全照搬综合大学评价指标体系，不利于对医学院校进行科学评价。本研究旨在筛选综合大学与医学类本科院校共性指标的基础上，加入医学院校特色指标和新时代大学评价特色指标构建医学类本科院校综合评价指标体系，为大学分类评价提供新思路，同时推动医学教育创新发展。

1 资料来源与方法

1.1 资料来源

本研究广泛参阅《深化新时代教育评价改革总体方案》《国务院办公厅关于加快医学教育创新发展的指导意见》《教育部关于加快建设高水平本科教育全面提高人才培养能力的意见》政策方针和高等教育评价相关文献资料[5-6]，以泰晤士高等教育世界大学排名、Quacquarelli Symonds 世界大学排名、U.S.News世界大学排名、软科世界大学学术排名、武书连中国大学排行榜、校友会中国大学排名为参照，筛选大学评价基础指标。以国务院办公厅发布的三级公立医院绩效考核指标体系为基础，筛选医学院校附属医院评价重点指标。以中共中央、国务院发布的《深化新时代教育评价改革总体方案》为引导，筛选新时代教育评价特色指标。在此基础上确定医学类本科院校综合评价指标维度。

1.2 研究方法

1.2.1 德尔菲法。德尔菲法是一种针对不同领域专家开展的匿名反馈函询法，专家的选择对数据结果的质量有着较大影响，因此研究中选择的专家不仅要具备较高的理论水平和丰富的实践经验，还要有一定的权威性和代表性，一般以8-20人为宜[7]。课题组于2021年3-6月以电子邮件形式向15位专家发放问卷进行了两轮咨询。咨询问卷主要包括3个部分：第1部分主要介绍课题研究背景、研究内容和问卷整体情况；第2部分为专家对整体指标熟悉程度及判断依据调查，以判断指标体系科学性；第3部分包括各级指标重要程度评价表。量表采用Likert 5级评分法，从不重要到非常重要依次赋值1-5分，同时问卷后留有空白部分，以供专家提供建议。

1.2.2 层次分析法。采用美国学者Saaty提出的层次分析法来解决权重设置问题[8]。借助层次分析法辅助软件yaahp 12.6，以第二轮德尔菲专家咨询重要性评分结果为基础计算各指标权重。首先建立递阶层次结构，然后采用Saaty1-9标度法根据专家组对同一层次中各指标的两两比较赋值得到两两比较判别矩阵，得出单层次排序，同时对矩阵进行一致性检验。以一致性比率CR<0.10判定判断矩阵一致性合格，若CR>0.10，则需要对判断矩阵进行调整，直到满意为止。最后将各指标在各层的权重系数连乘得到最终的组合权重。

1.3 统计学方法

每轮专家咨询过后，采用Excel 2019进行数据录入，并使用SPSS 25.0对数据进行统计分析，计算专家积极系数、专家权威系数、专家意见协调系数来保证专家决策的科学性；计算指标均值、标准差、满分比、变异系数进行指标的删减。其中专家积极系数以问卷回收率表示，专家权威程度取决于专家对问卷的熟悉程度和判断依据。采用肯德尔和谐系数(Kendall's W系数)表示专家协调程度。以P<0.05代表差异有统计学意义。

2 结果

2.1 初步构建评价指标体系

柏林原则要求“大学排名应该认识到组织机构的多样性，考虑他们各自的使命和目标”[9]。因此，本研究将大学的人才培养、科学研究、社会服务、文化传承与创新、国际交流与合作五大基本职能设为一级指标，同时基于任何一所大学的发展都离不开办学要素的支撑，资源保障是高校运行的必要条件，所以将资源保障也列入一级指标。二级、三级指标方面，在大学评价常规指标的基础上，添加了医学院校特色指标，包括医学院校自身特色指标医师资格考试通过率等，医学院校附属医院特色指标医疗服务数量、医疗服务质量、附属医院毕业后医学教育投入等。同时根据《深化新时代教育评价改革总体方案》具体要求，突出思想政治教育、生师比、用人单位满意度等指标，初步确定了由6个一级指标、18个二级指标、64个三级指标构成的医学类本科院校综合评价指标维度。

2.2 专家质量指标

2.2.1 专家基本情况。咨询专家的年龄在39-72岁，工作年限均大于11年；有博士学历的专家占73.33%，正高级职称专家占80.00%；在研究领域方面，由于指标体系涉及多个学科内容，所以在选择专家时，以学校行政管理领域专家为主，临床医学专家和卫生事业管理领域专家为辅；所咨询专家工作单位包括同济大学、重庆医科大学、新疆医科大学、内蒙古医科大学、遵义医科大学、温州医科大学、广东医科大学、广州医科大学等，高校分布区域涉及华东、华南、华北等地。见表1。

表1 专家基本情况

2.2.2 专家质量系数。本研究共邀请了15位专家参加德尔菲专家咨询，全部专家均完成了两轮咨询且所反馈咨询表有效，两轮专家积极系数均为1。两轮专家咨询中均有专家提出指标体系修改建议，表明专家对本研究的熟悉度和关注度较高。两轮咨询中专家权威程度分别为0.81、0.85，专家权威程度较高。两轮专家对指标重要程度评分的Kendall's W系数分别为0.272、0.361，均在0-1之间，且两轮数据结果经χ2检验P值均小于0.001，差异具有统计学意义，说明专家意见协调性较好，结果可取。

2.3 评价指标筛选

指标筛选依据主要是专家对各指标的重要性赋值及专家的具体建议，以重要性赋值均数大于3.50且变异系数小于0.25作为保留标准，若存在指标只满足其中一个条件，则参考专家意见决定是否保留。

2.3.1 第一轮专家咨询结果。第一轮专家咨询中，所有指标均满足均数大于3.50。二级指标中E1学生国际化，三级指标中A11本科生数、F12社会捐赠收入的变异系数大于0.25。本轮咨询中，共有4位专家对指标修改提出了意见：专家1建议将一级指标资源保障改为学科基础条件；专家2建议将二级指标师资队伍建设单列；专家3建议科研国际化下增加科研成果国际化转化力三级指标；专家4建议将图书资源与数字资源进行区分，增加数字资源三级指标。基于专家意见和指标筛选界值标准，在第一轮专家咨询后共对5项指标进行了调整，其中删减了1项二级指标和2项三级指标，分别为学生国际化、本科生数、社会捐赠收入；增加了2项三级指标，分别为数字资源、科研成果国际化转化力。

2.3.2 第二轮专家咨询结果。第二轮专家咨询中，所有指标均满足变异系数小于0.25，三级指标 E12外籍教师人数、E21来华留学英语授课品牌课程数、E22引进课程数均值分别为3.47、3.33、3.20，均小于3.50。本轮咨询中，有一位专家对指标的修改提出了建议，即在“国际交流与合作”一级指标下保留学生国际化。基于专家意见和指标筛选界值标准，在第二轮专家咨询后共对两项指标进行了调整，即删减了两项三级指标，分别为外籍教师人数、引进课程数，无新增指标。

经过两轮专家咨询，最终确定了由6个一级指标、17个二级指标、60个三级指标构成的医学类本科院校综合评价指标体系(表2)。

表2 我国医学类本科院校综合评价指标体系

表2(续)

2.4 指标权重确定

利用yaahp 12.6工具根据评价目的对所有指标进行归类，构造出了一个各因素间相互关联的递阶层次结构，共4层，最上层的为总目标，即医学类本科院校综合评价指标体系，以一级指标为制约层，二级指标为要素层，三级指标为指标层。同时，计算得到同一层次中两两比较判断矩阵的CR值均小于0.1，具有较好的一致性。最终根据单层次权重结果得到了医学类本科院校综合评价指标体系的层次总排序(表2)。

3 讨论

3.1 本研究构建的指标体系具有一定科学性

本研究经过专家咨询和小组讨论，按照定量与定性相结合、过程与结果相结合、投入与产出相结合、共性与个性相结合等原则初步构建了适合我国的医学类本科院校综合评价指标体系，具有一定的科学基础。指标体系初步建立后，通过德尔菲法经两轮专家咨询确立了指标维度。两轮专家咨询中，本研究就争议指标回访了专家意见， 就指标增减进行了反复论证。第一轮专家咨询建议删除3个指标，即学生国际化、本科生数、社会捐赠收入；建议增加2个指标，即数字资源和科研成果国际化转化力；建议修改2个指标，即资源保障和师资队伍建设。根据教育部《学校招收和培养国际学生管理办法》《来华留学生高等教育质量规范(试行)》两项文件要求，不盲目追求来华留学生规模，相较于国际化学生数量，培养质量才是核心指标，所以删除学生国际化指标；医学生本科培养是衡量医学类本科院校综合水平十分重要的指标，但本科阶段更注重基础知识和学习能力的培养，目前培养已走向同质化，综合考量本科生人数这一指标不适合作为差异化指标进行院校比较，所以删除本科生数指标；社会捐赠收入是社会自愿捐赠行为，并不是高校稳定收入，用来衡量高校经费保障水平并不可行，所以删除社会捐赠收入指标；科研成果国际化转化力是反映高校创新能力和科研国际化水平的重要指标，有必要增加；近年来，数字资源以其方便、快捷、更新快等优势已经成为教师、学生等获取信息的主要载体，有必要增加数字资源指标；考虑到资源保障比学科基础条件更具概括性，所以仍保留资源保障指标名称；师资队伍建设相关指标经过总结已归纳到培养条件二级指标下，综合考虑不单设师资队伍建设指标。第二轮专家建议删除两项指标，即外籍教师人数和引进课程数；增加一项指标，即学生国际化。外籍教师人数指标与海外引智人数指标有一定的概念重叠，引进课程数量指标与来华留学英语授课品牌课程数指标也有一定的概念重叠，但对国外优秀课程的引进是评价教学国际化的重要指标和常用指标，引进课程数指标的重要性评分均值小于来华留学英语授课品牌课程数指标，综合考虑下决定删除外籍教师人数指标和引进课程数指标；由于第一轮专家咨询中专家对学生国际化二级指标意见分歧较大，不再重新增加学生国际化指标。

研究遴选了来自国内不同层级不同区域院校从事临床医学、卫生事业管理、医学教育发展规划等研究的专家15名。研究进程中专家参与积极性和专家权威程度较高，专家意见协调性虽受到指标总体数量较大和极个别指标专家意见不统一的一定影响，但相关系数在第二轮专家咨询中仍有明显提升且两轮检验都具有统计学意义，仍可认为专家意见有较好的协调性[10]。同时，研究基于专家主观评价，通过层次分析法客观确定了指标体系各层级权重，主客观方法相结合，总体上保证了所构建评价指标体系的科学性与合理性。

3.2 指标维度设计具有一定创新性和应用价值

在构建评价指标体系之前，本研究对国内外知名大学排行榜评价指标体系进行了分析，发现并无一项大学排行榜是完全基于大学基本职能构建的。大学基本职能是对高校进行评价的基础维度。本研究以大学五大基本职能以及资源保障为一级指标建立医学类本科院校综合评价指标体系。其中，人才培养是医学院校的首要职能和根本任务[11]；科学研究是提高医学院校综合实力的基石[12]；社会服务是医学院校的重要使命[13]；传承文化与创新文化是医学院校的崇高使命与责任[14]；国际交流与合作是医学院校文化融合、科技协作和知识传播的重要载体[15]；资源保障是医学院校平稳运行的必要条件[16]。高校基本职能是一个有机整体，以高校基本职能为基础，从多角度切入医学类本科院校综合评价，能够更加全面准确地反映医学类本科院校的综合办学水平和发展潜力。

共性指标与个性指标相结合是构建高等教育评价指标体系的重要原则之一。目前国内外鲜有单独针对医学院校构建的综合评价指标体系，极少数现存的医学院校综合评价指标体系也多是在综合大学评价指标体系的基础上择取部分指标构成，无法体现医学院校的特色性。本研究在二级、三级指标设计过程中，除师生比例、论文引文数、国际合作等体现高校质量的共性指标外，还加入了体现医学院校特色的个性指标。其中，医疗服务数量和质量是附属医院全部工作所取得的医疗效果的集中表现，是医学院校附属医院工作的核心[17]；医师资格考试是医学从业人员行业准入的门槛，医师资格考试通过率反映了医学院校和附属医院的培养质量[18]；造就医学人才是医学院校培养高层次人才的代表性指标[19]；医疗声誉反映了医学院校附属医院在社会服务中得到人民群众的认可程度。同时，根据《深化新时代教育评价改革总体方案》具体要求，突出了学生思政表现、师德师风情况等指标，以服务医学教育发展和进步为导向，契合国家教育评价改革方针和政策。综上，本研究所建立的指标体系在指标维度的设计上具有一定创新性和应用价值。

3.3 指标权重设置具有一定合理性

权重体现的不仅是某一因素或指标所占的百分比，更强调因素或指标的相对重要程度。医学类本科院校综合评价指标体系中人才培养应为首要指标。本研究中人才培养指标占比38.39%，远远超过其他一级指标。评价格局的整体性决定着功能的有效性[20]。人才培养是高校的主体功能，培养什么样的人才、怎样培养人才是高校所要面对、思索与完成的基本任务。对于医学类本科院校来说，人才培养更是教育工作的出发点和落脚点。《深化新时代教育评价改革总体方案》中提到立德树人是高等教育的宗旨，立德树人成效是高校评价的根本标准。因此，将人才培养指标设置为医学类本科院校评价指标体系中权重值最高的指标符合国家战略发展要求，具有一定的合理性。此外，一级指标资源保障权重为12.36%，医学类本科院校综合评价指标体系是在投入指标与产出指标相结合的原则下构建的，作为投入类指标，资源保障在高等教育评价的作用越来越重要。资源保障是高校平稳运行的必要条件，尤其是人财物等核心资源的占有份额和使用效率，不仅直接反映了一所高校的综合实力，更会影响到这所学校的人才培养能力与办学水平，最终影响到学校的生存与发展[16]。资源保障纳入医学院校综合评价指标且占比较大，表达了评价者对投入指标的重视。总体上看，本研究设置的指标权重值具有一定合理性。