基于REF模式的上海市临床医生科研绩效评价

张文珊,王世婷,张 翔,贾仁兵*

(1.上海交通大学医学院附属第九人民医院,上海 200011;2.复旦大学附属眼耳鼻喉科医院,上海 200031)

2018年7月《国务院关于优化科研管理提升科研绩效若干措施的通知》中提出：建立以创新质量和贡献为导向的绩效评价体系，准确评价科研成果的科学价值、技术价值、经济价值、社会价值、文化价值[1]。2018年10月，国家科技部等五大部门联合发布《关于开展清理“唯论文、唯职称、唯学历、唯奖项”专项行动的通知》，这将打破我国多年来形成的科技人才评价以科研生产效率为先、以数量增长为导向的模式，意味着我国的科研发展从初期阶段进入一个新的发展历程。因此，合理评价科研活动过程，构建适应国家政策需要的新时代公立医院临床医生科研绩效评价指标体系，变得至关重要、迫在眉睫[2]。

本文以上海市某公立医院为研究对象，通过英国REF卓越框架模型，建立以科研质量为核心的上海市公立医院临床医生科研绩效评价指标体系，为我国公立医院的临床医生科研绩效评价提供参考。

英国政府于1984年率先指出应进行科学研究评价，1986年首次推出RSE评价体系对大学进行科研绩效评价，1990年推行RAE评估体系，2014年英国在原先REA评价基础上做减法，施行REF(Research Excellence Framework)评估体系。这样一方面减轻专家需要评估的数量，部分评估用量化指标来弱化或取代同行评议带来的弊端，另一方面着重强调科研质量的重要性[3]。

REF的评估方式是由4个评估小组领导，采取“专家评议为主，文献计量为辅”的评估方法。评价内容包括以下3部分，详见表1[4]。

表1 REF卓越框架科研评价的指标体系

REF模型的评价对象是大学，且评价方式和评价指标也不完全适用于我国国情。因此，本研究在不改变REF评价内涵、一级指标及权重的前提下，对REF的二级指标和三级指标进行指标和权重构建，以期更加适用于中国的数据采集和评价方式。

1 资料与方法

1.1 资料来源通过CNKI、PubMed、万方、维普等数据库，查找近10年来有关公立医院临床医生科研绩效评估工具、评估计划、评估指标体系以及评估结果应用及对策方面的文献，借鉴国内外卫生领域权威机构、其他领域绩效评估方面的成熟经验，为临床医生绩效指标评价体系的构建提供理论依据。

1.2 研究方法本研究前期采用文献综述法，构建公立医院临床医生的原始指标池。中期主要采取两轮德尔菲法，以问卷调查的方式，由专家对指标的重要性、可操作性和灵敏性三个方面进行打分评价。在有效问卷回收后，对咨询结果进行汇总分析，制定第二轮问卷再次进行咨询。后期的回收数据采用层次分析法确定指标的权重系数。其中一级指标沿用REF原本的指标权重，二级和三级指标采用归一化权重和组合权重来计算。

1.3 统计分析方法原始数据经整理后录入EXCEL，采用SPSS 22.0软件进行统计分析。

2 研究结果

2.1 采用REF模型确定指标体系框架本研究以英国卓越框架REF研究模型为基础确定指标体系框架，共有三个维度，分别为科研成果、科研影响力、科研环境[5-6]。通过前期的文献综述和参考REF模型的原有指标框架，构建二级和三级原始指标体系，共计3个一级指标、7个二级指标、22个三级指标的指标评价体系。

2.2 确定指标筛选原则

① 重要性。即指标的重要程度和代表性。指标能够较好地体现公立医院临床医生科研绩效的内涵，其重要性较高。

② 可操作性。指标在实际评价工作中，从评价者的角度获取该指标信息的难易程度和可信程度，指标越容易获得，可信程度越高，指标的操作性就越强。如果指标数据难以获得，或者获取可靠数据比较困难，或者获取的数据难以保证可靠，或者需要大量人物财力，指标的可操作性越差。

③ 敏感性。指标在实际评价工作中，对纵向和横向变化具有较好的区别能力，即灵敏度。纵向变化是指不同时间同一临床医生之间的差异；横向变化是指同一时间不同临床医生之间的差异。

④ 根据专家打分结果，将专家对单项指标评分低于12分，或变异系数大于0.3，或者满分频率小于10%的指标予以删除。

2.3 德尔菲法筛选指标

2.3.1 咨询专家组的基本情况 根据德尔菲法对专家选择的要求，本研究选取20位对公立医院临床医生科研发展现状及目标较为熟悉，且对医院科研绩效评价领域有深刻认识的专家进行德尔菲咨询。专家的权威性与专业性是保障研究信度与效度的关键点，参与咨询的专家共20人，主要来自医院管理人员、临床医生、上级主管部门专家，其中专家平均年龄45.4岁，工作年限平均为10.65年。本文所纳入参与评价的专家在学术成就和实际工作经验方面均有较好的代表性。专家情况见表2。

表2 德尔菲专家组情况

2.3.2 专家积极系数的确定 专家积极系数，即相关专家问询量表的回收率。两次专家积极系数计算结果均为100%，表示参与研究的专家积极。

2.3.3 专家权威程度的确定 专家权威程度Cr越高，则指标数据也越准确，由参与专家对问题进行判断的依据(用判断系数Ca表示)和专家对问题的熟悉程度(用熟悉程度系数Cs表示)两个因素决定。计算公式：Cr= (Cs+Ca)/2，Cr的大小在0～0.95之间变动。当专家权威系数≥0.7时，结果更加可靠，信度比较高。

本文把影响程度设定为“大、中、小”3个判断依据。对每个判断依据赋予不同的分值。将专家对临床医生科研绩效的熟悉程度设定为5级判断(表3和表4)。

表3 专家判断依据系数(Ca)

表4 专家对临床医生科研绩效的熟悉程度系数(Cs)

经过计算，专家判断系数Ca=0.85，专家熟悉程度Cs=0.93，专家权威系数Cr=0.89。结果显示本研究专家组的权威程度较高。

2.3.4 专家协调程度的确定 专家意见的协调程度是指全体专家在意见方面是否存在不统一的情况，可利用W的检验结果进行判断。W(肯德尔和谐系数)的赋值范围介于0～1之间。假定W经统计检验以后具备显著性，W=1时说明所有专家对各指标指出的评价意见并不存在分歧；W=0时表明专家意见存在严重分歧。W的显著性检验结果P值大都在0.05以下，表明专家意见或预测意见较为一致，评估或预测结果具有良好的信度；与之相反，则说明其信度较差，应谨慎对待评价或预测结果。第一轮专家咨询的肯德尔和谐系数W=0.33，并且结果具有统计学意义。经过意见反馈，第二轮咨询，专家协调程度W=0.579，专家意见明显趋同，信度较高，结果是可取的。

2.3.5 专家咨询结果 研究对二级指标和三级指标的重要性、可操作性、灵敏性三类分别进行5级打分，每个指标的总分15分，回收数据结果并计算均数和变异系数，作为后续指标调整的依据。

第一轮咨询结果统计，二级指标的均数为7.92，变异系数在8.63%～15.45%波动，三级指标的均数为7.405，变异系数在7.15%～25.49%波动。

2.3.6 权重赋值 第二轮德尔菲专家咨询是将第一轮指标数据反馈给专家后，由专家进行指标的二次评分并为指标赋予相应的权重。专家按照指标在相应问卷领域内的重要性，对所有二级指标和三级指标进行评分，分值中0分、9分分别表示最不重要、最重要。按照AHP(层次分析法)方法的原理，优先明确所有内部指标之间的权重，随后进行运算，算出整个指标体系中不同级别的指标权重。一级指标在指标体系中的权重等于该级内部的权重，二级指标和三级指标采用归一化权重和组合权重来计算[7]。最终得出指标权重，见表5。

3 实证研究

3.1 评价流程在确定公立医院临床医生科研绩效评价指标体系后，为检验其评价的可行性和操作性，进行指标体系的可行性验证。

选取3名口腔医学不同学科的临床医生作为此次可行性验证的研究对象，分别提交各自的5份代表作及相应评价指标的证明文件。医院科研管理部门将隐去个人关键信息的代表作和论文的引用量作为参考文件发给3位专家,请专家以百分制进行“科研成果”部分的整体打分。打分标准见表6。

表5 指标体系权重结果

表6 科研成果打分标准

医院科研管理部门根据数据库内统计信息对“科研影响力”和“科研环境”部分打分。单项排名最高者得满分，根据最高者的得分除以数量计算单项的得分。

3.2 评价结果结合专家意见和医院管理部门的数据汇总，最终通过指标体系权重打分得出3位临床医生的科研绩效得分如下，A医生86.126分，B医生70.616分，C医生64.0818分。

4 讨 论

4.1 绩效评价体系构建过程科学 具有代表性和有效性本研究主要采用成熟的英国REF评价体系，结合德尔菲专家咨询法，构建上海市公立医院临床医生科研绩效评价指标体系，参与评价的专家包含上级主管部门、医院科研管理部门和一线临床医生，同时两轮专家咨询问卷回收率达到100%，两轮专家权威系数为0.89，反映专家积极性和权威性较高。本研究的指标体系基于英国的REF评估体系，围绕科研成果、影响力和科研环境3个维度构建，其中科研成果部分采取代表作+同行评议的方式，使最终的评估指标体系紧扣科学研究本质，与临床医师发展有衔接，充分挖掘以科研质量为核心的关键指标。由此，本文构建科研绩效评价指标研究过程科学、合理，研究结果真实、可靠，具有较好的代表性和有效性[7-8]。

4.2 构建多元化的指标体系 绩效评价体系内容全面、合理基于英国的REF评估体系和综合性研究方法，形成3个一级指标、7个二级指标和22个三级指标的指标评价体系。本文对评价指标内容进行多元化、多维度分析，指标体系内增加学科影响、科研环境和可持续性等三级指标，将疑难病例分析和新技术、新方法的研究加入科研成果范围，扩展代表作的定义，使评价不仅适用于同一学科内的人才，还可用于不同学科人才的对比绩效评价。采用同一标准对公立医院不同学科的人才进行分类评价，有利于临床医生找到参照对标，形成良性竞争，也促进绩效评估的可操作性和可接受性[9]。

4.3 构建的指标体系打破以数量为导向的评价模式重视科研质量该指标体系采用同行评议的方式对公立医院临床医生的科研成果质量进行评价，同时结合客观科研指标数据对科研影响力、学术影响力进行打分，做到主观指标与客观指标相结合，评价方式更为科学。打破传统的纯粹以数量为导向的评价模式，更好地明确临床医生在该学科领域的科研水平，能够使临床医生将科研工作与临床工作结合。真正做到以科研质量为导向，以科研未来发展为基础，来评价公立医院临床医生的科研绩效。但本研究以成熟的英国高校REF模型为基础，构建公立医院临床医生科研绩效评价指标体系，作为一项系统工程，科学研究绩效评估较为错综复杂，其内涵极为丰富，这是由公立医院临床医生身份的独特性、双重性所决定的[10]，并且在科学研究新技术、新方法的不断发展和更迭过程中，科研绩效评价指标也需要不断更新以符合现实要求，未来在实证研究中仍需对其适用性进行进一步的验证，结合实际评价情况和专家咨询意见动态调整指标体系，以期进一步适应公立医院临床医生的科研绩效评价。