新疆医药绩效评价指标体系构建

李玉革,马 瑾,单志桂,俞 婧

(新疆医科大学第一附属医院科技管理科，乌鲁木齐 830011)

根据《关于自治区级附设性医药研究所现场勘验结果的通报》(新卫科教发2013年23号)，新疆医药研究所存在的问题主要有：未形成明确、稳定的科研发展方向、人才梯队发展不均衡、科研工作原始创新不足、技术辐射作用有待加强、实验室基础条件薄弱、组织管理能力欠缺等。随着科技创新驱动战略的实施，自治区对医药研究所的管理尚未形成科学的考核标准，尚未建立相应的绩效评价体系。建立一套完善的指标评价体系，客观公正地评价医药研究所的医疗、科研、学术、团队、运行管理等工作，是自治区级附设性医药研究所管理中亟待解决的问题。

1 对象和方法

1.1参与专家按照代表性与权威性的原则及学术专家与管理专家相结合的原则，依据专家知识结构、社会职务结构和年龄结构遴选专家。课题组邀请专家19名，包括：大学主管科技工作副校长2名，乌鲁木齐市三级甲等医院领导2名、科研管理人员4名、工作15年以上的临床专家11名。2016年11月至2017年6月进行两轮专家咨询。

1.2研究方法采用文献综述法、德尔菲法(两轮专家咨询后形成评价指标)确定新疆自治区级附设性医药研究所绩效评价指标体系。

1.3研究过程

1.3.1 指标体系的初建 指标体系草案的拟定分为4个步骤：①课题组对新疆自治区级附设性医药研究所绩效评价进行分析和分解，找到绩效评价的主要节点；②课题组制定统一的检索策略，检索国内外相关数据库和网络资源，全面收集有关医药研究所管理、绩效评价等方面的文献，对文献进行循证评价；③对文献循证评价结果组织院内专家进行专题小组讨论，提出初步构建的评价指标体系；④对初步构建的研究所绩效评价指标体系，在本院研究所管理人员中进行指标重要性的评价。结合以上4个步骤，最终拟定指标体系草案。整个指标体系分2级，一级指标5个、二级指标33个。

1.3.2 专家咨询问卷的设计 本研究专家咨询表共分为4个部分。①指导语：简要介绍本次课题研究的背景、内容及写明本次专家咨询的目的和意义；②专家基本信息，包括年龄、性别、职务、职称、专业、学历、工作时间等；③新疆自治区级附设性医药研究所绩效评价指标体系的主体部分，专家咨询表的主体部分由新疆自治区级附设性医药研究所绩效评价指标构成，分为一、二级指标。对于各级指标的重要性采用Likert 5级计分法，5=非常重要，4=重要，3=一般，2=不重要，1=非常不重要；④专家的权威程度表，包括专家对指标的熟悉程度及判断依据，熟悉程度采用1(很不熟悉)～5(熟悉)分进行评估；判断依据设计4个方面：理论分析、工作经验、对国内外同行了解程度和直观感觉对专家作出判断的影响，采用3分法(1分为“影响小”，2分为“影响一般”，3分为“影响大”)。

1.3.3 Delphi法的具体实施 研究者本人以面对面的形式向各位专家发放咨询表，并了解其评判时的想法，进一步对课题的研究内容进行沟通。在收取第一轮咨询表后，根据专家的意见对部分条目进行删除、修改和增加，在对第一轮咨询表修正的基础上，形成第二轮咨询表，并进行第二轮专家咨询。

1.4统计方法采用积极系数、权威程度、协调程度3个指标检验专家咨询的可靠性。积极系数为回收有效咨询问卷的专家占全部专家人数比；权威程度由专家对评价方案的判断依据和专家对问题的熟悉程度来决定；协调程度采用肯德尔和谐系数进行检验。数据采用SPSS 17.0统计学软件进行分析。

2 结 果

2.1专家一般情况本次德尔菲专家咨询共两轮，每轮均有19位专家参加，反馈有效问卷的18位专家中，来自医院的有16人、占88.9%，大学主管科技工作副校长2人。18名专家的年龄为53.56±4.22岁，最小年龄为46岁，最大为59岁；工龄为32.50±6.87年，最小工龄为18年，最大为42年。18名专家中，男性占77.8%，正高技术职称100%，医学博士学位的占88.9%；汉族占66.7%，蒙古族占11.1%，维吾尔族占11.1%，哈萨克族占5.6%，回族占5.6%。

2.2专家积极程度专家积极程度用每轮问卷的有效回复率及专家意见提出率表示。本研究两轮咨询的回复率分别为94.7%、94.7%,平均有效回复率为94.7%；第1、2轮分别有6名(33.3%)、1名(5.60%)专家针对新疆自治区级附设性医药研究所绩效评价指标体系提出意见和建议。

2.3专家意见权威程度专家的权威系数(Cr)由专家对咨询内容做出判断的依据(Ca)和专家对咨询内容的熟悉程度(Cs)2个因素决定,Cr=(Ca+Cs) /2。权威系数在0～1，数值越大说明专家越权威[1]。本研究两轮咨询专家Cr分别为0.88、0.91,专家权威性均大于0.8，专家权威性较好。

2.4专家意见协调程度专家意见协调程度指所有专家对所调查内容的全部指标的评价意见是否存在较大分歧。用变异系数(Vj)表示单个课程条目协调程度，用肯德尔和谐系数(Kendall’s W)表示所有指标协调程度。

① Vj:Vj越小说明专家的协调程度越高。本研究第1轮函询Vj为0.000～0.454，平均值0.227；第2轮函询Vj为0.077～0.311，平均值0.117。

② 协调系数：Delphi法的Kendall’s W越大协调性越好。显著性检验是专家意见一致性程度的可信性检验，P值越小，可信度越高。在两轮函询中，Kendall’s W经检验后均有统计学意义(P<0.001)(表1)，说明专家协调程度好。

表1 Kendall协调系数及显著性检验

2.5确定新疆自治区级附设性医药研究所绩效评价指标体系本研究经两轮专家咨询，最终形成“新疆自治区级附设性医药研究所绩效评价指标体系”，包括5项一级指标，28项二级指标(表2)。

表2 第2轮专家咨询结果

3 讨 论

专家咨询的可信度Delphi法是一种对意见的价值进行判断的方法，其可靠性和科学性可以从专家意见的权威性、积极性、代表性、协调程度、指标的筛选、问卷的回收等方面来综合分析与判断[2-4]。本研究在全疆范围内开展较大规模和较高层次的专家咨询，构建新疆自治区级附设性医药研究所绩效评价指标体系。

3.1咨询专家的遴选本研究选邀的咨询专家涉及普外、骨外、胸心外、神外、心血管病、肾病、血液病、内分泌与代谢病、影像医学与核医学、口腔临床医学、麻醉学、卫生事业管理等学科领域。此外，专家中既有从事医院管理的专家，又有从事医疗服务的临床资深专家及青年学者，结构层次互补。

3.2指标体系草案的拟定及调查问卷设计本研究特别注重和强调指标体系草案构建过程的严谨性和科学性。课题组先从自治区级附设性医药研究所管理的角度分析研究所管理的主要节点，然后运用循证医学的原理和方法，对国内外所有有关文献的质量进行循证评价，根据引用频次和文献证据等级提取指标。在此基础上进行专题小组讨论，以确保同一级的指标能够很好地反映上一级目标包含的内容，且避免出现指标条目间的交叉性。最后，在本院研究所管理人员中做了有关指标重要性评价的调查研究，最终拟定指标体系草案。为保证专家填答的积极性和完整性，每轮问卷在设计时，力求表格简洁、问题集中、表述清楚、用词确切，避免因表格过于复杂而影响专家做出正确的评价。同时每轮问卷均附有详细的指导语，表格中留有足够的空白，便于专家阐明自己的意见。咨询表以面对面的方式发放，回收后逐条审核。对漏答和明显错误者，及时请专家进行重填，避免缺失项，尽可能地保证问卷质量。

3.3咨询专家的可靠性及指标体系的两轮专家咨询本研究所进行的两轮德尔菲法专家咨询函询调查，问卷返回率均是94.7%，回收率高。同时，针对整个问卷提出建设性意见的专家分别占总人数的33.3%和5.60%，再次证明专家的关注度及积极性高。本研究两轮咨询专家权威程度分别为0.88、0.91，说明专家对指标非常熟悉，权威程度比较高，预测结果可靠性好。本研究采用肯德尔和谐系数分析检验专家意见的协调程度，以此作为Delphi法应用可靠性的重要判断尺度之一[5-6]。根据国内几项大型的Delphi法在卫生系统的应用研究，经2～3轮咨询后，误差控制较好，协调系数在0.4～0.5波动[7-8]。相比这个标准，本次研究中第一轮专家的肯德尔和谐系数是0.255，第二轮专家的肯德尔和谐系数是0.668，二轮咨询的专家意见协调系数波动值为0.413，说明专家意见的协调程度较高，结果可取。

本研究通过两轮专家咨询构建的多维度指标体系，紧紧围绕自治区级附设性医药研究所绩效评价原理，从“医疗服务条件”、“科研实力”、“学术影响力”、“团队建设”、“运行管理”等方面进行全面系统的评价。整个指标体系分为二级，其中一级指标“医疗服务条件”包括4个二级指标；一级指标“科研实力”包括9个二级指标；一级指标“学术影响力”包括3个二级指标；一级指标“团队建设”包括4个二级指标；一级指标“运行管理”包括8个二级指标。总体来说，所有二级指标的变异系数随咨询轮数增加而减少。第二轮的一级指标重要性评分均值从高到低依次是“运行管理”、“团队建设”、“科研实力”、“学术影响力”、“医疗服务条件”。28项二级指标中“新增国家级科研项目至少3项/年”在第一轮(5.00±0.00)和第二轮(4.11±0.316)的重要性评分均值均为最高。二级指标中“发表SCI收录论文影响因子总分达到15分以上，其中5分以上至少3篇”、“至少有1项省部级科技进步奖励”、“人均课题中标率(%)”、“疾病(主要研究方向的)流行病学基线调查实施情况”、“研究所秘书轮转情况”等重要性评分均值均较高。

本研究存在以下局限性。本次研究构建新疆自治区级附设性医药研究所绩效评价指标体系，但未对评价标准进行研究。进一步使用该指标体系，将从评价标准和操作细则方面研究。另外，评价指标体系及标准建立后，还需要进行大样本的实证研究，以检验其可操作性和有效性，为推广应用提供证据依据。总的来说，两轮专家咨询后，专家对指标评分集中趋势明显，变异系数趋向减小，协调系数趋向增大，表明专家对各级指标协调程度增高，指标体系框架合理。