医药卫生领域能力评价工具研究概述

毛歆+杨悦+张河战

[摘要] 本文以“能力”和“评价或评估”为关键词，检索医药卫生领域的文献，按照指标体系的构建步骤对能力评价工具进行研究，包括指标的筛选确定、指标权重的确定以及数据分析及统计三个方面。目前以德尔菲法和层次分析法组合最为广泛使用。应根据待评价对象选择最合适、最高效的评价工具。

[关键词] 能力；评价；指标；权重；研究

[中图分类号] R195 [文献标识码] A [文章编号] 1673-7210（2017）09（a）-0046-05

[Abstract] "Capacity" and "evaluation" being the key words， literatures in medicine and health field have been searched and the evaluation tools of capacity have been studied according to the steps of the establishment of indicator system， including selection and establishment of the indicators， determination of the weights and data analysis and statistics. The combination of Delphi method and analytic hierarchy process is currently most widely used. The most appropriate and most efficient evaluation tool should be selected based on the object.

[Key words] Capacity； Evaluation； Indicator； Weights； Research

能力评价是综合考量个体、组织或系统为达成某项目标或任务所具备的素质。在自然科学及社会科学的各个领域，对能力的评价通常不是简单的评判与打分，而是通过构建一个综合的评价指标体系来完成。指标体系构建是根据专业知识和行业经验选取科学适用的指标对评价对象进行描述，是做好评价工作的基础。指标体系的构建不仅包括评价指标的确立和筛选，也包括指标权重的确定以及相关的数据统计技术。

本文以“能力”和“评价或评估”为关键词，检索中国知网和万方数据库，筛选医药卫生领域的文献，按照指标体系的构建步骤对该领域能力评价工具的研究现状进行综述。

1 评价指标的确立和筛选

在指标体系的确立和筛选阶段，德尔菲法是目前应用最广泛的方法，主要是由调查研究人员制订调查问卷，以邮件的方式向专家进行咨询，专家将意见填写在问卷中返回，由于专家并不知道其他专家的情况，所以不会互相讨论，而只与调查人员有联系。经过几轮咨询后，指标体系得以修订最终达成意见一致。

德尔菲法中使用的调查问卷主要包括以下内容：前言，专家的一般情况，指标的特性评分，专家的熟悉程度和判断依据自评表。

在构建指标体系的过程中，学者们广泛使用德尔菲法进行指标的筛选和确立。

王珩等[1]遴选了35名从事医院管理工作的相关专家，采用Likert五级评分法，按指标的重要程度分别赋值9、7、5、3、1，确立了医院技术创新能力评价指标体系。

宋俐等[2]根据农村基本公共卫生服务工作内容，参考有关文献建立备选评价指标库，以函询的方式开展两轮德尔菲专家咨询，确立了农村基本公共卫生服务评价指标体系。

漆莉等[3]采用两轮德尔菲专家咨询法，确定了疾病控制系统应对突发公共卫生事件应急能力综合评价指标体系所包含的指标。

贲智强等[4]应用两轮德尔菲法评价县级公共卫生应急反应能力，将指标的重要性与可行性转化为数值“100、75、50、25、0”，并通过计算得分均值将指标排序。

谈晔等[5]在评价中山市基层预防保健所突发公共卫生事件应对能力时，运用系统分析法建立初筛指标集后，用德尔菲法确定指标集，请专家对每个指标从重要性、代表性和可行性三个方面做出1～5的评分，回收后计算专家的均分、权威系数和专家意见的协调程度。

闫梦青等[6]在构建市级疾病控制机构应急能力评价指标体系时，选用德尔菲法，由专家对指标系统里各个指标的可操作性与重要性进行评估，并对指标体系的构成提出其他建議与意见。

由于德尔菲法能充分吸收行业专家的学识和经验，因此在能力评价领域应用广泛。但实施德尔菲法的前提是必须已经具备一个指标体系的草案，在之后的专家咨询中，专家通常只对其中的细节提出建议。因此德尔菲法的实施过程中，指标体系草案的拟定和专家的选择是关键。

德尔菲法中也需要引入一些质控评价指标，如专家积极系数：常用问卷回收率表示，反映专家对项目研究的关心、重视程度和参与意愿。一般不能低于0.5的标准，一般认为>0.7为好[7-8]；专家权威程度：为判断系数和熟悉系数的算术平均值，一般认为专家权威系数>0.7的咨询结果可靠[9]；专家意见的协调系数：数值介于0～1之间，越接近1，说明专家意见越协调，当χ2检验有统计学意义时，结果可信。

指标的确立过程包含着对指标的筛选，通常依据德尔菲法中专家对指标的评分进行筛选，如申锦玉等[10]在研究疾控机构突发公共卫生事件应急能力时，选取专家评分均值在3分以上的指标。此外，界值法也是常用的筛选指标的方法。

宋俐等[2]以每项指标的满分率、加权均数、变异系数、等级和、峰度系数、偏度系数等为依据筛选指标；对不同的指标设置不同的界值，如以满分率的均数与标准差的差值为判断界值，数值>界值的指标入选，以变异系数的均数与标准差的和为界值，数值<界值的指标入选；峰度系数<5入选，偏度系数在-3～+3之间的入选。endprint

贾莹等[11]将每项指标的重要性和可行性得分分别计算变异系数、加权平均数和等级和。变异系数界值=均数+标准差，得分低于界值的入选；加权平均数和等级和界值=均数-标准差，得分高于界值的入选。

2 评价指标权重的确定

在确立了指标后就需要对权重进行确定。权重，也称权重系数，是指某一指标在整体评价中的相对重要程度量值，权重系数设置得是否合理将直接影响评价的结果。

权重系数可分为主观权重系数和客观权重系数两大类：主观权重系数是指人们对各个指标按其重要程度，依照经验主观确定的权重系数，缺点是缺乏严格的科学分析，容易受到人为、主观因素影响；客观权重系数是指基于实际资料如数据分布特征或离散变异信息体现指标重要性，通过计算和分析算得权重，缺点是完全依赖于数理运算确定权值的大小，可能会与客观实际脱节[12]。因此，每种确定权重的方法都有相对合理的一面，又有局限的一面，重要的是，无论采用哪种方法确定权重，都应当依赖较为合理的专业解释。

2.1 层次分析法

层次分析法是Saaty于20世纪70年代提出的一种在处理复杂的决策问题时进行方案比较排序的系统分析方法，是一种定性和定量相结合、主观与客观相结合的分析方法[13]。其基本原理是把一个结构复杂、决策准则多且不易量化的问题按照因素间的相互关系和隶属关系，分解成一个有序的递阶结构模型，在指标体系递阶分层和专业偏好认识基础上，专家由高向低逐层对指标的重要性进行两两比较打分，将结果转化为判断矩阵，从而计算指标权重[14]。该方法具有数学分析模型的严谨性，将专家的主观判断结果形式化、定量化地表达和处理，逐步剔除主观性，通过一定模式使决策思维过程规范化，从而尽可能地转化成客观描述。

层次分析法的实施步骤主要分为建立递阶层次模型，构造判断矩阵，一致性检验，层次总排序等。建立递阶层次模型时一般要求以Saaty的1～9比例标度作为比较的标准。引入一致性检验的概念主要是用于评判决策者构造出来的判断矩阵是否可以接受，对未通过一致性检验的判断矩阵需剔除，对通过一致性检验的判断矩阵进行计算。常用的计算方法有和法、幂法和根法。

武之更等[15]在构建公立医院创新能力评价模型时，采用层次分析法计算指标权重，定量分析和综合判断公立医院的创新能力。

张学军等[16]在进出口食品检验检疫核心能力指标的评价研究中，从责任落实、风险防范、基础保障、工作機制4个方面形成了4个一级指标以及19个二级指标，并用层次分析法确定了指标权重，建立了评价体系。

杨莉[17]建立了医院软实力评价指标体系后，运用网络分析法建立评价模型。网络分析法是在层次分析法基础上发展形成的一种适应非独立递阶层次结构的决策方法，它适用于存在内部关联和反馈的复杂系统决策。

2.2 百分权重法

百分权重法是在专家对各评价指标排序的基础上通过统计计算，获得各权重系数的数值。具体方法为①确定权距值：权距值即各项指标按其重要性排序，评分时采用其位序间的间距值，通常采用等权距1.0，最高评分值与指标数相等；②计算每项指标得分值：按指标的重要性排序时，每项指标被排在各位次上的概率都是存在的，因此将每项指标在各位次上所获得的频数，与其相应的分值相乘并取其和，即为该项指标得分值；③计算各项指标总得分值；④计算指标权重值：即将某一项指标的得分值被各项指标总得分值除，其商即为该项指标之权重。百分权重法计算简便，且对数据没有特殊要求。

孟雪晖等[18]采用百分权重法确定广西县级医院突发公共卫生事件应对能力评价指标体系的指标权重。

丁昌慧等[19]在测量卫生服务评价中的权重系数时，分别采用了层次分析法和百分权重法计算，并认为对于一般的综合评价工作，多用百分权重法计算权重系数。

类似的方法还有比例分配法。如宋轶等[20]在对疾控机构应急能力评估中，采用比例分配法计算三级指标权重，将三级指标重要性均值与其所属的二级指标下包含的所有三级指标重要性均值之和相比，比值即为该项三级指标的权重。

2.3 主成分分析法

主成分分析法是从多个数值变量之间的相互关系入手，利用降维的思想，将多个变量转化为少数几个互不相关的综合变量的统计方法[21]。原始指标体系经过降维后被浓缩为主成分指标，样本集的指标数据被转化为主成分得分，将方差贡献率作为客观权重，加权合成后计算综合得分及样本排序。常用的选择原则是累计贡献率≥85%，因此不至于因为节省了工作量却把关键指标漏掉而影响评估结果。该法能对多项指标进行综合评价，且不需要人为主观地确定权重系数[22]。

王卫军[23]在评价疾病预防控制机构应急能力时，采用主成分分析方法，以县（区）级为单位，计算出得分值，再综合评价分析各地区疾病预防控制机构的卫生应急能力。

吴学智等[24]对某医院13个手术科室医疗工作质量进行综合评价时，选取了具有代表性的18项指标，提取出5个主成分，运用主成分分析法得出了各科室的综合得分及排名，结果与实际情况相符。

主成分分析法也有一定的使用局限性：①在该法中应保证所提取的前几个主成分的累计贡献率达到一个较高的水平，且对这些被提取的主成分必须都能够给出符合实际背景和意义的解释；②主成分的含义不像原始变量的含义那么清楚、确切，因此，提取的主成分个数应明显小于原始变量个数。

2.4 因子分析法

因子分析法是一种数据简化的技术，它通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，并用少数几个假想变量来表示其基本的数据结构。一个合理的评价模型中，各个指标最好能独立地反映被评价对象某一维度的特征，但当维度之间有一定相关性时，则适宜选择因子分析法，确定与各维度关系密切、但相互独立的潜在公因子及其权重系数，以此建立综合评价模型，可避免维度之间的相关性对评价结果的影响，但不能分析定性指标。在做因子分析之前，要先检验数据是否适合，多采用KMO（Kaiser-Meyer-Olkin）值法和巴特利特（Bartlett）球度检验。endprint

张莹等[25]在对我国28个省市区医药制造业技术创新能力评价时，采用因子分析法对28个省市区的医药制造业的相关数据进行分析，得出综合评分及排名。

张素珍等[26]采用因子分析的方法构建了包头市综合医院傳染病防控能力综合评价模型。

张慧等[27]以13个应对能力维度的得分作为原始变量，采用因子分析法建立医院突发公共卫生事件应对能力综合评价模型。

2.5 模糊综合评价法

模糊综合评价法是基于模糊数学的方法对一些带有模糊概念或模糊变量的复杂问题加以定量刻画或综合评价的理念或方法，其实施基础为模糊数学理论，即运用数学方法，通过构建模糊集合，处理或计量模糊概念或模糊变量的方法，其基本思想是通过隶属程度来代替是否隶属于某一概念[28]。可以分析定量和定性指标，但需由专家或相关专业人员依据评价等级进行打分从而确定权重，所以评价结果受主观因素的影响较大。

张宏哲等[29]选择模糊综合评价法作为工具，以危机管理理论为基础，评测和分析了广州、哈尔滨、苏州3座城市医疗建筑环境对突发性传染病的防控能力。

2.6 熵值法（熵权法）

熵值法是一种客观赋值法，不受主观判断影响，因此决策者的主观意向和指标重要性易被忽视。熵值法各指标的权重依赖于样本的离散程度大小，指标数据差异小赋予较小权重，差异显著赋予较大权重。对于多级指标体系，某一指标的下级指标越多，算得的权重就越多，因此可能会出现跟客观现实不符的情况，不适合单独用于多级复杂指标体系的权重赋值。

代吉亚等[30]在疾控机构应急能力评估中，比较了层次分析法和熵值法两种方法所得的结果，两者相关性很高，综合评分排名非常接近。但由于熵值法忽视了决策者的主观意向，因此对于应急能力评估体系而言，宜采用主观赋权的层次分析法，或者采用主观赋权法和客观赋权法相结合的统计方法。

2.7 秩和比法

秩和比法是根据编秩变换思想将原始数据转化为秩次信息，是一种非参数和参数统计相结合的综合评价方法，集合多种不同维度的指标进行综合分析，通过秩次代换将多个指标加工成一个能够反映综合信息的统计量——秩和比，避免单个指标的片面性。其最突出的优点为可分档管理，但由于计算时并不直接利用原始数据导致原始信息利用不充分，且对于离群数值不敏感。

季梦婷等[31]应用加权秩和比法综合评价浦东新区社区护理相关政策的落实效果。

窦蕾等[32]筛选出4个一级指标和18个二级指标，利用定性排序与定量转化法计算经验权重系数，并通过加权秩和比法校正，从而建立了中医药服务能力评价指标体系。

冯欣等[33]应用德尔菲法和系统聚类法相结合筛选了13个指标，运用加权秩和比法对江西省10个县级健康教育机构的服务能力现况进行综合评价。

除上述方法外，学者们也采用其他一些方法。如将灰色关联分析法与秩和比法联合使用，郭芬芬等[34]在对基层医疗卫生机构服务能力进行评价时，运用秩和比法测算各指标的权重系数，运用灰色关联分析法得出排序结果；尹占春等[35]在评价天津市滨海新区城市社区卫生服务机构综合运营能力时，运用秩和比法和德尔菲法测算各指标的权重系数，运用灰色关联分析法得出排序结果。此外，也有用TOPSIS法得到所有样本优劣排序情况[36]，用平衡积分卡评估绩效，数据包络分析法评估效率等。此外，秦佳等[37]在国际旅行卫生保健中心核心能力及技术支撑能力建设评价体系的建立研究中，对指标赋权的具体操作上力求简单、直观，避免人为因素干扰，设因素i在相关文献中的出现频数为Ti，令其权重Wi。依据指标在文献中出现的频数计算其权重，指标权重为该指标出现的频数除以总频数。

在通过上述方法获得指标权重后，通常采用综合评分法将权重和每个指标的实际测量数据乘积后加权合成，也称加权线性和法，通过加法和乘法计算，将指标数据信息逐项累积，简单快速。但对于复杂层级指标体系，合成算法缺乏解释性。

3 数据库的建立及统计分析

使用较多的是采用Excel/Foxpro建立数据库，SPSS软件进行数据的统计分析，也有用其他软件如Matlab等。建立指标体系后还需对其进行信度和效度进行检测，此处不再赘述。

综上所述，目前德尔菲法与层次分析法相结合的方式在国内应用比较多，值得借鉴。如吕吉云[38]在构建军队传染病防控能力生成模式评估指标体系时，魏巍等[39]在构建四川省医院科研能力评价指标体系时，均采用德尔菲法与层次分析法相结合以确定指标及权重的方式。

也有学者不通过构建指标体系来评价对象。如张雪等[40]在设计药品安全监管能力评价问卷时，采用360度评价模式，通过收集与受评者有密切工作关系的、来自不同层面人员的评估信息，全方位地评估受评者的工作行为与表现，但需要针对不同的评价主体设计不同的调查问卷。该模式能够从不同的角度全面反映受评者，因此评价结果更为公正、真实、客观、准确和可信，不失为一种科学的绩效评价模式。

周伟等[41]采用密切值（Ci）法对江西省11地市村卫生室的服务能力进行评价，密切值越小，表明评价对象越优。密切值法基于多个目标设定的抽象空间，将每个样本数组视为该空间上的点，确定“最优点”和“最劣点”后，计算其他样本点与它们之间的距离，从而确定样本点的密切值，获得比较优劣程度的单个指数。

综合评价是一个不断完善的过程，评价指标体系也是一个开放的体系。从指标筛选确定工具、指标权重的确定工具到数据分析及统计工具，每一种工具都不是完美的，都有其各自的优势及局限性，因此，应根据待评价对象选择最合适、最高效的评价工具。同时，随着待评价对象的变化及发展，已经确立的指标体系也会出现一些新的、更好的指标，因此不断更新完善指标体系有利于更有针对性的评价能力。

[参考文献]endprint

[1] 王珩，张勤，周典.医院技术创新能力评价指标体系研究[J].中国科技论坛，2010，10：25-28.

[2] 宋俐，羊海涛.应用德尔菲法建立农村基本公共卫生服务评价指标体系[J].江苏预防医学，2011，22（2）：10-13.

[3] 漆莉，贾庆良，孙军，等.疾病控制系统应对突发公共卫生事件应急能力评价指标体系研究[J].检验医学与临床，2010，7（22）：2443-2445.

[4] 贲智强，张美菊.应用德尔菲（Delphi）法评价县级公共卫生应急反应能力[J].河南预防医学杂志，2007，18（6）：480-482.

[5] 谈晔，夏敏，罗小铭，等.中山市基层预防保健所突发公共卫生事件应对能力的综合评价[J].中国农村卫生事业管理，2011，31（6）：605-608.

[6] 闫梦青，常煜博，贾晓灿，等.市级疾病控制机构应急能力评价指标体系构建[J].中华疾病控制杂志，2015，19（9）：926-929.

[7] Sanjeev K，Gilbert H. An elementary introduction to statistical learning theory [M]. Hoboken：Wiley，2011.

[8] 李伟良.社会研究的统计应用[M].北京：社会科学文献出版社，2001.

[9] 关勋强，李瑞兴，刘运成.医学研究生教育評价研究与实践[M].北京：军事医学科学出版社，2000.

[10] 申锦玉，牛建军，陈敏，等.疾控机构突发公共卫生事件应急能力评价指标探讨[J].现代预防医学，2011，38（1）：64-66.

[11] 贾莹，李菁，尹爱宁，等.构建社区中医药服务能力评价指标体系研究[J].吉林中医药，2014，11：1093-1095.

[12] 韦余东，张人杰，张新卫，等.层次分析法在疾控机构应急能力评价指标权重确定中的应用[J].中国预防医学杂志，2015，16（10）：770-773.

[13] 乡志忠，郭删，赵鹏图，等.层次分析法在医疗高危模式与结果分析风险评估的运用[J].中国医院管理，2009，8（29）：13-14.

[14] 吴华氽，黄晓光，陈美玲，等.南京市三级综合医院创新能力评价指标体系研究[J].医学与社会，2014，27（9）：18-21.

[15] 武之更，韩玉珍.公立医院创新能力评价模型构建研究[J].中国医院管理，2012，32（12）：92-94.

[16] 张学军，张连军，刘天鸿，等.进出口食品检验检疫核心能力指标的评价研究[J].食品工业，2015，36（2）：208-212.

[17] 杨莉.基于网络分析法的医院软实力评价研究[J].管理探索，2015，10：10-11.

[18] 孟雪晖，崔仕臣，陈其伟，等.广西县级医院突发公共卫生事件应对能力评价指标体系构建[J].中国医院，2015， 19（11）：27-28.

[19] 丁昌慧，祁新辉，蔡辉.卫生服务评价中权重系数的测量[J].交通医学，2001，15（5）：484-486.

[20] 宋轶，代吉亚，吴发好，等.基于德尔菲法和层次分析法的疾控机构应急能力评估[J].华南预防医学，2014，40（1）：1-6.

[21] 韦英婷，吴志锦.用主成分分析法综合评价某院医疗质量[J].中国病案，2012，13（1）：48-49.

[22] 宗文萍，梁实.主成分分析法在同缀医院综合比较中的运用[J].中国卫生统计，2012，29（5）：711-716.

[23] 王卫军.主成分分析法在疾病预防控制机构应急能力评价中的应用[J].实用预防医学，2015，22（4）：505-507.

[24] 吴学智，郑娟，柳俊，等.用主成分分析法综合评价手术科室医疗工作质量[J].中国病案，2015，16（4）：46-48.

[25] 张莹，陈玉文.我国28个省市区医药制造业技术创新能力评价[J].中国药房，2013，24（17）：1539-1542.

[26] 张素珍，王英，贾恩厚，等.包头市综合医院传染病防控能力评价[J].现代预防医学，2014，41（7）：1231-1234.

[27] 张慧，黄建始，段杰.医院突发公共卫生事件应对能力综合评价体系[J].中国公共卫生，2007，23（12）：1505-1508.

[28] 马强.模糊综合评价法用于公立医院绩效考核的理论架构[J].南通大学学报：社会科学版，2015，31（3）：145-152.

[29] 张宏哲，张姗姗.城市医疗建筑环境对突发性传染病的防控能力评测研究[J].黑龙江大学工程学报，2015，6（2）：52-57.

[30] 代吉亚，宋铁，郭汝宁，等.层次分析法和熵值法在疾控机构应急能力评估中的应用比较[J].中国卫生统计，2014，31（6）：1051-1053.

[31] 季梦婷，周嫣，冯芳茗，等.应用加权秩和比法综合评价浦东新区社区护理相关政策的落实效果[J].护理学杂志，2015，30（3）：50-52.

[32] 窦蕾，唐淑云，尹爱田.基于秩和比法对山东省县级中医院中医药服务能力综合评价研究[J].中国卫生统计，2013，30（3）：377-378.

[33] 冯欣，袁兆康，王希.加权秩和比法综合评价健康教育机构服务能力现状[J].中国健康教育，2013，29（2）：147-150.

[34] 郭芬芬，刘冬梅.基于灰色RSR法的基层医疗卫生机构服务能力评价[J].中国卫生统计，2014，31（6）：1012-1014.

[35] 尹占春，刘冬梅.基于灰色RSR法的城市社区卫生机构综合运营能力研究[J].中国农村卫生事业管理，2014， 34（11）：1334-1336.

[36] 张利平，李望晨.基于多指标评价适配算法的危机事件应急能力测评研究[J].中国卫生统计，2015，32（2）：283-285.

[37] 秦佳，章琪，杨柳，等.国际旅行卫生保健中心核心能力及技术支撑能力建设评价体系的建立与研究[J].检验检疫学刊，2015，4：44-51.

[38] 吕吉云.军队传染病防控能力生成模式评估指标体系构建及应用研究[J].管理评论，2015，27（5）：114-120.

[39] 魏巍，甘华平，力晓蓉，等.四川省医院科研能力评价指标体系的构建[J].中华医学图书情报杂志，2014，23（7）：21-25.

[40] 张雪，林志健，董玲.基于360度模式的药品安全监管能力评价问卷设计[J].中国药事，2014，28（7）：700-705.

[41] 周伟，牛文柯，袁兆康.基于密切值法的村卫生室服务能力评价[J].中国全科医学，2014，17（4）：389-391.

（收稿日期：2017-05-05 本文编辑：李亚聪）endprint