科技评价中不同权重赋值方法的比较研究：以中国医院科技量值为例

单连慧，钟 华，胥美美，安新颖

（中国医学科学院医学信息研究所，北京 100020）

1 研究背景

科技评价体系改革已经成为国家意志的体现。党中央、国务院在“科技三会”和中央全面深化改革委员会第十九次会议中都对科技评价工作作出了重要指示，加快实现科技自立自强要用好科技成果评价这个“指挥棒”。而在中国的科技评价体系中，指标单一化问题还不同程度存在。随着研究领域的拓展，科技评价对象也日趋复杂，常常需要采用指标综合评价方法。在综合评价模型中，指标权重的确定是科技评价中的基础问题。指标权重赋值的方法有很多，国内外学者确定指标权重的方法主要包括主观赋权法、客观赋权法以及主客观综合赋权法［1］。主观赋权法例如层次分析法（analytic hierarchy process,AHP）、专家调查法等，客观赋权法例如熵值法、标准离差法、CRITIC法（criteria importance though intercrieria correlation）等。主观赋权法的指标权重在数据采集前确定，主要由专家依据经验和主观判断而得；客观赋权法的指标权重在数据采集后计算确定，是由各指标在被评价对象中的实际数据决定的。主客观赋权法各有其优缺点。主观赋权法的缺点是忽视了评价指标数字特征本身所蕴含的信息，以及易受专家的知识、经验、偏好等主观因素的影响；客观赋权法的缺点是仅以数据说话，忽视了专家的知识和经验，有时会出现权重系数不合理的现象［2］。

在科技评价过程中，指标权重的确定方法相关研究成果很多，例如，李珊珊等［3］、方振邦等［4］利用层次分析法分别确定不同层级公立医院公益性评价指标权重和医师胜任力模型指标权重等；王鸣涛等［5］在评价区域工业科技创新能力时利用基于指标相关性的权重确定法CRITIC来确定指标权重；张特曼等［6］利用层次分析法与熵权法相结合的方法确定组合权重对校园安全进行评价；李望晨等［7］利用AHP、优序图和熵权法计算组合权重评价公立医院患者满意度；蒋雪琳等［8］利用熵值-灰色关联分析方法来确定专利实力综合评价指标的组合权重等，以及其他一些综合运用主客观方法和主客观权重组合方式确定科技评价指标权重的研究。权重计算的合理性将直接影响评价结果的客观性和准确性，因此指标权重的赋值也是各种评价的难点和关键点。

医学科技评价是衡量医学科技发展水平的重要手段。医院在临床医学科技创新中起关键作用，医院的科技评价对推动临床研究具有重要导引作用，因此需建立反映高质量发展要求的综合评价指标体系以全面反映医院工作质量。中国医学科学院长期致力于医学科技评价体系改革研究，2018年首次提出“科技量值（science and technology evaluation metrics，STEM）”，探索建立医院创新评价体系，全面评价医院科技成果的科学、技术和社会价值。中国医院科技量值是面向医学科技领域开展的系统、全面、深层次的评价实践研究，评价结果于2014—2021年连续8年发布，受到社会广泛关注。医院科技量值通过德尔菲法确定评价指标体系，采用层次分析法确定权重［9］。鉴于指标权重赋值在科技评价体系中的重要性，有必要进一步比较不同主观和客观指标权重赋值方法的特点，以筛选出更加相对科学、合理的指标权重。

2 资料与方法

2.1 研究方法

本研究以中国医院科技量值为例，研究中国医院科技评价中不同客观评价方法的本质及其影响，采用熵值法、CRITIC权重法、独立性权重法、信息量权重法等4种客观评价方法确定权重后进行评价，并与中国医院科技量值利用层次分析法的评价结果进行比较分析。

（1）熵值法。“熵”原本是一个热力学概念，最先由美国数学家C.E.Shannon［10］引入信息论，已得到广泛应用。熵值法（entropy method）是用来判断某个指标离散程度的数学方法。在信息论中，熵是对不确定性的一种度量，可为多指标综合评价提供依据［11］。熵值法是一种客观赋权法，仅依赖于数据本身的离散性，弥补了传统专家打分法主观性太大的问题。

（2）CRITIC法。CRITIC法是由Diakoulaki等［12］提出的一种客观权重赋权法，使用对比强度和冲突性指标两项指标，权重计算时对比强度与冲突性指标相乘，并进行归一化处理，得到最终的权重［13］。

（3）独立性权重法。独立性权重法是一种客观赋权法，利用指标间的共线性强弱来确定权重：如果某指标与其他指标相关性很强，说明信息有较大重叠，意味着该指标权重会比较低；反之，说明该指标携带信息量较大，应赋予更高权重。

（4）信息量权重法。信息量权重法是一种客观赋权法，也称变异系数法，利用数据的变异系数进行权重赋值，变异系数越大说明其携带的信息越大，因而权重也会越大。

2.2 指标体系

本研究基于2018年度中国医院科技量值指标体系［14］，包括科技产出、学术影响和科技条件3个维度，如表1所示。

表1 2018年度中国医院科技量值指标体系

2.3 样本选择及数据来源

选取2018年度中国医院综合科技量值前100位医院（以下简称“样本”），各医院数据来自国内外权威的科技论文、科研项目、国家标准等数据库，科技部、国家卫健委等政府部门统计资料，各医院网站以及相关内部资料等。STEM是涉及多指标的综合评价，各指标间无统一的度量标准，需要对数据进行标准化处理，本研究采用极差标准化方法对原始数据进行线性变换，将各指标数据统一变换到［0，1］范围内，消除量纲影响。

在统计分析方法方面，利用SPSS 24.0统计软件和SPSSAU智能化在线统计分析平台，评价数据的可靠性，并开展不同方法权重和评价结果计算与分析。

3 结果

3.1 极差标准化数据

本研究所采用的指标体系中涉及的指标均为正向指标，利用极差标准化计算公式（Xi-min）/（max-min），对2018年度中国医院综合科技量值前100位医院各指标数据进行无量纲化处理，得到极差标准化数据。受篇幅限制，表2中仅列出前20位样本的极差标准化数据。然后利用SPSS 24.0统计软件分析数据可靠性，克朗巴哈系数（Cronbach'α）值为0.883，大于0.8，说明研究数据的信度质量高，可用于进一步分析。

表2 前20位样本2018年度综合科技量值评价指标的极差标准化数据

3.2 不同方法计算的权重结果

利用SPSSAU平台，分别采用熵值法、CRITIC法、独立性法、信息量法计算各指标权重系数，结果如表3所示。客观评价方法用于评价需要明确客观赋权的原理［15］。可以看出，以上几种方法中，熵值法与信息量法因原理接近，计算出各指标的权重整体趋向一致。

表3 不同方法计算的样本综合科技量值评价指标权重

利用相关分析研究熵值法权重与CRITIC权重、独立性权重、信息量权重之间的相关关系，使用Pearson相关系数表示相关关系强弱（见表4）。可以看出，熵值法权重与CRITIC、独立性、信息量之间的相关关系系数值呈现出显著性。具体来看，熵值法权重与信息量权重和独立性权重之间的相关系数值分别为0.984和0.728，P＜0.01，有显著的正相关关系；熵值法权重和CRITIC权重之间的相关系数值为0.518，P＜0.05，说明两者有显著的正相关关系。

表4 不同方法下样本综合科技量值评价指标权重相关系数

3.3 评价结果

采用不同方法下各指标权重计算，得到100家样本医院的评价结果，其中前20位医院综合科技量值结果如表5所示。

表5 不同方法下2018年度前20位样本综合科技量值

利用相关分析研究了5种方法评价结果之间的相关关系（见表6），可以看出各种方法评价结果之间的相关系数全部呈现出显著性，并且相关系数值均大于0，意味着层次分析法与其他4种方法评价结果之间有正相关关系。

表6 不同方法得到的2018年度样本综合科技量值评价结果相关系数

4 结论

（1）既往很多研究比较了不同主客观赋权方法的差异，常常因各种评价方法原理不同，导致不同客观赋权法权重与评价结果相差很大［16］。本研究的医院科技评价中，采用的4种客观赋权方法虽然原理不尽相同，但相关关系呈现出显著正相关，并且层次分析法与这4种客观赋权方法计算所得评价结果的相关关系全部呈现出显著性正相关。

（2）层次分析法作为一种主观赋权法，优点是专家可依据实际情况相对合理地确定指标排序，不需预先准备样本数据；熵值法、CRITIC法、独立性法、信息量法等客观赋权方法，根据各指标原始数据，经统计分析或其他数学方法处理后得到权重，具有较强的数学理论依据。中国医院科技量值采用层次分析法确定指标权重得到评价结果，本研究利用指标客观数据进行数理分析来确定客观权重，并且通过计算验证了层次分析法的主观权重评价结果，体现了评价过程的合理公正。

（3）本研究采用层次分析法与客观赋权方法评价结果相互得到验证，但这并不能代表客观赋权法适用于各类评价，对于多属性综合评价来说，由于评价角度涉及多个方面，所以客观赋权评价方法的选取仍要慎重，需要根据评价目的、管理需求及评价数据实际，系统比较，选取合适的赋权方法。