全球及中国心血管疾病科技影响力评价方法研究

郝军 郎欣月 王杨 曹也丁 李卫

医院排行榜受到越来越多的关注，其相对客观地反映了医疗机构的学科建设及技术水平在行业内的地位，也为医院管理者更好决策、患者就医选择提供一定的参考。其中独立的第三方机构综合评价已经是发达国家医院综合评价的主要形式，主要聚焦于临床诊疗水平等方面，例如美国新闻与世界报道（U.S. News ＆ World Report）最佳医院排行榜、美国国际医疗卫生机构认证联合委员会（Joint Commission International，JCI）医疗机构评价和英国医疗质量委员会（Care Quality Commission，CQC）医疗机构评价等[1-3]。在我国，常见的医院排行榜有复旦大学医院管理研究所最佳医院排行榜、中国医学科学院医学信息研究所中国医院科技量值排名（Science and Technology Evaluation Metrics，STEM）和艾力彼的中国医院竞争力排行榜[4]。上述国内医院排行榜的指标体系均考虑了医疗机构的科研水平和学术影响，又各有侧重。此外，2022 年9 月，中国心脏大会在线发布了《2016～2021 年全球心血管疾病科技影响力评价报告》（以下简称“评价报告”），公布了全球及中国医院心血管疾病科技影响力指标体系及排行结果。该指标体系在借鉴国内主要医院排行榜指标体系的同时，为了体现“科技成果分类多维度评价”的导向，将评价指标分为“一般指标”和“高端指标”，并且根据高端指标数量将待评价机构划分梯队，在不同梯队内按照不同的规则进行排名，整合排名结果，最终得到全球及中国医院心血管疾病科技影响力排行结果。

除制定指标评价体系之外，评价方法的选择也是综合评价过程中的重要一环。目前，在医院管理、科研管理等领域，综合评价方法多种多样、应用广泛[5-7]，而不同评价方法的选择将对综合评价结果产生重要影响[8]。上述多种国内外医疗机构评价及排行榜采用的综合评价方法各具特色，其中，评价报告中采用的层级式多维度指标综合评价法是将层级式指标体系、分梯队评价规则和秩次评价法结合在一起的综合评价过程。然而目前国内外对于医院排名综合评价方法的比较研究较少，针对于不同评价方法的选择缺乏参考依据。因此本研究旨在以评价报告中采用的层级式多维度指标综合评价法为基础，将该方法的评价结果与目前综合评价领域中最常用的3 种方法（包括标准化处理法、极值处理法和秩次评价法）的评价结果进行比较，为评价报告提供方法学解释及依据，同时为国内医疗机构综合评价实践提供一定参考。

1 资料与方法

1.1 数据来源

本研究依据的全球及中国科技影响力综合评价体系及指标权重，具体见表1 和表2。本研究的文献数据来源于Web of Science、PubMed 和Scopus数据库。此外，还采集了F1000、基本科学指标（Essential Science Indicators，ESI）高被引、期刊引证报告（Journal Citation Reports，JCR）分区和影响因子、被引频次、美国心脏协会（AHA）/美国心脏病学会（ACC）/欧洲心脏病学会（ESC）指南被引、Clinicaltrial.gov 注册临床研究等相关数据库的指标数据。针对中国医院心血管疾病领域科技影响力综合评价，除了上述指标，本研究还纳入了国家纵向课题（国家自然科学基金重点项目、国家自然科学基金面上项目、国家自然科学基金青年项目）、发明专利、国家级成果、中华医学奖、国家级和省部级平台等能够代表机构科研水平的相关数据。

表1 全球医疗机构心血管疾病论文影响力综合评价体系及指标权重

表2 中国医院心血管疾病科技影响力综合评价体系及指标权重

1.2 层级式多维度指标综合评价过程

评价报告采用了层级式多维度指标综合评价法，对2016～2021 年全球医疗机构心血管疾病论文影响力、全国医院心血管疾病科技影响力进行排名，具体步骤如下。首先将指标数据分成高端、一般指标。对于全球医院心血管疾病科技影响力评价方法，指标体系包括6 项高端指标，即注册临床试验数量、影响因子＞10 文章数量、JCR 分区Q1 区文章占比、亚学科覆盖度、被AHA/ACC/ESC 指南引用数、ESI和F1000 标引数量；2 项一般指标，即总发文量和总影响因子。对于中国医院心血管疾病科技影响力评价方法，指标体系包括10 项高端指标，除了6 项论文相关指标外还包括国家纵向课题重点项目、发明专利、国家级成果及国家级平台，其余均为一般指标。将高端指标按有无计数（Q1 区文章占比≥0.1%记为“有”，亚学科数量≥9 记为“有”），有4 个及以上高端指标为第一梯队，2 个或3 个高端指标为第二梯队，剩余1 个或无高端指标为第三梯队。每个梯队内，将二级指标分别升序排秩次，按其所在指标分类，利用秩次乘以对应权重得到一般、高端指标秩次加权求和指标值。每个梯队内，将合成的一般、高端指标秩次加权求和指标值分别升序排秩次，并分别标化至（60，100），得到一般、高端指标标化得分；将指标标化得分以（80，80）为圆心建立直角坐标系分割象限，其中Y 轴为一般指标得分，X 轴为高端指标得分。每个梯队内，将两坐标轴分别10 等分，按所在象限，计算第一象限一般、高端标化得分坐标位置所在正数百分比区域；第三象限标化得分坐标位置所在倒数百分比区域。每个梯队内，按所在象限，计算第一、三象限点圆心距得到线段长度；第二象限点据Y 轴正轴斜率；第四象限点据X 轴正轴斜率。每个梯队内，第一象限按坐标所在正数百分比区域升序排列，每个百分比区域内按线段长度降序排列；第二、四象限按斜率升序排列；第三象限按坐标倒数百分比区域降序排列，每个百分比区域内按线段长度升序排列，得到每个象限内排名。每个梯队内，按第一象限，第二、四象限，第三象限顺序将象限内排名连接合并，得到梯队内排名。按第一梯队、第二梯队、第三梯队顺序将梯队内排名连接合并，得到总排名。

1.3 其他综合评价方法

除层级式多维度指标综合评价法外，本研究还选择了在综合评价领域常用的标准化处理法、极值处理法和秩次评价法3 种方法，对2016～2021 年全球医疗机构心血管疾病论文影响力、2016～2021 年全国医院心血管疾病科技影响力进行排名，具体方法介绍如下。

1.3.1标准化处理法

处理后变量均值为0，标准差为1，各指标的最大值、最小值不相同。对标化后的指标数据进行加权汇总排序，即为综合评分结果。

1.3.2极值处理法

极值处理法，是消除变量量纲和变异范围影响最简单的方法。具体的操作方法为：首先需要找出该指标的最大值（xjmax）和最小值（xjmix），并计算极差（R=xjmax-xjmix），然后用该变量的每一个观察值（x）减去最小值（xjmix），再除以极差（R）[9]，即：

经过极差标准化方法处理后，无论原始数据是正值还是负值，该变量各个观察值的数值变化范围都满足0 ≤x'≤1，并且正指标、逆指标均可转化为正向指标，作用方向一致。但是如果有新数据加入，就可能会导致最大值和最小值发生变化，就需要进行重新定义，并重新计算极差。对指标数据进行上述方法处理后，加权求和排序即为综合评分结果。

1.3.3秩次评价法

秩次评价法是指以每一个单项指标的实际数据为基础进行排序，按指标方向（高优或低优指标）给予秩次（r1，r2，…rn），若出现并列时取平均秩次；对每一分项获得的秩次进行加权汇总排序，即为最终综合评价结果。

2 结果

2.1 全球医疗机构心血管疾病论文影响力四种评价方法结果比较

本研究应用层级式多维度指标综合评价法、标准化处理法、极值处理法、秩次评价法4 种方法，分别对全球医疗机构心血管疾病研究论文影响力进行排名，排行榜前6 名基本一致。被层级式多维度指标综合评价法排名在前20 的医院中，19 家（95%）医院被标准化处理法、极值处理法以及秩次评价法判定为排名前20（表3）。被层级式多维度指标综合评价法纳入百强的医院中，89 家医院（89%）被标准化处理法判定为百强医院，90 家医院（90%）被极值处理法和秩次评价法判定为百强医院。

表3 2016～2021 年全球医疗机构心血管疾病论文影响力四种评价方法综合排名（第1～20 名）

被标准化处理法和极值处理法评为第7 名的医院17，由于高端指标仅5 项，缺少AHA/ACC/ESC指南被引成果，导致其高端指标得分较低（89 分），尽管其一般指标得分（98 分）较高，但是仍然被层级式多维度指标综合评价法排为第17 名。被标准化处理法和极值处理法评为第11 名的医院7，被层级式多维度指标综合评价法排为第7 名，由于其有更多的注册临床研究数量，高端指标得分较高（98 分），因此超越了医院8、医院9 和医院10 三家医院；同时其高端指标数量（6 个）较多，因此超越了医院17。

2.2 中国医院心血管疾病科技影响力四种评价方法结果比较

本研究应用上述四种评价方法，对全国医疗机构心血管疾病科技影响力进行综合排名，排行榜前3 名完全一致。被层级式多维度指标综合评价法排名在前20 的医院中，19 家医院（95%）被标准化处理法、极值处理法以及秩次评价法判定为排名前20（表4）。被层级式多维度指标综合评价法纳入百强的医院中，93 家医院（93%）被标准化处理和极值处理法判定为百强医院，95 家医院（95%）被秩次评价法判定为百强医院。

表4 2016～2021 年中国医院心血管疾病科技影响力四种评价方法综合排名（第1～20 名）

被标准化处理法和极值处理法评为第10 名的医院4，由于其高端指标相对较多（8 个），AHA/ACC/ESC 指南被引成果和国家纵向课题重点项目较多，有较高的高端指标得分（98 分），因此超越了医院6、7、9、10、11；与医院8 相比，医院4 有更多的国家纵向课题面上和青年项目，其一般指标得分为97 分，高于医院8（94 分）。最终，该医院被层级式多维度指标综合评价法排为第4 名。被标准化处理法和极值处理法分别评为第13 名和第12 名的医院19，由于其影响因子大于10 分文章数量和注册临床研究数量相对较少，导致其高端指标得分较低（87 分），因此被层级式多维度指标综合评价法排为第19 名。

3 讨论

本研究在对全球医疗机构研究论文影响力以及中国医院心血管疾病科技影响力进行综合评价排名时，将层级式多维度指标综合评价结果与综合评价领域中常用的标准化处理法、极值处理法、秩次评价法的结果，开展了比较研究。研究结果表明，4种评价方法的结果一致性较高，其中标准化处理法和极值处理法的结果较为接近，秩次评价法与层级式多维度指标综合评价法的相似度较高。层级式多维度指标综合评价整合了分类指标体系、评价规则和秩次评价法，更能够突出高质量科技成果的重要性。

目前在科研综合评价过程中最常用的是标准化处理法和极值处理法。上述两种方法均为线性无量纲化方法[10]，且基于原始数据的描述统计量，如均值、标准差和极值等，保留了原始数据信息。标准化处理法基于原始数据的均值和标准差对变量取值进行处理，稳定性相对较好，而极值处理法则基于极大值和极小值，容易受到个别极端值的影响，稳定性较差[11]。秩次评价法则是基于原始数据的秩次，将医院之间指标取值的差距压缩为等距的秩次，更加注重每个医疗机构的所有评价指标在整个被评价单位中所处的相对“位置”。因此，基于秩次的秩次评价法的结果与基于原始数据信息的标准化处理法和极值处理法的结果存在一定差异。尽管损失了原始数据信息，但是取而代之的优点是受原始数据影响较小。特别是对于存在“偏科”现象的被评价单位，如果采用基于原始数据的标准化处理法和极值处理法，很容易被某一项指标拉高或者降低排名，而秩次评价法可以较好地避免这一问题，其更加关注的是被评价单位在每项指标排名中所处的“位置”，能够较为综合地反映被评价单位在同行之间中所处的水平。

然而上述3 种方法均是简单地基于原始数据或秩次直接进行加权求和，无法体现分级分层评价的思想。医学科技评价体系应当建立多元评价体系、分类评价体系和分级分层评价机制[12]。层级式多维度指标综合评价首先将指标进行分类，分为“一般指标”和“高端指标”，并且根据高端指标数量将待评价单位划分梯队，在不同梯队内按照不同的规则采用秩次评价法进行排名，最终整合排名结果。与上述其他方法相比，层级式多维度指标综合评价是将层级式指标体系、分梯队评价规则和秩次评价法整合在一起的综合评价过程。该方法能够突出科技影响力评价体系注重高质量科技成果，体现了分级分层评价的思想，积极响应现在的科技成果评价导向，是我国当前推行的“注重高质量成果，推进高质量发展”的科技成果评价机制的良好实践[13]。该方法在心血管领域的应用与实践引起了社会的广泛关注，评价结果将进一步促进我国心血管研究事业的健康发展。因此，该方法可以尝试在心血管医学领域之外的其他领域开展应用实践，进一步印证该方法的可操作性和可推广性。

综合评价方法是科技影响力综合评价的最后且关键的环节，其需要建立在科学合理的指标体系及权重、稳定可靠的数据来源、严谨细致的数据清洗和整理基础之上，之前任一环节出现问题，都将导致最终评价结果的差异，甚至出现违反常识的结果。综合评价方法的选择，除了需要从方法学角度考虑之外，还应结合实际数据情况采用多种评价方法进行评价，分析多种评价结果的异同，结合实际情况谨慎进行选择。

利益冲突：所有作者均声明不存在利益冲突