高校科研绩效与学科发展潜力评价方法的研究

（北京工业大学，北京 100124）

1 引言

2015 年11 月，国务院印发《统筹推进世界一流大学和一流学科建设总体方案》[1]，以推进中国一流大学、一流学科建设（简称“双一流”建设）。在此背景下，很多高校开始关注“双一流”建设。2018 年8 月，教育部、财政部、国家发展改革委印发《关于高等学校加快“双一流”建设的指导意见》[2]，进一步加快“双一流”建设步伐，形成高水平人才培养体系。一流学科建设是一流大学建设的基础，而一流学科的评价对一流学科的建设至关重要。面对一流学科建设所带来的新的机遇和挑战，各高校主动利用科技论文和引文数据，分析学校学科发展现状和学科竞争力，探明优势学科，为学校的科学研究和学科发展进行积极的评价，并有针对性地为学科建设提供有效建议。

国内外对高校科研绩效评价的研究，从数据来源上看，有选取Web of Science[3]（WoS）引文数据库的数据，也有选取ESl[4]和InCites[5]作为科研学术评价的主要数据源，其优点是数据规范和完整，包含各种计量指标和各学科各年度的国际标杆数据；从研究维度视角来看，大部分是单维输入视角，即只考量高校科研产出，包括科研成果的数量和质量，作为科研能力排名的重要指标。其中，MUNOZ[6]用出版物数量衡量科研产出，而且认为这是评估科研产出最常用的措施。WANG等[7]将高校科研出版物数量，专利数量和知识转移收入作为科研产出的重要指标。SOMBATSOMPOP等[8]依据SCI 数据，选择发文量、引用量等指标对泰国24 所大学绩效进行评估和排名。整体来看，针对单维视角，多使用发表论文数作为科研产出重要衡量指标[9]。也有学者从双维视角，即从投入-产出视角对高校科研绩效进行评价[10]。从评价指标上来看，不仅仅要有绝对数量指标，还应包括影响力指标，设计指标时应兼顾质和量。如邱均平[11]指出世界大学科研竞争力应该由科研生产力、科研影响力、科研创新力、科研发展力这4 个部分构成，并下设7 个二级指标。刘楠[12]构建了基于科研产出、学科影响、学科发展、学科创新的学科分析报告指标体系。白璐[13]从科研生产力、科研影响力、载文期刊、作者统计、国际合作5个维度分析了学科发展态势。从研究方法上来看，国内外关于高校科绩效考核的方法研究可分为定性研究和定量研究两大类[14]。定性研究主要包括同行评议。定量研究主要包括文献计量分析法、层次分析法，数据包络法等。如程艾军[15]运用ESI 和InCites 数据对医学院校学科发展现状进行SWOT 分析，郭银清[16]运用层次分析法确定各指标的权重，对高校科研效益综合评价模型进行了探讨。周丽琴[17]应用元评价的相关原理对高校科研绩效考核工作进行评估；沈立宏[18]提出基于数据包络的分析方法对地方高校科研绩效进行评价。SALAU[19]使用结构方程模型对大学科研创新绩效进行评价并对其影响因素进行预测。段晓梅[20]基于投入产出两方面建立高校科研创新绩效评价指标体系，并利用DEA 对中国高校科研创新绩效进行实证分析。

总体来说，已有研究虽然对高校科研绩效考核进行了大量探索和研究，但目前中国高校科研绩效考核体系还没有完全形成，有关评价理论、模型与评价方法等还需要进一步完善与发展。

笔者认为科研影响力、国际合作能力、学科产出能力是高校科研创新实力的重要体现。基于此，从研究视角上，以这三维视角构建高校科研创新绩效评价指标体系。从研究方法上，已有研究大都或运用InCites 对高校论文产出进行分析，或对已进入ESI 的学科进行评价，笔者创新性的通过多维视角对高校科研绩效进行评价，且对ESI 学科进行动态评价，连续6年持续对潜力学科进行跟踪，并以作者所在的北京工业大学为例进行数据呈现。期望本评价方法可为高校科研绩效与学科分析工作提供思路，为学校的发展战略提供理论依据和数据支持。

2 分析工具的选定

InCites 是一个基于WoS 数据建立的科研评价与分析工具，能够方便地对比分析机构总体论文和学术影响力概况、机构优势学科的全球定位等，开展与全球同行机构和学科之间对比分析，为研究绩效评价和学科规划提供客观依据。

InCites 数据库主界面提供了六大模块，①People（人员）：分析机构的科研人员、科研团体的论文产出和影响力。②Organizations（机构）：分析全球各机构的科研绩效和同行对比。③Regions（区域）：分析各机构的国际合作区域的分布。④Research Areas（研究方向）：分析机构在不同学科分类体系中的学科布局。⑤Journals、Books、Conference Proceedings（期刊、图书、会议录文献）：分析文献所发表的期刊、图书和会议录分布。⑥Funding Agencies（基金资助机构）：分析基金资助机构的论文资助情况。

上述六大模块界面都可通过数据库的筛选项进行设置。

ESI 作为一个国际性的评估指标，能够对高校的科研实力和发展趋势进行长期跟踪分析，可以帮助高校查找进入全球前1%的ESI 学科数量及ESI 高被引论文、热点论文及研究前沿，准确定位学校及学科在全球范围的排名。如果高校目前还没有学科进入ESI，可以通过对各学科发文量、被引频次等指标综合分析各学科的发展潜力，对那些未来有希望进入ESI 前1%的潜力学科进行预测。ESI 是目前被学术界认可的衡量科学研究绩效、跟踪科学发展趋势的分析评价工具。

ESI 数据库主要分为3 个模块：①Indicators（数据指标）：可根据多个选项来筛选数据集，包括Research Fields（研究领域）、Authors（作者）、Institutions（机构）、Journals（期刊）、Countries-Territories（国家/地区）、Research Fronts（研究前沿）；还可以选择不同的显示结果，包括Top Papers（高水平论文）、Highly Cited Papers（高被引论文）、Hot Papers（热点论文）。②Field Baseline（学科基准值）：即评价基准线，是指某一ESI 学科论文的分年度期望被引次数，是衡量研究绩效的基准，是帮助理解引文统计的标尺。③Citation Thresholds（引用阈值）：是指在某一ESI 学科中，将论文按照被引次数降序排列，确定其排名或百分比位于前列的最低被引次数。

基于ESI、InCites 开展的科研绩效评价、优势学科评估及潜力学科预测，不仅拓展了信息服务功能，也为学校学科建设与规划提供精准的决策支持。

3 评价指标确定

本文围绕科研影响力、国际合作能力、科研产出力3 个维度，确定了3 组11 个具体指标，具体指标如表1 所示。

表1 基于ESI 和InCites 的科研产出与学科评价指标Table 1 Scientific research output and disciplinary evaluation index based on InCites and ESI

4 科研与学科评价方法——三维度分析法

通过InCites 和ESI 中的论文数据，结合上述评价指标和学科发展战略需求，制定科研产出与学科评价研究的分析思路，具体如图1 所示。

4.1 科研影响力分析

科研影响力，主要是指高校的科研学术辐射范围以及获得的关注度。主要通过科研论文被引用情况来揭示。具体包括以下指标：①论文被引百分比，该指标是指一组出版物中至少被引用过一次的论文占总论文数的百分比。表征了一个机构在某领域的研究有多少受到关注。②被引次数排名前10%的论文百分比，按领域和出版年统计，排名前10%的论文百分比。表征了一个机构在某领域影响力较高的论文有多少。③学科规范化的引文影响力（CNCI），通过归一化处理，排除了学科、文献类型、出版年的影响，进行不同规模、不同学科混合的论文集的比较。表征了一个机构在某领域科研产出的影响力。CNCI 的全球基准值为1，大于1 表明被引表现高于全球平均水平，小于1则低于全球平均水平。通过CNCI 可以衡量一个学科的影响力。④篇均被引数：由WoS 论文被引总数除以WoS 收录论文数而得。

依托InCites、ESI 等数据库，按照前文所列指标，以北京工业大学为例，给出图示和结论，更好的运用和理解指标含义，进行科研产出和学科服务评价的分析。

将学科分类体系为WoS，时间为2015 年至2019年进行过滤，选择论文被引百分比、被引频次排名前10%的论文百分比、规范化的引文影响力（CNCI）和篇均被引数这4 个指标，分别对北京工业大学和全国基准值、全球基准值进行分析，其中，全国基准值是指论文被WoS 收录的中国发文作者所在机构论文产出的平均水平，全球基准值是论文被WoS 收录的全球发文作者所在机构论文产出的平均水平。结果如图2～图5 所示。

图2 2015—2019 年北京工业大学论文被引百分比Fig.2 Percentage of BJUT cited papers from 2015 to 2019

图3 2015—2019 年北京工业大学被引次数排名前10%的论文百分比Fig.3 Top 10% of BJUT cited papers from2015 to 2019

图4 2015—2019 年北京工业大学论文引文影响力Fig.4 Citation influence of BJUT papers from 2015 to 2019

综合图2～图5 可以看出，北京工业大学近5 年的整体科研实力表现不凡，所发论文的关注度，高影响力论文和篇均影响力都有较大幅度的提升。

4.2 国际合作能力分析

图5 2015—2019 年北京工业大学论文篇均被引数Fig.5 Average cited number of BJUT papers from 2015 to 2019

国际合作能力，主要以国际合作论文数和百分比进行表征。①国际合作论文百分比表征了一个机构与国外机构进行合作研究的程度，体现了机构的国际化水平。②国际合作论文数是指包含一位或多位国际共同作者的论文数。这个指标可用来衡量机构的国际合作程度，体现了机构或科研工作者吸引国际合作的能力。

通过对国际合作能力分析，可以看出高校科研成果是否与国际接轨，与哪个国家在哪个领域进行科研合作，进一步挖掘合作伙伴，深化国际交流，提升自身学科发展水平。

以北京工业大学为例，利用InCites 数据库对其在WoS 所发的Article 和Review 论文的合作情况进行分析。

从图6 可看，北京工业大学近5 年国际合作水平大幅度增长，从国际合作论文上看，与64 个国家和地区有过合作，共计1 168 家机构，发表2 301 篇国际合作论文。国内与中科院合作论文数最多，且被引情况居于首位。国外与美国的合作论文数量最多。国际合作的论文引文影响力显著高于国内合作，说明国际合作论文质量高，关注度高。从研究领域来看，除了国内与哈工大合作发文在环境与能源领域，与国外的纽约州立大学合作发文在土木工程领域外，大部分合作发文研究都集中在材料科学领域（表2）。

图6 2015—2019 年北京工业大学论文国际合作百分比Fig.6 Percentage of BJUT international cooperation papers from 2015 to 2019

表2 国际合作机构科研产出相关指标Table 2 Scientific research output indicators of international cooperation institutions

4.3 学科产出力分析

学科产出力是指高校或科研人员在某一学科领域的科研论文的产出。具体包括WoS 收录论文数、ESI高被引论文、进入ESI 前1%学科数和ESI 高水平论文数等。

通常被WoS 收录的论文都具有较高的学术水平和学术价值。学术论文是科研成果的主要表现形式，通过WoS 收录论文数来掌握机构发文量，可直接反映机构的科研产力。以北京工业大学为例，对其近5 年发表的论文基本情况进行统计分析。限定时间为2015—2019 年。图7 呈现出该校近5 年所发的WoS 期刊论文和会议论文发展趋势。

图7 北京工业大学2015—2019 年WOS 论文发表情况Fig.7 BJUT WOS papers from 2015 to 2019

ESI 高被引论文是指在过去10 年发表的论文中，被引用次数在该学科处于全球前1%水平的论文。是评估高校顶级论文的指标。ESI 高水平论文数是ESI 高被引论文和热点论文取并集后的论文集合。进入ESI 前1%学科数是根据ESI 的22 个学科分类，机构近10 年来发表的论文总被引次数排在前1%的学科数。该指标主要用来衡量机构的优势学科。

以北京工业大学为例，数据截至2019 年10 月22日，全球进入ESI 的机构总量为6 081 个。北京工业大学近10 年间论文被SCIE/SSCI 收录和引用情况如下：①论文量11 619 篇，世界排名731；②论文总被引101 124次，世界排名1 227；③篇均被引次数8.7 次，世界排名5 474；④ESI 高被引论文124 篇，热点论文7 篇。

北京工业大学已有4 个学科进入ESI 学科全球前1%，分别是材料科学、化学、工程以及环境/生态学科，具体指标如表3 所示。

在对进入ESI 学科数的分析时，可以分别从进入ESI 学科排名相对位置追踪和预测可能进入ESI 全球前1%的潜力学科两个视角进行深入的分析。

4.3.1 进入ESI 学科排名相对位置追踪

连续6 年跟踪记录北京工业大学进入ESI 学科的排名和相对位置。其中

相对位置=(学科机构数－学科排名)/学科机构数

相对位置表征该学科在所有进入ESI 学科机构数中的位置排名，如90%表示超过了学科中90%的机构（表4）。

4.3.2 可能进入ESI 全球前1%的潜力学科预测

ESI 阈值（ESI Thresholds）是指某学科进入ESI全球被引排名前1%的机构中，被引频次由高到低排序在最后一位的机构的被引频次，即进入ESI 学科的临界值。用R 表示某一学科进入ESI 的相对差距。

当R≥0 时，表明该学科已进入ESI，且值越大，排名越靠前；当R＜0 时，绝对值越小，表明越接近阈值，进入ESI 的可能性越大。

表5 对北京工业大学有潜力入围ESI 的4 个学科进行比较和预测，并计算潜力值R，图8 是对这4 个潜力学科连续跟踪5 年后的比对结果。结合可看，生物/生物化学，数学均发展较好，潜力最大的学科是计算机科学，在2018 年已与阈值基本持平，2019 年超过阈值，由于ESI 和InCites 数据库更新时间节点不同，所以在ESI 中仍未显示进入ESI 学科，但不久的将来就会入围全球前1%的学科，成为北京工业大学第五个ESI 学科。

表3 北京工业大学进入ESI 学科情况Table 3 ESI disciplines of BJUT

表4 北京工业大学近4 年进入ESI 学科排名及相对位置情况Table 4 ESI disciplines ranking and relative positions of BJUT in recent four years

表5 北京工业大学有潜力入围ESI 学科预测Table 5 Potential ESI disciplines prediction of BJUT

图8 北京工业大学有潜力入围ESI 学科与阈值的差距Fig.8 The gap between potential ESI disciplines and threshold of BJUT

5 思考和建议

在双一流建设背景下，借助InCites 和ESI 数据库助力高校学科服务研究，通过对高校科研产出和学科发展方法的研究，制定评价指标和评价体系，提出一套分析思路与方法，并以北京工业大学为例进行详细说明。

尽管该评价方法比较合理，且简便易操作，但是，仍存在一些局限性。如在做出合理科学的决策时，决策者需要系统掌握各种相关数据，数据源是一切分析工作的开始。尽管ESI、InCites 是现今世界公认的衡量科学研究绩效、跟踪科学发展趋势的基本分析评价工具，但其基础数据都来源于Web of Science 数据库，而这一数据库对文献的搜集、学科的选择是有所侧重的。所以仅以这一个数据源做学科分析和评价，会存在“信息孤岛”的问题。因此，引入多源异构数据库显得尤为必要。但在整合数据时，各个平台的统计口径、学科映射又存在着差异。数据处理和清洗需要高级数据挖掘技术。引入高效、简便的数据处理技术，再将数据进行标准化、归一化处理成为亟待解决的问题。所以今后开展学科服务评价时，引入和整合更多的多元异构数据是一大难点。