基于ESI的大学和学科评价的局限性*

刘雪立 郭佳 申蓝

（1.新乡医学院期刊社，新乡 453003；2.新乡医学院管理学院，新乡 453003）

2015年10月，国务院发布《统筹推进世界一流大学和一流学科建设总体方案》（以下简称《“双一流”建设总体方案》），明确提出“到2020年若干所大学和一批学科进入世界一流行列，若干学科进入世界一流学科前列”等系列建设目标。自此，创建世界一流大学上升为国家高等教育发展战略，成为我国建设科技强国的一个重要目标[1]。“双一流”建设受到各省、直辖市和自治区政府和高校的高度重视，并相继出台了“双一流”建设方案。但是，迄今为止，对于“双一流”的具体评价标准尚无精确界定，国内主要利用汤姆森路透（现科睿唯安）的基本科学指标（Essential Science Indicators，ESI）数据库统计指标对国内高校和学科与国际高校和学科进行比较。在31个省级行政区中，有10个行政区（江苏、浙江、福建、山东、河南、湖北、湖南、广西、海南和甘肃）公布的“双一流”建设方案明确提出入选ESI前1%或前0.1%学科数量的目标。ESI数据库是美国科技信息研究所2001年推出的用来衡量科研绩效、跟踪科学发展趋势的分析工具，是当前世界范围公认比较权威的学科绩效评估工具[2-3]，收录近十年加统计当年前几个月的论文数据。依据学科分类（22个）和论文被引频次对不同研究者、机构（大学）、国家/地区和学术期刊进行绩效评价[4]。十年间被引频次位列全球前1%的研究者和机构，以及全球前50%的国家/地区和期刊才能入选ESI。该数据库每2个月（每月10日左右）更新一次[5-6]，每次更新国内各媒体都会进行大量的报道，揭示我国高校ESI国内和全球排名，以及入选ESI前1%甚至前0.1%学科的变化情况，尤其是在国务院发布“双一流”建设总体方案后，从侧面反映了ESI应用于大学和学科评价在国内受关注的程度。

近年来，ESI应用于大学和学科评价的研究非常普遍。Cova等[2]认为，ESI数据库是全球研究者、大学、学术机构和国家学术影响力评价的一个重要工具。Chuang等[7]认为，ESI学科排名为定量评估大学研究绩效提供了一个非常有价值的标准。目前，国内外研究多集中于ESI在大学和学科建设评价中的应用。在大学评价方面，Ghane等[8]应用ESI对伊朗14所高校排名进行研究，Cova等[2]对利比里亚高校ESI排名的特征进行研究；在学科评价方面，Zhang等[9]探讨了经济学与商学领域高被引论文的作者分布，并基于高被引论文对不同国家和高校的研究绩效进行评价。国内期刊发表的有关大学评价[10-11]和学科评价[12]的论文更多。当然，关于ESI数据库指标的研究也较多[13-16]。总体来讲，关于ESI应用于大学和学科评价，国内研究十分活跃，国外研究很少。“双一流”建设总体方案出台后，应用ESI数据库文献计量学指标进行大学研究绩效和学科建设评价的研究不断涌现，但关于其局限性研究较少。笔者在长期应用ESI和InCites数据库进行研究绩效评价过程中发现，ESI应用于大学和学科评价存在很多局限性。

1 不同学科入选阈值差异巨大，入选难度极不均衡

ESI每2个月更新一次，滚动统计分析前十年加当年前几个月论文及其被引频次。它将自然科学和社会科学划分为22个学科领域（见表1），入选的标准是某学科领域被引频次前1%的作者和机构、前50%的期刊和国家/地区。符合入选标准的最后一位的被引频次即各学科领域作者、机构、期刊和国家/地区的入选阈值。如表1所示，农业科学领域作者入选ESI的阈值是507次（更新日期：2020年1月9日），即评价时间窗口内作者农业科学论文被引频次总和达到507次则自动入选ESI高被引作者。同样，农业科学领域机构入选阈值为2 431次，表示大学农业科学最近十年论文的被引频次必须达到2 431次才能入选ESI。某高校某学科入选ESI就意味该学校该学科论文影响力跻身全球前1%，领先于全球99%的机构。因此，入选ESI成为许多国家/地区和高校衡量学科建设和发展水平的重要参考，也受到越来越多高校的重视。

可以看出，22个学科领域机构入选阈值差异巨大，空间科学入选阈值达到40 428次，排在第一位；其次是物理学（21 021）、分子生物学与遗传（14 716）；阈值偏低的学科分别为综合性社会科学（1 570）、农业科学（24 31）和工程（2 738），另外，临床医学（3 329）的阈值也较小。学科入选阈值大小主要由2个因素决定。①学科活跃度。如社会科学相对于自然科学是极不活跃的学科，多数社会科学学科被引半衰期较长，论文被引频次普遍较低。这是导致综合性社会科学学科入选ESI阈值偏低的主要原因。②学科覆盖广度（拥有该学科的机构总量）。如临床医学是极其活跃的学科，论文产出规模巨大，被引频次和篇均被引频次都很高。然而，临床医学学科入选ESI的阈值较低，主要原因是全球医疗机构数量庞大，前1%的机构数量（入选名额）非常可观，达到了4 488个，是ESI中入选机构数最多的学科。目前，ESI入选的机构总数为6 415个（检索日期：2020年1月11日），也就是这6 415个机构中有4 488个机构的临床医学学科入选ESI。

由于入选阈值的巨大差异，导致不同学科入选ESI难度极不均衡，空间科学入选难度是最大的，也是北京大学唯一未入选ESI的学科。目前，北京大学空间科学近十年论文被引频次为37 429（数据来源于InCites，更新日期：2020年1月11日），是入选阈值的92.6%。可见，空间科学的入选难度极大，全球仅有167个机构入选ESI，也就是能够拥有空间科学的机构非常少，能够在空间科学领域发表论文的机构全球有16 700个左右。相比之下，临床医学是非常活跃的学科，入选名额又相当多，因此，临床医学入选ESI的难度是最小的。近期，许多综合性大学纷纷合并或重新组建医学院，可见医学学科的巨大发展潜力。

表1 ESI的入选阈值及不同学科入选机构数量

针对这一局限性，笔者建议在确定各学科机构基数时仅计入高校数量，研究机构和医院均不计入机构总数，目的是使各学科涉及的机构数大体相当，各学科入选ESI的机构数（前1%）不至于太悬殊，从而在一定程度上平衡不同学科入选ESI的难度。

2 大学和学科排名完全依赖论文被引频次

作者、机构、期刊和国家/地区能否入选ESI，完全取决于论文被引频次，基本不考虑论文产出能力，导致一些机构（大学）凭借极少的论文甚至一篇异常高被引论文就能够入选ESI。如日本急救医学会（Japanese Assoc Acute Med）仅凭一篇被引3 990次（临床医学机构入选阈值是3 329）的论文就把该机构的临床医学学科推入ESI（见图1）。这一现象在临床医学领域并不罕见，如当前临床医学学科中有25个机构是仅凭1篇高被引论文入选ESI的。每一个学科都有异常高被引论文，理论上这些高被引论文都可能推动一个大学的相应学科入选ESI。图2展示了工程学科2009—2019年论文被引频次。由于工程学科的入选阈值为2 738，图2中显示的6篇论文的被引频次都大于该阈值，所以这6篇论文都可以将各自所在机构的工程学科推进ESI。一个大学的某个学科，只有1篇文章就能跻身全球前1%，说明ESI用于大学学科评价存在明显局限性。

对于研究者和机构来讲，科研论文产出量反映其科研产出能力，论文被引频次反映其学术影响力，二者在研究者和大学评价中同等重要。田文灿等[17]和刘雪立等[18]在进行机构和个人研究绩效评价时均同时采用发文量和被引频次。因此，笔者建议要合理使用ESI提供的数据，采用发文量和被引量同等权重构建复合指标进行大学和学科评价。

图1 ESI数据库中日本急救医学会临床医学论文数及其被引频次

图2 InCites数据库中工程学科2009—2019年论文及其被引频次

3 被引频次的“共享式”计数可能导致评价失真

目前，学科既高度分化又高度融合，学科之间互相交叉、渗透，作者之间、机构之间、国家/地区之间合作与跨学科综合研究已成常态。但是，通常情况下不同作者、不同机构、不同国家/地区在一项研究中的贡献不可能是相同的。然而，ESI对合作论文被引频次的计数采用“共享”方式，即假设一篇论文被引频次为1 000，那么所有参与的机构（无论署名的机构数量）均计入1 000的被引频次。论文被引频次在机构之间共享的计数方式，导致许多大学被过度高估，评价结果严重失真。为了说明这一问题，笔者专门对海南医学院临床医学学科论文产出、机构合作、被引频次等进行统计分析。2009年1月1日—2018年12月31日，海南医学院共有临床医学论文421篇，被引频次在10以上的有88篇，其中署名第一机构的仅22篇（占比25%）。88篇论文的被引频次为3 032，而署名第一机构的22篇论文被引频次仅为377，占比12.4%。被引频次最高的一篇论文[19]是和伯明翰妇女医院合作完成的，海南医学院在这篇文章中的署名排序为第224名，ESI中其被引频次为1 436，意味该篇文章为海南医学院的临床医学学科贡献了1 436被引频次（当时入选阈值的58.2%）。我国共有36个机构在该文中署名，大部分是高校的附属医院（见图3）。2019年3月14日更新的ESI数据库中，海南医学院临床医学学科的被引频次为4 206，按照12.4%计算，该校署名第一机构的临床医学论文的被引频次仅为522次。

部分综合性大学专业设置中没有医学学科，其临床医学竟然也入选了ESI，如南开大学、宁波大学、江南大学、华东师范大学、哈尔滨工业大学、北京师范大学、重庆大学等，甚至还有教育部的临床医学也入选了ESI。这些机构的临床医学入选ESI，正是ESI这一局限性导致的。

目前，学术界越来越关注跨学科研究[20-21]，一些研究人员认为，跨学科研究在科学研究中发挥着关键作用，并产生了许多开创性的科学发现[22-23]。在大学和研究机构，科研合作是很常见的事情[24]。但是，由于“双一流”建设的驱动，各高校对入选ESI都十分重视，迫使某些水平一般的高校鼓励和支持本校科研人员通过各种渠道寻求与国内外机构的“合作”，共享合作论文的被引频次，这将导致急功近利的“科研合作”（实际上是机构乱署名）乃至“不当机构自引”，并可能诱发新的学术不端行为。

图3 一篇临床医学高被引论文的中国机构署名情况（部分）

对此，笔者建议在重要的学术评价活动中，论文的产出及其被引频次只计入第一研究机构。当然，这可能会低估合作机构的贡献。关于合作者（机构和学者）贡献分配问题非常复杂[25]，但是只计数第一作者或通信作者有其合理性，毕竟第一作者或通信作者被认为在科研项目完成和论文发表中的作用是决定性的和最重要的[26]。第一机构和合作机构的关系也是一样，第一机构主导了科研方向，在科学研究全过程发挥着决定性作用。

4 办学规模和学科设置对ESI大学排名影响巨大

（1）办学规模问题。大多数综合性大学学科设置齐全，能全覆盖ESI数据库的22个学科，而且规模庞大，如浙江大学、上海交通大学、北京大学、清华大学等。ESI的机构排名默认按机构（大学）全部论文的被引频次排名，所以机构（大学）办学规模越大、学科设置越齐全越容易获得理想的排名。专业性大学与综合性大学相比，专业性大学将会被低估。

（2）学科设置问题。论文被引频次受学科属性、学科规模、发展阶段、学者引证习惯等影响较大，因此，不同学科论文被引频次差异巨大。如刘雪立等[27]对2015年版JCR进行统计，纳米和纳米技术领域33 805篇论文共被引用1 128 562次，篇均被引频次达33.4次；政治学领域5 982篇论文共被引用138 957次，篇均被引频次23.2次；而历史学领域2 235篇论文共被引用20 662次，篇均被引频次仅9.2次。因此，不同学科论文产出潜力和被引潜力差异巨大，不同高校专业设置、特色学科、优势学科差异巨大，特色和优势学科与高被引学科一致，机构会被高估，否则将会被低估。

因此，采用ESI数据库不加区分地把不同规模、不同类别高校混在一起排名是极不合理的。建议对论文产出量和论文被引频次进行学科标准化处理，但更重要的是根据评价目的和评价结果的应用对高校进行分类评价。

5 学科设置过度偏向自然科学

ESI的统计数据来源不包括A＆HCI，仅以SCI和SSCI作为统计数据来源，统计范围以理工科期刊为主。从ESI数据库划分的22个学科可以看出，有20个属于自然科学或以自然科学为主，属于社会科学的仅有2个（经济学与商学、综合性社会科学[9]），因此对于人文社科类成果的反映程度极其有限，对于人文社科类学科专业的评价严重不足，以社会科学为主的高校入选ESI的学科数自然不会太多。另外，我国高校社会科学国际化程度不高，论文数量和被引频次都无法与自然科学相比。以入选ESI学科数量和论文被引频次进行大学评价，对以社会科学为主的高校是极不合理的。所以，在以SCI和SSCI为主导的大学评价和学科评价中，中国人民大学等社会科学强校都是被极度低估的。

ESI的这一弊端导致全世界的非理工科院校在ESI排名中具有明显的劣势，那些以文科见长的院校真实水平被严重低估。另外，不建议以ESI为标准对人文社科类学科专业进行评价。

针对这一局限性，建议在我国的大学和学科评价中慎重使用基于ESI的22个学科进行高校研究绩效评价，积极探索适合我国国情的学科评价体系。但是，ESI学科分类体系实际上是建立在期刊分类的基础上，与我国教育部学科分类体系有较大差别，无法进行直接对照。依据ESI学科分类对SCI和SSCI期刊进行分类，按照一对一的方式划分到22个学科中，另外有60多种被认为跨学科领域的期刊，则按照单篇文献进行归类。ESI数据库各学科涵盖的内容宽泛，而我国高校的学科分类参照《学位授予和人才培养学科目录》进行划分，有13个门类110个一级学科，这110个学科在InCites数据库中只能对应上77个。如何克服这一局限性尚待进一步研究。