ESI在世界一流大学与学科评价中的问题与对策研究

史竹琴，朱先奇

(1.太原理工大学 经济与管理学院，山西 太原 030024；2.太原科技大学 经济与管理学院，山西 太原 030024)

ESI在世界一流大学与学科评价中的问题与对策研究

史竹琴1，2，朱先奇1

(1.太原理工大学 经济与管理学院，山西 太原 030024；2.太原科技大学 经济与管理学院，山西 太原 030024)

ESI是基于SCI和SSCI的统计数据库，在世界一流大学与学科评价中发挥着非常重要的参考作用，受到了国内高校的广泛关注。在此背景下，文章讨论ESI在世界一流大学与学科评价中应注意的六大问题，如ESI的成果分配方式与国内的通行分配方式存在差异，ESI的不同检索方式获取同一评价目标数据得到的结果不尽相同等。在此基础上，针对问题提出在实践中应采取的应对措施，如要精准把握ESI中各指标的内涵、结果显示、基准线及阈值标准、检索方式，要更加重视高水平论文和拔尖人才的发现等。

ESI；一流大学；一流学科；教育评价

一、研究概述

2015年10月，国务院印发了《统筹推进世界一流大学和一流学科建设总体方案》，在此方案中明确提出“到2020年若干所大学和一批学科进入世界一流行列，若干学科进入世界一流学科前列”等系列建设目标[1]。“双一流”建设由此受到中国各级政府和高校的高度重视，有多个省份和若干高校已经制定了扶持政策和具体实施方案，“双一流”建设必将成为中国高等教育发展的风向标和指挥棒。但是，迄今为止，对于“双一流”的具体评价标准尚无精确界定，尤其是如何定量化评价更是处于探索阶段。当前，国内主要是利用汤姆森路透的ESI(Essential science indicators，基本科学指标)数据库[2]统计指标对国内高校和学科与国际上的高校和学科进行比较。这一数据库的确可以快速使得国内高校在世界高校坐标系中找到自己的定位，更能够具体清楚地看到自己的既有优势与差距，因此最近几年受到了中国高校的广泛关注。但是，ESI本身作为一个国际化的论文统计数据库，是否与中国高等教育实际相符合、相适应需要深入思考与研究。

关于利用ESI进行世界一流大学与学科的评价实践并不是一个新话题，当前研究主要集中在文献计量领域，产生了众多研究成果。一是关于ESI数据库的基本功能与应用介绍。熊璐在其硕士论文中较为系统地介绍了ESI数据库并就其应用进行了阐述和分析[3]；刘雪立等则概括了近些年利用ESI数据进行机构、学科、地区等方面的应用[4]；另外，刘雪立还介绍了ESI界定高被引论文的方法[5]。二是针对某一个学科领域的评价研究。这方面的研究比较多，是应用研究的热点。例如，Ma、Ni等对全球计算机学科进行了系统分析[6]；邱均平、杨瑞仙对材料科学进行了计量研究[7]。三是针对一所高校的整体分析。这方面的应用研究成果也比较多，比如何春建对于南京师范大学[8]，寇继虹和郭雨橙对于武汉大学科研产出的分析研究[9]。四是对地区科研实力的分析。这方面的研究需要较大的数据量，从更高层面进行针对性分析。例如，陈燕对于山东省高校[10]、丰国政对于广东省高校[11]的分析。五是综合评价实践研究，这方面以邱均平教授为首的研究团队每两年发布的《世界一流大学及学科竞争力排行榜》为典型[12-13]，该报告自2006年发布以来得到了各界的广泛关注，为中国科研机构尤其是各学科认知自身在国际上的发展水平提供了积极参考。六是对ESI存在问题及改进方法的研究。这方面的研究是随着ESI越来越受中国高校重视而产生的，有一定的探索性。比如，梁瑛和邹小筑提出了ESI工程类与中国教育部学科分类的对比研究，并提出了如何将两者进行对应的方法[14]，具有较强的实践意义。

从上面的分析看，基于ESI的研究成果大都偏向于应用，对其本质、使用时应注意问题等还研究得不够系统和彻底。为此，本文将系统探讨ESI在世界一流大学与学科评价中应注意的问题，并针对这些问题提出应对措施。

二、ESI在世界一流大学与学科评价中应注意的问题

ESI虽然创建时间较早(2001年)，但是在实际应用中对其基本属性以及应用细节还缺乏深入、系统性认识和思考，存在的一些问题亟待解决。

(一)ESI是基于SCI和SSCI的一个统计库，这是它的本质属性

ESI与SCI、SSCI是一脉相承的，SCI创建于1961年，SSCI则创建于1973年[15]，而SCI和SSCI是典型的引文数据库，其最主要的功能是为了信息检索——即通过引文构建知识组织网络，达到所谓的“越查越新、越查越旧”的检索目的。而ESI建立在SCI和SSCI之上(并不包括A&HCI)，它的最主要的目的是建立一个统计库，创建各种统计指标(如高被引论文、高影响力作者)。制定不同阈值标准(如1%、5%等)，从SCI和SSCI出发统计国家、机构、学科、学者、论文的科学表现[2]，所以它的主要功能是“科学评价”。另外，从ESI的名字——“基本科学指标”也可以看出其评价功能。

由此，我们要认清楚ESI的本质。ESI的数据来源就是SCI和SSCI，没有其他任何数据库数据，也就是说集中在学术论文方面，并且不包含人文艺术学科领域论文，所以它的评价有特定范畴，只能反映一个国家、组织、学科、学者在学术论文方面的表现，并不能反映这些评价对象的综合实力。在实际评价中，切忌“以偏概全”，切忌“滥用误用”工具。在世界一流大学和一流学科评价中，ESI只能是“反映论文生产力和影响力”的一个统计工具，超出这一范围而夸大其功能并不可取。

(二)ESI是一个综合性的工具，不单单能评价大学和学科，它为我们呈现多视角的统计分析结果

当前版本的ESI是一个功能比较丰富的统计工具，提供了多种组合查询方式，可以非常方便地提供多视角的统计分析结果。我们只有很好地掌握这些基本的检索统计功能，才能更科学、更充分地利用这一数据库。需要注意的是，ESI现实的结果都显示“发文数、被引数、篇均被引、顶尖论文(包含高被引论文和热门论文)”四个指标数据，提供的功能如表1所示。

从表1看，ESI提供了非常强大的检索统计功能，能够从多个角度对评价对象进行统计分析，比如查询中国大陆当前在所有国家(地区)中的相对科技论文实力，可以沿着“国家(地区)→不限定”查找(2006年1月1日-2016年8月31日的十余年数据，中国大陆发文、被引位居全球第二，顶尖论文位居全球第三，平均被引则排在104位)；如果想了解中国大陆计算机科学的相对实力，则可以沿着“国家(地区)→研究领域”查找(发文、被引、顶尖论文都排在全球第二，平均被引排在第46位)。

表1 ESI的检索功能

所以，ESI的检索统计功能非常强大，通过组合检索可以实现多个查询目的，而不是仅仅局限在大学和学科评价方面。我们只有很好地研究这些功能，才能更快速、更准确地查找到需要的信息。

(三)ESI的成果分配统计方式为“利益均沾，独立计数”，与中国普遍实行的方式有差异

对于合著论文的成果分配一直是一个比较有争议、棘手的问题。在ESI中采取了比较“简单”的统计方式，即每一个合著者都平等对待，共同分享这一成果，且都记为1。如果一篇文章有N个作者，那么这N个作者的发文数都会累计1；如果这篇论文被引了100次，则每位作者的被引次数也都会累计100。同理，对于机构、国家、学科等都采取同样的成果分配方式。

ESI的这种“利益均沾，独立计数”的成果分配方式需要引起我们的注意。在中国甚至很多西方国家，进行科研考核、成果评价时都不采用这种方式，而是按照第一作者、通讯作者等“作者身份”来确定每个作者的比重；即使是每个作者都同等作用，一般也按照1/N来进行成果分配。所以，ESI的这种计数方式虽然简单，但是和现实(尤其是中国的科研考核方式)计数方式存在较大差别，甚至在一定程度上具有一定的“迷惑性”，部分地掩盖了某些评价目标的实力，而相应地夸大了某些评价目标的实力。

(四)ESI不同检索组合得到的同一研究对象的统计结果不尽相同，有的差异较大

上文已经较为详细地介绍了ESI的各项检索功能，但是在实际操作中发现一个问题：通过不同的检索组合进行同一目标检索时得到的结果有差异，个别结果差异较大。图1、图2、图3给出的是“机构→国家(地区)”“研究领域→机构”和“机构→机构”得到的北京大学的相关结果，这三个组合检索式都可以得到北京大学在这10年间的总发文数和总被引次数等情况。在“机构→国家(地区)”检索中，北京大学的发文为55 571，被引次数为712 811；在“研究领域→机构”检索中，北京大学的发文为55 570，被引次数为712 801；在“机构→机构”检索中，其结果与“研究领域→机构”所得结果一致。从北京大学的情况看，不同的组合得到的结果略有差别。接着，我们尝试观察中国的另一个机构“INST MICROELECT”(中科院微电子研究所)，在“机构→国家(地区)”检索中发文为1，被引次数为3，其中顶尖论文为8；在“研究领域→机构”检索中发文为624，被引次数为9 914，顶尖论文仍为8；在“机构→机构”检索中所得结果与“研究领域→机构”所得结果一致。从这一结果看，所得检索结果差别非常大。通过顶尖论文数量来判断，“机构→国家(地区)”所得结果可能存在一定问题，因为发文为1不可能得到8篇顶尖论文。所以，虽然ESI提供了很全面的检索功能，并且可能有多个组合检索可以达到殊途同归的目的，但是一定要谨慎比较各个结果，从而得到更为精准的检索结果。

图1 通过“机构+中国”查找方式得到的北京大学统计结果

图2 通过“研究领域+机构”查找方式得到的北京大学统计结果

图3 通过“机构+机构”查找方式得到的北京大学统计结果

(五)ESI在处理重名时还不够精确

重名问题是Web of Knowledge中困扰已久的问题，当前该平台已经通过限定检索可以更精准地得到结果。但是，在ESI中重名问题并没有得到很好解决，尤其是在人名和机构名方面，其处理功能还比较“粗糙”。

首先分析一下上文提及的“INST MICROELECT”，我们将这一机构的8篇顶尖论文逐一打开核查，发现没有一篇属于中国大陆，其中7篇属于新加坡微电子研究所，1篇属于俄罗斯微电子研究所。由此可见在机构中存在“重名”的情况。接着，我们核查一位名为“Peng, K”的成果，结果显示该人有5篇顶尖论文，逐一核查，发现有“Peng, Kang(1篇，美国天普大学，计算机领域)”“Peng, Ke(1篇，荷兰莱顿大学)”“Peng, Kathy(1篇，美国斯坦福大学)”“Peng, Kang(2篇，中国中南大学，材料科学领域)，由此可见对于作者来说，重名问题广泛存在，在ESI中并没有得到很好处理。

(六)ESI中的研究领域与中国的学科分类差别很大

在ESI中，总共提供了22个研究领域，它们中既有非常精细的领域，如分子生物学与遗传学，也有比较粗的领域，如工程学，所以ESI把它们命名为研究领域(Research Fields)，而非学科。但是，中国不少人把这些研究领域当成学科，这是认识误区。更为重要的是，这22个研究领域与中国《教育部学位授予和人才培养学科目录》无法很好对应。

表2 ESI研究领域与教育部学科分类的“脱轨”现象

从表1看，ESI的研究领域和教育部学科分类差别很大：一是一级学科和二级学科并列，如生物学(0710生物学)与生物化学(071010生物化学与分子生物学)；二是二级学科分为多个领域，如071010生物化学与分子生物学分为生物化学(与生物学并称)和分子生物学两个研究领域；三是一个领域对应多个一级学科甚至跨学科门类，如药理学与毒理学这一研究领域对应1007药学和1004公共卫生与预防医学两个一级学科，而环境学与生态学这一研究领域则跨了08工学和07理学两大门类；四是一个一级学科划分为多个研究领域，其中最为明显的是0710生物学分为生物学与生物化学、微生物学、分子生物学与遗传学、神经系统科学与行为学、植物学与动物学6个研究领域；五是一些领域包含的范畴非常广，如工程学实际包含多个一级学科。

从上面的分析可以看出，ESI的研究领域与教育部学科分类无法很好对应(表2)，有的领域较粗糙，有的领域则较精细。当前中国的学科评估越来越着眼于一级学科，所以ESI提供的学科数据与我们的实际评估有些“脱轨”。

三、中国双一流大学建设的应对措施

从上面的分析来看，ESI是国外的产品，还存在一些问题，尤其是如何有效的“本土化”还需要进一步梳理。针对这些问题，笔者提出相应的应对措施。

(一)精准把握ESI中各指标的内涵、结果显示、基准线及阈值标准、检索方式，这是合理利用ESI的基本出发点

首先我们必须了解ESI的三大指标及其意义——顶级论文(Top papers)、高被引论文(Highly cited papers)和热门论文(Hot papers)的内涵。高被引论文是指一个研究领域内，某年发表的论文迄今为止按照被引次数从高到低排序排在前1%的论文。热门论文是指一个研究领域内，近两年发表的论文在最近两个月的被引次数从高到底排在前0.1%的论文。顶级论文则是高被引论文和热门论文的总和[2]。

需要强调的是，作者和机构显示的是在近10年被引次数排在前1%的作者和机构，期刊和国家(地区)则显示近10年被引次数排在前50%的期刊和国家(地区)[2]。所以，并不是所有作者、机构、期刊和国家(地区)都能得到显示，而是显示那些“代表性”的研究对象。

基准线(Baseline)则主要理解高被引论文遴选标准，在ESI中常规显示的是排在前1%的论文，但是也提供了其他各个百分比的标准，具体有0.01%、0.1%、1%、10%、20%和50%六个基准线，所以，我们除了研究1%的高被引论文，还可以进一步提高或者降低基准线，从而发现更具竞争力的论文。对于ESI，阈值(Threshold)给出了“ESI阈值”“高被引论文阈值”和“热门论文阈值”，ESI阈值给出的是作者、机构、期刊和国家(地区)的最低被引次数，高被引论文阈值和热门论文阈值则提供两个指标分研究领域、年度(月度)的最低被引次数。所以，通过ESI给定的基准线和阈值，可以发现一所大学有潜力的学科、学者和论文，可以有重点、有针对性地支持它们进一步发展。

需要再次强调的是，必须熟悉ESI的检索功能，尤其是组合检索的含义，特别是注意上文提及的可能出现的问题。我们当前只是发现了机构发文和被引在不同组合检索所得结果存在的不同问题，至于是否还有其他“不一致”还需要进一步核查。

(二)按照国内通行的成果分配方式重新审视自身实际表现，对自己的实际水平做到心中有数

ESI的成果分配方式在中国科研管理中可能并不适用，一般很少将一篇论文的贡献累计到每一个作者身上。ESI使用了这种方法，我们改变成果分配方式进行重新统计困难很大，所以只能按照国内通行的成果分配方式仔细检查每所大学自身的具体情况，如果一所大学的大部分论文的第一作者或者通讯作者都不属于这所大学，即使这所大学进入了(尤其是刚刚进入)ESI研究领域排行，实质上仍然可能存在一定差距。但是，应该鼓励合作，在合作中不断提升自己的水准，尽早成为一个领域有影响力甚至领头羊机构。所以，每个机构尤其是研究领域刚刚进入ESI排行或者排名不稳定(有时进入有时又退出)更需要审视自身的实际表现。

(三)高度重视重名问题，应着眼于论文本身，尤其是在顶尖论文的判定方面更要谨慎

正如前文分析，在评价作者和机构时会遇到重名的情况，这在实际应用中需要重视，要将不属于自己的论文排除。所以，每所大学要对自己的论文进行审视，这与成果分配方式处理方式一致。对于一所大学的一个研究领域或者作者，要更加重视顶尖论文的归属，必须核查那些顶尖论文到底是否属于这所大学的实际作者。当前，国内的科研奖励很大一部分是基于论文尤其是高水平论文，所以在ESI存在重名问题的实际情况下，要谨慎对待顶尖论文的归属。

(四)重新审视研究领域，精准把握每个领域确切包含的范畴

ESI实际上最基本的出发点就是“分类评价”，这种分类体现在研究领域细分上。但是，从上面的分析来看，ESI的研究领域与教育部的学科目录很难很好对应，很难将研究领域精确对应教育部的学科目录，所以评估世界一流学科需要谨慎。对于已经非常精细的研究领域，如分子生物学与遗传学需要清楚它们包含哪些期刊(SCI和SSCI给每个期刊划分一个学科，ESI则将每个期刊强制性划分到一个研究领域)，必须结合实际考察这些研究领域具体研究哪些内容。对于比较粗的研究领域，如工程学则必须清楚它们包含哪些具体的学科领域，以及一所大学具体涉及到哪些学科领域、有哪些活跃作者、是否有高被引论文、热门论文等。

当然，了解研究领域的具体范畴，需要仔细研究每个研究领域包含的期刊有哪些，ESI提供了专门的期刊分类列表，具体可参照ESI的帮助文件。然后，可以继续结合和对照JCR中SCI和SSCI的学科分类(它们的分类更加具体，SCI包括176个学科，SSCI包括56个学科)进行进一步的界定。当然，有一些学者还就如何进行学科细分提供了更为复杂的方法，具体方法在此不详细展开，请参见参考文献[14]和[16]。

(五)更加重视高水平论文和拔尖人才的发现，为高校以及学科提供持久、根本动力

高质量人才、高水平成果是一所高校、一个学科可持续、高竞争力发展的根本。从微观上来讲，高被引论文主要考察一篇论文的影响力，热门论文则主要考察一篇论文的创新力，在这里统称为高水平论文。一个学科尤其是基础学科的建设需要一批高水平论文的支撑，这些高水平论文可以大大提升一个学科的学术显示度。在ESI中把高水平论文统称为顶尖论文(Top papers)，可以很方便地查找到一个学科、作者、机构、期刊有哪些高水平论文。拔尖人才在ESI中主要是指一个学科排在前1%的作者，但是我们发现这些作者数量还比较多，比如社会科学综合有就7 650人。Clarivate Analytics(当前Web of Science平台已经全部交由公司运营)采用更加严格的方法(基于高被引论文而非所有论文进行统计)确定了每个领域的高被引研究者(Highly cited researchers)[17]，这些拔尖人才影响力更高，比如社会科学综合全球最终只有170人入选。拔尖人才是一个学科、一所高校在建设世界一流大学和一流学科中最为根本的智力保障。只有抓住人才，出大成果，一个学科才能更有话语权，才能在世界科技之林占有一席之地。

在当前ESI还与中国实际结合不是很紧密的情况下，一所高校应更加重视高水平论文和学者的挖掘，加大激励和扶持，激发更大的创新力，产出更多的精品成果，通过积累尽快成为某一领域的具有国际影响力的学术重镇。

四、小结

当前，中国高校已经把建设“双一流”作为今后工作的重中之重，受到了广泛的关注。ESI为当前衡量一所高校、一个学科是否是世界一流高校、一流学科提供了很好的计量工具和参考。但是，ESI并不是万能的，也不是完美的，还存在着较多问题，这些问题既有计量方法的问题，如成果分配的方式、高被引论文阈值的确定等，更为重要的问题是ESI的研究领域与中国现行的学科分类无法很好对应，这就需要我们进一步“加工”和“核查”，并进行必要的技术处理。在认清楚ESI本质和指标细节的基础上，仔细分析自身论文的实际情况，不仅仅重视是否进入ESI排行，还应该清晰知晓自己的实际水平，真正做到知己知彼。在当前无法大规模改变ESI统计方式的情况下，要更加重视高水平作者和高水平论文的发现，加大奖励和扶持，为学科良性循环和高速发展提供根本保障。所以，我们在评估世界一流大学和学科时，既不能将ESI滥用，也不能弃而不用，在认清楚其存在的问题后根据自身情况进行再统计和利用，这样才能发挥其真正的参考作用。

[1]国务院.关于印发统筹推进世界一流大学和一流学科建设总体方案的通知[EB/OL]. (2015-11-05).[2016-12-28].http://www.gov.cn/zhengce/content/2015-11/05/content_10269.htm.

[2]汤姆森路透集团.ESI数据库[DB/OL].[2016-12-28].http://wokinfo.com/products_tools/analytical/essentialscienceindicators.

[3]熊璐. 美国《基本科学指标数据库》的研究与应用[D]. 武汉：武汉大学, 2005.

[4]刘雪立, 张诗乐, 盖双双.基于论文产出的科研绩效评价——ESI和InCites应用研究综述[J]. 现代情报, 2016, 36(3):172-177.

[5]刘雪立. 基于Web of Science和ESI数据库高被引论文的界定方法[J]. 中国科技期刊研究, 2012, 23(6):975-978.

[6]MA R, NI C, QIU J. Scientific research competitiveness of world universities in computer science[J]. Scientometrics, 2008, 76(2):245-260.

[7]邱均平, 杨瑞仙. 基于ESI数据库的材料科学领域文献计量分析研究[J]. 情报科学, 2010(8):1121-1126.

[8]何春建. 南京师范大学2005年-2015年科技论文产出统计与分析——基于Web of Science、ESI、InCites数据库[J]. 南京师大学报(自然科学版), 2016, 39(1):145-152.

[9]寇继虹, 郭雨橙. 基于WOS和ESI的武汉大学科研产出分析[J]. 信息资源管理学报, 2016(1):97-104.

[10]陈燕. 基于ESI的山东省省属高校科研统计分析[J]. 中国科技信息, 2016(21):112-114.

[11]丰国政. 基于ESI数据库的广东重点建设高校科研竞争力计量分析[J].高教探索, 2016(3):41-45.

[12]邱均平, 赵蓉英, 郭凤娇. 世界一流大学及学科竞争力评价报告[M].科学出版社, 2015.

[13]邱均平, 赵蓉英, 马瑞敏,等. 世界大学科研竞争力排行榜是如何产生的?[J]. 高教发展与评估, 2006, 22(3):33-38.

[14]梁瑛, 邹小筑. ESI工程类与中国教育部学科分类的对比研究[J]. 农业图书情报学刊, 2016, 28(1):76-81.

[15]Klein D B, Chiang E. The Social Science Citation Index: A Black Box—with an Ideological Bias?[J]. Econ Journal Watch, 2004, 1(1):134-165.

[16]马瑞敏. 学术期刊影响力评价研究——基于历时视角的新实践[J]. 中国科技期刊研究, 2014, 25(11):1397-1403.

[17]Clarivate Analytics.Highly cited reserachers[DB/OL].[2016-12-28].http://hcr.stateofinnovation.com.

Theproblemsandsolutionsforworld-classuniversitiesandsubjectsevaluationusingESI

SHI Zhuqin1,2, ZHU Xianqi1

(1.SchoolofEconomicsandManagement,TaiyuanUniversityofTechnology,Taiyuan030024,P.R.China; 2.SchoolofEconomicsandManagement,TaiyuanUniversityofScienceandTechnology,Taiyuan030024,P.R.China)

ESI, based on SCI and SSCI, plays an important role in world-class universities and subjects evaluation and attracts broad attentions from domestic universities. Under this background, we discussed the six problems in world-class universities and subjects evaluation using ESI, such as the differences between the method of output allocation in ESI and that used in general in China; the different retrieval results for the same evaluation objects. On the basis of these problems, corresponding solutions were put forward, such as accurately grasping the connotation of indicators, result shows, baselines and thresholds, and retrieval methods; further valuing the discovery of high-level papers and scientific elites.

ESI; first-class universities; first-class subjects; educational evaluation

10.11835/j.issn.1008-5831.2017.06.009

史竹琴，朱先奇.ESI在世界一流大学与学科评价中的问题与对策研究[J].重庆大学学报(社会科学版),2017(6):84-91.

FormatSHI Zhuqin, ZHU Xianqi.The problems and solutions for world-class universities and subjects evaluation using ESI[J].Journal of Chongqing University(Social Science Edition),2017(6):84-91.

2017-04-29

山西省高校人文社科重点研究基地项目“山西省本科高校社会科学类学科竞争力评价研究(2016309)”；山西省高校“131”领军人才工程项目“中西部地方高校绩效评价研究(2015052009)”

史竹琴(1979-)，女，山西襄汾人，太原理工大学经济与管理学院博士研究生，太原科技大学经济与管理学院讲师，主要从事科技创新与知识管理、高等教育管理研究，Email:574610321@qq.com；朱先奇(1954-)，男，山西定襄人，太原理工大学经济与管理学院教授，博士研究生导师，主要从事科技创新与知识管理、高等教育管理研究。

G40-058.1

A

1008-5831(2017)06-0084-08

(责任编辑 彭建国)