基于ESI数据库的学术评价研究热点探析

杜昊

摘 要 论文利用文献计量学方法和文献分析软件“Bibexcel”，对基于ESI数据库的学术评价论文做定性和定量的分析。研究得出基于ESI数据库的学术评价研究热点包括三个层次：初级、中级和高级学术评价。初级学术评价是基于国家、机构、科研人员和期刊的研究，中级学术评价是基于科研合作、学科建设的研究，高级学术评价是研究衡量科研水平的因素，学术评价的指标和建立评估指标体系。论文还探索了未来研究的方向，主要包括：基于基准值和引文阀值开展学术评价，预测学科趋势和热点，为未入围的国家、机构的学科建设指明方向。

关键词 基本科学指标数据库 ESI 文献计量学 学术评价

分类号 G250.252

DOI 10.16810/j.cnki.1672-514X.2016.05.021

Disscusion and Analysis on Hot Topics of Academic Evaluation Based on ESI Database

Du Hao

Abstract This paper makes qualitative and quantitative analysis on academic evaluating papers based on ESI database by using bibliometrics and literature analysis software“Bibexcel”. The study shows that there are three levels of hot topics of academic evaluation based on ESI database： primary， intermediate and advanced academic evaluation. Primary academic evaluation is the research about countries， institutions， scientific research personnel and journals； intermediate academic evaluation is the research about scientific research cooperation， discipline construction； advanced academic evaluation is the research about measuring the factors of the scientific research level， the academic evaluation index and establishing evaluation index system. Moreover， it explores the future research topics as follows： carrying out academic evaluation based on baselines and citation thresholds； predicting academic trend and hotspots； indicating directions for discipline construction of countries and organizations which arent shortlisted.

Keywords Essential Science Indicator. ESI. Bibliometrics. Academic evaluation.

ESI，全称是Essential Science Indicator，译名为基本科学指标数据库，是美国科学信息研究所ISI推出的衡量科学研究绩效、跟踪科学发展趋势的基本分析评价工具，是基于SCI和SSCI收录的全球11 000多种学术期刊的1000多万条文献记录而建立的计量分析数据库。ESI从引文分析的角度，针对22个专业领域，分别对国家（地区）、机构、科研人员和期刊进行统计分析和排序，主要指标包括论文收录数、论文被引频次、论文篇均被引频次。

继2001年推出以来，ESI已在国内外掀起一阵学术评价的热潮，现已成为评价国家（地区）、机构、科研人员和期刊国际学术水平及影响力的重要评价工具之一。笔者利用文献计量学的方法对利用ESI数据库进行学术评价的研究论文进行了统计、整理，探析基于ESI数据库的学术评价研究热点。

1 数据统计结果分析

笔者利用检索式TI=Essential Science Indicator OR ESI，在Web of Science检索到英文文献94篇，经过主题分析，再剔除一些非正式论文、会议征稿等文献，经过去重处理后，最终得到文献66篇，检索时间为2014年12月。本文采用文献计量法、引文分析法和主题词频分析法等方法，利用统计分析软件Bibexcel对有关数据进行关键词和共词分析，从定性和定量的角度分析基于ESI数据库的学术评价研究热点。

1.1 论文发表时间分析

从表1可以看出，基于ESI的学术评价研究呈现阶段性发展趋势，起源于2002年，是继ISI机构推出ESI数据库后的第二年。按照时间分布主要可划分为三个阶段。第一阶段是2002年至2007年，每年发表论文数量占总论文数量的比例是1.5%至9%之间，2004年论文数量达到6篇，说明已有业界人士开始关注该研究领域。第二阶段是2008年至2010年，论文数量比例在4.5%至11.9%之间，呈先升后降的趋势，说明业界人士对该领域研究有一定重视。第三阶段是2011年至2014年，论文数量呈平稳或递增趋势，比例都在11.9%，说明进入了该领域的研究热期。由于期刊出版周期和SCI收录更新时间等原因导致2014年发表的部分论文未能检索到，根据文献增长规律可推断，2014至2015年有关ESI学术评价的论文应呈平稳或增长趋势。

1.2 论文作者分析

对论文作者（部分论文没有署名）情况进行统计分析，可以看出，全球只有27个国家和地区对这一领域进行研究。大致可以分成四个梯度：美国和中国是对这一领域研究最多的国家，均为11篇，作为第一梯度；第二梯度是论文数量均为3至4篇的印度、西班牙、英国、德国；第三梯度是论文数量均为2篇的乌克兰、意大利、南非、澳大利亚、俄罗斯和葡萄牙；第四梯度是论文数量均为1篇的马来西亚、匈牙利、爱沙尼亚、巴西、日本等14个国家（或地区）。

统计数据反映出：在全球范围内，利用ESI进行学术评价研究还不是一个非常普遍的研究课题，很多国家如法国、加拿大等都没有相关研究成果；部分发达国家的研究水平相对较高，但发展中国家如中国的研究水平也很高，超过了如英国、德国、日本等发达国家，说明我国对学术评价的研究非常重视，ESI已经成为我国衡量国家、机构、科研人员国际学术水平及影响力的重要评价工具之一。

1.3 词频统计和共词分析

关键词是揭示和描述文献主题和研究成果的核心内容。关键词频率能直接反映某领域受关注的程度和学科发展趋势，关键词出现次数越多的领域，其研究的集中度就越高，就越有可能是某学科的研究热点。因此，利用文献分析软件Bibexcel对66篇文献的关键词进行词频统计和共词分析，得到论文关键词词频统计表3（省略词频为1的关键词）、论文关键词共词分析图1。

表2 论文关键词词频统计表

从表2和图1可以看出，研究主题主要集中在文献计量学、引文分析、科学出版物、影响因子、高被引论文、期刊、学科分析、科学生产力、国际合作、大学、H指数、研发投入和比较分析。

2 基于ESI数据库的学术评价研究热点

基于ESI的学术评价，目前有初级评价、中级评价和高级评价。初级评价包括对宏观层面的国家、机构、科研人员和期刊的评价和比较；中级评价以科研合作、学科建设为主题；高级评价主要是研究衡量科研水平的因素和建立评估指标体系。目前的学术评价类型也有多种，有单一类型的学术评价，也有多类型的学术评价，论文的评价类型分类如表3所示。

表3 论文评价类型分类表

2.1 初级学术评价——基于国家、机构、科研人员和期刊的研究

ESI里的“引文排位”模块收录了近10年居世界前50%的国家和期刊排名表，以及近10年居世界前1%的机构和科研人员排名表，这些数据可以反映出国家、机构、科研人员及期刊的学术水平。

2.1.1 研究国家科研实力并进行比较

Mohammed Jeenaha等对南非1996—2005年的科研论文情况进行了分析，并与巴西、印度等国家进行了比较；杨丽颖等[1]对G7国家和金砖四国之间进行了科研水平比较；E.AversaV.Markusova[2]对俄罗斯、中国和英国大学的科研情况进行了比较。

2.1.2 研究机构的科研情况并进行学术比较

AnastassiosPouris[3]对南非学术机构的科研水平进行了评估，结果显示南非仅有六所大学共9个学科进入ESI；Y.V.Mokhnacheva[4]对俄罗斯科研机构的科研绩效进行了比较研究。

2.1.3 研究科研人员的学术情况

Giovanni Abramo等[5]对高产出论文和高被引论文的作者进行了比较分析，研究发现高产出作者不一定就是高被引论文作者。

2.1.4 研究期刊的学术情况

Pavao Rudan等[6]研究了克罗地亚社会科学领域中进步最快的期刊；Subbiah Gunasekaran[7]比较研究了ESI所有学科的OA期刊和订购期刊的影响因子，发现订购期刊的影响因子均高于OA期刊，作者认为OA期刊能帮助发展中国家诸如印度的期刊提高影响因子。

2.2 中级学术评价——基于科研合作、学科建设的研究

随着科学技术的发展，科研合作与交流越来越重要，科研合作的重要表现形式之一就是论文合著。因此，论文合著情况有助于我们了解科研合作的特点，以便更好地制定科研计划、实施科研合作，从而提高科研质量和效率。

2.2.1 研究科研合作情况

Tzeng-Ji Chen[8]对中国台湾地区临床医学的国际合作进行研究，结果显示美国是最重要的合作国家，贡献了69.9%的合作论文；Reinhard K.Kremer[9]对爱沙尼亚的科研论文合作国家进行了分析，并重点分析了与俄罗斯的科研合作情况；Hui-Zhen Fu等[10]研究发现中国的论文中50%是国际合作的，主要合作国家是美国，其次是德国、英国、日本等，认为国际合作论文对中国学术有积极的贡献；V.V.Pislyakov[11]发现国际合作对高被引论文创新力起着关键性作用。

2.2.2 研究学科建设与发展。

T·F.G.Cova等[12]将伊比利亚的大学根据学科相似性进行分类，研究发现大学之间的相似性不仅来源于大学排名，还来源于每所大学学科领域和相互结合后的排名；ScienceWatch主编Christopher King[14]基于ESI研究前沿列表整理出“2013研究前沿——自然科学和社会科学的前100个探索领域”研究报告；Alyssa W. Goldman[14]以系统生物学为例，研究跨学科的概念化形成和新兴领域发展。

2.3 高级学术评价——研究衡量科研水平的因素，学术评价的指标和建立评估指标体系

在进行初级评价和中级评价的同时，部分学者利用ESI的各项指标和内容，研究了衡量科研水平的因素，并建立评估指标体系。

2.3.1 研究衡量科研水平的因素

（1）科研投入对科研水平的影响。一个国家的经济实力以及对科研的投入程度极大程度地影响了科研发展水平。GanganPrathap[15]运用R&D指数占GDP的比例和科研人员数量占人口的比例这两个指标来研究科研投入对学术研究的影响。研究显示，大多数发达国家科研人员的人均收入非常高；JüriAllik[16]认为：经济实力越强、人均收入越高、科研投入越高的国家科研成果越显著。

（2）其他因素的影响。J.A.S. Almeida[17]对欧洲国家科技发展力的区域合作进行了调查分析，研究显示地理和文化因素很大程度影响了这些国家的科研发展；JüriAllik认为政策决策者的政策决断也影响着科研发展。

2.3.2 探讨学术评价的指标

（1）期刊和引文双重作用。刘玉先[18]提出期刊和引文对科研成果的双重影响，期刊作用是内部机制，引文作用是外部机制，并为内部注入活力。作者认为论文涉及领域越多，越具有潜在应用和引用性。

（2）h指数。Bornmann[19]提出h指数可用于测评论文中高被引论文数量及其被引频次，是衡量科研成果的指标；Bornmann[20]利用引文分析软件HistCite形成了h指数的研究前沿，包括引文数据库、验证研究、新应用、理论分析、新指标发展。

（3）论文优越性系数。胡小军[21]提出用ESI的篇均被引频次和基准值构成公式得出的论文优越性系数，是评价机构学术水平的新指标。

2.3.3 构建综合评估指标体系

Mario Coccia[22]建立了“RELEV模型——研究实验室评估模型”，运用标准多变量统计方法对意大利公共研究机构的5个领域科研情况进行评估；Hui-Zhen Fu基于ESI 2000年至2009年的数据，建立综合评估指标体系，包括期刊、学科分类、国际合作国家、合作机构和高被引论文指标，分析中国学术研究特点；Anne-WilHarzinga[23]利用国际商务和经济学的框架构建了一个结构化模型来反映国家的学科竞争优势，分析各个国家的优势学科和劣势学科情况。

3 讨论与结论

未来的研究除了围绕以上初级、中级、高级学术评价外，笔者认为还将围绕以下几个方面展开。

3.1 基于基准线模块开展学术评价

ESI的“field baselines”即基准线模块，由“平均被引频次”“百分比”和“学科排名”三部分组成。“平均被引频次”计算2005至2015年每一年的平均被引频次，是单篇论文的被引频次之和除以论文总数，全部10年的平均数和各学科领域以及全部学科领域的被引频次均被给出。各学科（或全部领域）的“平均被引频次”可用作国家、机构、科研人员及期刊排位表给出的单篇论文被引值的基线。独立年份的学科领域平均值可以用于进行该年份出版论文的比较[24]。

“百分比”包含从2005至2015年每一年22个学科以及所有学科的百分比基准，有0.01%、0.1%、1%、10%、20%和50%共5个基准。百分比基准表示的是各年份、各领域及全部领域的被引频次居前0.01%、0.1%、1%、10%、20%和50%的论文入选条件。例如，2013年化学论文被引频次为50的入选条件，选出的是占2013年化学领域出版的论文总数1%的论文。也可以用作国家、机构、科研人员以及期刊的科研水平层次划分的标准。

3.2 基于引文阀值开展学术评价

ESI的“citation thresholds”即引文阀值模块，包括“ESI阀值”“高被引阀值”和“热门论文阀值”三部分，是将各个学科领域的引文数、高被引论文和热门论文按降序排列的最小引用频次。“ESI阀值”对每个学科领域制定了研究机构、国家、科研人员和期刊的10年引文阀值，其中科研人员和机构的比例是1%，国家和期刊的比例是50%，大于引文阀值的可以入选。例如计算机科学的国家引文阀值是181，意思是某国2005—2015年间在计算机科学领域的论文被引频次总数达到181次即可入选ESI。根据引文阀值，可以对未入围ESI的机构、国家、科研人员和期刊进行对比分析。

3.3 预测学科趋势和热点

ESI的“研究前沿”模块是一组由热门论文、高被引论文或顶尖论文各自组成的核心研究领域，每个研究前沿包括学科研究领域的核心主题词、核心文献的论文数量、论文被引总次数、平均被引频次和平均出版年份。基于同被引聚类分析法的原理，通过“研究前沿”可以追踪和推测学科或专业的发展动向和趋势。在此基础上，结合ESI和InCites数据库的其他引文数据，采用数据挖掘技术动态地、综合地揭示学科趋势和热点问题。

3.4 为未入围的国家、机构的学科建设指明方向

目前，围绕ESI的学术评价主要是对已入围ESI的国家、机构和科研人员的学术评估，缺乏对未入围的国家、机构的学科建设及未入围的科研人员的分析，可利用ESI和InCites数据库的引文数据进行计量分析，找出目前的学科优势和存在的不足；从已入围学科计量分析入手归纳总结出规律，为未入围的国家或机构提高学科竞争力和学术水平提供新思路。

参考文献：

[ 1 ] YANG L Y， YUE T. A comparison of disciplinarystructure in science between the G7 and the BRIC countries by bibliometric methods[J].Scientometrics，2012（93）：497-516.

[ 2 ] AVERSA E， MARKUSOV V. Bibliometric indicatorsand their impact on russian university rankings[J].Co-llnet Journal of Scientometrics and Information Management.2010，4（1）：1-8.

[ 3 ] POURIS A. The international performance of the South African academic institutions：a citation assessment[J]. Higher Education，2007（54）：501-509.

[ 4 ] MOKHNACHEVA Y V， KHARYBINA T N. Researchperformance of RAS institutions and russian universit-ies：A comparative bibliometric analysis[J].Herald of the Russian Academy of Sciences，2011，81（6）：569-574.

[ 5 ] ABRAMO G， COCERO T. Are the authors of highlycited articles also the most productive ones？[J]. Journal of Informetrics，2014（8）：89-97.

[ 6 ] RUDAN P. Our “collegium antropologicum” officiallythe most improved social science journal in the world for mid-2002[J].Collegium Antropologicum，2003，27（27）：S1-4.

[ 7 ] GUNASEKARAN S， ARUNACHALAM S. The impact

factors of open access and subscription journals across fields[J].Current Science，2014，104（3）：380-388.

[ 8 ] CHEN Y C. International collaboration of clinical me-dicine research in Taiwan，1990-2004：A bibliometric analysis[J].Journal of Chinese Medical Association，2007，70（3）：110-116.

[ 9 ] KREMER R K. Aspects of the scientific cooperationof Estonia and Germany in view of bibliometry[J].Pro-ceedings of the Estonian Academy of Sciences，2009，58（4）：255-262.

[10] FU H Z. Characteristics of research in China assessed with Essential Science Indicators[J].Scientometrics，2011（88）：841-862.

[11] PISLYAKOV V V. The“masterpieces of scientific cre-ativity”：An analysis of highly cited papers by russian scientists[J].Automatic Documentation and Mathematical Linguistics，2011，45（6）：293-300.

[12] COVA T F G. Iberian universities：a characterisationfrom ESI rankings[J].Scientometrics，2013（94）：1239-1251.

[13] CHRISTOPHER K， DAVID P. 2013研究前沿：自然科学与社会科学的前100个探索领域[R].Science Watch，2013（4）：1-21.

[14] GOLDMAN A W. Conceptualizing the interdisciplinary diffusion and evolution of emerging fields：The case of systems biology[J].Journal ofInformetrics，2014（8）：43-58.

[15] PRATHAP G. How much should a nation spend on academic research？[J].Current Science，2010，98（9）：1182-1184.

[16] JURI A. Factors affecting bibliometric indicators ofscientific quality[J].Trames：A Journal of Humanities & Social Sciences，2013，17（3）：199-214.

[17] ALMEIDA J A S. Science indicators and science pat-terns in Europe[J].Journal of Informetrics，2009，3（2）：134-142.

[18] LIU Y X， ROUSSEAU R. Knowledge diffusion through publications and citations：A case study using ESI-fields as unit of diffusion[J].Journal of the American

Society for Information Science and Technology，2010，61（2）：340-351.

[19] BORNMANN L， DANIEL H D. What do we know about the h index？[J].Journal of the American Society for Information Science and Technology，2007，58（9）：1381-1385.

[20] BORNMANN L. HistCite analysis of papers constituting the h index research front[J].Journal of Informetrics，2012（6）：285-288.

[21] HU X J. Relative superiority coefficient of papers：A new dimension for institutional research performance in different fields[J].Scientometrics2007，72（3）：389-402.

[22] COCCIA M. Measuring scientific performance of public research units for strategic change[J].Journal of Infor-metrics，2008，2（3）：183-194.

[23] HARZING A W. The competitive advantage of nations：An application to academia[J].Journal of Informetrics，2014，8（1）：29-42.

[24] 熊璐.美国“基本科学指标数据库”的研究与应用[D].武汉：武汉大学，2005.