高校大学排名中学术影响力归一化因子科学性刍议

朱高风

(湖州师范学院 高等教育研究所，浙江 湖州 313000)

高校大学排名中学术影响力归一化因子科学性刍议

朱高风

(湖州师范学院 高等教育研究所，浙江 湖州 313000)

西班牙著名SCImago研究组的世界大学及研究所论文排名和上海交通大学世界大学学术排名都是权威的世界大学排名。其中西班牙大学论文排名中的论文归一化指标(NI)代表高校或研究所的平均学术影响力，在荷兰莱顿大学排名中也存在这个指标。而2015年上海交通大学中国最好大学排名榜发布，其中科研质量(论文质量)指标解释与西班牙论文归一化指标(NI)解释一致。但是这两个大学排名中的这个指标中部分全国综合排名较落后的高校却非常领先。本文以NI指标为例，深入分析该指标的来源、计算公式，并阐述该指标的价值，分析该排名结果的原因。为研究西班牙世界大学及研究所论文排名和推进不同国家、区域、大学之间学术水平比较提供研究基础。

世界大学排名；论文排名；归一化因子；排名指标

现今大学排名无法用简单的原始数据对比来显示高校的学科专业和优势、论文质量优异，而其中代表高校科研产出的高校论文之间的排名归一化研究又尤为重要。如何比较不同专业、不同年限、不同类型论文的质量呢？比如生物学发表一篇文章，医学发表一篇文章，哪篇论文在各自学术领域中的影响力大一点？或者某校前几年就发表一篇文章，而今年有另一所学校发表了类似的研究论文，哪篇影响力大？如何科学的比较？近年来，随着欧洲文献计量学的迅速发展，使得它们在归一化研究中取得了重要突破，其中西班牙SCImago 研究小组世界大学与研究所论文排名(SCImago Institutions Rankings)中的归一化指标(Normalized Impact,NI)便是其中的亮点之一。SIR排名的归一化因子通常解释为基于单篇论文引文分值计算的评估指标，用于评估机构的平均学术影响力。[1-2]在SCImago网站的表述中，NI指标被描述为“该值显示的是研究机构和世界平均影响力的关系，以世界的平均水平为1，NI为0.8，表示该研究机构平均引用率比世界低20%；而NI值为1.3，表示该研究机构平均引用率比世界高30%”[3]甚至在很多引用SCImago排名的网站中，直接表述为“论文世界水平位1，低于1表示低于世界水平，高于1则高于世界水平。”

在荷兰莱顿大学排名中也存在着类似指标，被称为皇冠指标。两者最大的区别是西班牙SIR大学排名NI指标与荷兰莱顿大学排名皇冠指标计算数据来源所用的数据库不同，前者计算数据来自是荷兰Elsevier(爱思唯尔)公司的Scopus数据库，这也是《美国新闻与世界报道》的QS大学排名所用的数据库，后者是Thomson Reuters (汤森路透公司)的Web of Science(简称WOS)数据库，也是英国《泰晤士报》THES世界大学排名所采用数据库。

其实我国国内也有这样的指标。曾发布过著名“世界大学学术排名”的上海交通大学世界一流大学研究中心发布的“中国最好大学排名”中就存在。2015年该研究机构设立上海软科教育信息咨询有限公司，除发布世界大学学术排名外，开始发布中国最好大学排名。该排名对科学研究设立了四个二级指标，其中的科研质量(论文质量)指标是指学科标准化后的科研论文影响力(Field Weighted Citation Impact，简称FWCI)。对于该指标的解释中指出“科研评价中测量论文的影响力或者质量的基本指标是论文的被引用次数。但是，不同学科的论文被引用次数的整体情况存在显著差异，需要标准化处理后才能进行跨学科比较。”[4]除了不同学科，该解释还指出发表年份不同、类型不同的论文也必须进行标准化。认为“FWCI是标准化后的论文影响力，计算的是对象论文的被引用次数和相同学科、相同年份、相同类型论文平均被引次数的比值。”[4](下文把该指标称为论文归一化因子)。

一、论文归一化因子指标

笔者查询2015年SCImago大学论文排名的其中NI因子排名的中国高等教育机构的部分排名(见表1 ，数据中的NI值已经过SCImago研究小组处理，不是NI指标的原始值，是NI指标的得分)，[5]获得结果让人惊讶，国内大学排名450名(艾瑞深中国校友会大学排行榜)左右的A学院NI因子得分高达14.02分为国内第一名，是北京大学或者清华大学得分的2倍以上；此外国内大学排行榜400名左右的B学院(6.68分)排名位于中国第五，高出北大0.27分。更不可思议的根据其世界平均学术排名，A学院位于世界第五名，排名仅次于美国哈佛大学(14.09分)，得分甚至还要高于美国斯坦福大学(13.98分)。而中国最负盛名的北京大学(6.41分)、清华大学(6.1分)两所高校仅仅位列国内第8和13名。如果NI代表论文世界平均水平比较，这就代表A学院论文学术平均水平远高于北大、清华等名校。

表1 SCImago大学论文排名的其中NI因子排名的中国大学排名

注：为避免产生误解，将几所地方高校名称隐去，2016年数据因网站加密而无法获取。

如果继续观察SIR排名的科研论文产出量(Output)和国际合作论文排名(IC)[5]，SCImago选取了2706所世界高等教育机构进行排名(研究所等机构除外)，反差明显的是A学院以论文产出量排名2532名和国际合作论文比例排名2692名的两项几乎垫底的名次，而竟以NI因子排名高达世界第五，与数所世界名校比肩。如果把NI解释为对世界学术的平均影响力，那么一个论文产出垫底和国际合作论文比例几乎垫底的大学是怎样具有如此强大的世界平均学术影响力？

表2 SCImago大学论文排名的其中NI因子世界大学排名

荷兰的莱顿大学排名的皇冠指标只是其排名计算的中间值，并没有对该值进行排名，因此无法获取其排名情况。中国最好大学科研质量指标没有像西班牙论文归一化指标问题那么明显，但是也有一些地方新建本科院校科研质量超越211、985高校，像上文提到的B学院虽然在国内排行榜在400名左右，但在中国最好大学科研质量排名中2015年和2016年分别为全国30名和51名。这个现象也让人费解，而上文所述西班牙大学论文排名中的表现优秀的A学院，在“中国最好大学”的科研质量指标中没有上榜。

二、论文归一化因子指标的分析

(一)SIR排名的NI指标

1.指标来源

那么NI指标来源何处，又是如何会有这种现象产生的？SCImago 研究小组在其网站上解释，NI指标是建立在瑞典卡罗琳斯卡医学院的“项目导向领域归一化引文的平均值”基础上(Item oriented field normalized citation score average)，[6]其特点是引文值的归一化建立在个人文章的水平上。进一步分析则必须找到NI指标的计算方法。

2．指标计算方法

一般情况下，以论文引用频次来计算和表现论文的价值，论文所发期刊的水平往往代表着论文的水平。瑞典卡罗琳斯卡医学院曾出版《计量指标—卡罗琳斯卡医学院的定义和实用》[7]，其中就有“项目导向领域归一化引文的平均值”这一计量标准，通过查询发现该项计量指标与特定单位的出版物相对引用次数有关，与世界相同文章类型*文章类型是指包括在传统的学术期刊上也都存在着不同文章类型，比如文章(article)、评论(reviews)等等，显然评论是无法直接与论文直接比较的。、相同文章时间，相同文章主题领域的世界平均引用次数相比的相对值。莱顿大学排名所采用的归一化计量标准和这个非常像，被称为“皇冠指标”。将每个单位(机构)的出版物的引用次数总数除于世界相同文章类型、相同发表年、相同主题领域的平均引用次数，这个所谓的平均引用量就是“领域内参考值(Uf)”。然后通过这个领域内参考值来进一步计算。通过总结查询的资料，由于比较复杂，这个计量标准要分三步来计算：

(1)计算期刊内文章相对引用值A(领域内参考值)：

要计算文章的相对引用值，先要确定文章发表所在出版物的相对引用值，假设某单位在i出版物上发表了j领域的P篇文章，那么首先要通过引用次数的比值来确定在i出版物上发表一篇文章所获得的相对引用值A。计算如下：

这个公式的分子是发表在该期刊的文章在特定领域内的学术水平，分母其实就相当于特定领域内的世界平均学术水平，A大于1，则表示该期刊的文章高于该领域内平均学术水平，A小于1，表示该期刊文章低于该领域内世界平均学术水平。

(2)计算期刊内文章平均领域相对引用值B：

由于该期刊内的文章往往存在着跨多个领域的情况，则要计算该期刊的文章在每个领域的平均领域相对引用值B。(Ni为该期刊属于的领域数)计算如下：

该期刊可能存在有些领域内的文章高于世界平均水平，有些领域内的文章低于世界平均水平，采用平均的方法，可以获得该单位发表的文章在不同领域内的平均水平。

(3)计算该单位篇均文章的平均领域相对引用值C：

该单位在数据库中发表了P篇文章，这P篇文章有些在优秀期刊上发表则B值较高，有些在质量不高的期刊上发表，则B值较低，在计算该单位平均学术水平时，则需要对该单位发表在不同期刊上的文章进行平均。那么计算单位的平均每篇文章的平均领域相对引用值C。计算如下：

上述的公式中C就是“项目导向领域归一化引文的平均值”，其实NI指标就是该单位平均每篇文章在平均每个领域的论文平均引用值。只是用学术性的语言表述为“项目导向领域归一化引文的平均值”。这里的“项目导向”就是指归一化的相对引用值建立在个人文章的基础上的，从公式上我们也可以看到这一点。

3.NI指标的宏观统计价值

NI指标的分析通常以国家和区域为单位的宏观统计更为有价值，反应一个国家或地区的科学水平对世界学术平均的影响力。NI是建立在Elsevier(爱思唯尔)公司的Scopus数据库基础上，因为Scopus是全球最大的数据库，涵盖了世界上最广泛的科技和医学文献的文摘、参考文献及索引。建立在该数据库基础上计算的NI指标具有较高的研究价值。

(1)国家和区域平均学术影响力研究

以2014年大学排名表为例，选取6分以上986所高等教育研究机构分布，可得下表(NI得分与NI指标原始值不同，已经过SCImago小组数据处理，并不是以世界平均NI值为1分)：

表3 世界各国NI指标6分以上高等教育机构数量

从上表可以得出，NI指标得分6分以上的986所高等教育机构(即论文科学水平对世界影响力大的机构)大多分布在欧美国家，其中美国第一，占26.6%，法国第二，占9.6%，英国为8.7%，德国为7%，而中国仅占1.3%，这个结果说明欧美国家论文对世界平均学术影响力非常大。凡高NI值的机构越多，则该国家或地区的平均学术水平就越高，对世界平均学术影响力也越大。

(2)科学依赖性研究

从国家或地区总体来看，特别是发展中国家，NI指标和IC指标(是指国际间合作论文占该校或研究所的总论文比例)还具有一定的相关性，尤其是发展中国家中，论文与高学术水平的国家的国际合作比例越高，则显示该国家的NI值也偏高，这种被称为“科学依赖”。[8]这一点在拉美国家很明显。越重视国际间合作的国家，越能通过高学术水平合作从而对世界产生更高的平均学术影响力。从下表(下表的NI指标值为原始值，未经数据处理，世界平均学术水平为1)可得哥伦比亚IC达到53.9%，NI也高达0.83，其次阿根廷IC达到42.93%，NI值为0.90，而巴西和古巴IC仅为25.35%和39.38%，NI值也仅为0.77和0.46。

表4 拉美国家NI指标与IC指标的关系[8]

4．NI在我国大学排名现象分析

NI指标具有的一定的国际公认性，但我国高校出现了前述反常现象。笔者从公式上和指标来源上分析，其实NI指标就是该单位平均每篇文章在平均每个领域的论文相对引用价值。但上述计算有个前提，首先是论文发表的期刊要被SCImago采用的Scopus摘要和引文数据库收入。根据计算公式，NI值与发文数量无直接关系。只与进入数据库的篇均文章引用次数(或者说平均学术质量)直接有关。

以极端的现象为例，比如两所高校，第一所高校上千员工，只有一个教授能发被数据库收录的质量非常高(领域内相对引用量极高)的论文，同时其他教工都不写论文，或论文不被数据库收录，这所高校的NI指标很可能超越北大和清华。另一所高校也具有上千员工，这上千员工都能发表被数据库收录的高质量论文(领域内的相对引用率有高有低)，但是通过平均计算，这所高校的NI指标却无法超越第一所高校。

为了验证上述分析，笔者先后联系了西班牙SCImago研究小组和上海交通大学世界一流大学研究中心，前者没有回应笔者的邮件，关闭了网页的NI指标，把网页设置成了密码登录才能查看。笔者对其做法提出质疑后，SCImago研究小组回复，暂时无法分享研究数据，正在研究明确的解决方案。上海交通大学世界一流大学研究中心设立的上海软科公司派高级咨询顾问专程来笔者单位进行了沟通，该顾问承认了该指标的确会出现上述极端现象，并称为了校正这个结果，该排名设立了专门的阈值对论文数量做了限定，即发表500篇文章以上的单位才能进入论文排名，因此上文提到的像A学院这种情况，在新的标准下会因为论文数量不达标而无法进入论文质量指标排名，从而在一定程度上避免上述极端现象出现。

三、结 语

综上所述，NI指标在一定程度上衡量了机构与世界学术平均水平差距，但是在NI指标的实际应用中，计算的是参与高水平研究的人员的学术平均影响力的差距，无法反映该校的学术水平总量，因此该值只能作为一个单位平均学术水平的参照值，无法整体呈现一个高校真正的学术水平。

但该指标存在也并不是毫无意义，仍具有很高的研究价值，一方面在地区和国家等区域性等大样本高校和研究机构数量下，平均学术水平比较下具有很大的参考意义，因为大样本数量情况下可以抵消出现的偶然极端情况；另一方面如果需要对单个高校或研究所之间的比较，则对于层次相近，规模相近的同类高校之间平均学术水平比较更具有准确性。此外这个值表现出来的“学术依赖”情况，也反应了高校间通过国际间、地域间合作，对提升学术水平具有重要意义。通过研究、利用和修正NI指标，让该指标真正成为衡量不同学科、不同形式、不同年份的学术论文比较的工具，也成为反映大学间学术水平差距的重要指标，这需要大学排名研究工作者继续深入研究和完善。

[1][西]SCImago.SCImagoInstitutionsRankings:Introduction[EB/OL].(2015-01-01).http://www.scimago.es/

[2][西]SCImago.SCImagoInstitutionsresearch[EB/OL].(2015-05-23).http://www.scimagoir.com/research.php

[3][西]SCImago.SCImagoInstitutionsmethodology[EB/OL]. (2015-03-05).http://www.scimagoir.com/methodology.php?page=indicators

[4]最好大学网.中国最好大学排名[EB/OL].(2016-02-01).http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html.

[5][西]SCImago.SCImagoInstitutionsresearch[EB/OL]. (2015-03-01).http://www.scimagoir.com/research.php?rankingtype=research&indicator=Normalized%20Impact§or=Higher%20educ.&country=CHN&display=table&year=2008

[6][西]SCImago.SCImagoInstitutionsmethodology[EB/OL]. (2015-04-05).http://www.scimagoir.com/methodology.php?page=indicators

[7][瑞]Karolinska.Institutet.bibliometricindicators2014[M].Sweden：KarolinskaInstitutet，2014:9

[8][西]SCImago.Distributionbycountryoftheresearchinstitutions[EB/OL].(2014-08-17).http://www.scimagolab.com/blog/

Study on The Average Academic Influence Factors of Domesti and Foreign University Rankings

ZHU Gao-feng

(Research Institute of Higher Education, Huzhou University, Huzhou 313000, China)

The world famous SIR of Spanish SCImago Institute and the ARWU of Shanghai Jiao Tong University are two of the authorities of the world university rankings. The NI is the average academic influence representatives of universities or Research Institute, and the Leiden University in Holland also has the index. The Chinese best university rankings of Shanghai Jiao Tong University was released in the year 2015, and the quality of scientific research (the Paper quality index) interpretation is the same as Spanish paper normalized index (NI). The indicator was clearly international. But it is difficult to understand that some backward universities are in a very leading place in the index of the two university rankings. Based on the NI index, an in-depth analysis of sources and the index calculation formula have been given, and the index value has been disclosed, meanwhile an analysis the reasons for the result have been done. The paper provides a research basis for the study of the Spanish World Universities and the promotion of the comparison of the academic researches between different universities in different countries and regions.

the World University Ranking; the ranking of the papers; Normalized Impact; the ranking index

2016-10-23

朱高风，硕士，实验师，从事世界大学排名的研究。

G647

A

1009-1734(2016)12-0081-06