世界大学排行榜相似性度量及差异分析

庄 赟，应含馨，赵 楠

(1.集美大学财经学院，福建 厦门 361021；2.北京师范大学统计学院，北京 100875)

一、研究背景

伴随高等教育国际化的全球趋势，世界各地高等教育质量的竞争情况加剧，世界大学排行榜应运而生，大学的国际排名对公众舆论有很大的影响。历史较长且在国际上较受关注同时在国内知名度较高的四大世界排行榜分别是中国上海软科教育信息咨询有限公司的世界大学学术排名(ShanghaiRanking’s Academic Ranking of World Universities，简称“软科排行榜”)、英国QS Quacquarelli Symonds 公司的QS世界大学排名(QS World University Rankings，简称“QS排行榜”)、《泰晤士报高等教育副刊》的世界大学排名(The Times Higher Education World University Rankings，简称“THE排行榜”)和《美国新闻与世界报道》的全球最佳大学排名(U.S. News &World Report Best Global Universities rankings，简称“U.S. News排行榜”)。越来越多的利益相关者包括大学本身、学生、家长和学者等，对大学排名越来越感兴趣和重视，各大排名网站点击量和排名结果被新闻媒体报道引用的次数屡创新高(1)如QS世界大学排行榜网站发布的数据显示：2019年，QS的旗舰网站www.TopUniversities.com的浏览量为1.49亿次，全球媒体发布了超过9.4万篇与QS相关或提及QS的报道。。

大学都在努力提高国际知名度和影响力，争取在排名中表现好，即使是世界一流大学也很重视排名，如THE排行榜发布2022版世界大学排名的当天，牛津大学网站随即发布新闻对连续第六年蝉联该大学排行榜榜首进行宣传，同时也专门对泰晤士报的世界大学排行榜进行了介绍[1]。QS排行榜2022版世界大学排名发布后，麻省理工学院新闻办公室也在其网站发布连续10年被QS评为世界排名第一大学的报道[2]。其他大学同样关注在排行榜中的排名变化，并选择有利于自己的排行榜进行宣传，如在QS排行榜中排名第8而在其他排行榜中没入选前10名的伦敦大学学院在其网站首页也只引用QS排名进行宣传报道[3]。这4个世界大学排行榜同时也是国内多地人才政策制定时认定毕业院校排名的依据，如2022年上海为助力复工复产实施人才特殊支持举措加大世界名校留学人员引进力度，其中世界排名前50名、前100名院校的认定由相关主管部门参照上述四个大学排行榜发布的排名进行认定[4]；又如《福建省高层次人才认定和支持办法(试行)》中认定的国际知名三大世界大学排名同样指“软科排行榜”“QS排行榜”和“THE排行榜”[5]。

可见，这些世界大学排行榜已经对一些国家政府的高等教育政策、众多大学的办学理念、方向和行为、普通大众对高等教育的认识等产生了不可低估的影响[6]。相应地，不同大学排行榜排名结果的差异以及由此引出的大学排行榜本身能否有效反映人们所关心的大学“质量”的优劣、排名方法是否科学合理也成了学界讨论的焦点。对于学生、家长和其他利益相关者来说，在分析、解释和使用排名结果之前，了解各种排名结果差异的影响因素是至关重要的，需要通过分析不同排行榜评价内容的侧重点和评价方法的区别，以明确排名结果是否都像其宣称的是大学整体质量的衡量。

显然，不同的排名方法会产生不同的结果，但如果不同的排行榜反映的是共同的评价目的的话，即排名都是为了体现大学潜在的实力和质量水平，则各排行榜排名结果应该相对一致。而且从高等教育机构的质量变化来看，无论是其教学质量、毕业生的质量抑或是科研质量等，都是一个缓慢积累的过程，是长期沉淀后的结果，所以在合理的评价指标体系下，同一排行榜每年的排名结果也不应有太大的波动。可以通过计算历年排名之间的斯皮尔曼等级相关系数来检验各年排名的稳定程度，随着时间的推移，这些相关性应该会略有下降，但应该保持相对较高的水平，因为大学是缓慢演变的机构[7-8]。Friso Selten等人(2020)也分别计算了软科、THE、QS三大排行榜，2013-2018年每年进入前100名的重叠大学数量及其排名的Spearman等级相关系数的逐年变动趋势，研究得出结论是，重叠大学的排名在几年间变化不大，随着时间的推移，其中软科排名最稳定，THE的排名相对不稳定[9]。但这种只基于重叠大学的一致性检验只针对历年都上榜的大学计算其排名等级相关系数，本身就把排名波动比较大的学校排除在外，得出排名稳定性的分析结论依据不够，结果的可靠性会因此降低。

综上，本文对4个大学排行榜两两之间的相似度分不同排名区间进行比较，采用重叠度和等级相关两个指标相互配合进行比较分析，从而对不同排行榜排名结果的一致性进行较客观全面的衡量，进一步从评价指标体系、权重设置、数据来源、指标标准化方法和引文的学科差异处理方式等方面分析排名结果差异的原因，帮助公众更科学地解读排行榜，并在此基础上对现有世界大学排行榜排名方法的合理性进行评价。

二、四大世界大学排行榜概览

(一)上海软科的“世界大学学术排名”

世界大学学术排名(ARWU)最早由上海交通大学世界一流大学研究中心于2003年6月首次发布，是世界范围内首个综合性的全球大学排名，以后每年更新一次。自2009年起，世界大学学术排名 (ARWU)(软科)由上海软科教育信息咨询有限公司(ShanghaiRanking Consultancy)出版并拥有版权。ARWU(软科)使用6个客观指标对世界大学进行排名，包括获得诺贝尔奖和菲尔兹奖的校友和教职员工的数量、由科睿唯安(Clarivate Analytics)数据平台确定的高被引研究人员的数量，在《Nature》和《Science》刊物上发表的论文数量，被SCIE (Science Citation Index-Expanded)和SSCI(Social Sciences Citation Index)数据库收录的论文数，以及大学的师均学术表现。每年，ARWU(软科)都会对1 800多所大学进行排名，并公布最佳的1 000所大学排行榜。2021年8月15日，上海软科(2)上海软科教育信息咨询有限公司是一家完全独立的高等教育咨询机构，不隶属于任何大学或政府机构。发布了2021年世界大学学术排名[10]，排行榜包含世界最为领先的前1 000所大学的名单，哈佛大学连续第19年位居榜首，斯坦福大学和剑桥大学分列第2和第3位。有38所大学首次进入前1 000名。来自美国的大学在前1 000所大学中仍占据主导地位，前100名中有40所，前500名中有129所，前1 000名中有200所。英国有65所大学进入前1 000名，其中38所大学进入前500名，8所大学进入前100名。在亚洲大学中，东京大学(第24位)保持领先地位。中国有180所大学进入前1 000名，其中有84所大学进入前500名，7所大学进入前100名。清华大学(第28位)上升1位次，继续保持亚洲第2名的位置，北京大学保持前50名，位居第45位。

(二)《美国新闻与世界报道》的“全球最佳大学排名”

2021年10月26日，《美国新闻与世界报道》(3)U.S. News是一家多元化的数字媒体公司，成立于1933年，总部位于美国华盛顿特区，拥有教育、健康、新闻等平台，提供排名、独立报道、数据新闻、消费者建议等。(U.S. News &World Report，以下简称U.S. News)公布了最新的“2022全球最佳大学排名”(2022 Best Global Universities Rankings)[11]。该排行榜对来自91个国家的1 750多所大学根据13项指标进行排名，这些指标衡量的是大学的学术研究表现及其在全球和地区的学术声誉[12]。一所大学的学术声誉和学术研究的衡量是基于数据分析公司科睿唯安(Clarivate)的两大数据平台Web of Science和InCites提供的指标，包括出版物、引文和国际合作等文献计量指标，这为那些对学校学术研究水平感兴趣的潜在学生提供了更多的信息。U.S. News全球最佳大学排名要求参与评估的高等教育机构，2015—2019年，由Web of Science平台统计的发表论文数达到1 250篇的最低门槛，在这个标准下，2022年全球最佳大学排行榜共包含1 750所学校，比2021年增加了200多所，拥有上榜高等教育机构总数前5位的国家分别是，美国271所(占所有排名学校的15.5%)，中国253所(占比14.5%)，日本93所(占比5.3%)，英国89所(占比5.1%)，德国70所(占4%)。美国大学在总排名中处于领先地位，包揽前4名，排名第1的是哈佛大学(Harvard University)，紧随其后的是麻省理工学院 (Massachusetts Institute of Technology)、斯坦福大学(stanford University)和加州大学伯克利分校(University of California-Berkeley)，分别位居第2、第3和第4。排在前5名的是英国的牛津大学(University of Oxford)。中国的清华大学和北京大学跻身全球前50名，分别位于第26和45名。

(三)《泰晤士报高等教育副刊》的“世界大学排名”

2021年9月2日，《泰晤士报高等教育副刊》发布了“世界大学排名2022”(The Times Higher Education World University Rankings 2022)[13]。该排行榜基于教学(学习环境)、研究(发表量、收入和声誉)、引用(研究影响力)、国际展望(国际教师、学生和国际合著)和行业收入(知识转移)等5个领域的 13个绩效指标，根据爱思唯尔的文献计量数据库(Elsevier’s Scopus database)统计2016—2020年间发表的1 400多万份研究成果在2016—2021年的被引情况，合计1.08亿次引文数据，以及对包括全球近2.2万名学者的调查数据，对2 100多所提交排名数据的高等教育机构进行了分析，最终对来自 99 个国家和地区符合其排名标准的1 662所的大学进行了排名。牛津大学连续第六年位居榜首，美国有 183 所大学入选排行榜，是上榜学校数量最多的国家，也是前200名大学中入选数量最多的国家，共57所大学上榜，但相较于之前年份美国在前20名精英大学中所占份额正在减少。中国大陆有两所院校首次进入前20名：北京大学和清华大学并列第16位。

(四)QS Quacquarelli Symonds公司的“QS世界大学排名”

2021年3月29号，从事全球高等教育服务的QS Quacquarelli Symonds有限公司[14]发布了最新一期排行榜“世界大学排名2022”(QS World University Rankings 2022)[15]。QS智库自2004年发布第一期排行榜以来，基本沿用了根据学术声誉、雇主评价、师生比、国际教师及留学生的比例和师均论文引用率等6个关键指标比较世界各地的大学在教学、研究影响、声誉、学生就业能力和国际化方面的绩效表现并进行分析评估[16]。基于超过13万名高等教育领域的专家关于世界大学教学和研究质量的学术意见调查，和基于超过7.5万份的雇主调查反馈，以及根据爱思唯尔出版公司的Scopus数据库(Elsevier’s Scopus database)中，2015—2019年发表的1 470万篇论文，在2015—2020年，共计9 600万引文数据，2022版的大学排名囊括了来自世界各地的符合排名条件的1 300所大学，比去年增长了10%，这是QS迄今为止发布规模最大的排行榜。麻省理工学院(MIT)连续第10年摘取桂冠，哈佛大学排名第5跌出前3甲，排名降至历史最低，取而代之的是牛津大学从第5名升至第2名，剑桥大学与斯坦福大学并列第3。美国总共上榜177所大学，是所有国家中上榜大学数量最多的。亚洲排名最高的大学是新加坡国立大学(NUS)，在全球排名第11位，2022年在学术声誉指标上获得了全球最高的分数。中国大陆共有56所大学上榜，清华大学和北京大学表现最好，分别排第17和18名。

三、四大排行榜上榜高校地区分布比较分析

4个世界大学排行榜出版方来自3个国家，分别是中国的软科排行榜、英国的THE排行榜、QS排行榜和美国的U.S.News排行榜。从前文排行榜概览中我们已经看出，U.S.News排行榜中美国学校在1 750所大学排名中占据或接近榜首的主导地位。前20名中有15所美国学校，前25名中有19所美国学校，前50名中有24所美国学校，前100名中有43所美国学校。这意味着美国大学在本国的U.S.News排行榜中占排名前100的43%，美国大学在世界排行榜中以绝对的优势领先欧洲的大学，这也是排行榜在欧洲引起很大反响的原因之一。不同排行榜的排名结果存在差异，那么不同的排行榜是否存在对不同地区的大学甚至是自已国家大学的偏倚呢？本文通过对前10名、前50名、前100名、前200名和前500名这几个不同排名上榜高校数量的地区分布进行比较分析，试图从中找到答案。4大排行榜2021年最新发布的排名结果中，中国(中国大陆、中国香港和中国台湾)、英国和美国高校的数量分布(见表1)。

表1 2021年四大世界大学排行榜上榜高校地区分布

表1显示，英语国家的大学在排行榜中占领绝对优势。这也支持了学界普遍的这样一种批评，即排名方法有益于西方，尤其是英语国家的大学，尽管越来越多的非英语国家的大学主要以英语出版研究成果，但在所有排名中，都可以看到英语国家大学在研究表现方面的巨大优势(Van Raan，2005；Salmi，2009)[17-18]。虽然英美高校都是入选数量最多的，特别是美国高校，但由英国出版的QS和THE排行榜的美国高校明显较美国出版的U.S.News排行榜中美国高校的数量少，特别是排行榜越往后这个情况越明显，可能和QS和THE排行榜，使用Scopus数据库考虑更多非英语论文有关，给了其他地区高校更多的机会。Elsevier的Scopus数据库覆盖所有地理区域的研究论文，包括非英语论文，只要文章可以提供英文摘要。事实上，Scopus中大约22%的标题是用英语以外的语言出版的，加起来有40种当地语言(或同时用英语和其他语言出版)。此外，Scopus超过一半的内容来自北美以外的国家，代表欧洲、拉丁美洲和亚太地区的各个国家。然而，尽管THE和QS的排名都采用了不同的数据库来降低非英语文章被引用较少的影响，英语国家的大学仍然排名领先。这当然一定程度上能说明北美和欧洲大学的整体实力，但也可能和排名指标体系中声誉调查有关，毕竟基于学者主观判断，而普遍对历史悠久的英美国家的大学的熟悉度是最高的。而且不同的受访者被邀请参与调查。他们并不熟悉所有的大学，他们的观点受大学的受欢迎程度的影响更大，而不是实际表现或目前的优秀程度，因此之前历史悠久的欧美大学之前的声誉会继续延续，导致声誉调查实际上有自我强化的作用，英美大学则会长期占优势。

另外由表1中的地区分布可以看出，确实存在本国发布的排行榜对本国高校评价高于其他排行榜对本国高校评价的情况。最明显的是英国的THE排行榜和QS排行榜，各个排名段中英国高校在这两个排行中上榜的学校数量均高于其他排行榜。美国U.S.News排行榜对美国高校的评价也高于其他排行榜，特别是高于英国排行榜对美国高校的评价，这个情况在排名前500的阶段尤其明显，U.S.News排行榜中美国高校有130所，远远高于QS排行榜中美国高校的87所。中国高校在中国软科排行榜中的上榜学校数也是远高于其他排行榜，软科排行榜中前500名中国高校一共有84所(其中中国大陆72所)，远高于U.S.News排行榜的53所、QS排行榜的43所和THE排行榜的37所，其中QS排行榜和THE排行榜中中国大陆上榜学校数量仅为软科排行榜的1/3左右。

综上所述，各国排行榜确实对于自己国家高校存在偏重，这个结果产生的原因可能是：由于对本国的高校更加了解且数据更容易获取，而获取其他国家数据时有偏差甚至缺失；也可能是在设计排名方法时出于帮助提升本国高校在国际高校中竞争力的目的，从而从对本国有利的方面出发进行指标选取。但排行榜显示出的最明显的偏倚是对英美等英语国家大学的偏倚，特别是表1上榜高校的区域分布定量分析结果验证了学界之前提出的批评观点。

四、四大排行榜排名结果相似度比较

2021年软科和THE排名有一个积极的特点，那就是前10名中有9所大学是两者共同的：哈佛大学、斯坦福大学、剑桥大学、加州理工学院、加州大学伯克利分校、麻省理工学院和哥伦比亚大学、芝加哥大学和牛津大学(见表2)。在软科前10名中也有8所大学在U.S.News的前10榜单中。换句话说，尽管使用的指标各不相同，但这3项排名识别出了类似的世界级大学。但是，QS排行榜前10榜单和其他排行榜的重合大学只有6～7所。而且在排名的中下游，我们观察到的差异要大得多，例如，大阪大学(Osaka University)在2022年世界排名中在QS排行榜排名72，在软科排名176，而在THS排名326，这种现象在其他排名靠后的大学中也一样普遍存在。

表2 四大排行榜前10名榜单

排名不一致的问题，这是排行榜最引争议的地方，比较而言，一些大型和成熟的综合性高校不太受排名标准的影响，显然基于规模的总量指标对综合性大学有利，基于大学人均科研产出指标进行科研绩效总体水平的估计，其不确定性也同样受规模大小的影响，规模较小的学校，由于其人均指标较大的变异性，往往使排名出现“极端情况”。因此顶尖大学排名相对稳定的，但排名越靠后的大学排名存在强烈分歧(不同排行榜中重合大学数越来越少，而且重合里面的排序也不一样，说明差异非常大)，这与大学质量变化是一个缓慢积累过程的特点相违背，因些需要进一步对不同排行榜不同排名区间的排名结果进行一致性比较，以验证大学排名方法是否反映大学发展的本质特征。

(一)测量方法

本文对所研究的4个大学排行榜两两之间的相似度采用重叠度和等级相关两个指标相互配合进行比较分析，从而对不同排行榜排名结果的一致性进行判断。首先计算排行榜两两之间重叠度，即计算同时出现在每两个排行榜中的大学的数目(The number of overlapping)，用N.O.表示，如比较两个排行榜前10名列表，若其中有5所大学重复，则这两个榜单的重叠度N.O.记为5。由于上榜的学校不一样，只能根据重叠大学计算相关性，又由于得分计算标准不一样，为了研究排名一致性，基于等级相关系数的计算方法构造测量排名一致性指标。根据Diaconis等(1977)[19]提出的与著名的斯皮尔曼简捷相关系数(Spearman footrule)相关的度量方法，计算重叠大学在不同排行榜中排名秩差(名次差别)的绝对值之和D，并进一步将其转换成具有相关系数性质的F指标，以此进一步衡量重叠大学在不同排行榜中排名等级的一致性。

假设原始的两个排行榜A、B中各有10所学校，但是只有a、b和c是同时出现在两个排行榜中的大学，则两个排行榜的重叠度N.O.记为3。然后将两个排榜中的重叠大学分别重新排序，在排行榜A中a、b和c这三所学校分别排名第7、2和8，于是重新排序，a排名2，b排名1，c排名3，得到一个重新排名的列表σ1=(2，1，3)；在排行榜B中这三所学校分别排名第5、6和4，则同样对B榜中这三所学校重新排名，a排名2，b排名3，c排名1，得到另一个重新排名列表σ2=(2，3，1)。这样就可以进一步计算两个排行榜对重叠这部分大学排名等级的一致性。

根据两个排行榜重叠大学重新生成的排名列表σ1、σ2计算排名秩差绝对值之和D：

(1)

式(1)中，i是同时出现在两个排行榜中的大学，i=1…Z，Z是两个排行榜中重叠大学的数量，σ1(i)代表大学i在第1个重排名列表σ1中的名次，σ2(i)代表大学i在第2个重排名列表σ2中的名次。

显然公式(1)计算得出的排名秩差绝对值之和D(σ1，σ2)受排序列表长度的影响，进而采用Aguillo等(2010)[20]的标准化方法，用公式(1)的计算结果除以最大值，将其转换为一个与排序列表长度Z无关且取值落在0到1之间的度量值D’(σ1，σ2)。当Z>1时有：

(2)

此时，当两个排序列表完全相同时，D’(σ1，σ2)=0，反之则为1。为了进一步得到与传统的相似度指标一致的衡量方法，利用公式(2)将结果正向化，得到度量两个排序列表等级相关度指标F

F=1-D’(σ1，σ2)

(3)

式(3)中0

公式(3)只衡量了两个排行榜中重叠大学的排名等级的相似度，还需要结合两个排行榜的重叠度，来衡量两个排名结果之间一致性的程度。两个排行榜重叠的学校数量越多，重叠学校排名的等级相关度F值越高，则两个排行榜的一致性越好。

(二)结果分析

根据式(1)-式(3)描述的方法，对软科、THE、QS和U.S.News 4大排行榜进行相似度分析，由于软科排行榜中，只对前100名的学校进行具体的排名，故本文在此分别对2021年4大世界大学排行榜的前10名、前50名和前100名榜单进行两两对比分析，得到两两间的重叠度N.O.和重叠大学排名等级相关度F值，最终的结果(见表3)。

表3 2021年四大排行榜相似度比较

以表2中四大排行榜前10名榜单为例结合表3指标进行分析。先比较前10名榜单中软科排行榜和其他3个排行榜的一致性：软科和THE排行榜重叠学校数量最多，重叠度N.O.=9，与U.S.News排行榜虽然重叠学校的个数为8，但进一步比较重叠学校的等级相关度F值，软科与U.S.News的F值最高，F=0.6875高于软科与THE排行榜的F值(0.45)，综合比较而言前10名排名结果，软科排行榜与U.S.News排行榜的相似度更高；而软科与QS的重叠度最低，N.O.=7，同时等级相关度F值仅为0.39，说明软科与QS排行榜的相似度最低。再比较其他排行榜之间的相似度，前10名中U.S.News排行榜与QS排行榜重叠度最低，仅有6所学校同时上榜，相比THE排行榜与U.S.News重合学校多了1所，但F值最低，仅为0.25，从排行榜中也可以看出，哈佛大学、麻省理工、牛津大学、剑桥大学这4所名校在THE与U.S.News这两个排行榜中的名次差别还是比较明显的。总的来说，在前10名榜单中，软科排行榜和U.S.News排行榜相似度最高，而THE排行榜与U.S.News排行榜一致性程度最低。

在前50名榜单中，软科和U.S.News两个排行榜有41所学校重合，而且F值最高，F=0.81，说明相似度最高；而科软和QS的重叠度只有33，等级相关度F值仅为0.61，说明软科和QS的相似度最低。前50名中QS和THE的重叠度为40，F值为0.645，两项指标均高于QS和其他两个排行榜的重叠度和F值，说明相对而言QS排行榜和THE排行榜相似度更高一些。

同样的方法比较前100名榜单，不难发现在前100名的对比中所有排行榜与QS排行榜的重叠度和相关度F值都最低，说明QS与其他3个排行榜的一致性程度最低，但比较发现，相对而言，THE排行榜和QS的相似度较高，F值为0.672，重叠学校72所，均高于QS和其它两个排行榜的相似度，这与前50名榜单比较的结论一致。同样比较发现软科和U.S.News两个排行榜的相似度较高。

综上所述，在4个世界大学排行榜中，随排名长度增加，相似度指标F值下降，虽然前10名相似度F值更低，但由于样本容量太小，不能说明问题。从重合度可以看出，榜单越长，重合的比例越低，所以相对而言，对顶尖大学的评价相对一致。另外，无论是从重叠大学的数量N.O.还是从重叠大学的排名等级相关度F值来看，软科排行榜和U.S.News排行榜的一致性程度最高；而QS排行榜与其他排行榜的相似度明显较低，但相对其他3个排行榜而言，THE排行榜与QS排行榜相似度略高一些。

五、大学排行榜排名结果差异的原因分析

根据以上分析，就单个排行榜来说，无论是从重合度N.O.值还是相似度F值的综合对比来看，QS排行榜与其他排行榜的相似度较低。但在前10名，QS与其他排行榜重合度都高于排名靠后阶段，说明各排行榜对顶尖大学生的评价保持较高的一致性。但随着排名靠后，排名方法包括指标体系、具体权重、标准化方案的选择和数据来源等，都是最终排名顺序的重要决定因素，以上4个世界大学排行榜都是采用多指标加权算术平均的综合评价方法，排名结果取决于评价指标和权重的选择，这些因素因排名机构而异，根据4个排行榜官网公布的最新排名方法，我们基于影响排名结果的统计综合评价各要素出发，深入探讨排名结果差异的原因。

(一)指标体系侧重点不同

影响排行榜排名结果差异的主要因素是指标体系，虽然软科排名、U.S.News排名、THE排名和QS排名这四个排名都使用了类似的概念，如教学、研究、声誉或国际影响力，来衡量大学质量的不同方面，但不同的排行榜的侧重点并不相同，并且选用不同的指标来评估这些概念，也是导致排行榜排名结果差异的原因。

软科排名和U.S.News排名基于科研类指标，只关注研究结果，完全忽略了高等教育质量的其他方面，尽管软科使用诺贝尔奖或菲尔兹奖(用于校友或学术人员)的数量来衡量教育质量或教师质量，但实际上并不能全面衡量教育质量；THE排名则采用了多种标准，教学、研究、声誉或国际影响力多个方面均有体现在指标体系中；QS排名的两项声誉调查指标占比50%，相比其他排行榜更强调声誉。

总体而言，4个排名中软科排行榜和U.S.News排行榜与THE的相关性都比他们与QS强。这是因为QS排名更强调声誉，其声誉指标占比达50%，而相比之下THE排行榜的声誉指标只有33%。同时，QS排名更少强调基于证据的研究指标，其文献计量指标占比仅占20%，并且仅使用每位教师的引用数(20%)来衡量，而THE排行榜的文献指标占比38.5%，包括引文影响力(30%)、国际合著比例(2.5%)和人均发表数(6%)。

将排行榜两两比较，软科排名与QS排名最不相同，这是因为软科排名只强调学术成就，而QS排名的指标体系中大比重地使用主观非学术指标。QS和THE的指标体系都基于大比重的声誉，两者都以大学声誉和同行评审为特征，所以两两更相近。

软科排名关于大学构成的概念与THE排名使用的概念有很大的不同。虽然它们都对同一所大学进行评估和排名，但它们使用的排名标准显然截然不同。虽然软科排名基本上是一个研究排名，但它被广泛解读为大学排名。相比之下，THE排名将研究、教学、劳动力市场资格和国际化方面的因素混合在一起，方式相当随意。这也是导致两个排行榜差异的原因。

(二)指标的权重不同

指标权重的不同也是大学排行榜排名结果差异的原因之一，以研究类指标和声誉类指标为例，不同的指标体系对于基于研究和声誉的指标具有不同的权重。

科研指标的权重差异：软科排名和U.S.News排名科研指标权重分别是60%和65%，而THE只有38.5%，QS排名则更少，只有20%的权重用于唯一一个衡量科研的指标，即每位教师的引用次数。

声誉指标权重不同：QS、THE和U.S.News分别将50%、33%和25%用于声誉调查。QS进行了2次声誉调查(学术调查40%，雇主10%)，THE进行了两次声誉调查(研究声誉调查18%，教学声誉调查15%)，而USNWR进行了2次研究调查(全球12.5%和地区12.5%)。

(三)数据来源不同和指标规范化标准不同

研究指标的数据来源不同。THE和QS使用Scopus数据库，而ARWU使用WoS数据库，U.S.News排名相关指标则由科睿维安(Clarivate)旗下两大平台 Web of Science和InCites提供。

声誉指标数据来源不同。50%的QS分数是基于两个声誉调查(学者和雇主)，而ARWU没有使用任何调查。一个排名系统只使用定量数据，另一个系统同时使用定量数据和收集人们的意见(基于主观意见的指标)，因此，ARWU和QS的结果是所研究的全球排名中重叠程度最低。另外THE的声誉指标来自“爱思唯尔”获得的个人受访者数据，U.S.News排名的声誉指标由“科睿唯安”(Clarivate)2017—2021年学术声誉调查结果汇总而成的。

其他指标数据来源不同。ARWU只使用来自开放资源的定量数据，如教师数来自各国的教育部、国家统计局和大学校长协会等，而QS收集来自大学本身的关键数据(整体及国际学术教职员工和学生的数量)，并从统计问卷中收集人们的观点，THE排名的数据则可以由机构自行提交。

规范化标准不同。N.S.News全球最佳排名的学校总分数是根据排名中使用的13项指标的权重和标准正态化z分数综合计算得出的。THE和QS对大学规模的科研绩效指标进行了标准化处理，而软科则使用了原始数据(按和最高的得分计算比例)。

(四)对引文的学科差异处理方式不同

不同学科的出版物和引用数据差异很大，在硬科学中，引文分析的使用已经得到了认可，然而，在软科学中，引文和绩效之间的关系却不太清晰。这有很多原因：首先，与硬科学不同，软科学的期刊文章往往不是研究的主要传播方式，文章的被引用率可能很低；其次，在社会科学和经济及商业领域。当一个学者引用另一部著作时，常常会引起争论或讨论，这与自然科学相反。在自然科学中，引用另一部著作的理由通常是效用或影响。以数学学科为例，虽然期刊文章是主要的交流方式，但与其他领域相比，期刊文章的被引时间往往较长，数学论文的整体被引率也往往较低。各个排行榜对于该情况都有各自的处理方式，这也是导致排行榜结果差异的原因之一。

软科排名中对于学术研究成果的指标占比较大，考虑到社会科学的学者相对于其他领域的学者来说，其学术成果常通过著作等形式来体现，于是对于社学科学领域在SSCI收录的论文赋予两倍的权重。

U.S.News排名分析中使用的学科领域来自科睿唯安的学科分类，考虑到艺术和人文学科的特点，在基于引文的指标统计中不包括在艺术和人文学科期刊上发表的文章，但来自艺术和人文期刊的文章有被纳入“论文发表”指标的统计中。这是因为由于不同学科领域的不同出版特点，艺术和人文期刊的引文积累较少，引文分析不够稳健；因此，U.S.News刻意排除艺术和人文学科可以提高结果的稳健性。

THE排名对于不同学科的特点，在排名中可能造成的差异，所采取的整体方法是根据学科仔细重新校准，改变权重以最适合各个领域。特别是，研究指标的权重的修改，以更紧密地贴合每个学科的研究文化，反映出不同的出版习惯。例如，在艺术和人文领域，产出范围远远超出同行评议期刊，因此对论文引用的权重较低。相应地，给予“引用：研究影响”的权重从总体排名的30%减少了一半，艺术和人文学科的权重仅为15%。更多的权重被赋予了其他研究指标，包括学术声誉调查。在社会科学和法律领域，人们也不太相信仅仅将引文的强度作为研究的指标，衡量的权重降低到25%。教育、工程和计算机科学的权重也降低到27.5%。出于同样的原因，在那些绝大多数研究成果来自期刊文章、对引文数据强度有高度信心的学科中，THE排名增加了研究影响的权重，如物理、生命科学、心理学以及临床和健康等学科权重高达35%。

QS世界大学排名采用了每个教员的引文指标(Citations per Faculty)，为了克服出版统计在某个专业领域严重倾斜的情况(例如，物理出版在历史上的主导地位)。这种方法的目标是推导出“Normalized Total Citation Count(NTCC)标准化总引用计数”。主要的方法是简单地平衡在学术声誉分析中已经部署的相同的5个教员领域的影响：艺术与人文、工程与技术、生命科学与医学、自然科学、社会科学与管理。不同学科领域的引文分布是不平衡的现象，如果不进行这一调整，将导致引文指标得分以及最终的整体排名将更倾向于强调科学的机构。

六、分析与讨论

综上可知，一方面认识到排名结果不一致是排行榜的方法差异所致；另一方面也使排行榜使用者了解不同排行榜评价的内容侧重点，认识到排名结果并不是都像其宣称的是大学整体质量的衡量。虽然4个排行榜都对同一所大学进行评估和排名，但它们使用的排名标准有很大的不同，导致排名结果存在差异。因此，公众在使用排行榜之前，还是应该首先了解排名指标体系及方法的区别，从而解读排名。如Cakir等(2015)从排名指标、覆盖范围和排名结果等方面，对国内和全球大学排名系统进行了全面系统的比较，他们注意到，各国大学排名有大量主要集中于教育和制度措施的指标，而相反全球排名的关键特征是专注于科研指标[21]。因此，如果使用排行榜的目的是选择留学学校，关注的是学习成效，需要了解排名指标体系是否反映教学教育质量。虽然软科排名基本上是一个研究水平排名，U.S.News其实也明确是研究型大学比较，而QS以及THE宣称加入教学质量的衡量，但四个排行榜都被广泛解读为大学排名，排名使用者在引用排名时通常没有加以区别。

大学在不同排行榜位次的变化本身就说明，如果公众要把排行榜作为大学质量水平的唯一衡量标准就值得商榷，如果确实是唯一标准，则不应有如此巨大的差异，所以本文对不同大学排行榜的相似度进行定量比较的基础上，通过对指标体系和排名方法的定性分析说明差异的原因，在下一步的分析研究中将对排名指标数据进行定量分析，通过因子分析提炼评价指标体系衡量的维度，揭示排行榜评价指标体系衡量的主要方面，进一步探讨现有世界大学排行榜能否真正提供利益相关各方所关心的关于世界高等教育质量水平的可靠信息，进一步验证排名方法的合理性。

大学的使命、概况以及它们所处的环境是极其多样化的，大学之间的质量差异是一个长期的历史过程的结果，是科学习惯的差异和不同的制度背景的结果，因此不可能把一所大学或一个系的“质量”降低到一个数字或几个标准。一所大学在不同的排名中可能会取得不同的结果，这取决于排名的具体目标和方法。比较不同的结果可以为大学在各自的高等教育系统中的地位提供一个更全面的认识。因此，未来的学生以及任何其他排名信息的“用户”在可能将其纳入考虑之前，需要谨慎地解读排名，并了解每个排名背后的方法是否准确反映大学真实实力和文化底蕴。而对大学而言，大学排行榜其实是对大学的一种社会评价，大学可以把大学排名作为学校办学的参考，从中分析办学的进展，存在的不足与问题，但不能“唯排名论”，这才是理性对待大学排名的方式，实现大学高质量发展还需进一步加强大学的专业化评价。