大学排行榜的改进之策

汤建民

(1.武汉大学信息管理学院，湖北 武汉 430072; 2.西安外事学院七方教育研究所，陕西 西安 710077)



大学排行榜的改进之策

汤建民1,2

(1.武汉大学信息管理学院，湖北 武汉 430072; 2.西安外事学院七方教育研究所，陕西 西安 710077)

摘要：衡量一个大学排行榜的科学性和公信力如何，主要可以从三个方面去考察:其评价指标体系是否公开，原始数据是否公开,或是能在多大程度上满足这种要求；其评价指标体系的科学性究竟如何，如权重分配是否科学，计算方法是否科学，计算出来的最终结果是否比较接近事实等；其历年排行榜制作活动过程的一致性程度，历年评价指标体系、数据采集渠道、计算方法、数据有效时间、评价对象、发布渠道和发布时间等方面的稳定性。目前大学排行榜指标设计方面存在的缺陷，往往会对不同类型的大学产生不同的影响，即，有些类型的学校更容易受益，而有些类型的学校却更容易吃亏。一般来说：有利于符合国际标准“尺子”的大学，不利于富有本国特色、地方特色及学科特色的大学；有利于重视科研的大学，不利于只重视教学的大学；有利于理工类大学，特别是以基础科学研究为主的大学，不利于人文社会科学类大学；有利于设立有附属医院的大学，不利于其他没有设立附属医院的大学；有利于早已成名的大学，不利于新兴起的大学明星；有利于历史长的大学，不利于创办历史不长的大学；有利于规模大、投入多的大学，不利于规模小、投入少的大学。为了进一步提高国内大学排行榜的科学性和公信力，可以从以下几方面改进：倡导分类型、分层次和分学科的大学评价，以提高国内大学排行榜的针对性、适用性和科学性；倡导评价指标体系和原始数据更多地公开；倡导开展理性、严谨的学术讨论，尽量减少随意的和无正当理由的指责、谩骂和攻击；倡导建立比较统一的、规范的《评价研究报告》格式。

关键词：大学评价；大学排行榜；评价指标；公信力

近年来，各种大学排行榜层出不穷，相关的讨论、质疑、批评，甚至谩骂、嘲讽等也很多。对中国大学排行榜问题的讨论，可谓仁者见仁、智者见智。笔者认为，各种大学排行榜的存在有一定必然性，利弊同时存在。从利的角度看，大学排行榜有利于政府部门、社会公众及考生快速地了解大学，也可以为各大学的竞争和发展提供定位信息。但从弊的角度看，大学排行榜可能导致的负面影响也不容小视，比如, 不科学的排行榜会给政府、社会公众和考生以误导，给相关大学带来负面影响；大学排行榜一般只能让人看到大学的一隅，它往往掩盖了大学的多样性、多元化以及独有的价值特性，它对大学的评价只能是相对的，它不可能是对大学质量与水平的全部评价，它很难全面完成真正意义上的评价大学的任务[1]。另外，正如古德哈特定律(Goodhart’s law)所揭示的那样，一项指标一旦成为政策制定的依据，便立刻不再有效。因为相关利益者会牺牲其他方面来强化这个指标，使得这个指标不再具有指示整体情况的作用[2]。因此大学排行榜也很可能会诱使部分大学急功近利或按评价指标体系办学，从而影响大学的长远利益以及通过其它途径做出贡献的可能性。在这种情况下，我们就应该思考如何客观理性地评价大学排行榜，如何合理地使用大学排行榜，如何改进大学排行榜。

一、大学排行榜的制作是一项复杂的工作

因为各个大学的办学历史、办学环境、办学资源、办学目标和办学定位等都不完全相同,甚至是千差万别，这就决定了对大学进行评价是一项非常复杂和困难的工作。比如，就其评价指标体系的构建来说，就有重定量还是重定性、重科研还是重教学、重数量还是重质量、重总量还是重人均、重教师还是重学生、重多指标还是重核心指标、重长期数据还是重近期数据、重基础研究还是重实践应用、重本土视角还是重国际视野等多种不同取向需要平衡。另外，还要考虑到学校的层次不同、类型不同、定位不同、学科设置不同、国家投资额不同及所在区域位置不同等各种具体差异如何处理的问题。所以，每一个大学排行榜的制作,即使经过各种考虑、多方论证、精益求精，最终体现出来的仍然可能是一个经过多种取舍后的静态存在，是一种妥协的结果，是一家之言，它不可能完全覆盖和适应于各种各样、多姿多彩、各有千秋的所有大学的所有方面，它无一例外地定存在着不少局限。比如，它很难解决排名数据的精确性与大学质量的模糊性之间的矛盾、核心教育产出难以用客观指标的精确数据表达的矛盾、大学排行榜指标的统一性与大学异质性之间的矛盾等[3]。因此，在看大学排行榜时，既要认识到这些评价结果有一定的科学性和参考价值，可以将其作为信息来源的一种来了解大学；但也要保持一种谨慎和超越，认识到这些排序结果并不是绝对正确的。比较理性的方法是既要看其最终的结果，又要同时看其评价的方法和过程是否科学，思考其缺陷和局限在哪里。另外，它还启发我们看各种排行榜时还要有一定的宽容心，完全相信它可能既不必要也没有充足理由，但没有仔细研究就无端指责、随意谩骂显然也不妥当。

二、衡量一个大学排行榜科学性和公信力的三个主要标准

衡量一个大学排行榜的科学性和公信力如何是一件非常困难和复杂的事，但简单说来，从最根本的角度看，主要可以从以下三个方面去考察。

第一，考察其评价指标体系是否公开，原始数据是否公开,或是能在多大程度上满足这种要求。包括：评价指标是否公开，各种指标的含义是否确定，采集各种数据的渠道是否明确，数据计算方法是否公开和明确,各种原始数据的公开程度如何等。要做到全部的大学评价信息公开，客观上说目前还有很大难度，因为大学评价指标体系中既有客观指标也有主观指标，既有最近年度的指标也有多年来积累的存量指标，不仅指标的种类多，统计的口径多，而且还难免会有一部分数据的缺损、一部分数据的模糊、一部分数据的不准确等，对于这些实际情况公众也应该是理解的。但尽管这样，这些仍不应该成为评价机构故意模糊或隐藏相关信息的理由，特别是主要的信息。如，评价指标选择、权重分配、计算方法、数据来源渠道及数据有效期等方面的信息。从第三方立场看，只有实现信息的充分公开，才能尽量减少评价机构与社会公众之间的信息不对称，这既有利于社会公众正确地使用大学排行榜的结果，也有利于提高社会公众的监督条件和监督能力，从而推动大学评价事业的发展。

第二，考察其评价指标体系的科学性究竟如何。比较重要的判断标准包括：权重分配是否科学，计算方法是否科学，是不是既比较全面、系统、完善又便于实际操作，计算出来的最终结果是否比较接近事实等。评价指标体系的科学性如何，是衡量大学评价机构好和差的最重要标准，当然也很难把握。但尽管这样，只要保证信息是足够公开的，那么长久下来，其科学性究竟如何，迟早或是在一定程度上总是能够得到评价的。

第三，考察其历年排行榜制作活动过程的一致性程度。包括：历年来评价指标体系的稳定性，数据采集渠道的稳定性，计算方法的稳定性，数据有效时间的稳定性，评价对象的稳定性，发布渠道和发布时间的稳定性等。考察评价机构历年排行榜制作活动过程的一致性程度，事实上是考察其评价活动的稳定性程度。评价机构不断地改进其大学评价过程中的一些做法，往往是评价机构不断改进自身不足的一种表现，是值得肯定的。但是，如果一个评价机构经常性地、较大幅度地更改其评价指标体系、数据来源渠道、评价对象和范围等方面，那么，其权威性、科学性和公正性是令人生疑的。

三、目前大学排行榜指标设计中的常见偏向

如前所述，虽然发布排行结果的机构可能已尽力而为，但由于受制于目前高校信息公开的数量和质量、排行机构自身的水平和投入成本方面的考量及其他各种因素，在目前发布的各种各样形式的大学排行榜中，普遍存在着很多不足的方面。比如，就目前大学排行榜的指标设计偏向及其易导致的缺陷看，目前的排行榜结果往往就对不同类型的大学产生不同的影响，即有些类型的学校更容易受益，而有些类型的学校却更容易吃亏，一般来说，有以下几个特征：

其一，有利于符合国际标准“尺子”的大学，不利于富有本国特色、地方特色、学科特色的大学。因为大多数的大学排行榜，特别是国外评价机构发布的中国大学评价排行榜，最重要的指标是国际论文数量以及论文的被引数等衡量指标，如，SCI论文、SCOPUS论文及ESI指标等。

其二，有利于重视科研的大学，不利于重视教学的大学。因为大多数的大学排行榜，几乎都将论文、课题、专利及科研奖励等作为评价大学的主要指标，而人才培养方面的指标则因为很难纳入量化评价或是很难比较全面地采集到数据而使用较少。

其三，有利于理工类大学，特别是以基础科学研究为主的大学，不利于人文社会科学类大学，特别是美术类、音乐类、语言类、民族类及体育类等富有中国文化传统特色和地方特色的院校。其原因和前面所述的类似。

其四，有利于设立有附属医院的大学，而不利于其他没有设立附属医院的大学。因为在大学评价中，不管这些医院是真的属于某个大学的下属机构，或是这些医院其实是独立于该大学，但该医院的SCI论文等科研成果，在统计时一般都会或是至少有一部分会计算在该大学的名下。

其五，有利于早已成名的大学，不利于新兴起的大学明星。因为大多数的大学排行榜都不会轻易去冒挑战以往霸主的风险。比如，国内大学排行榜大多只会将或者是只能将北京大学或清华大学放在首位，而不会将其它高校放在这个位置上。如果评价机构得出的结果不是这样的话，它也许首先想到的是如何“完善”自己的评价方法。

其六，有利于历史长的大学，不利于创办历史不长的大学。因为大多数的大学排行榜，一般都有存量指标，而不是仅仅考察最近一二年的指标，如ESI数据是10年的数据[4]。杰出校友、诺贝尔奖等数据的时间也只能赖以时长。这样，南方科技大学等创办历史不长的大学新星自然就不容易上榜。

其七，有利于规模大、投入多的大学，不利于规模小、投入少的大学。因为大多数的大学排行榜，由于数据采集和数据计算中的困难，采用的指标中基本上是总量指标，而不是人均/生均指标。

四、建　　议

针对国内目前的大学排行榜现状，为了进一步提高国内大学排行榜的科学性和公信力，尽量减少大学排行榜的消极影响，笔者认为可以从以下几方面改进：

第一，倡导分类型、分层次、分学科的大学评价，以提高国内大学排行榜的针对性、适用性和科学性。大学评价工作是一项极为复杂的评价活动，坚持以适当口径的类别划分为基础，遵循“同类才能相比”的基本原则，有利于客观、公正、合理地评价大学，也有利于正确地发现和揭示大学评价中所反映出来的问题，从而将大学排行榜的真正价值体现出来。

第二，倡导评价指标体系和原始数据更多地公开。包括：评价指标公开，评价指标的含义确定，采集数据的渠道明确，数据计算方法明确，原始数据尽可能多地公开，上述相关信息很容易在其网站上查到等。

第三，倡导开展理性、严谨的学术讨论和争鸣，尽量减少随意的和无正当理由的指责、谩骂和攻击。因为,科学就是在不断的公开的讨论和争鸣中不断前进的,大学排行榜也同样应该如此。

第四，倡导建立比较统一、规范的《评价研究报告》格式，以便努力使《评价研究报告》成为一个向大学和公众提供全面、客观、准确、清晰信息的载体和渠道。《评价研究报告》的内容要包括：评价对象，评价的目的和意义，评价指标体系的设计原则，评价指标体系组成(指标权重及计算方法等)，各种数据的采集渠道，评价结果，对评价结果的解读(各种视角的横向和纵向比较)，对适用范围和不足之处等的说明。

参考文献

[1]金诚.对流行大学排行榜的反思[J]. 西南交通大学学报：社会科学版,2010(4):90-93.

[2]古德哈特定律[EB/OL]. http://baike.baidu.com/link?url=Okq7CA-UoeXgsSS1fzAAq-yxwGgs4cweFVAq_b_CI9lmty37t4FLx4TwDNTfexOghhyd0EtF7EV0sJt4Dv_P3a. 2016-04-27.

[3]韩飞舟.摆脱大学排行榜的指标陷阱[J].中国高教研究，2016(3):66-72.

[4]ESI(基本科学指标数据库) [EB/OL]. http://baike.baidu.com/link?url=4QY3_pSXMN-THiUf0ap3t_Ir10OSH5Atopt1t-cs-kd_DvwH2IcgQOMBWJCbGmiR-SWbFQwZ1FBoyY0O_KTII4LqfcD-YUGMLUgMO_YENASa.2016-5-3.

doi:10.3963/j.issn.1672-8742.2016.04.001

作者简介：汤建民(1967-)，男，浙江东阳人，教授，武汉大学信息管理学院博士研究生，西安外事学院七方教育研究所研究员，研究方向为科学计量学与大学评价、计算社会科学。

中图分类号：G40-058.1

文献标志码：A

文章编号：1672-8742(2016)04-0001-05

(收稿日期：2016-03-20；编辑：荣翠红)