评价学视角下我国高职院校排名的反思——以“科教版”排名和“广报版”排名为例

李秀仙

近些年来，伴随着大学排名的常态化，人们对大学排名的新鲜感日趋减弱，围绕着大学排名所产生的争论越来越少。大学排名貌似日渐式微。有意思的是，在这一背景下，大学排名却不声不响地从本科高校延伸到高职层面。2012年，武汉大学中国科学评价研究中心和中国科教评价网率先发布了“中国高职高专院校竞争力排行榜”（简称“科教版高职排名”）。此后，2017年和2019年，《广州日报》数据和数字化研究院（以下简称“广报版高职排名”）以及中国管理科学研究院《中国大学评价》课题组也先后发布中国高职高专排行榜。可以说，高职院校排名大有蔓延之势。与此同时，每当一个高职排名结果新鲜出炉时，许多媒体都会跟进报道。不仅如此，许多在排行榜中位居前列的高职院校也采取多种不同的方式对本校的优异排名进行广泛宣传。高职排名的影响似乎在逐步扩大。面对高职院校排名的发展，一些研究者也对高职院校排名进行了研究。从文献来看，研究者主要从排名的指标、指标的数据来源和排名结果等角度对高职排名开展了批判性分析。其中，从排名结果切入对排名的研究颇有新意。但已有研究也存在不足。众所周知，高职排名归根结底是对高职院校的一种评价。因此，在高职排名研究中，评价学理应占有一席之地。然而，在高职排名研究中，评价学尚处于缺位状态。基于此，这里将从评价学的角度，对“科教版高职排名”和“广报版高职排名”进行分析，试图揭示现有高职排名在理论和技术方面存在的问题，进而就高职排名这一现象进行讨论。

一、高职排名的理论之思

（一）排名本身存在内在矛盾

在评价学上，依据不同的标准，可以将评价分为不同的类型。根据评价目的的不同，可以将评价分为诊断性评价、形成性评价和总结性评价；根据评价标准的不同，可以将评价分为绝对评价、相对评价和个体内差异性评价；根据评价方法的不同，可以将评价分为定量评价和定性评价。从高职排名特点来看，第一，高职排名显然是一种相对评价，即对个体高职院校在某个范围高职院校群体中所处的相对位置进行的评价。第二，高职排名是一种定量评价而不是定性评价。在高职排名的指标中，既有定量指标，也有定性指标。例如，在科教版2019年度高职排名中，“专职教师数”“就业率”等属于定量指标，“社会声誉”“学术声誉”等属于定性指标。但需要注意的是，在排名实践中，定性指标也是以量化的形式来进行评价的。因此，虽然高职排名的指标类型多样，但从评价类型的角度讲，高职排名属于一种定量评价，因为评价结果最终表现为量化的得分。第三，从排名者关于高职排名价值和意义的阐述来看，高职排名被定位为一种综合评价。以科教版高职排名为例，排名机构认为该排名具有四方面意义，即为政府部门的正确决策提供定量依据，为高职院校的改进提供支持，为学生择校提供指南和为本科高校评价提供补充[1]。也就是说，科教版高职排名既是一种形成性评价，也是一种总结性评价。应该说，在评价实践中，许多评价活动都是综合的，既具有形成性的价值，也有总结性的功能。例如，高职高专人才培养工作水平评估就是如此。这一评估的结论分为“暂缓通过”和“通过”两种，这是评估总结性功能的体现。同时，这一评估还会向高职院校反馈意见，指出学校存在的问题，以帮助学校改进，这就是评估的形成性价值。从这个角度看，排名机构希望高职排名同时发挥形成性作用和总结性作用并无不合理之处。但是，高职排名是一种相对的量化评价，这与排名的形成性功能期待是有冲突的。原因在于，作为一种量化评价，高职排名的结果表现为量化的数字。但量化的数字并不能告诉人们，高职院校的问题在哪？问题出现的原因在哪？举例来说，假设在某高职排名中，某高职院校“就业率”指标上排名第150位。这并不能告诉人们，为什么其就业率不如排在前面的149所院校。如果不清楚其落后的原因，学校怎么可能改进工作呢？总而言之，高职排名作为一种量化评价，很难发挥形成性作用。从这个角度讲，高职排名本身的特点与其功能定位有内在冲突。

（二）指导思想或模糊或虚设

高职排名作为一项活动，有其指导思想。从文本来看，科教版高职排名遵循了9项指导思想，即排名的9项原则分别是：第一，正确处理管理导向与市场导向之间关系的原则。第二，根据办学类型确定侧重教学还是科研的原则。第三，定性评价和定量评价相结合的原则。第四，兼顾投入、产出与效益的原则。第五，坚持自然科学与社会科学同等重要，实行分类评价的原则。第六，规模和效益兼顾，适当偏重效益的原则。第七，准确处理数量与质量的关系，适当偏重质量的原则。第八，恰当处理国内数据与国外数据、现实统计数据与网络数据的关系，做到彼此基本对应，又有所侧重。第九，体现高职高专的办学特色和发展定位[2]。

科教版高职排名尽管详细列举了排名的9条指导思想，但存在下述问题：第一，没有进一步说明9项原则的具体含义。例如，第6、7项原则分别提出要“正确处理规模与效益的关系”和“正确处理数量与质量的关系”。在这里“规模”“效益”“数量”和“质量”分别指什么不清晰，“规模”和“数量”之间什么关系也不清楚。第9项原则提出高职排名要体现高职高专的办学特色和发展定位，但并没有解释高职的办学特色是什么、发展定位是什么。第二，没有阐述如何在高职排名实践中落实这9项原则。比如，“兼顾投入、产出与效益的原则”在高职排名实践中有什么体现，高职排名实践中如何落实“体现高职高专办学特色和发展定位”等都没有详细说明。第三，没有阐明高职排名实践为什么要遵循这9项原则。这之所以是一个不足，原因在于，高职排名指导思想的背后依据在一定程度上反映了指导思想本身的清晰性和合理性。对指导思想的根据缺乏科学的解释，意味着指导思想本身不够明晰。总而言之，科教版高职排名对其指导思想的阐述不充分，这种不充分说明这些指导思想是模糊的，高职排名实践的科学性存疑。

相对于科教版高职排名，广报版高职排名没有直接阐述其指导思想。但从官网的介绍来看，这一排名至少坚持了两项原则，一是体现高职特色，二是坚持产出导向。在排名机构看来，高职特色体现为职业性、区域性、综合性和行业性四大特点。但问题是，既然要体现高职的区域性，为何要将全国所有高职院校放在同一个榜单上加以对比？既然考虑到高职的行业性，但不同行业存在巨大差异，为何将所有类型的高职院校放在同一个榜单上加以比较？也就是说，广报版高职排名实践与其指导原则之间存在内在矛盾，这一排名实践的指导思想是虚设的。

（三）评价内容不清

从评价理论的角度讲，设计任何一种指标体系，实施任何一项评价活动，首先需要明确的一个问题是：评价谁？紧接着需要澄清的问题就是，评价谁的什么？例如，“高职高专人才培养工作水平评估”评价的是“高职高专”（谁）的“人才培养工作”（什么），学生评教评价的是“教师”（谁）的“教学”（什么），“学生综合素质评价”评价的是“学生”（谁）的“综合素质”（什么）。这里的“谁”可称之为评价对象，“什么”则是评价目标，也就是预定的评价内容。很显然，在任何一种评价活动中，如果只是明确了评价对象，而评价目标模糊不清的话，评价活动都无法展开。高职排名也不例外。

从排名实践来看，广报版高职排名虽然交待了评价对象是高职高专，却没有明确评价目标是什么。也就是说，广报版高职排名并没有阐述排名究竟是对高职“综合实力”进行排名，还是对高职“社会贡献”加以评价，或者是对高职的“发展潜力”开展排序。广报版排名没有预定的评价内容。这与一个人说“吃”，却没说“吃什么”一样莫名其妙。就这一点而言，广报版高职排名在根本上存在缺陷。相对而言，科教版高职排名不仅明确指出了评价对象是高职高专，而且确定评价目标是高职高专的“竞争力”。从这一点看，科教版高职排名要优于广报版高职排名。但问题在于，科教版高职排名虽然指出要对高职高专的“竞争力”进行评价，但并没有对“高职高专竞争力”进行界定。这意味着，科教版高职排名的预定评价内容其实也不清楚。其结果是，排名实践是不是围绕着“竞争力”展开，排名指标是不是能够体现“竞争力”，排名结果是不是反映了“竞争力”，根本无从判断。总而言之，高职排名实践普遍存在的一个问题是排名内容或者说评价目标不清，这直接导致排名结果的科学性得不到保证。

二、高职排名的技术之思

从评价学的角度看，高职排名指标体系的设计自有其技术性的要求。因此，对高职排名进行研究的重要方面就是从指标设计技术要求的角度，对排名的指标及其设计进行探讨。遗憾的是，广报版高职排名只公开了一级指标，是不是有下级指标以及有多少下级指标等都没有公布。科教版2019年高职排名有“4个一级指标、23个二级指标、近50个观测点”[3]，但只公开了一级指标和二级指标，观测点并未公布。因此，这里仅对两个排名中已经公开的指标进行分析。

（一）指标设计违背了同一层次相互独立的原则

所谓同层次指标指的是在同一个指标体系中级别相同的指标，例如，在某个指标体系中，所有的一级指标就是同层次的指标，所有的二级指标也是同层次指标。同层次指标相互独立就是指同层次指标之间不能存在相关、包含或者因果关系。之所以有这一要求，是因为如果同层次指标之间不独立，意味着有些内容被重复评价。这不仅会影响评价的科学性[4]，也会影响评价的公平性。从评价实践来看，在一次评价活动中，一项评价内容只能被评价一次。如果有内容被重复评价，意味着增加了该内容的权重。这明显是不科学的。同时，在被重复评价的内容上，不同的评价对象有不同的表现，那些表现好的评价对象明显会因此获益。不言而喻，这会造成评价的不公平。因此，同层次指标不独立是人们在设计指标体系时应尽力加以避免的。然而，科教版高职排名和广报版高职排名都违背了这一要求。

科教版高职排名2019年的指标包含4个一级指标，分别是基础设施、师资力量、科教产出和学校声誉[5]。从类型的角度看，基础设施和师资力量可以视为投入指标，科教产出和学校声誉可视为产出指标。在排名实践中，许多排名机构都声称自身的指标兼顾投入和产出，并以产出为主。许多研究者也认为，大学排名的指标应该有投入指标，也应该有产出指标。但事实上，在高职排名中，如果同一层次指标既有投入指标，也有产出指标，就违背了同一层次指标独立的原则。从理论上来讲，一个投入指标之所以被列为指标，恰恰是因为这一指标对学校的产出有重大影响。反过来说，如果某项投入指标对学校产出没有一定影响，那根本不会被列入排名指标。这意味着，排名的投入指标与产出指标之间，一般存在比较强的正相关关系。从这个角度讲，在技术层面，科教版排名的指标设计违背了同层次指标相互独立的原则。事实上，高职排名中同时包含投入指标和产出指标，往往会造成令人啼笑皆非的情况。比如，A校与B校在产出指标上的表现完全一样，如果A校投入指标表现好于B校，那么，A校的排名将会高于B校。但这无疑是一个荒唐的结果。科教版高职排名指标中，学校产出与学校声誉之间也存在较强的相关性。学校声誉的形成虽然需要宣传，但是就学校良好声誉形成的根本原因来看，恰恰在于学校有丰富的产出，久而久之，才会形成良好的学校声誉。

广报版高职排名包含4个一级指标，分别是职场竞争力指数、教育竞争力指数、品牌竞争力指数和二次评估指数[6]。在这4个一级指标中，职场竞争力指数与教育竞争力指数以及职场竞争力指数、教育竞争力指数与品牌竞争力指数之间也不独立。在理论上，如果一所高职院校有良好教育竞争力，则其毕业生一般都具有较强的职场竞争力；如果一所高职院校的学生有较强的职场竞争力，学校有良好的教育竞争力，则该高职院校一般也具有良好的品牌形象。也就是说，广报版高职排名的指标设计同样违反了同层次指标相互独立的原则性要求。

（二）指标设计违背了可比性原则

可比性原则指的是评价指标应该能够涵盖所有的评价对象。教育评价的指标设计理应遵循这一原则，否则就会出现有些评价对象由于没有开展评价指标所反映的工作，而使得这些评价对象在某些评价指标上没有得分的情况。

从可见的指标来看，科教版高职排名的指标设计违背了可比性原则。科教版高职排名的23个二级指标中有一项“发明专利”。这一指标就不能涵盖学前教育类院校。在实际中，许多幼儿师范高等专科学校仅设有学前教育系、艺术系、外语系等院系和专业，甚至更少。这种专业设置特点决定了这类院校在“发明专利”指标上的得分微乎其微。显然，设置“发明专利”指标对于学前教育类院校是不公平的。再比如，“社会声誉”指标也是如此。排名机构没有在2019年排名的指标体系中阐明如何评价学校的“社会声誉”。但在2016年的指标体系中，同样有这一指标，并且明确指出，主要是从“示范性高职院校”“骨干高职院校”和“全国职业教育先进单位”三个方面进行赋分[7]。这就意味着，没有这些“帽子”的高职院校在“社会声誉”上的得分将会是零分。这无疑是非常不公正的，因为这一指标没有涵盖所有的高职院校。事实上，用“示范性高职院校”“骨干高职院校”来表示高职院校的社会声誉之所以不公平，还因为这些“帽子”的获得并非全国范围内的高职院校之间完全基于实力比较的结果。根据政府部门的文件，在示范性院校和骨干院校的评选认定中，教育部会先行向各省、自治区、直辖市分配推荐名额，由各省教育和财政部门对学校申报书进行审核后，按照名额向教育部推荐。从这种做法来看，一所学校成为示范性高职院校或骨干高职院校最多只能说明其在本省、区、市有较好的声誉。如果更进一步分析，示范性院校、骨干院校以及全国职业教育先进单位等代表的并非院校的“社会”声誉，而是其在政府那里的“声誉”。

（三）排名机构违背了指标设计的基本逻辑

在教育评价学上，评价指标体系的设计是有步骤的。先是明确评价目标（即评价什么），继而是通过对评价目标的分解，形成一级指标，再对一级指标进行分解形成二级指标。特别想说明的是，这个程序一般来讲是应该严格遵守的。因为如果不遵守这个程序，就极易出现同一层次评价指标之和不等于评价目标的情况，即实际评价内容不等于预定评价内容的情况。一般来说，评价目标代表的是预定评价内容，即评价活动打算评价的内容，评价指标代表的是实际评价内容（因为评价指标设计完成之后，评价者要根据评价指标对评价对象实施评价）。显然，从评价活动本身的要求来看，实际评价内容应该等于预定评价内容，同层次评价指标之和与评价目标应该相等。如果两者不相等，就说明出现了有些本来要评价的内容没有评价或不想评价的内容实际上却被评价了的情况。这都是不能接受的，在评价指标设计中，应该遵循其内在的逻辑。

这里以学生评教指标体系设计为例对指标设计的逻辑做进一步阐述。一般来说，学生评教被认为是对教师教学的评价。明确这一点后，有些学校认为，教师的教学水平可以从教学态度、教学内容的熟悉情况、教学方法的使用和教学效果等方面来判断，这样就形成了一个由教学态度、教学内容、教学方法和教学效果4个一级指标构成的学生评教指标体系。也有学校认为，教师的教学活动可以分为教学前的设计和准备、教学的实施过程以及教学完成后的效果3个方面，并以此为依据，形成了教学准备、教学实施和教学效果3个一级指标。在这个案例中，尽管教学效果这一指标存在问题，但是这种指标设计的方法基本上遵循了指标设计的逻辑，其指标都是来源于对评价目标的分解。然而，广报版高职排名没有明确其评价目标。由于没有评价目标，其指标设计也就无法遵循指标设计的逻辑。例如，该指标体系中包含1个一级指标叫做“二次评估指数”。所谓“二次评估指数”是排名者“组织专家团队对国内外有影响力的几大主要大学排行榜进行专业鉴定，确定其可信度指数，并分别进行5分、3～4分、1～2的分级赋值，综合加权后确定得分。”[8]就这一指标来说，如果指标设计遵循了基本逻辑，则根本不可能出现这一指标。因为指标本质上指的是“实际评价的内容”，“二次评估指数”没有反映任何评价内容。科教版排名虽然声称评价目标是“竞争力”，但并没有界定“竞争力”是什么，也没有阐述是如何将“竞争力”分解为基础设施等4个一级指标的。总之，从操作层面来讲，高职排名普遍没有遵守指标设计理应遵循的逻辑。

三、高职排名的存在之思

汪治教授在论及高职排名时，虽然对全国性的高职排名持批判态度，但是认为专业排名或省域范围内的高职排名是可以开展的[9]。伍红军和秦虹对2012-2015年科教版高职排名结果进行分析后，对这一排名提出了严重质疑，但同时认为“在诸多大学排行榜中理应有高职院校的一席之地”[10]。郑琼鸽认为：“尽管排行榜颇受争议，但存在即合理。高职院校排行榜的产生是多方诉求的必然结果。”[11]总而言之，尽管学者们认为现实中的高职排名存在这样或者那样的问题，但都没有对高职排名本身的存在提出质疑，都认为高职排名自有其存在的合理性。笔者赞同学者们对现有高职排名的批判，但同时认为，如果高职排名仍然按照目前的方式展开，则高职排名并无存在的充分理由。从评价学的角度看，我国高职排名的方式需要适当改变，才能对高职院校的改革发展发挥积极作用，从而凸显其存在的意义。

（一）传统高职排名没有存在的必要

从指标设计的角度看，高职排名的指标最终都可以分为两类：一类是投入指标，一类是产出指标。我国排名机构的做法是，同一个排名同时包含投入指标和产出指标，并且将高职院校在所有指标上的得分汇总，形成一个按总分高低，对高职院校进行降序排列的排行榜。这种做法违背了同一层次指标相互独立的要求。因此，如果坚持这种方法，那么排名所用指标必须单一化，即只选用投入指标或只选用产出指标。也就是说，按照传统的排名方法，高职排名大致可以分为两类，一是由投入指标构成的排名，二是由产出指标构成的排名。

1.由产出指标构成的高职排名没有存在的必要

2006年，大学排名国际专家组在柏林会议上通过了高等教育排名的质量原则和操作范例，即“柏林原则”。“柏林原则”在论及指标设计时明确提出：“尽可能优先评价产出而不是投入。”[12]虽然“柏林原则”的提出者具有很强的权威性，但是权威并不一定意味着正确。从高职排名的目的来看，由产出指标构成的排名实无必要存在。

高职排名的第一个目的是为政府部门决策提供支持。这是一个很高大上的目的，而且这一目的看似很有道理，但事实并非如此。2010年，《国家中长期教育改革和发展规划纲要（2010-2020年）》明确提出要建设“国家教育管理信息系统”[13]。2014年教育部等五部委印发的《构建利用信息化手段扩大优质教育资源覆盖面有效机制的实施方案》提出要“建设教育管理公共服务平台”，即“建立覆盖全国各级教育行政部门和各级各类学校的管理信息系统及基础数据库，为加强教育监管、支持教育宏观决策、全面提升教育公共服务能力提供支撑”[14]。2018年，教育部发布《教育信息化2.0行动计划》，明确提出要实施“教育治理能力优化行动”，要求“完善教育管理信息化顶层设计，全面提高利用大数据支撑保障教育管理、决策和公共服务的能力，实现教育政务信息系统全面整合和政务信息资源开放共享”[15]。从2010年至今，历经10年的建设和发展，我国教育管理信息化水平有了极大提升。通过信息化手段，政府部门掌握了充足的各级各类教育信息，足以支持相关决策，根本就没有必要参考所谓高职排名去进行决策。

高职排名第二个目的是为学生择校提供服务。排名机构认为，由于信息不对称，考生和家长对高职院校的真实情况不了解，使得择校比较盲目。高职排名的结果可以使学生和家长了解高职院校的情况，从而帮助学生和家长选择更好的学校。应该说，信息不对称的情况的确存在。但是，如果排名机构想为学生和家长提供高职院校的相关信息，可以将搜集到的有关高职院校的信息按照一定的逻辑，分门别类地直观展现，根本没有必要制作成一个高职排行榜。事实上，一旦形成了排行榜，学生和家长往往也只看学校所排的位置，而忽略了学校的各种具体信息，反而可能对学生形成误导。

高职排名第三个目的是为高职院校改进工作提供支持。在教育评价领域，这是一个无比正确的目的。但问题是，这个目的只能停留在字面上，而不可能落实到实际中。如果以产出作为指标，那么，高职院校只能知道自己在各项产出上比哪些学校好，比哪些学校差，却不知道为什么好，为什么差。而如果不知道其中的原因，就根本不可能提出改进措施。如果高职排名的指标单纯由产出指标构成，那么，高职排名根本就没有存在的意义，因此也就没有存在的必要。

2.由投入指标构成的高职排名没有存在的必要

在高职排名中，投入指标大多涉及可见资源，如设施、设备、师资等。从某种意义上说，高职院校拥有多少资源在一定程度上能够反映出学校的办学情况，因为办学离不开充足的资源。但是，根据高职院校获得的资源并不能判断出学校的优劣或好坏。原因在于，不同学校的办学规模不同。规模小的学校，其投入总量相对较少，这是很正常的事情。这既不能反映小规模学校没有竞争力或综合实力弱，也不能说明小规模学校教育质量低，或社会服务能力差，或研究能力不行。此外，资源的多少虽然对高职院校的办学有重要影响，但从高职办学实践来看，资源是不是被使用了，是如何被使用的等情况对学校办学影响更大。从这个角度讲，不论是计算资源总量，还是计算资源的人均占有量都无法真实反映学校状况。

（二）排名方式的改进与高职排名的存在价值

从评价学的角度出发，对现有排名方式加以改革，高职院校排名才能体现存在的意义。如上所述，现有高职排名同时包含投入和产出两类指标，先是将高职院校在两类指标上的得分汇总形成总分，然后按照总分高低对高职院校进行排序。在发布排名结果的时候，也只发布按照总分高低形成的排行榜。事实上，对这一方式稍加改进，高职排名就可以走出困境。具体改进方法是，不再将高职院校在两类指标上的得分相加形成总分，而是分别计算高职院校在两类指标上的得分，形成并发布高职院校投入排行榜和产出排行榜两个榜单。这一改进的价值在于：第一，产出排行榜可以反映一所学校强于还是弱于其他学校；第二，高职院校通过比较本校在两个榜单上的位置，可以为学校改进工作指明方向。例如，A校在投入排行榜上高于B校，而在产出排行榜上却低于B校，那么，A校需要好好考虑的问题就是，为什么投入多产出少？这样，A校改进工作的重点方向就不是想方设法增加投入，而是花大力气提高投入的效益。