(南京大学 教育研究院,江苏 南京210093)
大学科研评价是科研活动的风向标,故合理科学地设定诸类评估要素,对于科研活动的健康发展至关重要。其中,评估指标作为评价制度的代理机制,在激励目标与实施效果之间起着中介作用。2020年2月,教育部与科技部共同印发《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》,明确强调杜绝“唯SCI至上”,探索建立注重创新质量、实际贡献与同行评议兼具的评估体系。这是近年来对萦绕在我国学术领域“五唯”问题的一次重拳出击,旨在敦促评估实践回归价值理性,改善与优化学术生态。[1]该意见一经出台,便引起了我国学者与社会各界的广泛讨论。赞成者多认为破除SCI有利于学术发展回归本真,消弭该量化指标的负面导向作用。而反对者认为斩断这一相对客观的指标,容易造成大学管理向“关系型”治理倾斜。[2]绝大多数人则承认其对我国科技领域管理改革具有警示意义,但应当思量制度转轨的谨慎性与科学性。[3]
从世界范围看,澳大利亚、英国等具有成熟的大学科研绩效评价体系的国家,在科研管理和评价方面都曾面临着相似的状况,即:将评估指标视为政策目标,漠视评价制度的实际内涵,致使大学科研管理上演着古德哈特定律所指的悲剧——评估指标变成目的,造成指标原有的指向性与有效性丧失。[4]但SCI等指标要素在科研评价制度中却并未因其不足而被停止使用,而是注入完备、规范的同行评议和评价管理技术等评估要素加以辅助,构建了一个“评估方法论平衡”的大学科研评价机制,最终在不断革新评价机制中完成制度升级,确保评估目的、指标要素与实施效果臻于一致。[5]鉴于此,本研究梳理了澳大利亚大学科研评价制度的演变历程,并从制度变迁的视域分析评估指标与科研活动之间的动态博弈,进而审视大学科研评价制度的特征与内涵,为完善我国大学科研管理与评价改革提供镜鉴。
20世纪80年代,西方国家在普遍经历了二十年之久的高速发展后,经济增速放缓,开始走下坡路,甚至有些国家出现经济负增长。经济的持续低迷与财政收入日渐稀少,使得政府难以坚持公共部门资源分配以公平、正义为原则的价值取向。人们开始将目光转向奉行公共部门管理以效率、效益为原则的新自由主义政策,其政府只需充当为强调自由竞争的环境创造良好外部条件的“守夜人”。由此,“新公共管理”运动在西方各国不同领域接连兴起,澳大利亚高等教育便是如此。彼时受知识经济时代背景的影响,该国政府较为注重人力资本投资,实行高等教育规模扩张,使得受教育人数不断攀升。加之由于经济萧条,劳动力市场深陷停滞状态,教育与社会、经济之间的矛盾凸显,具体表现在:以“投入”为导向的教育财政拨款因为政府财政收入持续下降,使得教育资源供给力度疲软。如此,一种对大学科研“效率、效益和问责制”的关注进而浮现,大学科研绩效评价制度俨然成为高等教育部门改革的一个焦点。
时任澳大利亚就业、教育与培训部长的道金森采取了一系列行动(后被称作“道金森改革”),开始对高等教育的全面改革,意在加强对大学效率、效益与质量的关注,减少对大学的行政干预和控制,转向对大学实施问责制。道金森分别于1987年、1988年发布教育绿皮书、白皮书,正式拉开了对大学科研经费改革的序幕,明确将“质量目标”纳入政府教育改革议程,并声明改变以往以“投入”为导向的科研资助方式,建立经费拨款与绩效指标相结合的制度设计实现对大学科研的问责,即以具体目标为导向来追踪与评估大学科研质量。同时在教育管理体制上,高等学校经历了从大学与学院的“双轨制”向“一轨制”转变,以便政府加强对高等教育的统一管理。基于此,道金森以“管理主义”哲学为指导对大学科研引入市场竞争模式,开展公平竞争的大学科研绩效拨款,以期实现缓解政府财政压力、加强大学管理与控制以及促进教育与经济紧密相连的目的。再者,受到政治、社会以及经济等各种环境的冲击,大学科研绩效评估文化的氛围愈演愈浓。大学科研绩效评价制度也在道金森的改革之中应运而生。[6]
大学科研评价制度在澳大利亚社会经济的现实需要与教育结构的转型中呼之欲出,但是如何研制科学、合理且有效的评价机制是亟待解决的问题。实际上,该国政府在制定与设计大学科研评价机制方面有着漫长的探索与实践,至今主要历经四次演变:综合指数(Composite Index,简称CI)评估、科研质量框架(Research Quality Framework,简称RQF)评估、澳大利亚卓越科研(Excellence in Research for Australia,简称ERA)评估以及社会互动与影响力(Engagement and Impact,简称EI))评价。[7]
1995年,澳大利亚政府启动CI评估,并以其相关评价指标来分配大学科研经费。CI评估指标体系,主要由科研投入与科研产出两方面指标构成。其中,科研投入是评定大学从政府、产业以及其他部门获得的科研资金;而科研产出则是大学科研人员与学生的学术出版物(书籍、期刊文章、会议论文等出版物)、硕博研究生学完成人数。最后,将根据指标权重及各评价要素的计算结果来分配科研经费。可见,该评估体系基本是以量化指标进行评估,在科研产出指标上极大地侧重于科研成果的数量而不是质量。并且其中用以往科研收入的多少来衡量现在的科研水平,该指标的可信度与评价的有效性尚存疑问。因此,自CI评估实施以来便备受批评,尤其是侧重科研出版物数量等科研产出指标部分的诸类问题,涉及大学所提供信息的可靠性、数据收集的高昂费用以及该指标刺激了以牺牲科研质量为代价的出版物数量的激增。[8]
尽管CI评估依据科研相关要素开展绩效评估,但是其评估指标的高度量化导致大学科研“重量轻质”的现象越发严重。随着CI评估的实施,大学科研人员的“积极性”日益高涨,热衷于出版书籍、发表论文、申报项目等等,甚至出现科研人员为了增加学术出版物数量,将科研成果一稿多发、学术造假等异化现象,而科研自身的质量、国家科技水平与社会创新氛围等科研评估的初衷沦为“泡影”。澳大利亚政府在逐渐意识到CI评估的弊病后,便迅速做出反应并研制出新评估方案。经过政府的一番调研与探索,在2005年教育、科学与培训部便发布通知,正式宣布使用RQF评估制度。RQF制度是专门针对科研质量与影响力开展的评估,旨在提升科研质量的同时兼顾科研在经济、社会、环境等方面的现实影响力。RQF评估在评估理念与政策目标上十分贴合科研自身应有的发展思路,但是时运不济,该制度一出台,适逢政府换届。新政府认为RQF评估的设计差,管理开销大,特别是其依靠一种无法验证且难以定义“科研影响力”的方式来评估科研的外在价值与实际贡献,所以最终放弃RQF评估。[9]
新政府上台后,ERA评估取代RQF评估,成为新的大学科研评估机制。这与新政府管理方式便捷化与经济化的需求有关,新政府期望实现有效而透明的评估程序,即既能通过评估制度达到对大学科研的管理,又能确保制度本身能够发挥其公平性与竞争性。在评估程序上,大学科研经费必须确保以国际标准分配给有价值的科研,这在某种程度上的确能为大学评估其科研质量、贡献与创新提供激励。在评估理念上,大学科研评价应与国家优先级科研发展战略相适应。在评估标准上,科研产出指标中的学术出版物和文章引文等评估要素必须经过同行评议审定。ERA评估也被描述为“采用以学科为基础的科研量度与措施,是精简、国际认可的科研质量评估机制,能够成为衡量大学科研质量的有效体系。”ERA评估,自2008年首次评估以来历经四轮评估,已然是该国相对稳定与成熟的大学科研评价制度。[10]以最新一轮ERA2018评估为例,其评估体系涵盖两大板块,一则为核心指标,具体由引文分析和同行评议两大次级指标所构成;另一则为关联指标,包括科研体量与活动、学术出版物概况、科研收入以及应用措施四个次级指标构成。期间,尽管在评价指标、内容、方式等方面有所局部调整,但是该制度在政策目标、价值导向等方面均保持了一致性与恒久性。[11]
2018年,澳大利亚政府为现有ERA评估机制再添一个配套机制——EI评价,共同承担大学科研评价功能。尽管该国科研评价制度已经相对成熟,在既定宗旨的规制下,形成了较为稳定的评估方法与运行机制,可以对该国大学科研活动的质量做出合理的评估,但是却无法满足其社会、经济与其他领域对科研成果应用价值的强烈需求。另外,该国政府也认识到现有评估机制的激励有效性不足。尽管从OECD标准来看,澳大利亚科研产出丰富,但是科研成果的经济价值与社会价值相较于其他国家尤显不足。因而,政府便决定革新现有大学科研评价机制,引入注重科研的社会、经济及文化等实际贡献与现实影响的EI评价。该评价方式的指标设计依赖于定性指标,如科研影响力模板、社会互动陈述材料以及相关描述性材料的解释性说明,当然也有部分可以通过量化数据反映的指标,如科研收入、社会获奖、专利数量等可以证明大学科研社会互动与影响力的量化指标。EI评价最根本的评定方法是依赖于同行评议的专业性,上述指标除了个别少量本身可通过数据收集证明的定量指标外,其余均需要交由同行评议的专家来裁夺。[12]
通过对澳大利亚大学科研评价制度的演变梳理,系统地明晰了该制度的发展脉络,可尚不足以全面理解该国政策制定者、参与者等相关利益者在此制度上的理性选择。为进一步深入认识该评价制度,本研究将从其制度变迁中透视制度特征,以此缕析政策基本内涵的建构过程,进而探讨大学科研评价制度背后的学习效应。诚如诺斯所言,制度是一种博弈规则——参与博弈的个人或组织在规则约束下进行互动。而青木昌彦则将制度理解为一种博弈均衡——关于博弈如何进行的共有信念的一个自我维持系统。[13]2-4本研究结合两者定义可概言之,大学科研评价制度是大学科研在既定政策或规则约束下如何维系其共有信念的机制。
澳大利亚大学科研评价的形成背景,实则映射出政府选择大学科研绩效评价制度的缘由与初衷。该国在确定实施此评价制度之初,便发布了一系列文件,均提及当时国家的高新科技产业与大学科研之间联系不足。同时,大学科研发展也处于失衡状态,其中医学研究处于诺贝尔奖水平,而以产业或工业为基础的科研却十分薄弱,较大程度上源于其曾经薄弱的出口定位,导致该国高科技出口极其有限。当时,科研成果的商业化程度位列OECD国家末位,这与澳大利亚相对发达的科研创新能力较为不符。因此,政府为推动大学科研成果的商业转化与应用,加强大学与产业、公民等科研成果使用主体的互动,一直在努力寻求相关措施来改善现有困境。道金森改革便为澳大利亚走出现状提供了可能。
新公共管理思潮影响下,道金森改革促使澳大利亚大学科研逐步从传统的“学术导向”向注重绩效的“市场导向”转变。大学知识生产不再以“学术志趣”为存在要义,“知识应用”成为大学发展的核心价值。大学科研也愈加注重对实现社会、经济、文化等国家战略发展的功能。因此,该改革标志着大学科研与经济、社会等领域的明确结合,大学科研的主要目标是为实现国家发展战略而服务的。为完成这一宏伟设想,政府引入了大学科研绩效评价制度,以此激励大学开展竞争、激活大学科研活力与推进国家发展战略。通过鼓励大学竞争等手段引导大学关注政府认定的优先发展领域,即应用性科学、应用性技术等对于该国经济发展有直接影响的学科门类和科研领域。大学发展不再停留于象牙塔中寻求科研志趣,而是与政治、经济、社会及环境等诸多领域相联结。而大学只有在科研方面表现优异,才能在基于绩效的资助体系中寻得竞争性资金,这种建立在“绩效”基础上的竞争性机制,促使该国大学的发展由“外在压力式”转变为“内在动力式”。各大学在谋求自身生存与发展的努力过程中创造科研成果,并与产业、公众等科研成果使用主体互动,可以缓解本国的经济、社会等发展困境,最终也成为自身致力于追求的目标。[14]
为使政策构想付诸于实践,澳大利亚的政策制定者、参与者等其他相关利益者,设计出了大学科研评价制度的框架。在目的层面,政策内涵更多地反映政府、产业、公民等相关利益者的共有信念;在指标层面,通过选择与“以公共资助的大学科研”多方利益者的共有信念相适应的绩效代理指标来表征政策目标,同时指标将引导大学科研向政策目标靠拢,即参与评估的主体会对绩效代理指标做出反应,以满足科研评价目标的需求,以此实现大学科研评价制度的顶层设计。只有当科研评估的目标与最终实施的效果一致或接近时,政策本意才算得以实现。可见,这一制度设计旨在最大限度地发挥该国大学的科研潜力,且最大程度地实现国家发展战略目标。
从澳大利亚大学科研评价制度的四次演变可知,评估实践往往与评估初衷并不一致。此时,政府将会采取一定的措施——不断变化绩效代理指标,进而促使大学科研评价的实施效果回归政策本意。CI评估,到RQF评估,再到ERA评估和EI评价,制度的变迁昭示着大学科研评价制度的代理绩效指标在不断革新。这主要源于绩效代理指标的有效性缺失,难以真实表达政策实际内涵,使政策产生非预期效果,导致大学科研评价的实践偏差,具体原因为:一方面,历届政府基于目前本国大学科研发展阶段与国家优先发展战略的需要,会及时调整、修正与升级科研评价制度的阶段性内涵,使得在原本共有信念下的政策目标有所侧重;另一方面,原有科研评估机制的政策设定存在问题,引发了一些非预期效果,特别是绩效代理指标的选取不当,造成了代理指标与政策目标的偏差,使得大学科研发展出现脱轨与偏离。[15]
在该国大学科研评价伊始,评估方式就基本锁定在了量化指标上,诸如学术出版物数量、科研收入以及研究生学完成人数等。这些“数据”充斥着整个大学科研评价的标的,而这也激发了大学热衷于追求这些“显性”指标的积极性,纷纷在增加科研产量、提高研究生学完成人数等方面积极进取,以期能够在评估中获得优秀表现,拿到更多的科研经费。[16]CI评估在现实运转中演化为科研数量评估,大学科研评价制度的内涵演化为“科研产量越多,资金越多、声誉越高”的异端政策之意。此外,CI评估也产生一些较为严重的隐性不良影响,如大学科研人员在科研选题、科研项目申请等方面发生变化,“短、平、快”成为科研人员选题的首选标准。从长远上看,这将迫害大学科研生态、侵蚀研究质量以及有损国家发展。[17]
CI评估的缺陷所带来的非预期效果饱受诟病后,政府便积极探索更为合理的评价机制。由于经历政治变革与其他影响,相对合理的RQF评估机制在未付诸于实践时就被迫终止。但是该机制却在政策内涵指引上为ERA评估做出贡献,使后来的评估体系得以采用定量与定性相结合的混合评估方法,评估机制中贯穿同行评议程序以确保科研评估的专业性、科学性与可靠性,评价指标选取上从单纯的绝对指标转向内含质量的相对指标等等。而2018年,首次执行的EI评价则是对以往已经运行较为完备的ERA评估机制的有益补充,以弥补澳大利亚大学科研在将科研成果转化为商业价值、社会价值等方面的欠缺,从而特意在EI评价中添加科研影响力等评估指标。除上述非预期效果外,评价制度还存在一些其他潜在影响。譬如,科研人员的学术倦怠与对排名与评级的痴迷,基础研究与“蓝天”研究的缺失以及大学发展与学术研究的同质化现象等。可见,评价制度在实践过程中会产生难以预料的效果与影响,这在一定程度上左右了大学科研的进步与国家发展战略的实现。
大学科研评价制度随着现实情境的变化、大学科研发展的走向以及绩效代理指标的引导而不断递进与革新,这期间产生一系列的制度学习效应。“学习”体现在新情境的变化、新观念的涌现或对成功观念的模仿、诠释和再编辑。[18]不断革新评价制度的指标或方法,并使用这些指标与方法来传达政策制定者、参与者等相关利益者的目标,以此引导大学科研活动始终向政策目标的方向持续改进,支持和推动大学科研评价制度的学习与变革。大学科研评价制度旨在协助政策主体实施管理与监控,而政策现实效果亦为制度学习提供反馈信息,以交互的方式用于完善制度,激发制度的进一步演进与变迁。这一制度的学习过程极为重要,因为其能够确定大学在实现目标方面的进展,并就未来所采取的应对措施做出改进,以此推动大学科研朝着既定的目标发展(图1)。
澳大利亚大学科研评价制度的整个演进过程,揭示了大学及其相关人员对科研质量、创新与贡献的不断重视,同时也反映了在政策执行过程中出现政策本意之外的非预期效果也在所难免。换言之,评价制度的结果并非按照政策制定者等相关利益者所希望的方向发展,造成政策意图与现实效果的错位。澳大利亚一直将大学科研作为国家发展的“动力源”与“助推器”,为平衡大学发展与政府、产业等多方利益者需求,历届政府通过许多政策和审查措施来改善与引导大学科研发展的走向。这一进程所确立的政策环境,确保以公共资助的大学科研越发倾向于为国家利益服务,体现出多方利益者对公共资金合理、有效使用的问责要求,而且越来越多地是基于在“绩效”竞争基础上分配的。因而一旦制度实践产生无法预料的现实效果时,绩效代理指标的有效性将丧失,此时为了促使政策意图与现实效果一致,将会不断修正与改进绩效代理指标。如CI评估的指标几乎全为科研产量等指标,造成科研论文数量激增而科研质量下滑。为了促使评估更为关注科研质量与影响,在后来的ERA评估和EI评价中均引入判定学术质量和影响的同行评议等指标。
二十多年来,澳大利亚大学科研评价制度在动态的演进中适应国家发展战略目标。一番评价机制的演变透视出科研评价政策内涵与表现形式的递进。政策内涵从“科研水平评估”向“科研卓越评估”延伸,不仅关注科研成果的数量与质量,也重视科研成果的社会贡献与影响。而这个延伸过程是符合该国发展的现实状况与基本国情的,并未穿越与跳过任何一个发展阶段,是在渐进式的政策内涵延伸中一步步促使科研评价制度适应该国的真实社会情境。在评价制度还未出现时,该国处于大学科研产出低、国家创新能力不足的阶段,自然顶层设计倾向于对科研数量与质量的评估。一旦澳大利亚摆脱了原有的困境之后,完成了科研产出从“少”到“多”的发展阶段。政府理应顺势而为,转而走向从“多”到“好”的高阶阶段,所以在2018年专门引入注重科研的经济、社会等效益的EI评价,作为现有强调科研数量与质量的ERA评估机制的配套机制。是故大学科研评价制度的学习效应所呈现出的渐进性制度变革,成为该国科研评价制度有效运行的关键所在。
澳大利亚大学科研评价是否是一个优秀的范例,不可而知。但可以确定的是,政策内涵及其应用限度是在政策执行的过程中不断试错与学习而得以完善的。我国目前虽未有独立的大学科研绩效评价制度,相关评估要素仍混合在学科或专业评估、大学教师评价等制度之中。可是利用科研产出,特别是SCI、SSCI等论文发表量、论文影响因子等指标,去决定相关科研资源、职称评审、项目申报的制度设计在我国大学领域普遍存在。以上对澳大利亚大学科研评价的机制演变与制度特征的分析,可为我国大学科研评价提供若干审思。
哈贝马斯试图以沟通行动来达成对事物的理解与共识,以蕴含于语言中的沟通理性祛除“理性化的吊诡”现象。[19]314从我国目前评估实践来看,评估者与被评者之间缺乏有效沟通。评估机制一味按照行政管理者的思路去设置,难以体现学术组织的运转逻辑。行政管理者的政策制定侧重于政策的价值导向与问题导向,基本是就某类突出问题采取特定的解决措施,以单一的线性管理思维研制相关政策。而大学科研评价制度实际上是对学术研究成果的评价,理应让学术组织和学术人员充分参与政策的决策过程。此外,科学研究离不开其所产生的社会、经济与文化等现实语境。因而,科研评价制度的设计也应当由来自大学、产业与公民等相关利益者的共同参与,这样才能让科研制度建设更加符合群体利益与基本国情。澳大利亚科研评价制度每一次的革新与改革,为了确保机制改革符合更多主体的利益,都是经过专业的审查委员会、不同主体的意见征求等一系列科学而广泛的社会调研与咨询后才做出的机制整改。相反我国近日下发的破除“唯SCI至上”的文件,显然只是从行政管理者视角看待问题,缺乏多主体、多层次角度思考,这样反而会引起诸多不良反应。因此,加强政策的沟通,让科研评价制度建设符合我国学术发展实际和广大科研人员的根本利益,是制度得以行稳致远的必要举措。同时,大学科研治理只有实现从“管理”向“治理”的有效转变,才能真正适应于我国高等教育质量治理体系的建设。
任何制度在建立之初都被赋予了价值倾向性,是为了对现实问题的解决或改善而设立的。科研评价表征着科研的质量、贡献与创新,所以其目的必然是学术研究至上,理应以学术内容本身为核心。可是我国现行教育行政系统的基本运作逻辑,相较于市场等其他力量,大学评估或科研评估多半是依赖于行政力量,几乎各方面评估结果都依赖于指定的“专家”,且无论是否是该领域的评估专家。在评估模式上依然未有新的尝试与突破,如采用同行评议、外部评估、参与性观察、叙事评估以及语境评估等模式。[20]127-138进行科研评价范式的转换与调适,尤其注重科研评价方法的多元化,远比一刀切破除“唯SCI至上”的措施要更适合于我国现有评估制度的建设。尽管SCI指标存在不合理之处,但是作为一个国际性通用指标其在与国际研究的对话上却功不可没。更为重要的是,SCI指标在科研自身评价的专业性方面是相对科学与合理的,因为每一篇SCI论文均是经过严格的同行评审后才得以发表的。客观量化的指标单独存在,确实易造成“五唯”现象泛滥,但是剔除该相对客观的指标也会产生“唯人情、唯关系”等新问题。其实,我国目前的评估模式过于单向度化,且评估机制处于“方法论失衡状态”,而打破这种失衡需要放低量化指标,抬高透明的同行评议等其他成份,让评估实践趋于正常。类似于澳大利亚在后来的评价制度中不断引入透明、公正与规范的同行评议程序与科研管理技术,进而为科研评价注入新活力。概言之,我国相关评估的“破”或“立”绝不能仅从单一维度思考,而是要放置在整个社会或国家的宏观背景等多角度下审慎思量。那么既要破除“唯SCI”的顽疾又要保障评价方法的适切性,在评估模式上进行改革则不失为一则良策。
一项制度只有在不断修正的过程中才能达到相对最优,因此发挥制度的学习效应将会实现制度的改进与超越。[21]澳大利亚大学科研评价制度历经四次演变,都相应地伴随着制度的优化与升级。从CI评估基本全是量化指标为主的评估方法,到ERA评估与EI评价注重同行评议与其他质性指标的混合评估方法。同时,评估政策也逐步从工具理性向价值理性回归。最终,大学科研评价的政策内涵从“数量”到“质量”,再从“质量”到“卓越”递进。由此可知,科研目标的转变呈现出一定的阶段性特征,也符合事物的一般发展规律。目前,我国科研体量位居世界第二,显然已达到了科研产出“数量”的发展阶段,所以下一步更应将评估重心放置在“质量”,乃至“卓越”的考核上。评估指标的评价要素应突出大学科研的社会贡献与现实影响,而不是在未寻找到更好的评估指标前直接剔除SCI指标,在解决科研评价出现的问题时只是热衷于“解构”而不是“建构”。事实上,尽管澳大利亚、英国等实施大学科研绩效评价的国家都面临过类似问题,但是他们并未直接消除这种相对客观的量化指标,只是在其中加入更为严格的同行评议指标辅助评估。或者评价指标的选取更倾向于质量要素,如选取期刊中的顶级期刊、一定比例的国际优秀期刊等。[22]这种渐进性的评估思路,既给予了政策相关利益者在时间上的适应与过渡,也为制度供给存在的缺陷提供调整与优化的空间。我国大学评估制度的制定,应辨证地看待本国科研发展的阶段性特征,SCI指标尽管有其不足,但在改革上不应由于其外部存在弊端而忽视该指标的合理性。实际上,变革的重点应从内部革新SCI指标中粗制滥造的部分,并且加入新评估元素,以此迈向“后SCI时代”。