● 李国年 高燕林
英国高校科研评估体系的演变、特点与启示*
● 李国年 高燕林
英国高校科研评估体系先后进行了六次改革,于2014年开始实行“科研卓越框架(REF)”。REF对英国经济和社会发展产生深远影响,引起国内外学者们高度关注。文章在对英国高校科研评估体系的改革背景和演变历程进行分析的基础上,指出英国现行高校科研评估体系具有凸显高校科研卓越性和社会影响力、鼓励团队合作研究、强化评估结果可信度和注重成果质量评价等特点。英国高校科研评估体系的经验和创新措施,对我国的启示主要有:构建基于学科单元的学科特色评估体系;建立非官方的中介评估机构作为评估主体;坚持以成果质量为导向的评估准则;遵循跨学科合作与协同创新研究导向。
英国;高校科研评估;科研卓越框架;估体体系
20世纪90年代以来,中国许多学术科研机构采用“麦当劳化”方式加强科研管理和推进科技改革,即科研成果的评价核心偏重成果的产生,评价的手段主要依靠简要的统计方法。通过量化规定研究成果的等级,计算研究成果的数量,并根据研究成果的等级差异赋予不同分值,再根据分值的高低给予不同的奖励和报酬。[1]这种简捷的科研评价体系能在较短时间内刺激我国科研的量化性发展。2015年7月8日,中国科学技术发展战略研究院指出,中国SCI论文数量位居世界第二。然而,有学者指出以科研产出为导向的评价体系、过分追求SCI文章发表的篇数、被引用的次数和发表文章的档次,不利于我国科研事业的健康发展;不公正的评价和过度的评价导致研究者的创新能力下降、基础研究环境的恶化、甚至诱发了不端行为、寻租和腐败。[2]此外,中国科协主席、中国科学院院士韩启德也指出我国科学道德和学术“反腐”任务艰巨,源于我国缺乏健全的评价体系。纵观欧美发达国家,不断对本国的科研评价进行探索,如新西兰高校绩效科研基金(Performance-Based Research Fund,PBRF)、澳大利亚科研卓越计划(Excellence in Research for Australia,ERA)、美国国家科学研究委员会(The National Research Council,NRC)、荷兰标准评价协议(The Standard Evaluation Protocol,SEP)及英国科研卓越框架(Research Excellence Framework,REF)等。
借鉴欧美发达国家在改革和健全高校科研评估体系的经验,有助于实现十八届三中全会提出的我国高等教育内涵式发展的战略目标。英国高校科研评价体系不仅历史悠久,而且是世界上最成熟的科研评价体系之一。2014年12月18日,英国高等教育基金委员会公布了高校“科研卓越框架”首次评估结果。评估结果显示,英国高校科研质量处于世界领先地位,高校科研评估体系推动科研事业科学发展,对英国经济和社会发展产生了深刻影响,并引起了各国政府和学者的关注。本研究主要对英国高校科研评估体系的演变进行梳理,采用内容分析方法,重点挖掘英国现行的科研卓越框架的核心要素,如评价目标、评价内容、评价方法等,深入剖析REF的特征及取得的成效,为改革和完善我国高校科研评估体系提供有益的借鉴。
20世纪80年代,由于英国经济不景气,国内经济发展持续恶化。为减少政府公共支出,提高资金的使用效率,撒切尔夫人开始对英国政府公共部门进行改革。在此背景下,英国高等教育经费随之减少,为了将有限的高等教育拨款真正发挥作用,针对高校的科研评估体系应运而生。英国于1986年开始实施科研评估(Research Assessment Exercise,RAE),这是由英格兰高等教育基金委员会(Higher Education Funding Council for England,HEFCE)、苏格兰高等教育基金委员会 (Scottish Higher Education Funding Council,SHEFC)、威尔士高等教育基金委员会(Higher Education Funding Council for Wales,HEFCW)和北爱尔兰教育部 (Department of Education for Northern Ireland,DENI)四家高等教育基金委员会共同对全英高校科研进行评估。基金委员需履行科学划拨科研经费,为推动高等教育发展提出可行性建议等职责。除四大基金委员会外,还有英国高等教育质量保证署(Quality Assurance Agency for Higher Education,QAA)等其他组织机构对英国高校科研和学术活动进行评估。
1986年,英国高校拨款委员启动了“科研选择性评估”(Research Selectively Exercise,RSE),要求申请评估的高校填写一份评估调查表,并提交过去五年的五项代表作。英国高校拨款委员会依据不同学科特点组成各学科评估小组,对申请材料进行评定,评定结果分优、良、中和差四个等级。[3]由于当时评估标准和评估方法过于模糊,加之各学科组数太多,整个高校科研评估工作任务极为繁重、繁琐,使得各个学科组之间的评估结果差距悬殊。
1992年,英国高等教育基金委员会取代高校拨款委员会,并在高校科研中首次采用“科研水平评估”(Research Assessment Exercise,RAE)。新的科研评估指标和内容发生变化,如高校科研人员只需提交两篇代表性研究成果,将评定结果分为五级。[4]20世纪末,英国再次对高校科研评估进行改革,这次改革最显著的表现是:改变对论文和著作等相关材料的评估;将评定等级由原来五级增加到七级,其中第3级分别拓展为3a和3b两个等级,增加了5*最高等级;进一步将等级2纳入零资助的范畴,最终使各等级间的拨款拉大。[5]
21世纪以来,英国高等教育基金委员会继续对高校科研评估体系进行改革,改革后评估过程更加复杂和精细。如评估成员均是各个学科的专家学者,运用科学技术增加公众的监督等。2001年,英国对RAE以往的科研评估进行调查,并发布《科研水平评估》和《加雷斯报告》。此次大规模调查活动为RAE最后一次科研评估体系改革提供了新思路和方向。2008年英国高校科研评估将评估结果等级变更回五级;设置主评估组和次评估组;各学科采用不同评估标准。
自1986年至2008年,英国对高校科研评估不断进行调整和完善,REA分别于1986、1989、1992、1996、2001和2008年共进行六次大规模高校科研评估活动。REA评估排名呈现出精英管理特点,评估也取得明显成效:为英国政府高校科研拨款提供依据,也使英国高校科研质量和科研管理水平得到提高;一流大学和优势学科科研获得更多资源支持;科研人员发表高质量期刊的积极性得到强化,科研人员的流动也更为科学。[6]2008年,英国实行了30多年的RAE评估体系被科研卓越框架 (Research Excellence Framework,REF)取代,并决定在2014年使用REF实施英国新一轮科研评估活动。
科研卓越框架强调科研成果的创新程度和社会影响力,该科研评估体系于2013年提交评估材料,2014年正式评估并公布评估结果,其评估结果将作为17.6亿英镑科研经费的分配依据。本文从评估指标、评估单元、评价方法、研究产出等方面剖析REF科研评估体系。
(一)调整评估指标,凸显高校科研卓越性和社会影响力
科研卓越框架对2008年RAE的评估指标进行调整,将RAE中“科研成果、科研环境和科研声誉”三个指标变更为“科研成果、科研环境和科研影响力”。将“科研声誉”调整为“科研影响力”,不仅仅是文字表述的变更,更是体现REF2014改革的创造性新措施,旨在凸显高校科研成果卓越性并形成强大的社会影响力,同时这三个评估指标在科研卓越框架所占权重分别为65%、15%和20%。此外,为了更加科学地反映不同学科的科研产出和效益,REF丰富了提交成果类型。[7]
科研影响力的评估标准包括“深度”和“重要性”两个维度。评估方法主要采用“影响力案例研究”和“影响力模板”相结合,申请科研评估高校提交的材料包括“影响力案例研究”和“影响力模板”两个部分。其中“影响力案例研究”包括一个篇幅四页的案例研究和一个由10个成员实施的补充性案例研究,案例研究材料仅限于评估期间 (2008年1月1日至2013年7月31日),同时要求申请评估高校必须自1993年来成功开展高质量科研活动,并且该科研活动对社会产生较大影响;“影响力模板”要求申请评估单位概括在评估期间进行科研活动产生的影响力和未来强化影响力的策略。依据“深度”和“重要性”的评估标准,实施“影响力案例研究”和“影响力模板”相结合的评估方法,评估小组将科研影响力评估结果划分为5级,即无级别、1*、2*、3*和4*。分别代表不及格、良好、很好、优秀和出色。[8]而对于不同级别,科研成果、科研环境和科研影响力所占权重不尽相同(见下表)。
(资料来源:http://www.ref.ac.uk)
(二)调整评估单元,鼓励团队合作研究
较之于RAE,REF强调高校科研要坚持协同、跨学科研究的理念,强调合作研究,这是REF评估体系最显著的特点。REF摒弃了完全以学科为基础设置评估单元的理念,对学科分类进行整合,评估单元由RAE2008中67个评估单元 (Units of Assessment)减少至36个,主评估小组(Main Panel)从15个减少至4个(A、B、C、D)。[9]为鼓励不同高校和学科间科研合作与协调创新,REF鼓励由不同高校、学科开展的合作研究在评估时只递交一份评估申请,评估小组只对合作研究进行整体评估,不对具体单位进行评估,评估成果由合作单位共享。REF对科研评审专家组的组建和成员也提出了明确要求,强调专家组的成员面向全球招募,由具备相应资格的人员提出申请,再由英国四大基金委员会进行资格审核、确定。专家组成员应该具备管理、控制和评估高校的专业经验,成员间具有不同学科背景,具有跨学科知识申请者更容易通过申请。通过跨学校、跨学科合作研究的方式,在重点领域展开研究,从而增强高校科学研究水平和层次。
(三)改革评估方法,强化评估结果可信度
根据各学科的特点,REF将评估单位分为人文艺术类、社科管理类、生命和医学类、理工工程类。同时将评估方式归结为两类,一是艺术、人类学等人文学科以文献计量和少量同行专家评估相结合;二是理工学科以同行专家评议为主,辅之以文献计量及引用分析。但REF也意识到运用科研成果引用率的局限,要求评估小组坚持原创性、严谨性、重要性等原则,同时发挥主观判断,最大程度地对科研成果作出科学评估。另外,REF中科研成果、科研环境和科研影响力三个指标的评估方法各不一样。科研成果评估坚持原创性、重要性和严谨性标准,实施参考文献计量的数据和指标、引用分析和同行专家评估方法;科研影响力依据“深度”和“重要性”的标准,采用“影响力案例研究”和“影响力模板”相结合的评估方法;科研环境则采用“环境模板+统计数据”的评估方法,侧重科研环境的生命力和可持续性。总体而言,REF评估方法经历了由完全“文献计量法”过渡到“同行专家评估为主,文献计量为辅”。
(四)创新研究产出,注重成果质量评价
REF强调高校科研评估中,从科研成果、科研环境和科研影响力三个方面对高等学校、机构的科研情况和实力等进行评估,同时参考科技产出的创新程度和社会贡献,其中科技产出和成果占评估体系的65%。在科研成果数量上,REF实行代表作制度,要求每个参评人员只提交四篇代表作,避免了参评人员盲目重视科研成果数量的弊端。在科研成果形式上,不仅局限于期刊论文和研究报告,还包括评估期间形成的专著、艺术设计、产品表演和展览。在科研成果权重上,为了引导和鼓励创作出高质量研究成果,REF将同行专家评估所得的成果质量等级赋予不同的权重(4*成果权重3,3*成果权重1,2*和1*成果权重均为0)。这就意味着等级高低与成果权重成正比,最终得出评估结果将作为国家分配科研经费的依据。[10]
英国高校科研评估体系所遵循的基本准则和价值取向,是英国保障科研卓越性和增强国际竞争力的重要引擎。这对我国逐步构建社会经济发展、科技创新和人才成长协同发展的科研评估体系,推动我国高校科研由规模向内涵和质量发展具有重要的借鉴意义。
(一)构建基于学科单元的学科特色评估体系
英国高校科研评估坚持“学科理念”,以学科为单位,通过评估增强学科竞争力,形成学科特色评估体系。REF整个评估过程按照学科评估单元进行,不同评估单元涵盖不同学科,并设立评估专家小组。评估成员均具备较强的学术研究能力和不同学科背景,且有从事英国高校科研评估的经历。在具体评估方法和评估标准上,不同学科也存在一定差异,如艺术、人类学等人文学科以同行评议或专家评议为主,理工学科和自然科学类学科以文献计量法为主。基于学科特点和学科性质,REF评估体系更好地促进交叉学科、跨学科科研项目的开展,形成学科特色评估体系。
当前,我国高校对不同学科评估采用“一刀切”,忽略了学科特点和学科性质。不管人文科学、理工学科和自然科学类学科均注重其论文、专著、被引用率等指标,从而形成在科研评估时重科研数量、轻科研质量的“病态”。另外,我国科研经费分配并非以学科为单位,这容易导致高校科学片面化发展,失去原存的学科特色。为此,我国高校科研评估中应树立“学科理念”,构建以学科为评估对象的评估体系,改变科研评估“一刀切”模式;我国高等教育科研经费拨款时也应考虑学科间的差异,合理分配高校科研经费,最终构建完善的学科特色评估体系。
(二)建立非官方的中介评估机构作为评估主体
公正是高校科研评估必须坚持的基本原则,而高校科研评估机构是确保公正评估的有效载体。英国高校科研评估活动由高等教育基金委员会承担,这是一个独立中介机构,能相对独立、科学地进行评估活动,有效地协调高校、政府及利益相关者之间的关系。在高等教育科研经费拨款方面,非官方中介机构发挥积极作用,改变科研经费由政府直接到高校的单向路径。[11]非官方的中介评估机构的参与,能最大程度确保评估活动、经费拨款等环节的公正、公平和透明。
由于我国高校科研评估活动起步较晚,加之我国高校科研活动长期由政府部门充当评估主体。政府主导下的评估活动,评估主体角色单一,评估活动中行政色彩浓厚,难以确保评估活动的公平和透明。因此,我国可借鉴英国中介评估机制,建立非官方的中介评估机构,从而转变政府在高校科研评估活动中的角色和地位,从一个掌控者向指导者、服务者角色转换,由直接控制向间接管理过渡,确保高校科研评估过程透明、公正及经费拨款科学、合理。
(三)坚持以成果质量为导向的评估准则
在英国科研评估中,坚持科研成果质量为核心价值取向,追求科研成果质量和创新时,更加强调科研成果的社会影响力。无论是人文科学、理工学科和自然科学类学科,均强调持原创性、严谨性、重要性。科研成果质量是REF评估的关键指标,也是强化科研成果在国际竞争力主要措施。REF评估体系将“科研声誉”改为“科研影响力”,科研影响力着重指对国家经济、政治、政策及生活水平的影响,这也是强调科研成果质量的重要表现。
目前,我国高校科研评估体系缺乏以成果质量为导向的卓越性理念,在实际评估中“重数量,轻质量”,许多高校甚至将成果数量作为评估的唯一指标,如论文发表篇数、课题等级、论文的引用率和刊物影响力等。因此,我国在高校科研评估过程中,要坚持以创新质量为导向的评估准则,重视科研成果的社会效益,正确协调科研成果数量与质量的关系。试点构建优秀成果和代表作评估机制,突出国内外同行专家对代表作的评判。
(四)遵循跨学科合作与协同创新研究导向
REF鼓励高校、学科间合作和协同创新。一是高校之间进行合作研究,共同提交评估材料,评估的结果由团队成员共享,不论署名的先后;二是学科间协同创新,REF对以往的评估单元进行简化,促进学科间交流与合作,有助于相近学科进行跨学科研究。
较之于REF评估体系,我国高校科研评估中存在较为严重的“第一”情节,论文署名要强调第一作者、科研项目要求主持人或第一作者、第二作者,排名靠后者往往不受重视。这种过分强调位次的评估机制,不利于高校间、学科间协同创新。因此,我国高校科研评估时,应借鉴英国REF中协同创新理念,大力培育不同层级高校间、不同学科间的合作精神,引导协同创新科研活动的开展,同时将高校和学科的协同创新纳入科研评估体系。
[1]余江.英国科研评价体系及其借鉴问题[N].中国社会科学报,2014-07-30.
[2]刘大山.论文造假源于科研评价体系失范[N].南京日报,2015-09-18.
[3]B.Valerie,O Charles.The Evolution of UK’s Research Assessment Exercise:Publications,Performance and Perceptions[J].Journal of Educational Administration and History,2005,(2).
[4]K.Barker.The UK Research Assessment Exercise:The Evolution of a National Research Evalution System[J].Research Evalution,2007,(1).
[5][6]Mary Henkel.The Modernization of Research Evalution:The Case of the UK[J].Higher Education,1999,(1).
[7]马尔科姆·泰特.英国科研评估及其对高等教育的影响[J].北京大学教育评论,2012,(3).
[8]REF2014.Decision on Assessing Research Impact[R].Bristol:REF,2011.
[9]REF2014.Units of Assessment and Recruitment of Expert Panel [R].Bristol:REF,2010.
[10]刘兴凯,梁珣.英国高校科研评估的制度改革、效应及其借鉴意义[J].清华大学教育研究,2015,(3).
[11]Brinn T.Jones M J.Pendlebury M.Why do UK Accounting and Finance Academics not Publish in Top US Journal[J].British Accounting Review,2001,(33).
(责任编辑:冯永刚)
李国年/广东科技学院副院长,副教授,管理学博士;高燕林/广东科技学院教师,教育学硕士
*本文系广东省2013年高等院校学科与专业建设专项基金 (学科科研类项目)“广东独立学院运行机制研究”(2013WYXM0159)的研究成果之一。