英国研究卓越框架及其启示

摘 要：英国开展的研究卓越框架是评价高等院校科学研究项目质量的一个新的行动计划，其评估重点是科学研究项目的产出、影响以及环境三个要素，文章介绍了评估的主要内容，以及该计划的时间进度安排，探讨了英国研究卓越框架对我国开展类似科研评估活动的启示。

关键词：科学研究；卓越；框架；英国

一、英国研究卓越框架及其目标

研究卓越框架（Research Excellence Framework，REF）是英国高等教育拨款委员会（The Higher Education Funding Council for England，HEFCE）正在开展的用于评价其高等院校的科学研究项目质量的新行动计划，并将取代之前开展的研究评估活动（Research Assessment Exercise，RAE）。

REF的目标在于使英国高等院校的研究成果以动态的、具有国际竞争力的水准持续发展，并为经济的持续繁荣、国民福利、知识的增加与传播作出贡献。具体的目标有：提升高等教育研究数据库和各种研究项目的质量；支持和鼓励创新，包括新方法、新领域和交叉学科的工作；进行奖励和鼓励，如为有效地分享、传播和应用各项研究项目的成果，高等教育机构、商业组织和第三方组织之间交流有关观点和研究成员，对将卓越研究的价值传递给经济和社会的高等教育机构进行奖励；便于更好地管理研究数据库，并促使其可持续发展等。[1]

二、主要工作及其关注重点

（一）评估内容

研究卓越框架的工作内容包括4个方面：一是对英国所有高等教育机构提供权威、综合的卓越研究评级；二是向英国拨款机构提供有关研究资助分配方面的建议；三是向公众和学校提供有用的信息以及关于卓越研究的标准；四是解释高等教育领域内有关研究的公共支出等行为。REF将通过一个专家小组来执行评估活动，专家小组将评估各高等教育机构提交的科学研究项目活动和成果，并作出判断。[2]

不同的学科组成了不同的评估单元（Unit of Assessment，UOAs），而这些评估单元将会由不同的专家小组进行评估。为了简化评估活动并取得更大的一致性，REF作出如下建议：减少UOAs的数量以及它们之间的界限，建立30个UOAs和专家小组，并且要求他们提供评估反馈意见；将主要学科小组的数量减少至4个（广义来说，包括医学和生命科学、物理科学、社会科学以及艺术和人文等学科）；使所有小组尽量采用统一的评估标准和评估过程，它们归属于不同的单元仅仅是因为学科的不同；调整专家小组的构成及其工作方法，以确保他们有能力评价有关的材料，特别是在评估研究成果所产生的影响时，加强对研究成果的使用者的评估。

（二）关注重点

REF特别关注评估研究3个方面的要素，这些要素反映了卓越研究评估研究共有的、重要的特征。它们分别是：研究成果，以确认研究是否属于卓越的研究，其依据是研究的出版物及其质量；研究影响，REF将对一些领域给予重要的、额外的关注，研究者在这些领域内已经开展了卓越的研究，并给经济、社会、公共政策、文化或者大众生活创造了实际收益，促进其质量的改善；研究环境，评估研究者所在的环境如何支持卓越研究的持续开展，以及对研究成果进行有效地传播和应用。

评估小组将会基于一定标准对上述3要素进行逐一评估，评分将会采取四星级的形式，分别是四星（世界领先）、三星（国际上是优秀的）、两星（国际认可）、一星（国内认可），以及未进入等级（低于国内认可的标准）。

三、评估重点

（一）研究成果

评估重点关注研究成果的质量，因为它们是研究的卓越性以及研究影响的直接体现。为了评估研究输出的质量，高等教育机构应该明确哪些研究人员以及他们的哪些成果可以作为评估的对象。只要研究者在评估期间开展了高质量的研究，REF鼓励高等教育机构提名任何一名合格教师，同时也鼓励高等教育机构提交各种形式的高质量的研究成果。评估的标准是原创性、严谨性和重要性（重要性的界定标准包括在学术界产生影响，或者是在学术界之外获得了直接或间接的应用）。评估的形式是专家评议，基于卓越的、国际性的标准来评估研究成果；为减少评估小组的工作量，建议每一位教师提交的研究成果数量不超过3篇（RAE要求不超过4篇）；一些评估小组也将会使用引用率等有关信息对相关的研究成果作出评估。

在研究成果的评估中如何使用有关引用率的信息？其一，能够获得大量的资料引用率信息的评估小组会使用这些信息，如医药、科学和工程等学科小组会这样做，但是艺术、人文以及许多其他学科小组不会这样做；其二，REF将向有关的评估小组提供资料的引用信息，这些信息包括研究成果被引用的次数，以及关于较高引用率的标准；其三，这些评估小组将会使用引用信息来明确和补充他们关于研究成果的评估结论；其四，将出台一些指导文件，涉及仅仅使用引用率的局限性以及如何避免这些局限。因此，评估小组将不仅仅依据引用信息对研究成果的质量做出判断，同时还会参考专家的主观判断。所有提交的研究成果不论是否提供有关引用的信息，都会得到公正的对待。

（二）研究影响

REF希望促使高等院校及其研究者将研究成果用于提高经济、社会、公共政策、文化或者生活质量。为了评价这些影响，必须在整体上对所有提交的研究的影响做一个完整的评价，因此在提交研究成果时必须同时提供关于本研究的影响的证据。REF特别关注研究的卓越性，并对卓越性研究的重要影响给予特别的认可；评估结论是基于一定标准给出的定性信息。建议研究者在提交的信息中包括如下证据：使用通用的模式从整体上对提交的研究成果产生的影响作出说明，描述研究成果与成果使用者之间的关系并概述成果产生的积极影响；用专门的文件阐述研究成果所产生影响的证据，以及这些研究成果是如何作出贡献的。REF专家小组将会执行具体的评估，小组成员包括能够理解该领域内的研究成果及其广泛应用和经济价值的专家，同时也会补充一些研究使用者作为评估小组成员以评估研究所产生的影响；评估小组将依据研究成果产生的影响所达到的标准以及意义来进行评议。为了达到四星（世界领先）的等级，某一研究成果的影响应该是“创新的、可转化的或者具有重大的价值”。研究成果影响的范围包括：生活的质量、经济、社会、公共政策和服务、健康、环境、文化。

（三）研究环境

REF还将评估研究环境在多大程度上有助于一项卓越研究的可持续发展及其有效传播和应用。被评估对象应该使用通用的模版介绍研究环境。这个模版应该包括如下内容[3]：资源，包括研究人员、研究收入、研究的基础设施和设备；管理，包括研究发展的策略、研究人员的发展以及对研究生的培养；雇佣关系，如研究的使用者与研究组织之间进行的人员和思想的交流、对研究人员的公开招聘、对于交叉学科和合作式研究的支持、有关研究数据库的开发及其在更大范围内所作贡献的证据。

四、评估结论

所有提交的内容将会获得如下评估结论：3个评估要素（研究输出、研究影响和研究环境）将分别对应一个子文件；形成一个关于卓越研究的综合性文件，这个文件将和上述3个子文件共同组成最终评估结论。

3个评估要素将分别被赋予一定的权重：研究成果占60％，研究影响占25％，研究环境占15％。

五、先导性练习及时间进度表

（一）先导性练习

先导性练习用于寻求各高等院校关于REF未来发展方向的反馈意见，于2010年开始实施。先导性练习邀请部分高等院校来参与，涉及5个学科，分别是：临床医药、物理、地球系统和环境科学、社会工作和社会政策与管理、英语语言和文学。先导性练习要求参与的各高等教育机构以通用格式提交相关材料，每个评估单位需要提交约10份材料，专家小组对材料进行评估，并对评估过程提出建议和反馈，专家小组的成员包括研究者和研究成果使用者。另外，先导性练习还建立了一个工作小组来为其实施提供建议。[4]

（二）时间进度表

第一轮REF计划将于2013年完成，以便为2014年高等教育拨款委员会的资助工作提供参考。以下是具体时间表。

2010年，资助机构将组建专家小组，为高等院校提交材料编制指南；最终确定时间进度表，并颁布行动指南，包括高等院校对先导性练习的反馈意见。

2012年，高等院校将提交相关证明材料，这些材料以REF认可的通用格式来呈现。

2013年，各评估小组将评估各高等院校提交的材料。各小组将这些评议结果提供给一级学科小组；一级学科小组将和各小组一起召开会议以确保评估结论的一致性，并形成最终评估结论；公布评估结果。

六、启示

截至目前，我国尚未实施类似大规模的涵盖各学科研究项目的评估，但是REF计划对于我国开展研究的评估活动仍具有重要的启示作用。

（一）REF突出评估的目标与重点

REF的目标在于使英国高校的研究成果具有国际竞争力，并强调它们对于英国社会发展的作用。因此，研究项目的质量，而不是研究项目的数量是REF评估重点，关注重点包括研究项目的成果、影响与环境等3要素，这些要素以适当的权重结合在一起，能够反映任何一个研究项目的整体质量。

当前我国开展的研究项目的评估形式主要是科研项目绩效管理，包括两个方面：一是绩效的产出，包括项目研究刊出论著、成果获奖、人才培养、成果所具有的经济与社会效益等；二是绩效的评估，主要是对项目产出的研究成果进行定性和定量的效益评估，以期达到优化资金分配、调整研究计划和研究方向、提高科研管理水平和科学研究效率的目的[5]。这说明当前我国在科学研究项目的现状是：对于研究项目的影响局限于成果是否刊登于高水平的刊物，缺少对研究环境及研究项目对社会影响方面的评估。在实施研究项目的评估时，应该改变过分局限于对发表文章的数量以及刊物的档次进行评价，而从整体上对研究项目的成果、影响与环境进行综合评估，重点评估研究项目对经济、社会、公共政策和服务、环境、文化等方面所产生的影响，以充分体现其对于研究社会效益的导向。

（二）制定更具体的标准和步骤

REF的评估标准不仅对3个要素的评估标准与等级分别进行了划分，还有一个总的等级评分标准，便于确定最后的星级，这样研究项目的质量等级也就一目了然。

对于我国来说，评估的等级也有优秀、通过与不通过之分，但并没有进一步的细化，优秀与通过之间缺乏明确的区分，难以为研究项目质量的改进提供更具体的建议[6]。因此，在顶层设计方面，我国的研究评估标准需要进一步细化评估的项目、标准与等级；让研究者和研究成果的使用者都可以参与到其中，使研究者了解优秀项目的标准，了解研究成果使用者的真实想法，建立起研究成果与成果应用的有效桥梁，促进研究成果的有效转化，使产学研紧密地结合起来，通过评估促进三者之间的良性循环。

（三）重视对研究条件的评估

REF不仅关注研究项目的成果与影响，也关注研究项目所需要的条件，而这往往是我国在对研究项目进行评估时忽略的地方，因为研究项目的绩效看似只涉及研究者个人或团队，实则与众多因素密切相关，如研究所需的资源、相应的管理以及人员雇佣等，只有这些要素有机地整合在一起，才能形成良好的外部研究氛围，有助于优秀研究成果的产生。具体来说，评估研究项目时，既要考虑评估研究者的自身条件，如研究者自身的研究素质；也要考察研究外部条件；既要关注研究所需的硬环境，如研究所需的物质条件[7]，也要关注研究所需的软环境，如团队文化等。通过对这些因素的评估，积极引导各方面为研究者提供优质的服务，以创造出更高质量的研究成果。

（四）重视研究数据库在评估中的作用

各种研究数据库对于REF的评估具有重要的作用：一方面，研究者可以从研究数据库中获得研究所需的资料，进而产生高质量的研究成果；另一方面，REF评审专家可以根据数据库提供的关于研究项目的引用信息，对研究成果的影响进行分析。我国也建立了相关研究数据库，如中国期刊网、人大复印资料、维普中文期刊网等，然而，这些数据库仅仅在研究过程中起到了一定的作用，而对于研究项目的评估用处不大。因此，有必要在评估研究项目的社会影响时加入“引用率”这一定量要素，提交单位可以在提交研究项目时提供相应的引用信息，而评审者在进行评审时除了进行定性评估，也要充分使用相关的引用信息进行定量评估，使得评估更全面、更客观，评估结论更科学。

（五）进行先导性练习

先导性练习的意义在于让部分机构参加即将要实施的评估项目，事先发现存在的问题并对评估进行完善，并以此为大范围评估的开展提供一定的经验，REF在这方面进行了充分的实践。通过此类练习，评估人员可以及时发现可能存在的问题并采取相应对策，从而尽可能确保REF在大范围内开展时取得成功。

先导性练习对于我国的启示在于，在开展一项新的且影响范围较大的评估活动时，我们有必要通过一些先导性练习让被评估机构熟悉评估规则与方式，同时评估组织方也可以通过这些练习来发现问题并及时解决问题，为成功实施新的评估方案积累经验和教训。我们当前存在的问题是评估方案和评估实际情况有差距，推出时未经过小范围的实验，导致在具体执行时出现了偏差，由于评估已经在较大范围内铺开，难以及时纠正，造成评估规则的标准高但是具体效果难以令人满意。进行先导性练习可以视为解决此类问题的一条有效途径。

（六）不断创新评估形式，促进评估质量的提高

REF是在原有的RAE基础上创新而来，英国高等教育拨款委员会通过实施RAE来提高研究项目质量，并作为分配研究资金的重要依据。REF更强调对研究卓越性的追求，更鲜明地提出了评估的目标，也促使各高等院校不得不采取更多的行动追求研究的卓越性，以便在未来争取更多的研究资金。从而带动英国高校整体研究水平的提高。[8]

我国研究项目的数量在世界上已居前列，但在质量上还有进一步提高的空间，相应的评估必不可少，把评估导向、促进更高质量的研究以及促进社会发展结合起来，把评估的标准与研究实践结合起来，把评估的结论与资助分配结合起来，以此调动所有高校追求卓越研究的积极性，推动我国研究整体水平的提高。

参考文献：

[1]Higher Education[EB/OL].http://www.qaa.ac.uk/Improving HigherEducation/pages/，2011-11-20.

[2]Submissions Guidance[EB/OL].http://www.hefce.ac.uk/research/ref/subs/，2011-11-20.

[3]Background[EB/OL].http://www.hefce.ac.uk/research/ref/about/background/，2011-11-21.

[4]Impact[EB/OL].http://www.hefce.ac.uk/research/ref/impact/，2011-11-21.

[5]李新荣.高校科研项目绩效管理:产出与评估［J］.科技管理研究，2009（8）：230－233.

[6]施莜勇.英国高等学校科研质量评估制度研究［J］.中国科技论坛，2009(5):135-139.

[7]栾明香.英国高校科研评估政策及其借鉴意义［J］.北京行政学院学报，2011（3）:107－110.

[8]英国将对大学科研评价制度进行重要调整［EB/OL］. http://www.most.gov.cn/gnwkjdt/，2011-03-17.

编辑：张力玮