英国科研卓越框架的科研影响力评估

谢冉 肖建

摘 要：英国科研卓越框架中科研影响力指标的引入表明了政府强化高校与社会联系，凸显科研促进经济繁荣、民族富强和知识转化的决心。科研影响力评估强调以评估引导高校关注科研的社会收益。在具体的标准制定和评估过程中，注重多元利益相关者共识的达成，重视以研究完善后续评估活动。我国学科评估应借鉴英国科研卓越框架中科研影响力评估的经验，以学科社会服务指标取代主观性较强的学科声誉指标，在具体的执行过程中，应强调过程的规范和公开，引导多元利益相关者的充分参与，弱化评估的评审效应，强化评估的学习效应。

关键词：科研影响力；评估；英国；科研卓越框架

作为欧洲率先实施高等教育评估的国家，英国科研评估制度有着悠久的历史。2012年，英国高等教育基金委员会在反思科研水平评估（RAE）框架的基础上，结合国家社会发展的需要，以科研卓越框架（REF）对英国高校学科进行了新一轮的评估，并于2014年底公布了评估结果。与之前实施6轮的科研水平评估相比，科研卓越框架最大的不同在于以科研影响力评估代替了声誉评估。作为首次大范围对科研影响力进行评估的尝试，该指标的引入表明了英国政府强化高等教育机构与社会间的联系，凸显科研促进经济繁荣、民族富强和知识转化的决心。在英国科研影响力评估的带动作用下，美国、瑞典等国家均计划将科研影响力作为随后科研评估的重要组成部分。2016年我国启动的第四轮学科评估，同样将“社会服务与学科声誉”列为四个一级指标之一，强调对学科的社会服务功能、做出的贡献以及社会影响进行评估。但相对于英国科研卓越框架中的科研影响力评估，我国学科社会服务评估显然不够系统和明确。因此，对英国科研影响力指标引入的背景、评估方式及经验进行详细的分析和研究，以期对我国后续学科社会服务评估的推行有所启示。

一、科研影响力评估引入英国科研卓越框架的历程

20世纪80年代以来，随着高等教育大众化阶段的到来及新公共管理主义在英国社会地位的凸显，英国开始引入科研水平框架对高校学科研究质量进行评估。作为英国高等教育研究基金会分配研究经费的重要依据，科研水平评估重在提高科研资助的效率，满足社会问责的需求。截止2008年，英国科研水平评估共进行了6轮。经过20多年的发展，在承认并充分认识学科评估价值的同时，英国社会各界也对科研水平评估存在的问题进行了广泛的批评。这些批评大致可归为两类：一类批评者认为，作为明显偏向于老大学的游戏，科研水平评估并不公平，凸显的马太效应使得好的大学更好，差的大学更差，造成了大学身份的固化；由于评估指标聚焦在科研成果上，对科研的过分强调，造成了研究和教学、研究人员和教学人员之间的冲突；评估强化了政府对高校的管理和控制，损害了高校的学术自由。因此，应废除学科评估，重建英国高校的学术自由和自治传统。与此同时，在承认社会问责的必然性的基础上，另一类批评者认为，作为直接影响政府拨款，间接充当信息媒介的科研水平评估有其存在的价值。在社会发展的潮流中，学科评估不应不切实际的后退，而应进行局部的改良，使其更符合社会的需要。从社会发展和知识模式转型的角度看，科研水平评估最大的弊端在于过于聚焦研究成果，没有强化研究成果与社会之间的联系，没有发挥引导科研服务社会的职能。因此，应引入科研影响力指标，引导高校重视科研服务社会、服务国家发展战略的功能。

实际上，早在1993年的白皮书《实现我们的潜能中》，英国科技政策部已明确高校科研必须具有社会影响力。在1996年度的科研水平评估中，高等教育研究基金会要求院校提交的材料需覆盖院校的战略及对国家发展的贡献，科研资金的分配要考虑研究的社会影响效果，但在实际评估过程中，该建议并没有得到重视和落实。在这种情况下，英国高等教育基金会利用一切途径组织工作坊，撰写研究报告，提高社会各界对科研影响力的重要性的认识。2006年，总理顾问团与科学技术基金会明确高校科研必须在未来的经济和社会中扮演多样的角色。同年颁布的科学与创新提升框架（the Update on the Science and Innovation Investment Framework）批评科研水平评估没有鼓励基于用户需要的卓越研究。财政部在当年的预算中指出，为了最大化研究的社会影响，新的科研评估系统将优先偏向资助基于用户的研究。总之，在采纳建设性批评意见的基础上，通过各个层面的铺垫和宣传，2006年，英国高等教育基金委员会开始对科研水平评估框架进行修改，并在2012年推出科研卓越框架。与科研水平评估框架相比，科研卓越框架缩减了评估单位，更新了评估指标，转换了评估方式。[1]其中最为重要变革是，以占比20%的科研影响力取代学科声誉第一次进入英国科研评估框架中。[2]

二、英国科研卓越框架中科研影响力评估标准与方式

将科研影响力作为重要指标的科研卓越框架，积极地回应了社会和政府对科研成果社会价值的期待，表明英国政府对科研应承担的社会公益和服务职能的强调。科研影响力评估所期望实现的价值是多方面的：对于高校来说，帮助其管理研究，理解研究产生影响的方式和方法，推进研究对地方、国家和国际的影响；对于社会来说，满足资金的问责需求；对于政府来说，发挥其在资金分配上的引导作用。为了使上述目标得以实现，英国科研卓越框架明确了科研影响力的评估框架，对评估院校需要提交的材料进行了详细的说明，明确了科研影响力评估的等级及标准，同时对评估人员的组成和评估程序均进行了公开明确的规定。

（一）科研影响力评估材料及标准

为了凸显研究服务社会的价值，英国高等教育基金会最初将影响的比重定为25%，考虑到首次实施及后续发展的需要，最终将比重确定为20%，明确研究发挥影响的时间为2008年1月1日到2013年7月31日。[3]在评估材料的递交上，科研卓越框架将定量评估与定性评估相结合，要求高校提供描述性的科研影响案例（case study） 和影响模板（impact template）。递交的影响案例的数量以每10位研究人员1份为标准。案例以限制的字数要求院校清楚描述研究产生的影响，内容包括：研究的质量及证明材料；研究产生影响的方式；科研成果影响力的性质和程度；能够证实科研影响力的材料。案例展示的影响可以在发展或成熟的任何阶段，只要学术之外的改变和收益已经发生。对于科研影响的界定，科研卓越框架采取宽泛的视角，包括科研成果对于社会、经济和文化在个人、组织和社团、地区、国家和国际层面的所有收益。具体来讲，这种收益可以表现为对产品、生产过程、某一行为和政策的影响，也可以表现为对资源的利用或对某一专业发展的影响等。[4]在评估活动中，所有层面和种类的影响具有同等重要的价值。需要注意的是，高校递交的案例必须证明研究已经产生了明显的社会影响。那些针对研究的未来潜能或科研成果的影响没有证据支撑的，将不能作为案例予以递交。为了兼顾不同学科研究成果转化时间的差异，评估委员会明确指出基础研究的时间节点可以在15年内，即研究最初發表的时间可以为1993年，产生影响的时间为2008年到2013年之间。相对于影响案例的详细描述，影响模板主要描述高校如何从战略、战术和方法上支持和保证科研成果转化为社会影响力。

对于院校提交的影响案例和模板，评估人员将从宽度和深度两个方面进行评估。宽度代表影响发生的范围，深度代表科研成果引起社会变化的程度。当然，评估标准中关于深度和宽度的界定同样是宽泛的，详细而具体的界定由各分委员会根据学科特点进行说明。总的来说，关于科研影响力的评估结果将被归属于4星、3星、2星、1星及无星级等5个等级。具体等级及标准如表2所示：

（二）科研影响力评估人员的选择与组成

为了凸显科研影响力评估的真实性和科学性，确保研究成果使用者明确研究的目的和意图，英国科研卓越框架强调在所有的评估单位中，学科专家、研究成果的使用者及私人、公共和第三机构的成员将完全介入评估标准的制定和具体的评估活动中。在2014年的科研卓越评估中，高校递交的材料由1052位专家进行了评估，其中77%是学术研究人员，23%是研究成果的使用者。这些来自各个领域的学科评估人员分属于36个分委员会，在4个主委员会的监管下运作。如图1。

主委员会包括4位来自高等教育基金委员会的主席，23位具有丰富研究经验的相关学科的国际专家及17位研究成果的使用者。主委员会的主要职责在于监管整个评估过程，确保评估标准和评估程序的一致及反映国际标准，确保研究成果具有真实的社会效益。具体任务为：制定文件，确定各分委员会的工作标准和方法，确保文件、评估标准和方法的制定过程与相关利益者尤其是高校进行了充分的咨询与交流；在评估过程中与分委员会一起确保评估标准运用的一致；基于分委员会的建议，签署评估的最终结果，形成各学科研究状况及影响力的最终报告；分委员会在主委员会制定的标准的指导下，结合学科特点，对标准进行针对化和具体化，对高校递交的材料进行评估，并在此基础上，撰写初步的评估报告，递交主委员会进行审查与签署。在具体的评估过程中，主委员会主席和人员将参加分委员会的相关会议，以多种形式保持二者之间及时和充分的交流与沟通，分委员会中的专业评估人员对评估提出专业性的建议。[5]此外，科研卓越评估团队还邀请利益相关者以观察者的身份参与主委員会和分委员会的会议，为评估提供非正式的建议。所有的评估人员均在高校和其他机构推荐的基础上公开选拔，由高等教育基金会予以任命。

（三）科研影响力评估程序

根据高校提供的研究影响案例和影响模板，分委员会在与主委员会及时充分沟通的基础上进行评估。为了保证不同学科之间评估标准的相对一致，保障评估结果的相对公正和公平，科研卓越框架中的科研影响力评估从明确评估委员会成员到最后评估结果的确定与公布，大致经过如下图2程序[6]：

作为评估的首要环节，校准是对科研影响力概念和标准的分享与理解过程，重在使所有成员形成基本的共识性认识，保证不同委员会间评估结果的相对一致。在评估环节，每一份案例影响和模板均由36个分委员会中的2到4名评估人员单独评估。当然，每份材料经由的评估人员数量因分委员会不同而不同，但总的来说，73%的影响案例和模板由3位评估人员单独评估。在这三位评估人员中，至少有一位评估人员为研究成果的使用者。这些评估人员针对材料给出评估等级后即进入复审环节。若在此环节，其他评估人员对初步确定的科研影响力等级没有异议，则进入下一环节；若评估人员对影响案例和模板的评估等级存在争议，分委员会将请求主委员会予以审计。主委员会将组织人员与分委员会一起根据评估标准对材料进行再审核，对评估等级进行再认定。从2014年科研卓越框架中科研影响力评估的整体情况看，74%的院校至少有5%的科研影响力评估经历了审核环节。最后，分评估委员会将科研影响力得分与其他两项评估得分汇总在一起，给出学科总体的质量概述和星级认定，并将结果上报主评估委员会进行最后的调整和复议，最终由主委员会确认并公布评估结果。在具体的评估过程中，为了保证标准的相对一致和公平，作为主委员会成员的行业、企业专家和国际专家，在各个分评估委员会之间游走，为评估活动提供指导和帮助。

三、英国科研卓越框架中科研影响力评估的主要经验

在2014年科研卓越评估中，154所英国高校递交了1911份资料，包括191150份研究成果、6975份影响案例与1911份影响模板。从总的评定结果看，世界一流学科占比为30%，46%为国际卓越，20%为国际认可，3%为国家认可。具体在科研影响力这一指标上，四星学科占比44%、3星学科占比39.9%、2星学科的占比13%、1星学科占比2.4%，另0.7%学科不属于任何星级。作为首次大范围对科研的社会影响力进行评估的尝试，英国科研卓越框架中的科研影响力评估有效地引导了学术研究者关注科研的社会影响价值，改变了高校、评估机构的观念，使得科研评估从仅重视研究成果数量和学科质量的阶段进入到对研究的社会价值予以充分关注的阶段。上述效果的发挥与以下经验有着密不可分的联系。

（一）以评估引导科研服务社会职能

由于历史的原因，英国高校对国家财政依赖较强，与社会联系不紧密。高等院校自治的传统又使得政府不能对大学有任何的行政命令，如何调动高校的主动性，强化高等教育与社会的联系，就成为科研卓越框架设立的重要目标。福柯认为，在宽泛的意义上，管理不是逼迫被管理者按照管理者的意图做事，而是通过恰当的程序使得被管理者主动的自我调整和自我管理，从而最终实现管理者的意图。科研卓越框架中科研影响力评估指标的引入，正是体现了以评估代替政策制定的引导倾向。英国科研卓越框架在36个学科下对英国高校的学科研究质量进行评估，高等教育基金会基于评估结果分配研究资助。具体来讲，2014年的科研卓越评估结果将决定着英国高校从每年16亿英镑科研资助中获得的份额，直至下一轮评估结果公布。其中作为权重五分之一的科研影响力指标，决定着大约3亿英镑的资助额度。[7]除此之外，无论是研究委员会的项目资助，还是社会资助，都与科研评估的成绩直接挂钩。在高校经费严重不足的今天，如此大额的资金分配使得评估具有重要的引导价值和导向作用。总之，作为直接影响政府拨款，间接地充当信息媒介的科研影响力评估，通过硬性的评估指标引导高校关注政策的意图，通过经费资助的杠杆促进了高等院校广泛意义上的质量监控，使得高校在从事学术活动的同时关注科研的实际价值，为国家的创新战略服务。当然，科研卓越评估中的科研影响力评估强调研究要满足成果使用者的需要，而不仅仅由政府制定的政策所驱动。

（二）以广泛讨论引导利益相关者共识的达成

作为体现政策意图的科研影响力评估，其价值的真正实现还需要利益相关者的充分理解、接受和参与。英国高等教育研究基金会从准备引入科研影响评估起，便组织多元利益相关者参与讨论。在评估标准的制定、评估进行与结果公布环节，均设计出能够容纳多元社会主体共同参与的制度框架，在明确界定权责边界的基础上，依制度行使各自的参与权和决策权。在科研影响力框架制定后，首先在29个高校的5个评估单元下进行试点，试点结果委托第三方机构发布研究报告，引导各界人员对试点情况进行讨论，对后续的改善提供建议。科研卓越评估中科研影响力评估的所有文件均在网络上公布，无论是评估人员的组建，院校递交的材料，还是评估等级的最终确定，均采用公开透明的方式，引导社会各界参与评估的所有环节。 在评估过程中，学术人员和研究成果的使用者具有同等的地位，重视平等、沟通、协商和合作。“没有哪一个机构，拥有知识和资源两个方面的充足能力来独自解决一切问题。”[8]科研卓越框架中的科研影响力评估通过调动利益相关者参与讨论，不仅增强了咨询建议的政治基础和公众接受度，同时还能完善咨询建议的内容。当然，调动多元利益相关者充分参与的目的不是为了提供快捷的答案，而是为了促进公共讨论，培育有能力有意识参与社会问题的公民。总之，英国科研卓越框架中科研影响力评估的整个制度设计和实施过程，均强调参与主体之间的理解和尊重，通过基于契约的合作，形成了公共事务的良好治理状态，照顾了利益相关者效用的最大化，以共识的达成促进政策目标的真正实现。

（三）以研究完善后续影响力评估

公共政策研究认为，不能将政策评估的定义局限在政策对目标的实现方面。相反，应该关注的是公共政策的所有后果，或者说“政策的影响”，对政策的影响进行评估更能推进政策的完善。[9]为了充分掌握科研影响力评估的影响，并在此基础上予以完善，评估结果公示后，英国高等教育基金委员会委托第三方机构对科研评估的过程与结果进行研究，以研究发现推动后续的完善。[10]众多的机构和研究者也立足不同的角度，利用公开的数据对科研影响力评估进行再研究。这些研究不仅关注学術标准，而且关注政治和社会争论等问题。研究显示，科研影响力评估使得大学、研究机构和基金会以一种合作的方式提升研究的社会效果，促进了利益相关者之间的交流和合作；促进了政府、商业和公众服务机构对科学研究的使命和目标的共识的达成。[11]从短期看，科研影响力评估加强了高校和研究成果的使用者之间的联系；从长期看，评估重塑了学科研究的文化。此外，2015年，英国高等教育基金会授权第三方机构对在2014年科研卓越评估中成绩突出的高校进行分析，结果向社会公布，从而为其他高校提供战略上而不是战术上的指导。当然，研究同样指出，科研影响力评估增加了高校在时间、管理和财务上的负担。一些高校甚至雇佣专业人员撰写影响案例，这种做法不仅违背了评估的初衷，而且缺少学术语言的案例撰写，反而降低了高校在科研影响力这一指标上的得分。[12]针对上述问题，研究提出了后续需要完善的问题，如如何对间接的长期的科研进行公正的描述和评估，如何使得评估的程序与方法之间更加协调等。

四、英国科研卓越框架中科研影响力评估对我国的启示

作为首次将影响力引入大规模科研评估的英国科研卓越框架，代表着从官僚——专业到管理——消费的评估文化的转变，这种评估文化强调研究质量的表现性展示。虽然自英国高等教育基金会明确科研影响力指标引入科研卓越框架后，社会各界从损害学术自由，对人文社会学科不公平，将压制和限制学术发现的进程，缩减对创新的、非预期的研究资助等角度对其进行了批评。[13]但不可否认的是，随着知识生产模式的转型及科学研究与国家战略的紧密相连，作为既注重学术价值又强调社会价值的科研影响力评估，代表着科研评价发展的趋势。2016年，我国进行的第四轮学科评估也将学科声誉与社会服务贡献并列，基于高校递交的典型案例对学科的社会服务进行评估。但相比之下，我国第四轮学科评估并没有对社会服务这一指标进行详细的阐述与规定。因此，作为相对成熟的英国科研卓越评估中的科研影响力评估，对我国后续学科评估中这一指标的完善具有重要的启示意义。

（一）以社会影响力评估取代学科声誉评估

Georghiou and Roessner指出，所有的评估活动都是镶嵌在特定环境和状况中的社会运动，适应并满足着社会发展的需求。[14]随着知识经济和科技创新战略的提出，科究成果的转化力逐渐成为社会关注的焦点。在这种情况下，英国科研评估逐渐从20世纪七八年代的聚焦问责转向了鼓励并重视科研对社会和经济的冲击和影响作用。[15]如果强调效率和问责的科研水平评估代表着新自由主义理念层面的引导，那么科研卓越评估就代表着新自由主义在技术层面的转变。全球化时代我国的学科评估，同样应适应时代、社会发展的需要，引入并强化影响力评估。尤其是对于科研转化意识、能力和现状都比较弱的我国，更应该通过学科评估指标引导高校学科建设关注社会的需要。因此，建议在后续的学科评估中，以社会影响力指标取代学科声誉这一主观指标，并赋予其较大的权重。这种改变，即保持了原有评估体系的价值判断，又能避免学科声誉评估过于主观和容易引起“马太效应”的弊端，激发高校培育研究的社会转化意识和能力。

（二）重视学科社会影响力评估的规范化和公开化

与传统的科研结果评估相比，科研影响力评估具有如下不同：

针对科研影响力评估的上述特点，英国科研卓越评估中的科研影响力评估过程完全透明，评估结果公开出版，接受公开的讨论。作为非官方的机构，英国高等教育基金委员会在推行科研影响力评估的过程中，无论是评估标准和比重的确立、方法和指标确定、评估人员的组建还是评估结果的发布等均经信息公开制度、听证制度，提高了决策的民主性和科学性，引导社会各界参与评估过程。对于所有文件、报告及评估材料，均公布的在网站上，供利益相关者下载和使用。这种规范和公开，一方面增加了评估的科学性和公正性；另一方面，也实现了引导公众关注科研的社会价值的目标。实际上，任何新的政策的引入，由于人类认识的不充分性和因果假设的有效性，首次计划往往需要详细的论证和研究。因此，我国学科评估社会影响力指标的引入，应避免政府颁布即实施的强制模式，增加指标引入的探索性和研究性。具体来说，在规范性方面，应延长指标引入的过程，给与更多时间调动利益相关者的充分参与，在讨论中提升指标的科学性。在公开性方面，应把学科评估标准、方法形成的过程、评估人员的组建情况、院校递交的评估材料等均公布在网站上。尤其应及早公布评估指标的权重，从而充分发挥评估引导学科建设的功能。

（三）以治理引导学科社会影响力评估

作为清楚的政治信号的科研影响力评估，代表着英国政府和高校之间关系经历了从50年代60年代的自由放任，70年代和80年代的干预问责，转向为赋予高校更多自治自律与自我调节的现阶段。罗德·罗茨指出，治理，就是网络化的公共行为，一种非预先设定的和常历常新的合作，与过去的行政登记和因循守旧的程序有很大的不同。[16]由于科研影响力评估标准的模糊，因此应通过治理的方式推行，评估应强调主体的多元，方向的多维与底部的自治。具体来讲，我国的学科社会影响力评估应明确大学与政府、市场、社会之间的相对边界。在评估主体上，应从以内部评估为主的同行评议和总结性评估，发展为强调多元利益相关者平等参与的前瞻性评估。在方向的多维上，应以传统评估强调科研结果的学术维度，发展为宽泛的、重视社会收益的多元维度。在底部的自治上，重在引导高校在复杂的知识生产游戏中成为积极的伙伴，通过自上而下的指标引导与自下而上的参与互动，培养高校主动衡量、控制研究质量，提升自律自治的能力。

（四）重视社会影响力评估的学习效应

托马斯·戴伊认为，评估的价值不仅体现在衡量目标的实现程度上，还应关注是否促进了目标群体的相互学习，是否推进了未来活动的完善。英国科研卓越评估中的科研影响力评估非常重视评估学习效应的发挥，无论是引导多元利益相关者参与评估的整个进程，还是相关评估文件和材料的网络公开，根本的目的就在于促进相关者之间的相互理解与相互学习，提升其自主自治的能力，促进未来评估实践的进一步完善。我国学科社会影响力评估应从仅仅强调对高校学科进行总结性鉴定的“评审”模型转为充分发挥其学习效应的“辅导”模型。在评估标准和方法的确定中，通过合作性的研究和探讨加强高校和社会利益团体之间的联系，熟悉对方的文化，转变各自的视域。在评估的过程中，注重对高校提供必要的指导和帮助，帮助高校更好的理解社会影响力的涵义和价值，并在此基础上撰写研究计划、收集影响案例，提升对科研的管理能力。评估结束后，重视对评估结果的再研究和再分析，在明确评估优势与劣势基础上，推进后续评估的完善。[17]总之，重视学习效应的社会影响力评估应通过深度有意义的对话和辩论推动利益相关者之间的相互学习。当然，对话与辩论的目的不在于快速确定唯一的答案，因为，任何新的标准都会在理性的辩论中被更新的标准所打破，而这种打破和更新的标准的出现，正是评估理应发挥的效应。

参考文献：

[1]常文磊.英国科学评估制度与大学学科发展[M].北京：教育科学出版社，2014：82.

[2]Simon Smitha，Vicky Warda，Allan Houseb.‘Impactin the Proposals for the UKs Research Excellence Framework：Shifting the Boundaries of Academic Autonomy[J].Research Policy，2011，40（10）：1369-1379.

[3]Decisions on Assessing Research Impact[EB/OL].[2017-09-01].http：//www.ref.ac.uk/pubs/2011-01/.

[4]Hanan Khazragui1，John Hudson.Measuring the Benefits of University Research：Impact and the REF in the UK[J].Research Evaluation，2015，（24） 24：51-62

[5]Units of Assessment and Recruitment of Expert Panels[EB/OL].[2017-09-01].http：//www.ref.ac.uk/pubs/2010-01/.

[6][7]Catriona Manville，Susan Guthrie，Marie-Louise Henham，Bryn Garrod，Sonia Sousa，Anne Kirtley，Sophie Castle-Clarke and Tom Ling.Assessing impact submissions for REF 2014：An Evaluation[EB/OL].[2015-10-20].http：//www.rand.org/pubs/research_reports/RR1032.html.

[8]俞可平.治理与善治[M].北京：社会科学文献出版社，2000：41.

[9][美]戴伊.理解公共政策[M].孙彩红，译.北京：北京大学出版社，2008：332.

[10]Impart and the Research Excellence Framework[EB/OL].[2012-10-25].http：//www.rand.org/pubs/corporate_pubs/CP661.html.

[11]Richard Watermeyer .Impact in the REF：Issues and Obstacles[J].Studies in Higher Education，2016，41（2）：199-214.

[12]Tony Murphya and Daniel Sageb.Perceptions of the UKs Research Excellence Framework 2014：A Media Analysis[J].Journal of Higher Education Policy and Management，2014，36（6）：603-615.

[13]Mark Olssen .Neoliberal Competition in Higher Education Today：Research，Accountability and Impact[M].British Journal of Sociology of Education，2016，37（1）：129-148.

[14]Sonja Marjanovic，Stephen Hanney，Steven Wooding .A Historical Reflection on Research Evaluation Studies，Their Recurrent Themes and Challenges[EB/OL].[2009-04-13].http：//www.rand.org/pubs/technical_reports/TR789.html.

[15]REF 2014.Research Excellence Framework Impact Pilot Exercise Findings of the Expert Panels[EB/OL].[2010-11-20].http：//www.res.org.uk/SpringboardWebApp/userfiles/res/file/CHUDE%20Minutes/Consultation%20&%20Survey/re01_10_REF_Findings_Nov_2010.pdf.

[16][法]讓·皮埃尔·戈丹.何谓治理[M].钟震宇，译.北京：社会科学文献出版社，2010：26.

[17]Teresa Penfield1，Matthew J.Baker1，Rosa Scoble and Michael C.Wykes1，Assessment，Evaluations，and Definitions of Research Impact：A Review[J].Research Evaluation ，2014（23）：21-32 .

（责任编辑 赖佳）