澳大利亚卓越研究评价的宗旨、方法与运行机制

陈洁修，马春梅，朱军文（上海交通大学高等教育研究院，上海200240）

澳大利亚卓越研究评价的宗旨、方法与运行机制

陈洁修，马春梅，朱军文
（上海交通大学高等教育研究院，上海200240）

摘要：通过对澳大利亚卓越研究评价2010年、2012年评价实践和2015年实施方案的分析，发现卓越研究评价在既定宗旨的规制下，已形成较为稳定的评价方法和运行机制，其中包括以学科及相应参评基准为依据划分评价单元、定量与定性相结合的评价指标及指标选取原则、依据学科类型特点采用同行评议与引文分析相结合的评价方法、与国际接轨的评价结果等级标准、半官方背景的第三方评价组织机构、详细的参评资料收集与提交规定、开放多元的评价专家遴选方式与规范透明的同行评议流程等。澳大利亚卓越研究评价对我国当前深化高校科技评价改革具有多方面的参考价值。

关键词：澳大利亚；科研评价；卓越研究；运行机制

澳大利亚卓越研究（Excellence in Research for Australia，ERA）是全方位确认和提升澳大利亚高校科研活动质量的评价项目。该项目于2009年试运行，2010年全面实施，是澳大利亚政府首次在全国范围内对高校科研和学科水平的盘点。2012年开展了第二次全面评估，下一轮评估即将于2015年启动［1］。经过两轮的实践，澳大利亚卓越研究评价在既定宗旨的规制下，已形成较为稳定的评价方法和运行机制。

一、卓越研究评价的宏观背景与宗旨

（一）卓越研究评价的宏观背景

卓越研究评价体系的建立，与公共财政对高等教育经费投入的不断增长密不可分。上世纪中叶，澳大利亚开始加大对高等教育的投入，并通过科研优先发展计划和竞争性拨款项目等，引导高等教育体系和科技活动的发展方向［2］。1960年澳大利亚公共财政对高等教育的投入是3.04亿澳元［3］，2013年增加到了285亿澳元［4］，政府资助占大学办学经费收入的比例曾一度达到90%以上［5］。如何公平、合理、有效地分配不断增加的公共资源投入，成为各方关注的焦点。一方面，政府有义务向纳税人提供公共资源的流向及其对高等教育产生的实际影响等信息［2］；另一方面，政府拨款既要保证基础研究的卓越发展，又要及时把握学科动向，资助新兴学科的成长，还要促进学科间、机构间以及国际间的交流与合作。没有一个完善的评价体系，无法在高等教育机构之间做到公平、合理并形成公信力［6］。全国统一的卓越研究评价在一定程度上解决了高校以及相关科研机构公共财政经费分配、使用与绩效评价问题。

高等教育质量保障与提升创新质量的长期探索为实施卓越研究评价提供了坚实基础。从上世纪70年代末期开始，澳大利亚开始有组织地推动高校开展内部评价，加强课程和教学质量。到80年代中期，政府开始设置专门的评价与监管项目，协助高校完善自我评价，逐步引入基于评价的公共经费拨款机制。将内部评价结果与部分经费分配挂钩是高校由自主评价向外部主导的全国统一评价过渡的重要阶段。90年代末期，随着对创新质量的重视，独立的外部统一评价机制逐渐形成。2000年，澳大利亚大学质量署（Australian University Quality Agency）建立，作为独立的运行主体，负责对高等教育和科研机构进行监督，并颁布了行动法案以明确对学科进行周期性独立评价的必要性。这为实施卓越研究奠定了坚实的基础。澳大利亚卓越研究评价发展的标志性历程如表1所示。

（二）卓越研究评价的宗旨

卓越研究评价的宗旨是：在澳大利亚教育机构范围内的科研活动中，鉴定出卓越的研究领域（包括探索和应用研究领域）或科研机构，并通过相关科研基金的支持，推动前沿领域的卓越化和国际化发展［1］。在此宗旨下，卓越研究的主要目标包括：建立完善的学术评价框架；提供分学科的科研力量国家盘点；在全学科范围内鉴定卓越研究；鉴定新兴的研究领域和未来发展的前沿；为澳大利亚学术研究提供国内和国际层面上的比较［7］。评价结果以分机构和分学科两种方式展开，以评级的形式展现澳大利亚学术机构的科研能力，也为高等教育机构的未来发展提供建议［8］。2011-2013年，澳大利亚政府与科研机构展开了一系列任务导向的合作关系，卓越研究所开展的科研表现

表1　澳大利亚卓越研究评价发展的标志性历程

资料来源：（1）KIM J. Higher Education Funding Policy ［EB/OL］.［2003-06-02］. http：//www.aph.gov.au/About_Parliament/ Parliamentary_Departments/Parliamentary_Library/Publications_ Archive/archive/hefunding.

（2）BREEN J. Higher Education in Australia［EB/OL］. ［2002-12］. http：//www.csse.monash.edu.au/～jwb/aused/aused.html.

（3）SHAH M， NAIR S， WILSON M. Quality Assurance in Australian Higher Education： Historical and Future Development ［J］. Asia Pacific Education Review， 2011， 12（3）： 475-483.

（4）BRADLEY D， NOONAN P， NUGENT H， et al. Review of Australian Higher Education： Final Report［R］. Canberra： DEEWR，2008.评价活动是其中的重要组成部分。卓越研究的评价结果主要被应用于以下三个方面：进一步指导政府与科研机构合作关系；发放卓越研究可持续发展基金（Sustainable Research Excellence in Universities）；为高等教育质量和标准署（Tertiary Education Quality and Standards Agency）的高等教育研究与培训考核提供最低标准［9］。

二、卓越研究评价的方法与指标体系

（一）以学科及相应参评基准为依据划分评价单元

卓越研究以学科为基本单元对高校进行评价。学科分类采用澳大利亚和新西兰标准化分类（Australian and New Zealand Standard Research Classification）。该分类根据学科范围大小将学科标记为四位代码和两位代码。机构以四位代码或两位代码的标准化学科分类收集整理参评数据，提交评价委员会，参加相应学科评价与跨校比较。对交叉学科和综合学科的评价则通过学科分解的方式进行，一项研究成果如果同时被归类到了其他学科，档案中应有所标注。评价委员会有权查看每一个评价单元的“学科档案”［8］。

卓越研究对高校的参评学科有一个明确基准，该基准根据学科不同略有差异，达到参评基准的学科才能纳入评价。对于使用引文分析法进行评价的学科，在六年有效期内，该学科在指定期刊上发表的论文数不得低于50篇；使用同行评议法进行评价的学科对成果数量的要求基本相同。但在计算参评标准具体得分时，研究专著在同行评议中以5∶1的比例计入学术成果。

（二）定量与定性相结合的评价指标与指标选取原则

科学、合理的指标体系对于实现评价的预定目标起着关键性的作用［10］。2008年，澳大利亚研究理事会召集成立了一个由科研计量和统计专家组成的指标发展小组（Indicator Development Group），经过多次讨论后发布了一份评价指标咨询文件，就评价指标设置原则和指标选择广泛征求各界建议，最终形成了卓越研究的评价指标体系［8］。卓越研究评价指标的选取原则如表2所示。

表2　澳大利亚卓越研究评价指标原则

根据上述原则，经过两轮的正式评价，相关评价指标已经基本稳定，主要包括六个方面［11］。

一是成果数量和活跃度。此项指标包括科研成果的数量和全职科研人员基本信息。它并不与科研质量直接相关，但可以为评价委员会提供该学科的背景信息。

二是出版物档案。出版物形式主要有四种：学术专著、著作章节、期刊论文以及会议论文。出版物档案可以帮助评价委员会对于评价单元内出版物的深度和广度作出鉴定。此项指标不适用于上述四种出版物形式之外的非传统型研究成果评价。

三是引文分析指标。只有发表在斯高帕斯数据库（Scopus）收录期刊上的研究成果方可进行引文分析。引文分析指标包括：1）基于世界百分数阙值（World CentileThreshold）和高于澳大利亚科研机构平均水平的论文传播量；2）在相关引文影响级别上的论文传播量；3）以澳大利亚科研机构和世界基准为参考所计算出的相关引文影响（Relative Citation Impact）。这三个指标互为补充，在评价科研成果时需同时使用。

四是同行评议报告。以同行评议方法为主的学科，评议专家并不对研究成果进行打分或评级，而是以报告的形式向评价委员会提供专业意见。

五是研究收入。研究收入包括四类：1）来自澳大利亚竞争性基金；2）来自其他公共团体的科研收入；3）来自工业应用和其他科研收入；4）来自合作科研中心收入。

六是成果应用。成果应用包括知识产权和科研产业化收入两部分。

此外，参评学科还需要向评价委员会提交一份说明函件，向评价委员会说明该学科科研活动所处的环境，引导评价委员会更多地关注评价单元的自身特点。

（三）依据学科类型特点采用同行评议与引文分析相结合的评价方法

同行评议和文献计量学的引文分析方法是卓越研究评价使用最多的两种方法。依据学科的类型和特点，这两种方法的使用各有侧重。在自然科学领域中，经常使用引文分析作为评价方法。这种判定方法的优点在于，它可以用更少的精力得出与同行评议相似的评价结果。在人文社科领域中，由于科研成果种类多样，涵盖书籍、报告和一些非传统的产出形式，单纯地使用引文分析法会使科研质量的评价有失水准［12］。因此，同行评议是更加常用的评价方法。

澳大利亚研究理事会在回顾2012年卓越研究评价实践中所有的引文分析数据之后认为：总体上看，在学科评价中引文分析比同行评议更适合被用来作为评判科研质量的指标。但当可被索引的期刊文献低于科研成果的50%的时候，通过同行评议的方法所得出的评价结果更加可靠［8］。

（四）与国际接轨的评价结果等级标准

卓越研究采用五分制的等级尺度，如表3所示。该等级尺度以世界水平为基准进行了划分。最高等级为5级，表示学术表现远超世界水平；最低等级为1级，表示学术表现远低于世界水平［8］。

表3　澳大利亚卓越研究评价结果等级划分及描述

三、卓越研究评价的运行机制

（一）半官方背景的第三方评价组织机构

卓越研究评价隶属于澳大利亚研究理事会。澳大利亚研究理事会成立于1988年，与学校理事会、高等教育理事会、就业与技能培训理事会等共同组成了全国就业、教育和培训局，自成立伊始便承担着为政府和高校提供政策建议的功能［13］。2001年，澳大利亚研究理事会正式成为一个独立机构，全面负责对研究经费申请者的评估过程。但分管教育的部长仍掌握着指派该机构首席执行官和委员会工作人员的权力，并对机构的工作计划和内容拥有审核权［14］。

（二）详细规范的参评资料收集与提交规定

卓越研究对于不同类型研究成果的时效进行了明确的规定。学术论文成果一般以近6年发表的成果为对象，科研收入、成果应用等则以近3年为标准。这提高了在不同高校间进行横向比较的准确性。2012年澳大利亚卓越研究评价认可的期刊列表中共有22414种学术期刊，在此范围内的学术成果均能作为参评数据提交给评价委员会［15］。广泛的期刊来源最大限度地降低了期刊等级对论文质量评定的影响，以便参评机构将最有代表性的成果提交给评价委员会。

（三）开放多元的评价专家遴选方式与规范透明的评议流程

同行评议的效果在很大程度上取决于参与评价的专家。评议专家太少或者专家来源渠道狭窄，可能会影响评价结果的信度和效度［16］。因此，卓越研究评价按照学科群设立了八个评价委员会，分别负责相应的评价工作。委员会成员由国际知名学者组成，专家的学科背景需与评价单元的四位代码学科相匹配。开放多元的专家遴选方式，降低了利益相关者对评价过程和结果的潜在影响。

表4　2012年澳大利亚卓越研究主要评议阶段与过程

表4列出了评议的几个阶段和相应的评价工作。参与评议的学科，需提交该学科30%的科研成果作为参评数据。这些成果通过网络在线系统分配给评议专家。若评议专家与所分配成果存在利益冲突或敏感性问题，需自行上报评价委员会，以便撤回或者重新分配［8］。为了保证不同评议专家之间的标准统一，评议专家需要阅读同一评价单元内的全部参评数据。同行评议专家需针对每一个评价学科出具一份评价报告。报告中包含对科研成果质量的文字性描述，以及对其所用方法和科研贡献的评定，但不需要对该成果进行任何形式的等级划分或排名。在收到评价报告后，评价委员会将把报告中提出的意见作为基础，经过一系列调整后，同其他定量评价指标一起纳入评价委员会的最终评价。

四、启示与借鉴

（一）瞄准国际水准，实现科研卓越

质量是科学研究的本质规定性。澳大利亚卓越研究评价既是回应公共研发经费分配与使用的公平、公正及提升绩效的需要，也是对知识经济时代该国高等教育质量（包括创新质量）的促进与保障。卓越研究的宗旨就是对澳大利亚的学术研究活动进行国际层面的比较，并瞄准国际水准推进该国的研究水平与学科前沿方向。为了实现这一目标，卓越研究评价委员会成员由获得国际认可的著名学者组成，同行评议专家则面向全世界公开招募、择优选拔。在参评机构及学科的评级标准上，以世界水平为基准，直观地展现了不同机构及学科与世界水平的差距。该评价项目为提升澳大利亚科技领域的国际竞争力提供了新动力。

（二）评价内容综合化，评价方法针对性强

卓越研究评价虽然以标准化的学科为评价单元，但是其评价内容却从单一维度朝着多重维度的方向发展。从评价指标及其选取原则可知，卓越研究评价除对科研论文产出进行评价外，对科研投入和科研过程也日益重视。科研成果的应用和影响力在科研评价中的地位也有所上升。从评价方法看，针对学科特点和差异，引文分析的定量方法和同行评价方法没有偏废。在运用引文分析方法中，强调文献数量必须达到基本要求，并且科研成果须已被大型数据库收录，以保证被引数据的意义。针对与引文分析方法难以很好匹配的人文学科和交叉学科的评价，则更多依赖同行评价，力求将同行评议与引文分析有效结合，并且借助相关说明函件来提高评价结果的效度。

（三）开放、公开、公平的机制确保评价的公信度

开放多元的专家遴选机制、评价指标制定过程中的公众参与以及透明的评价流程等，贯穿于评价活动的全过程。为了保证研究评价委员会的评价过程能够得到有效的监督，从2012年开始，研究理事会设立专门的审查委员会，旨在对研究评价委员会成员们的科研背景进行调查，并对其科研成果进行分析，以确保委员会成员与被评价对象之间没有利益关系［8］。严格公开的评价指标筛选、来源广泛且规模庞大的国际同行评审专家库建设、评价专家学科背景与被评学科的匹配、“单盲评审”以及评审专家利益回避原则等保障了卓越研究评价的公信力。

（四）评价结果与资源配置挂钩

在卓越研究评价最终报告发布之后，澳大利亚研究理事会参照评价结果将科研基金优先发放给表现突出、具有发展潜力的学科与机构。根据2012年卓越研究评价结果，澳大利亚研究理事会公布了6800万澳元的科研经费分配情况。此外，隶属于理事会的国家科研优先发展计划和国家竞争性拨款项目也将根据评价结果来分配近8亿澳元的竞争性经费［9］。卓越研究的评价结果与资源配置挂钩，一方面增强了评价自身的权威性和导向性；另一方面，全国性的科研评价项目也使得科研经费的分配过程较为公正、透明。

（五）对交叉学科领域的评价亟待调整

卓越研究评价的材料提交和结果呈现阶段均采用分学科和分机构的划分方式，此举很好地解决了澳大利亚以往评价标准全国不统一、学科间不具可比性的问题。然而，澳大利亚高级学会（Australian Council of the Learned Academies）在2012年的一份报告中指出，澳大利亚卓越评价不能很好地“评估与呈现交叉学科领域研究状况”［17］。原因主要有两方面：一是在材料提交过程中，交叉学科领域的研究会被拆分成不同的部分，这对于评价结果有很大的影响；二是交叉学科的研究往往不能在某一特定领域的高水平期刊上发表文章，因而在影响因子的横向对比中不占优势。交叉学科领域是未来科研发展和应用创新的重点，为了实现“鉴定与推动卓越研究和前沿领域发展”的目标，卓越研究对其评价方式亟待调整。

参考文献

［1］Australian Research Council. Excellence in Research for Australia ［EB/OL］. ［2014-07-03］. http：//www.arc.gov.au/era/default.htm.

［2］CHAPMAN B， RYAN C. Higher Education Financing and Student Access： A Review of the Literature［EB/OL］. ［2014-07-03］. http：//www. doc88.com/p-941563226542.html.

［3］Australian Bureau of Statistics.Australian Schools：Participation and Funding 1901 to 2000［EB/OL］.［2007-10-03］.http：//www.abs.gov. au/Ausstats/abs@.nsf/0/A75909A2108CECAACA2569DE002539FB？Open.

［4］The World Bank. Australia GDP ［EB/OL］.［2014-10-23］.http：//data.worldbank.org.cn/country/australia.

［5］KIM J. Higher Education Funding Policy［EB/OL］.［2003-06-02］. http：//www.aph.gov.au/About_Parliament/Parliamentary_Departments/ Parliamentary_Library/Publications_Archive/archive/hefunding.

［6］王成云， 阎红梅. 澳大利亚高等教育改革的态势分析［J］. 高教探索， 2006（3）： 20.

［7］Australian Research Council. Annual Report 2010［R］. Canberra：Australian Government， 2010.

［8］Australian Research Council. ERA 2012 Evaluation Handbook［R］. Canberra： Australian Government， 2012.

［9］Australian Research Council. Excellence in Research for Australia 2012 National Report［R］. Canberra： Australian Government， 2012. ［10］丁敬达， 邱均平. 科研评价指标体系优化方法研究——以中国高校科技创新竞争力评价为例［J］.科研管理， 2010（4）：111-118.

［11］Australian Research Council. ERA Indicator Principles［R］. Canberra： Australian Government， 2012.

［12］BUTLER L. Using a Balanced Approach to Bibliometrics：Quantitative Performance Measures in the Australian Research Quality Framework［J］. Ethics in Science and Environmental politics， 2008， 8（1）： 83-92.

［13］Department of Education， Science and Training. Employment，Education and Training Act 1988［EB/OL］. ［1988-06-24］. http：//www.comlaw.gov.au/Details/C2004A03673.

［14］Office of Parliamentary Counsel. Australian Research Council Act 2001［R］. Canberra： Parliamentary Counsel， 2001.

［15］Australian Research Council. ERA 2012 Peer Review Handbook ［R］. Canberra： Australian Government， 2012.

［16］ALLEN L， JONES C， DOLBY K， et al. Looking for Landmarks：the Role of Expert Review and Bibliometric Analysis in Evaluating Scientific Publication Outputs［J］. PLoS ONE， 2009， 4（6）： e5910. ［17］BAMMER G. Strengthening Interdisciplinary Research： What It Is， What It Does， How It Does and How It Is Supported［M］.

Melbourne：Australian Council of Learned Academies， 2012.

收稿日期：2014-10-31

基金项目：教育部科学技术研究（战略研究类）项目“高校科技分类评价的国际比较与借鉴”（113002C）。

作者简介：陈洁修，女，1990年生，山东济南人，上海交通大学高等教育研究院硕士研究生；马春梅，女，1984年生，重庆人，上海交通大学高等教育研究院研究助理；朱军文，男，1973年生，安徽巢湖人，博士生导师，上海交通大学高等教育研究院副研究员，主要研究领域为高校创新政策与评价、高校人才政策与评价、科教体制转型与效率。

The Purpose，Methods and Operational Mechanism of Excellence in Research for Australia

CHEN Jie-xiu，MA Chun-mei，ZHU Jun-wen （Graduate School of Education，Shanghai Jiao Tong University，Shanghai 200240，China）

Abstract:Through an analysis of the evaluation practice in 2010 and 2012，and the implementation plan of 2015，the study discovers that Excellence in Research for Australia has formed a stable operational mechanism，including the division of evaluation units based on subjects and relevant standards，the combination of qualitative and quantitative evaluation indicators and selection principle，the evaluation method combining peer review and citation analysis based on disciplinary characteristics，the international grade on evaluation outcomes，the semiofficial third-party organizational structure，specific regulations on materials'collection and submission，open and diversified expert selection method，and standardized and transparent peer review process.Excellence in Research for Australia has positive reference value for China's reform of university research evaluation.

Key words:Australia；Research Evaluation；ERA；Operational Mechanism