国际科技评估体系与实践研究综述*

2018-12-28 12:01张逸雯江丽杰胡镜清
世界科学技术-中医药现代化 2018年7期
关键词:科技人才机构评估

张逸雯,江丽杰,胡镜清

(中国中医科学院中医基础理论研究所 北京 100700)

20世纪70年代,科技评估在世界范围内发展和应用。欧美等科技发达的国家通过比较完善的评估体制、评估指标,对科技系统内部及其相关环境中的各种活动的实际作用、影响和效果,进行客观、公正、科学地评估,从而提高被资助项目的研究水平,改进项目的研究开发策略,向政府资助机构反映项目进展情况和项目成果,为新的资金支持提供决策依据和参考,因此非常重视科技评估[1-4]。欧盟、美国、日本等发达国家对于科技评估方法的研究和实践起步早,在科技评估制度和规范方面已有较为完善的体系。本文基于近10年国外科技评估体系的研究和实践经验,提炼国际上科技评估制度、机构和体系三方面的发展现状,为中医药科技评价体系建设提供借鉴依据。

1 科技评估制度建设

不同国家依据本国科技发展需求,为保障科技评估活动的规范化和制度化,设立科技评估组织,制定和执行符合本国科技创新与发展的科技评估法律法规,保障科技评估在科技活动中的执行力和规范性[5]。

美国科技管理的立法、执法与行政管理权分属国会、法院和政府,在宪法所规定的科学自主与责任统一的原则框架下,科学研究需要对立法机关和美国民众负责。美国国会已于1976年和1993年,先后通过和发布《国家科技政策、组织和重点法》、《政府绩效与结果法 案 》(Government Performance and Results Act,GPRA),用来加强国家科技评估能力和技术计划与政府制定的能力[6-8]。

瑞士被视为欧盟内部科技评估的“领跑者”[9]。其中,瑞士科技委员会(SWTR)及其下属机构瑞士科技研究中心(CEST)与瑞士科技成果评估中心(TASWISS)是瑞士科技评估的主要部门[10,11],共同负责和承担瑞士科技评估的相关工作。

日本内阁府设置的“科技政策委员会”(CSTI)为日本科学政策制定的最高决策机构,并颁布《科学技术基本法》。1997年,CSTI审议通过《政策与发展评价方法的国家指南》,详列日本进行科技创新(R&D)与政策评价的基本概念和评价框架,指导国家各个部门进行PDCA(Project、Do、Check、Action)循环,尤其注重Check与Action[12]。

美国、瑞士、日本三国均是在科技评估中走在世界前列的发达国家,在本国内以管理职能部门和政策的推进共同约束科技评估,是很好的科技评估范例(表1)。

表1 美国、瑞士、日本三国的科技评估组织机构与立法保障

表2 美国、英国、日本三国的科技评估机构

表3 主要发达国家第三方评估机构发展状况

2 科技评估机构

目前,世界范围内的评估组织机构大体分为政府性和非政府性两种。在组织机构的层次上可分为国家、地方、科研院所、中介机构。法国、美国、英国、德国、日本等国科技评估体系完整,机构健全,具有三或四个层次并存的属性[13](表2)。

此外,美国学术机构、英国研究机构、日本专业机构都具备完善的组织网络、运作机制和社会影响力等特点,在不同类型的科技评价中发挥不同的作用。尤其在第三方评估机构的建设上,各国第三方评估所承担的领域和组织建设有所差别,既可保证科技评估的客观性和公平性,又增加了评估活动的合理性。可见,第三方评估机构是以上国家科技评估机构的重要组成部分,可参与评估的对象和范围也相对广泛,虽然作为社会或中介评估机构,仍可协助政府及科研机构完成相应的评估工作(表3)。

以美国为例,美国科技评估便是根据评估主体的不同类型,分为国家层面的政府评估、科研机构的自评估、第三方评估或民间评估。

政府评估主要是指美国政府对重大科技计划、对承担科技项目的科研机构等进行的评估。这一层次以科技政策办公室(Office of Science& Technology Policy,OSTP)、国会各委员会与联邦总审计署(Government Accountability Office,GAO)为代表,考察国家科技发展战略、科技政策实施效果及存在的问题,对涉及跨部门的科技发展战略及重大政策进行综合评估。

科研机构的自评估主要指各类科研机构对其承担的科技项目、自身业绩和科研能力进行自评估。这类评估通常是在政府开展的绩效评估主导之下进行,由第三方评估专家组组成,评估方式灵活多样。如美国科学基金会(National Science Foundation,NSF)是美国行政机构中的专职科技管理部门,NSF每年必须要在指定时限之前进行年度部门绩效自评估,评估工作以目标为导向自下而上进行,通过三种委员会(即外部专家委员会、咨询委员会以及GPAR绩效评估咨询委员会),进行层层递进的评估,最终形成部门自评估报告。

第三方评估机构或民间机构主要是指独立于政府部门之外,受国会或主体委托,对科研机构和科技项目的评估。美国政府在决定启动一项重大计划之前,或评估一个机构的整体科技能力时,往往都会委托第三方的评估机构进行评估。如国家科学院(National Academy of Science,NAS)的常设机构国家研究理事会(NRC)就是第三方评估机构的典型代表,其经常受国会委托进行第三方评估,它的科技评估报告对美国政府关于科技计划的国家决策起到了重要作用。

3 科技评估体系

随着越来越多的科技活动领域引入了科技评估,科技评估范围呈现多样化的发展。尤其近十年,国际上一些国家的评估体系在项目、成果与绩效、人才、机构评估等方面都逐渐形成完整的、适应现代科技发展的评价体系。

3.1 项目评估

科技项目在科技资源配置中占较大份额,项目的立项、研究过程及最终成果均直接影响和推动着科学技术及社会的发展。近年来,国际科技项目评估呈现多种方式,其中,对项目不同阶段进行评估适用性较强,即将事前评估(立项评估)、事中评估、事后评估(绩效评估)及跟踪评估作为评估程序。此外,进行评估之前,对项目实施正确的分类、明确评估目的、对评估主体实施准确定位和规范评估程序是基本前提。如以科技活动的性质特征为依据,将项目分为基础研究、应用研究、试验开发三种类型,或以价值导向为依据的项目评 估等。

如日本科技项目评估主要有两种类型,第一类是国家研究项目,通常与确定的科技主题有关,是至上而下的委托项目。第二类是通过竞争性的科研资助体系或其他资助体系建立的项目。包括评价主体、评价内容度、评价方法、结果的利用。具有代表性的是日本学术振兴会的科研补助金(JSPS)。评价主体由政府部门或者是管理竞争性科研经费的科研机构进行评价。评价流程包括前期评审、中期评价、事后评价。前期评审主要考察科研主题的必要性、目标计划、预算分配。中期评价通常每三年进行,考察科研项目是否需要终止、延迟和改变。事后评价主要考察目标是否达成以及结果的利用。评价项目内容度主要以研究的必要性、效率和效果作为评定标准。

美国科学基金会(National Science Foundation,NSF),作为美国联邦政府的一个独立的重要科研资助机构,通过扩大参与目标、直接资助的项目类型和建立合适的度量方法、指标,用于项目评估和检测。

3.2 成果与绩效评估

研究、创新和技术发展对一国经济的作用多体现在长期效益上,而不是简单的线性因果关系。国外科技评估注重成果质量与影响力评价,呈现标准多元化。在定量评估方法下,指标体系的构建是重要步骤之一。科技评估指标可以分为条件指标、投入指标、产出指标三类[17]。其中,条件指标一般包括政治素质、学历、外语水平等。投入指标一般包括人员的多少、职称的高低、经费的多少和课题的质量,均属于有形指标,而拼搏精神、协作精神、攻关意识等属于无形指标。产出指标一般包括理论成果、技术成果和具体的社会财富,是条件指标和投入指标的结晶。

世界上一些科技发达的国家,其科技评估中的成果和绩效评估是重要的一块内容。指标体系的构建过程是一个对评估对象总体数量特征的认识逐步深化、逐步求精和完善的过程,科技评价指标的设置,关系到对科技劳动产品价值的正确认识,关系到对科学共同体及成员的正确评估,因此,科学与适用的指标体系是做好评估工作的基础。目前的科技评估中,采取多个指标的综合评估体系。科技评估指标体系的设计也应当遵循目的性、科学性、可操作性等原则。

每个国家都根据自己本国科技发展情况,设立成果绩效评估的指标。美国的成果评估在国家法律的约束下,评价专家自上而下体系完整,开发评价工具,评价指标分类详细,而在各个不同的研究院、基金会均有相应的评价指标,很好地适应不同科研项目的成果和绩效评价。欧盟的“创新联盟记分牌”的设立,使得欧盟科技评价呈现多级评价指标体系,构建稳定开放的评价指标,通过可量化指标,实现评价指标的可比性。英国的“卓越研究的评估框架”(REF)增强了科研评价机制对高水平科学研究的导向作用。而澳大利亚的卓越研究评价(ERA)则是采取小同行评价的方式,进行绩效评估,提高评价的信度。

案例:

1993 年,美国国会通过的《政府绩效与结果法案》(Government Performance and Results Act,GPRA)第一次以立法的形式引入绩效评价,“要求所有联邦公共研究部门都要对其科研活动的绩效和结果进行评价。”[18]2002年,美国总统办公室开发了项目评级工具(Program Assessment Rating Tool,PART),专门针对联邦机构所有计划,开展绩效评价的统一标准。2002年,美国国家科学基金会(NSF)成立绩效评价咨询文员会,建立完整的、自上而下的绩效评价体系。其中专家委员有三类:外部专家委员、咨询委员会以及GPRA绩效咨询委员会。他们从项目评价开始,逐步向上到与机构具体的计划相对应的“产出”,再到上一层次的与机构战略性计划目标对应的“成果”,最后评价科技活动对NSF长期使用以及对国家社会的影响力。

美国信息技术与创新基金会(ITIF),一个非营利无党派的智库团体,已发布三种有关创新能力评价的指标,包括大西洋世纪创新竞争力评价、国家新经济指标评价体系、全球创新政策指数报告。其中,以大西洋世纪创新竞争力评价为例,其指标体系由6个一级指标,16个二级指标构成[19,20]。

美国国立卫生研究院(National Institute of Health,NIH)的科技评价体系[21],则是通过两轮专家评审,先后审查项目的科学意义、创新性、研究技术路线、项目承担人情况及研究条件,以及评估排名靠前项目与申请指南的关联性,并负责对第一轮评审中存在重大分歧项目或申诉项目的审议。

2010 年,欧盟设立“创新联盟记分牌”,促进欧洲的科技研究和创新。记分牌的指标体系由三大模块(包括创新驱动、企业活动、创新输出)和八个创新维度,合计二十五个指标构成[22]。

德国电信基金会发起,国家科学与工程学术会(Deutsche Akadmie der Technikwissens chaften,acatech)、德国工业联合会(Bundesverband der Deutschen Iudustrie,BDI)、弗劳恩霍夫系统与创新研究所(FraunhoferISI)和欧洲经济研究中心(ZEW)四个机构联合发布的“创新指标(Innovations indikator)”,是将创新系统分为产业、科学、教育、政府和社会五个子系统。囊括了38项创新指标,并将所有数据信息通过指标测量整合到综合指标当中。德国创新指标除了整体国家创新系统之外,创新指标也对各个子系统做了逐个分析,分析各个国家在不同领域的创新优劣势,使创新政策的行动领域可以更好地被识别。

英国开展科技评估的历史悠久,体系完善。近十年,英国使用“卓越研究的评估框架”(REF)作为科技评估的标准。REF的原型是英国使用近30年的“科研评价机制”(RAE)。与RAE相比,REF变革主要有三个方面,分别是:评估内容加入对科研影响力的评估,以及对科研环境的考察;评估方法转变为参考文献计量学数据和指标基础上的专家评审;评估结果仅公布每个参评单元各项在不同等级[24]。REF更注重创新产出、成果质量和社会效益评价,体现科研合作与协同创新[23]。REF框架中参评单元的科研评价包含以下三个内容:①研究产出的质量:主要指学术论文的质量。②研究对外影响力:指参评单元进行的科研活动对经济和社会等各阶层产生的广泛影响。③研究环境的质量:重点考察参评单元的资源(如人、财、物等)管理、人才管理(对学生的培养或员工的管理)和科研活动参与性三个方面。

2010 年,澳大利亚出台卓越研究评价(ERA),目的是建立透明、高效的研究绩效评估体系,全面评价澳大利亚高校的研究质量。ERA以学科及相应参评基准为依据划分评价,采用定量与定性相结合的评价指标与指标选取原则,依据学科类型特点采用同行评议与引文分析相结合的评价方法,与国际接轨的评价结果等级标准综合评估[25]。评价内容包括四个方面:①科研质量;②科研数量及活动;③科研应用;④声誉[26]。

3.3 人才评估

科技创新,关键在于科研体制的创新和科技人才的培养。科技人才绩效评估是对科技人才所从事的科研活动和所取得的科研成绩进行定性和定量有机结合的综合评估。

美国的科研管理一直秉承学术自由的原则,因此他们的科技人才评估制度并不统一。各个科研院所内部有着科学、系统的科技人员考核体系。在科技人才评估方面侧重于定量考核,一般采取岗位评估法。评估指标有学术论著、学术报告、科研经费和其他学术活动。考核指标在设定指导思想时,与科研院所的定位和发展战略保持高度一致,配套待遇与评估直接关联。重视工作成绩和实践能力,简称“功绩制”。

表5 德国科研机构评价框架

英国的科技人才评估的重点指标是研究成果的社会效益和综合影响力,从而促进了高校与商界的合作交流,有较高的社会回报。评估时间跨度大,一般为6年;REF设定每位参与评估的科技人才至多提供四篇代表作,对学术论文不考虑影响因子和引文数量,通过加权评分来评定等级。英国人才评估的另一个特点是,认可并鼓励重点领域间的跨学科研究的协同创新,进一步促进科技人才创新思维的延伸。此外,英国在科技人才的评估中采取同行评议的定性评估方式,评审专家组由各个学科的高水平专家组成。

法国科技人才评估采取宏观指标和微观指标相结合的办法,针对不同的科技人才设置评估参数。此外,法国的人才绩效评估工作高度透明,一旦制定了评估标准就要公开。通过同行评议,分析科研人员的工作描述和文章目录等材料,得出评定结果。

日本人才的培养管理是科技创新的关键。在科技人才评估方面出台并制定了一系列的政策法规,评估主要采取分层考核法。在科研机构中进行分层考核,如直接领导考核、中层主管考核、高层考核,最后进行总结分析确定结果。以计分评估制100分为基准,评估原则客观细致。考核指标多样化,侧重考核敬业精神,包括成绩、潜能、态度方面的考核。

对科技人才进行有效的绩效评估,是发现、选拔、培养、使用科技人才的基础和依据,也是科技人才激励制度的重要组成部分。不同的国家对于人才评估的规范有较大的不同。如美国的各个考核机制目标明确,具有系统性和竞争性,保证机制的活力,从深层次激发科技人才的积极性和创造性;英国的人才评估时间跨度大,从而保证了科技人才能够有充足的时间创造高质量的成果,提倡协同创新。另外,同行评议也是一大特色;法国的人才评估注重公开透明,参数详细,同样选择同行评议的方式进行评估;日本对人才评估所出台的政策法规,规定了评估采取分层考核法。

3.4 机构评估

此外,从事科学研究的机构、大学也要进行评估。德国科学委员会根据科技评价所需不同信息类型,弗劳恩霍夫系统与创新研究所的评价专家从数量与质量两个方面给出的科研机构评估框架体系,比较具有代表意义。(表5)

此外,德国马普学会、亥姆霍兹联合会、莱布尼茨学会和弗朗霍夫协会四大研究机构都沿袭了同行评议的定性评价方法对下属的研究所进行评价。评议专家的遴选采取外聘的方式,研究所根据自身性质,拟定专家名单。同行评议中外国专家比例较高,力求评价的前瞻性。由于四大研究机构之间研究领域有所分化,因此在评价标准与专家构成上存在差异(表6)。

4 小结

综上,从主要科技大国的科技评价政策及具体实施中,可以看出一些国家都具备的科技评估共性规则。通过立法保障并规范科技评价;确立科技评价的质量和贡献导向;发展第三方科技评价机构;实施分级分类的项目评价指标以及成果与绩效评价项目;实施利益相关方共同参与的科技评价。

表6 德国四大研究机构科技评价比较

从科技评估实践的角度来看,科技评估既包括问责评估,又包括战略问题评估。科技评估所采用的方法,取决于国内外的研究状况和评估所根植的创新制度。问责评估与新的公共管理相关,重点在于绩效评估。战略问题评估则是为了维护和改善现有体系,或为战略转变做出预研,从而为决策支持提供依据。因此,问责、战略转变、决策支持这三种科技评估功能构成了一个三角形。

为保证评估专家的权威性和独立性,引入外部专家(尤其是国外专家),是提高评估质量的重要因素。许多国家在科技评估实践中都强调从外部甚至国外选择评估专家。德国科技评估中更强调外国专家的比例,例如负责马普学会外部专家评估工作的科学顾问委员会有70%的专家来自国外,德国对高校实施的“精英计划”的评估专家有85%来自国外[27]。可为本国带来专家所在国的评价经验。

猜你喜欢
科技人才机构评估
第四代评估理论对我国学科评估的启示
科技人才是发展的推动力
宁陕农业科技人才助产业脱贫
一周机构净增(减)仓股前20名
一周机构净增(减)仓股前20名
一周机构净增仓股前20名
深入推进科技人才组团式援藏模式
一周机构净减仓股前20名
评估依据
立法后评估:且行且尽善