方晓东 董 瑜**,,2 金 瑛,2
(1.中国科学院文献情报中心,北京100190;2.中国科学院大学图书情报与档案管理系,北京100190)
国家科技计划,是一个国家加强科学技术发展顶层设计的有力工具,是呈现政府部门在较长一段时间内事关科技发展指导思想、优先方向、战略目标、领域布局、政策措施的重要载体[1]。近年来,面对日益激烈的国际竞争局势,以及全球新一轮科技革命与产业变革带来的重大机遇和挑战,世界主要国家均加紧制定和颁布实施适合于本国中长期发展的科技计划。随着政府对科技计划投入力度的不断加大,绩效评价开始成为考量科技计划执行期间资源配置是否被合理分配、高效使用和创新产出的重要手段和依据。
20世纪初,美国是组织开展科技计划评价活动最早的国家,第二次世界大战结束后,日本、德国、法国、英国等国家的科技计划评价活动也相继起步[2]。相比较发达国家组织开展科技计划评价活动开始的时间,我国科技评价工作起步相对较晚,20世纪90年代初,主要由国家科学技术委员会(国家科学技术部的前身)牵头,后期又成立了国家科技评价中心[3]。鉴于起步较晚,所以学习、借鉴、消化和吸收国外特别是欧美发达国家科技计划的评价理念、模式、方法、指标和经验便成为我国建立健全科技计划评价体系与制度的有效途径。也正因如此,国内政策研究界对国外科技计划的绩效评价进行了广泛研究与分析。陶蕊等[4]主要梳理和总结了美国和欧洲国家科技计划评价体系的发展历程与演变过程,以及开展科技计划评价的目标导向、基础条件和体系要素;周文泳等[5]重点分析了美国、德国、荷兰、瑞士等组织开展科技计划的评价模式,类比了英国、德国、法国科技计划评价体系指标设置的差异性,总结了我国科技计划评价的现状及存在的问题;乐慧兰等[6]以美国先进技术计划为研究案例,系统介绍了科技计划评价的组织构架、项目遴选标准、评价程序、方法工具及其经济影响;谈毅等[7,8]、陈炳硕[9]主要概述了韩国政府开展科技计划评价的牵头机构、组织构架、管理模式和指标体系。通过运用文献调研和类比分析法,发现目前国内政策研究界的侧重点主要聚焦在欧美发达国家科技计划评价体系的发展演变、方法流程、管理模式、组织机制等方面,虽然也有涉及科技计划绩效评价标准和指标设置等内容的文献,但却很少有专门研究事后绩效评价的文献。
事后绩效评价是科技计划全过程评价的重要组成部分。组织开展事后绩效评价,是帮助科技计划决策管理部门进一步了解并掌握科研项目承担单位科技成果转移转化率、产品化程度、市场占有率及其社会效应和国际影响力的重要方式,也是后续调整科技资源配置的科学依据。也正因如此,我们才选择其作为本文的研究主题。类比主要发达国家的政治制度、重大科技项目组织实施与管理制度及其资源配置手段,发现我国和法国的相似性最大,其在组织开展科技计划事后绩效评价的实践中有很多做法和经验都值得我们学习与借鉴。所以,本文将以法国“未来投资计划”(Programme d'investissements d'avenir,PIA)事后绩效评价为研究案例,重点从评价原则和指标2个维度,解析法国政府组织开展科技计划事后绩效分类评价的细节特点和主要经验,以期为我国优化完善科技计划评价体系与制度改革提供一定的思考与启示。
第二次世界大战结束后,为迅速修复战争创伤,促使处于崩溃边缘战后经济迅速恢复到战前的水平,法国政府于1946年开始在全国范围内推行国有化运动,实施五年经济计划,大力恢复发展劳动密集型产业。与此同时,在科技发展方面,法国政府也陆续设立了一批门类齐全的国立科研机构,但还未开始颁布大型科技计划。
1981年,法国政府提出“振兴科技,摆脱危机”的执政理念,强调依靠科学技术促进经济建设[10]。颁布实施国家科技计划开始成为各部门加强科学技术发展顶层设计的重要手段,这期间各部门均有颁布实施科技计划的自主权。类比分析所有计划后,发现当时法国国家研究计划可分为四类,包括:研究与技术发展动员计划、基础研究计划、应用和目的性研究计划、技术发展计划。四类研究计划重点支持的学科领域,如表1所示[11]。
表1 20世纪80年代法国四类研究计划及其重点支持的领域Tab.1 Four types of French research projects in the 1980s and their key areas of support
受全球石油危机影响,为科学合理地使用有限的经费资源,避免个别领域人力、物力、财力资源浪费及重复资助问题的出现,20世纪80年代末,法国政府以重点学科领域为导向,对上述四类计划进行了重组改革,最终制定了11项国家研究计划,聚焦的领域包括生物技术、食品、医学研究、人文与社会科学、技术与生产、电子技术与信息技术、住房与交通运输研究、自然资源开采与利用、新材料和新化学[11]。
进入21世纪以来,鼓励多学科融合发展、推动产学研机构加强协同创新成为法国历届政府及其主要部门发展科学技术的核心理念。为进一步确保国家科技经费投入均能够用在刀刃上,促使科学研究和高等教育融合发展的同时能成为推动产业结构优化升级的重要驱动力,2010年,法国政府再次对运行数十年的分散式11项科技计划体系进行了集中整合。至此,又名为“大型国债计划”的“未来投资计划”应运而生。
负责“未来投资计划”所有子计划及其项目事后绩效评价的评审专家均由法国投资总署(Commissariat général à l'investissement,CGI)事先统一遴选。为充分确保事后绩效评价结果的整体质量,在组织开展绩效评价过程中,投资总署要求评审专家必须遵循以下七大原则[12]:
1)客观中立。在前期筹备、方案制定、信息收集、报告撰写、听证答辩、修改完善、对外公示等过程中,评审专家必须严格做到客观、中立,不得夹带任何感情色彩,偏袒被评价对象中的任何一方,更不能与其产生任何的利益往来。
2)公开透明。开展事后绩效评价过程中,评价流程、方法、标准、指标等必须事前对外公开。
3)分类评价。为体现每一类子计划及其项目的特殊性、复杂性和目标导向的差异性,评审专家组必须坚持分类评价理念,不得单一使用一套指标体系。
4)全面性。评价报告撰写环节,为避免出现片面性结论,评审专家的每一条评审意见和建议,必须建立在综合考量所有评价指标的基础之上。
5)可追溯。为确保事后绩效评价数据信息的真实性,被评价对象向评审专家提交的数据信息必须事先得到第三方机构的审核确认。事后绩效评价过程中,无论是被评价对象,还是评审专家,均不得随意捏造、任意篡改所有与绩效评价相关的数据信息。每一个环节产生的数据信息必须存档,以备不时之需。
6)多元。评审专家组开展事后绩效评价的所有环节特别是评价指标设置、评审专家遴选、信息采集与分析手段,必须具有广泛的代表性。
7)专业。评审专家遴选过程中,所有被选定的评审专家除必须拥有丰富的知识储备、专业技能和评价实践能力之外,每一名评审专家还必须同时具备良好的业界口碑和职业道德,不得遴选有争议的专家。
法国“未来投资计划”下设子计划及其项目可大致被分为:基础研究类、技术创新类和高等教育类。为遵循分类评价原则,虽然投资总署事先给每一类项目的事后评价都设置了数量不等的一级和二级指标,但是它们只是可供参考的指导性指标,而不是固定的指令性指标。在评价过程中,评审专家有权根据项目的特殊性和复杂性,适当增减或调整二级及以下指标[12]。
2.2.1 针对基础研究类的评价指标
基础研究类子计划及其项目的设立初衷是依靠引导法国国家创新体系执行层不同研究人员积极从事跨学科和多学科交叉研究的方式,催生一批原创性科技成果,培养一批有潜力的优秀青年人才。鉴于此,基础研究类的事后绩效评价基本围绕科研产出和人才培养的数量与质量两个维度展开,如表2所示。
表2 “未来投资计划”基础研究类子计划及其项目的事后绩效评价指标Tab.2 Ex-post performance evaluation indicators of basic research sub-plan and its projects of“Investments for the Future Programme”
1)科研产出的“量”与“质”。“量”主要是指项目执行期间,研究人员撰写研究报告的数量。为鼓励协同创新,评审专家并没有过于关注科研人员独自撰写的研究报告的数量,反而更加关注其与来自其他学科领域公-私机构研究人员联合产出的跨学科或多学科交叉研究报告的数量;“质”主要是指项目执行期间,研究人员撰写学术论文的质量,例如,进入全球10%高被引论文的篇数,以及基于重大学术发现,发起或组织国内外各类型学术会议的次数。
2)人才培养的“量”与“质”。“量”主要是指项目执行期间,研究人员单独或联合培养研究生和博士后的数量;“质”主要体现在已毕业博士研究生和出站博士后的就业状况。这一目标导向旨在引导以基础研究为主的科研机构和高等院校在专业课程设置方面须时刻考虑学生的就业前景及所学知识的实用性。
2.2.2 针对技术创新类的评价指标
为引导“工贸型”产学研机构的技术研发人员始终围绕制约法国社会和市场经济发展的难题开展技术研究与攻关,技术创新类子计划及其项目的事后绩效评价在创新产出方面对论文产出没有任何数量要求,除对专利申请有一定的数量要求之外,其余指标则更加关注产出成果的质量与效应,例如,转移转化、产品化或商品化程度等,如表3所示。
表3 “未来投资计划”技术创新类子计划及其项目的事后绩效评价指标Tab.3 Ex-post performance evaluation indicators of technology innovation sub-plan and its projects of“Investments for the Future Programme”
1)创新产出。除关注技术研发人员单独申请专利的数量之外,与基础研究类的科研产出一样,还关注技术研发人员与其他学科领域公-私机构或部门研究人员联合申请专利的数量。
2)经济效益。主要有两类:一类是因科技成果转化或技术转让直接带来的经济收益;另一类是专利技术转化为高新技术产品或服务带来的经济收益。
3)环境效益。是指使用专利技术后,对空气、水、土地等人类赖以生存的自然与生态环境,特别是工业生产、生活垃圾或废弃物回收和降解带来的实质性改变或颠覆性变化。
4)社会效益。主要指使用专利技术之后,带来的外部间接效益。例如,创办经济实体(初创企业或衍生公司)解决社会就业;提升生产效率、节约生产成本等。
2.2.3 针对高等教育类的评价指标
高等教育类项目的设立初衷包括两方面:一是通过改善法国国家高等教育院校基础设施和师资建设水平,进一步提高其教学、办学和辅导培训的质量;二是给予不同群体的学生提供平等入学和指导就业的机会。
鉴于法国不同地区院校在办学硬件条件与水平、师资队伍体量与水平、在校学生数量等方面存在明显差异,所以针对高等教育类项目的事后绩效评价则不能通过简单比对已毕业学生数量的“多与少”或院校毕业率的“高与低”来评价该院校高等教育活动的“好与坏”。此外,为避免每个被评价院校私自调整和修改上报数据,以获得更好的评价结果,所以在指标设置方面,除分专业统计中途退学学生和复读学生的占比之外,投资总署没有过多设置可直接由院校填写和上报的指标,只是建议评审专家要借助定向追踪和调查问卷的方式,搜集在校特别是已毕业学生的反馈意见,从学生的视角,评价被评价院校已获得高等教育专项资金是否用到位、用对地方,如表4所示。
法国“未来投资计划”预算投入之大、执行周期之长、领域范围之多、参与人员之广、战略目标之宏伟,之所以会取得显著的成绩,离不开投资总署等决策管理层以满足国家战略和社会市场需求为导向,以有利于原创性科学发现与技术突破、科技成果应用与转化为保障,科学合理设置事后绩效评价原则、实施分类评价理念并配备实用性极强的评价指标。
表4 “未来投资计划”高等教育类子计划及其项目的事后绩效评价指标Tab.4 Ex-post performance evaluation indicators of higher education sub-plan and its projects of“Investments for the Future Programme”
1)最大限度消除行政化干预影响,赋予评审专家适度调整评价指标的权力
在科技评价活动中,过多的行政干预是阻碍科技评价结果实现公平、公正和公开的重要因素。为最大限度地消除行政化因素影响,法国投资总署主要采取了以下两个措施:第一,从评审专家团队成员组成方面来看,虽然在评审专家队伍中仍然含有一定比例的行政管理人员,但是所有事后绩效评价环节的主要负责人均由资深学术专家担任,而不是行政管理人员;第二,从指标设置方面来看,基于“未来投资计划”子计划及其项目所属领域的特殊性与复杂性,投资总署还赋予评审专家适度增减或调整二级及以下指标的权力,以最大限度地确保科技评价放权于学术评审专家。
2)评价前期通过统一制定原则的方式,全力确保事后绩效评价的整体质量
科技计划事后评价是一项复杂性、系统性和专业性工程,在组织开展科技计划评价活动之前,建立健全评价制度或原则是严格确保每一类科技计划及其项目评价结果整体质量的前提保障。投资总署在召集评审专家组建评价队伍之前,通过统一制定“七个必须”原则的方式为后续各环节的评价工作奠定了基调。一是评审专家必须客观中立;二是评价流程与过程必须公开透明;三是评价标准必须采用分类评价;四是评价结论必须全面;五是评价数据必须做到可追溯;六是评价指标设置和信息采集方式必须多元化;七是评审专家必须拥有统一认证的评审资质。
3)基于项目的内在差异,实事求是地实施分类评价、不强行设置指标权重
基于“未来投资计划”不同子计划及其项目类别属性与目标导向的不同,实事求是地实施分类评价、不强行设置指标权重是投资总署组织评审专家开展事后绩效评价工作的精髓。具体来说,基础研究类评价主要看重科研人员从事跨学科和多学科交叉研究过程中取得原创性基础研究成果的种类和质量,以及培养复合型人才的质量和贡献,而不仅仅是发表论文的数量;技术创新类评价更加关注技术研发人员专利技术的转移转化、产品化和市场化效益,以及给社会就业、生态环境修复与保护等带来的积极影响特别是颠覆性改进;高等教育类评价则更加从学生的视角,衡量其所在院系的教学和办学质量。每一类评价在产出导向和指标设置方面,各具特色、各有侧重,既充分考虑了各类子计划的特殊性,又最大限度地尊重了被评价对象产出的多元性。
自1982年我国开始设立“六五”科技计划以来,国家各部门已相继推出数十项科技计划,已建立起比较完备的科技计划体系[7,8]。然而,针对不同类别属性和目标导向科技计划的评价工作仍然存在认识不到位、体系不健全、指标不科学等问题。对此,可以重点从两个方面改进。
1)尊重科技成果产出的滞后性,从思想认识上重视并推进落实国家科技计划事后绩效评价工作
科技成果产出除存在很大的不确定性和偶然性之外,从时间维度来看,无论是“量”产成果,还是“质”产成果,都具有明显的滞后性。通常来说,“质”产成果的滞后性要长于“量”产成果的滞后性。如果要把这些“质”产成果转变成经济效益、环境效益和社会效益往往需要更长的时间周期,数年甚至数十年不等(例如,新药品和疫苗上市)。法国投资总署组织开展“未来投资计划”事后绩效评价的实践启示我们在科技评价过程中,只有尊重科技成果产出的滞后性,才能够深层次、多维度统计研究人员的科研产出特别是“质”产成果,才能够最大限度地弥补事中评价和结题评价的不足,才能激发和保持科研人员潜心研究与创新的工作热情。
当前,我国针对科技计划的评价体系虽然发展较快,也取得了一些成效,但从科技评价的类别或组织实施上来看,大多主要集中在事前(立项)、事中和结题验收评价,在对一些重大科技计划及其项目的事后(跟踪)评价上还缺乏统一的思想认识和实质性的举措[13],与法国政府组织开展国家科技计划全方位评价还存在一定的差距。鉴于我国现有的科技评价与管理工作主要由国家及各省市自治区科技行政管理部门牵头负责[14],为弥补当前我国科技计划评价体系的不足,各层级科技行政管理部门应解放思想、大胆探索,勇于改变传统的科技评价理念和做法,从思想认识和实践层面将事后绩效评价纳入到科技计划或重大科技项目的常规性评价中来,确保科研人员的每一类科技创新成果均没有被遗漏和忽视。
2)以激发原创性成果、实质性运用和创造性贡献为导向,推广实施国家科技计划分类评价体系
纵观法国“未来投资计划”事后绩效评价的指标设置后,不难发现针对政府提出的分类评价理念,科技计划主管部门及其评价队伍没有只是“喊口号”,而是根据子计划及其项目的类别属性、目标定位、参与对象等的不同,有针对性地设置了不同的评价指标,确确实实将分类评价落实到了实处。
进入21世纪以来,中共中央(办公厅)、国务院(办公厅)、科技部、教育部等部门几乎每年都会出台有关分类评价的办法、方案或改革意见建议,一再要求要根据科技计划类别属性以及参与人员和机构的不同,采用多元的评价方法、标准和指标[3],但在科技评价的实践过程中,“一把尺子量到底”的现象依然存在,不同文件之间有关分类评价的标准有的依然不清晰,无法落地。2018年5月,在全国两院院士大会开幕式上,习近平总书记将科技评价体系改革上升至加快建设科技强国的重要组成部分,更加明确地提出以创新能力、质量、贡献为导向的科技人才评价体系。面对紧迫的任务形势,法国“未来投资计划”事后绩效分类评价的理念启示我们,分类评价理念要想被全面推广与执行,一定要有多元和明确的目标导向作指引:(1)基础研究类计划或项目的评价应重点以激发原创性成果、实质性突破为导向设置评价指标,定量分析法尽可能地建立在引导公私机构跨学科领域协同与交叉研究基础之上,针对单一学科的成果评价,应尽可能地关注科研人员的“质”产成果;(2)应用研究类计划或项目的评价应重点以基础研究理论与知识的实质性运用和测试为导向设置评价指标;(3)实验发展和技术创新类计划或项目的评价应重点围绕国家阶段性战略需求或市场需求为牵引,以成果转化或产品化给经济、环境、社会带来的创造性贡献为导向,减少评价次数,摒弃传统量化指标。