区域全面创新改革试验评估框架和指标研究

王再进，田德录，刘 辉

(科学技术部科技评估中心，北京 100081)

1 区域全面创新改革试验评估问题的提出

随着创新驱动发展战略的深入实施、科技体制改革的不断深化，以及政府职能的加快转变，评估在科技监督管理、创新资源分配中的作用明显加强，如何更好地发挥评估对促进创新改革举措落实和完善的作用，提升创新改革管理的科学化、专业化水平，已成为摆在相关政府部门面前要研究解决的重要议题之一。同时，如何加强相关评估方法和工具的研究开发及其对管理决策的技术支撑，也成为公共管理、政策科学领域关注的热点研究问题。

当前，根据中央部署，京津冀、上海、广东、安徽、四川、武汉、西安和沈阳8个试验地区正深入推进全面创新改革试验，要在市场公平竞争、知识产权、科技成果转化、金融创新、人才培养和激励、开放创新、科技管理体制等方面取得一批重大改革突破，并探索建立一套有利于创新的体制架构，打造若干创新驱动发展的区域性示范平台。这是落实国家创新驱动发展战略总体部署的一项重大行动，也是深化科技体制改革的重大举措，对我国加快建设创新型国家具有重要意义。

为了更好地推进改革试验，《关于在部分区域系统推进全面创新改革试验的总体方案》(中办发〔2015〕48号)中对试验区域改革试验评估工作提出了明确要求，由国家层面成立的全面创新改革试验部际协调机制统筹部署相关评估任务。评估的主要目的是及时跟踪各区域改革试验进展，总结经验，发现问题，科学诊断和研判，提出建设性的政策建议，为推进相关改革政策措施的落实和完善，及时总结推广成熟改革举措等提供决策参考。随着各区域全面创新改革试验的逐步深入推进，评估的重要性越来越突出，与试验区域管理工作逐步融合，同时这也对评估的专业性、规范性和科学性提出了更高要求，需要形成一套较为系统、规范兼具可操性的评估框架和指标体系。

2 区域全面创新改革试验评估的基本理念和原则

研究设计区域全面创新改革试验评估框架和指标，首先要确立评估的理念和原则。全面创新改革试验区域是科技创新和体制机制创新的“试验田”，8个试验区域是评估的主要对象，各区域改革试验方案中明确的改革任务(既包括国家授权各区域先行先试的改革举措，也包括各区域结合当地实际自主探索的改革举措)是评估的重点内容，各试验区域相关省市、具体授权开展先行先试改革举措的有关部门，以及企业、高校、科研院所等改革政策受众是评估考察的相关主体。由于改革试验多元主体、多个领域、多个环节、多种要素交织在一起，涉及面广、系统性强、复杂度高，需要树立系统、科学的评估理念，坚持独立、客观、公正的评估原则，特别要厘清改革试验的核心目标和价值导向、相关主体的角色和作用、改革试验的各环节关联，以及影响改革试验的因素和环境条件。

2.1 坚持目标导向，服务于改革试验绩效管理

绩效管理作为政府管理方式创新的一种手段，被称为“绩效导向下的目标管理”，融入了公共责任的管理理念，强调公共服务的结果导向，目前已经成为国内外政府管理中常见的管理模式。随着各国政府对绩效管理与绩效评估的逐步重视，基于“目标—投入—活动—产出—成效—影响”的监测评估逻辑框架在科技评估实践中得到了越来越广泛的应用，其以目标为重要导向，并注重过程监测和结果反馈的评估理念和思路，对区域全面创新改革试验评估设计有现实的参考价值。

2.2 秉承“第三方”立场，讲求评估的专业性

从独立于决策方、执行方的“第三方”立场和评估视角，对试验区域的全面创新改革试验进展情况和效果进行评估，发挥好“第三只眼”作用。确保评估单位能够与委托方、评估对象相对分离，独立开展评估活动，并做出科学、可信、有用的评估结论。注重充分发挥专业评估机构作用，提高评估的专业化水平，确保评估的质量和效果。

2.3 基于全过程评估视角，注重对改革试验政策制定、执行和效果的全链条动态分析

创新改革试验是一个动态的过程，其动态性主要体现在改革试验运行的各个阶段和环节。鉴于改革试验相关政策措施的制定(设计)、执行和效果各环节彼此紧密相关，在区域创新改革试验评估框架设计中，为形成更加全面、客观、准确的评估判断，需要系统考察相关政策措施各环节，建立起覆盖其全过程的评估体系。同时，改革试验政策措施的制定(设计)、执行和效果可各自作为变量影响其他两个变量的结果，因此要注意从动态的视角，来评估分析三个环节及其互动关系，形成全过程链条、系统性的评估回路架构。

2.4 价值与事实评估相结合，关注改革受众的回应性

对创新改革试验的评估，既有“技术性”，也带有一定的“政治性”，不能局限于技术层面和事实层面的评估，需要对价值层面问题做出分析和判断。总体上，要确立价值评估与事实评估相结合的理念，将价值标准与效益、效率等事实标准相结合[2]。在价值分析和判断层面，一方面要考察创新改革相关政策措施设计层面的适当性、公平性、充分性，另一方面还要考察相关政策措施目标群体、其他利益相关方、社会公众对政策措施效果的回应性等。

3 区域全面创新改革试验评估的逻辑框架和维度

评估的逻辑框架蕴含着评估的主体环节、层次关联、因果链条和假设关系，能够有效帮助评估者建立评估前思维，指导后续评估活动开展。根据对区域全面创新改革试验评估理念和原则的研究探讨，需要研究设计覆盖试验区域创新改革政策措施目标、执行和效果各主要环节的评估综合框架，建立涵盖“目标—投入—活动—产出—成效—影响”的监测评估逻辑关系，体现目标管理、绩效评估的理念和全过程、全链条系统评估、价值与事实评估相结合的原则和思路。结合创新改革重点和试验区域特点，本文提出了区域全面创新改革试验的主要评估维度，各维度中分别凝练了需要重点考察的关键问题，并提供了评估证据来源和采集方法，建立起了综合、系统的评估框架(见表1)。

表1 评估的主要维度与关键问题

4 区域全面创新改革试验评估指标体系设计

4.1 评估指标体系基本构成

评估指标是评估研究的重要内容，也是评估实践中常用的工具和方法。确立了评估逻辑框架和评估维度后，还需要将其转化为可观测、可操作的评估指标，才能应用于评估实践。本文根据以创新改革为主线，以改革驱动创新、创新驱动发展为路径，以促进经济、社会发展为最终落脚点的研究思路，在上述评估框架基础上，进一步凝练提出了试验目标、组织管理、任务落实和效果影响4个一级指标，并将其细化分解成总体目标等11个二级指标和创新改革试验总目标实现度等31个三级指标，由此构成面向8个试验区域的评估指标体系。其中，一级指标“试验目标”由2个二级指标和2个三级指标构成，重点分析各试验区域2016—2018年总体目标及各年度目标的完成情况；一级指标“组织管理”由2个二级指标和4个三级指标构成，重点分析各区域系统推进全面创新改革试验的相关主体、资源投入、活动情况，包括领导机构、执行机构的建立运行，配套制度和相关工作机制的建立及发挥作用情况等；一级指标“任务落实”由3个二级指标和8个三级指标构成，重点分析国家授权先行先试改革举措的执行力、各区域自主探索举措的落实度，以及影响改革试验的环境和条件等情况；一级指标“效果影响”由4个二级指标和17个三级指标构成，重点分析各区域全面创新改革试验的产出、成效与影响，特别是改革成果的复制推广、对创新创业的拉动和对经济转型升级的促进作用，以及政策受众对改革试验效果的反馈和回应等。评估指标分解及含义说明见表2。

表2 区域全面创新改革试验评估内容与指标体系框架

续表2一级指标二级指标三级指标指标含义说明证据来源任务落实5.国家授权先行先试改革举措6.试验区域自行探索改革举措7.试验环境和条件5.1政策知晓度企业、高校和科研院所等政策受众对国家授权相关试验区域先行先试改革举措的政策知晓情况问卷抽样调查结果等5.2政策执行力各试验区域相关省市对国家授权本区域先行先试改革举措的执行态度、执行能力、推进力度和效率(需关注是否存在国家有关职能部门授权不到位或需要新授权的改革措施)8个试验区域的改革试验年度工作计划、月报进度表、自评价报告和工作总结等6.1与改革试验主题的契合度各试验区域自行探索重点改革举措与本区域创新改革试验主题的相关性和契合程度文献研究、实地调研考察和专题分析等6.2改革举措进展各试验区域自行探索改革举措(含试点改革举措)的推进力度和取得进展8个区域自评价、实地调研、座谈研讨、专家咨询评议、典型案例分析等7.1经济基础各试验区域的经济发展状况和水平(如GDP增长率、产业发展状况等)公开统计数据、实地调研考察、管理部门和政策受众反馈等7.2创新条件各试验区域开展全面创新的条件,特别是科技创新基础和创新资源禀赋(如科技人员、研究机构和科技基础设施的配套情况,创新要素和资源的集聚程度等)公开统计数据、实地调研考察、管理部门和政策受众反馈等7.3行政生态各试验区域有关省市的政治环境和行政生态公开统计数据、实地调研考察、管理部门和政策受众反馈等7.4社会稳定各试验区域推行全方位改革的社会稳定基础和相关受众承受力公开统计数据、实地调研考察、管理部门和政策受众反馈等

续表2一级指标二级指标三级指标指标含义说明证据来源效果影响8.改革成果的复制推广情况9.对创新创业的拉动作用10.对经济转型升级的促进作用8.1经国务院批准复制推广的改革举措数各试验区域拟复制推广改革举措上报后,经国务院批准在更大范围推广实施的改革举措数量(对照中办发[2015]48号文内容要求,重点关注市场公平竞争、知识产权、科技成果转化、金融创新、人才培养和激励、开放创新、科技管理体制等方面改革举措)8个区域自评价、实地调研、座谈研讨、专家咨询评议、典型案例分析等8.2改革举措推广的范围和程度经国务院批准复制推广改革举措的推广范围(如在全国范围内复制推广、在8个试验区域复制推等)及推广实施效果8个区域自评价、实地调研、座谈研讨、专家咨询评议、典型案例分析等9.1试验地区全社会R&D占GDP的比重该指标又称R&D投入强度,是国际上通用的、反映国家或地区科技投入水平的核心指标,也是我国中长期科技发展规划纲要(2006—2020年)中的重要评价指标8个试验区域填报数据与公开统计数据相结合等9.2试验地区企业R&D经费支出占主营业务收入的比重企业是创新活动的主体,而工业企业又在企业创新活动中占有主导地位。该指标反映试验地区创新活动主体的经费投入情况8个试验区域填报数据与公开统计数据相结合等9.3试验地区每万名R&D人员专利授权数指按R&D人员全时当量平均的专利授权数量。该指标是反映试验地区研发活动的产出水平和效率的重要指标。8个试验区域填报数据与公开统计数据相结合等9.4试验地区每万名科技活动人员技术市场成交额指按每万名科技活动人员平均的技术市场成交金额。该指标反映试验地区技术转移和科技成果转化的总体规模。技术市场成交额指全国技术市场合同成交项目的总金额8个试验区域填报数据与公开统计数据相结合等9.5当年新增企业数与企业总数比例该指标反映试验地区创业活力,特别是小微企业的创业氛围。计算公式:每年新增企业数/当年企业总数8个试验区域填报数据与公开统计数据相结合等9.6创投机构当年对企业的风险投资总额该指标衡量试验区域的科技金融发展水平,反映试验地区在聚集创投机构、吸纳风险投资以支持创新创业等方面发展情况8个试验区域填报数据与公开统计数据相结合等9.7试验地区创业及参与创业的大学生人数该指标反馈试验地区大学生这一重要创客群体的创业热情和参与度8个试验区域填报数据与公开统计数据相结合等10.1试验地区高技术产业增加值占GDP的比重创新活动必然导致产业结构的优化。高技术产业增加值占生产总值比重就是反映试验区域产业结构优化程度的指标之一8个试验区域填报数据与公开统计数据相结合等10.2试验地区企业新产品销售收入占主营业务收入的比重新产品销售收入是反映企业创新成果,即将新产品成功推向市场的指标。该指标用于反映试验区域创新对产品结构调整的效果8个试验区域填报数据与公开统计数据相结合等10.3试验地区高技术产品出口占货物出口额的比重高技术产业与创新具有互动关系。该指标通过试验区域高技术产品出口的变化情况,反映创新对产业国际竞争力的影响效果。该指标的数据口径为规模以上工业企业8个试验区域填报数据与公开统计数据相结合等

续表2一级指标二级指标三级指标指标含义说明证据来源效果影响10.对经济转型升级的促进作用11.政策受众获得感10.4试验地区单位GDP能耗指每产出万元国内生产总值(GDP)所消耗的以标准煤计算的能源。节约能源是企业技术创新的目的之一,创新是节约能源的途径和保障,对节约能源起决定性因素。该指标反映试验区域创新对降低能耗的效果8个试验区域填报数据与公开统计数据相结合等10.5试验地区劳动生产率指一定时期内工业总产值与年平均从业人员之比。创新是影响劳动生产率的重要因素,提高劳动生产率是企业创新的目的之一。该指标反映试验区域创新对工业经济发展的促进作用,数据口径为规模以上工业企业8个试验区域填报数据与公开统计数据相结合等10.6试验地区科技进步贡献率指广义技术进步对经济增长的贡献份额,即扣除了资本和劳动之外的其他因素对经济增长的贡献。该指标数据来源于有关部门开展的科技进步贡献率评价的测算结果,是衡量科技竞争实力和科技转化为现实生产力的综合性指标。本指标体系中该指标使用的是报告期及之前4年间的平均水平,用以反映创新对国民经济发展的促进效果8个试验区域填报数据与公开统计数据相结合等11.1政策受惠度各试验区域相关企业、科研院所、高校等创新主体在本区域全面创新改革中是否得到实惠,以及受惠面如何问卷抽样调查结果、实地调研、座谈交流、典型案例分析等11.2受众认可和满意度各试验区域相关政策受众对本区域改革试验成效的认可和满意程度问卷抽样调查结果、实地调研、座谈交流、典型案例分析等

4.2 综合评价设计

对8个试验区域依据统一的指标框架体系进行监测和评估，便于横向对比。将各区域的个性化定量考核指标纳入三级指标(如1.1)中考察。给各级指标赋值，在专家评议基础上进行综合评级。例如，可分为A(试验进展好，成效显著)、B(试验进展一般，成效一般)、C(试验进展差、存在问题较多)三档，作为相关部门择优和政策倾斜的参考依据。列入A档的给予重点支持，列入C档的需要整改，鼓励列入B档的往A档努力。

4.3 主要评估方法

采用基于证据、面向关键问题的评估方法，事实评估与价值评估相结合，专项评估与综合评估相结合。为客观真实和系统收集评估所需的各类支撑信息和数据，综合采取案卷研究、实地调研、面访或电话访谈、专题座谈、问卷调查、案例研究、专家咨询、改革舆情分析等具体方法。

4.4 评估证据来源

主要包括：各试验区域的官方总结报告和材料，公开报告和统计数据(主要涉及“效果影响”部分的定量评价指标)，对企业、高校、科研院所等政策受众的问卷调查统计结果，实地调研、各类专题座谈会与专家咨询评议所获取各类证据信息，网络舆情调查分析结果等。

5 区域全面创新改革试验评估框架及指标体系应用展望

当前，在创新改革新形势下，系统推进区域全面创新改革试验，对加快创新驱动体制机制改革、破解创新驱动发展瓶颈制约具有重要意义，而评估正是助推这一目标实现的重要支撑工具，可发挥情势诊断、决策咨询、引导激励、纠偏纠错等功能作用。对试验区域而言，评估作为专业化工具和手段，还可发挥“以评促建”作用，加快推进国家布局改革举措从“政策试验”向“政策扩散”的科学化、合理化进程[3]。

本文提出的区域全面创新改革试验评估框架和指标体系，是在对区域创新、公共管理、政策科学等相关理论进行梳理总结，对国家关于区域创新改革整体布局、政策方向和任务重点的理解、认识和把握，以及对试验区域近两年创新改革试验情况及相关改革举措进行跟踪调研分析的基础上[4-5]研究构建的，也是面向评估实践应用需求产生的，我们认为其具有较强的适用性和可操作性。通过该评估框架和指标体系的应用，可以为当前有关部门和地方加强试验区域监督管理，提升科学化、精细化管理水平，构建推进全面创新改革的长效机制，加快复制推广改革举措和重大政策，以及促进形成若干具有示范、带动作用的区域性改革创新平台等提供决策参考。特别是，通过对8个试验区域的指标对比，可以发现每个试验区域的优劣指标，对于优异指标可以总结好的经验，对于劣势指标可以找到改革创新中问题和短板，结合相关试验区改革发展趋势，调适和优化改革路径[6]，提升改革效果。对单项重大改革举措的评估，可结合相关改革举措的内容、特点和评估重点，对评估指标进一步细化、拓展和完善，提高指标的针对性。

需要说明的是，区域全面创新改革试验评估涉及面广、内容丰富，综合性和政策性强，受创新改革举措相互交织、效果归因难等因素影响，会给相关评估工作带来一定的局限性，需要结合评估实践发展从评估的理论、方法和模型、模式上进一步拓展和深化。