科技创新券政策评估指标体系构建

张玉强，胡思琪

(广东海洋大学管理学院，广东 湛江 524088)

科技创新券政策评估指标体系构建

张玉强，胡思琪

(广东海洋大学管理学院，广东 湛江 524088)

科技创新券作为一种新型的政府科技资金投入政策，已经在中国很多地区付诸实施，这也急需对其开展全面的政策评估。文章以政策评估模式、科技创新政策评估的理论与实践、科技创新券构成要素为分析依据，从政策方案、政策实施、政策效果3个维度及政策内容科学性、政策投入、政策执行、目标达成度及满意度5个方面构建了科技创新券政策评估指标体系，并通过试点验证了指标体系，完成了关键指标的赋权。这对开展科技券政策评估，全面把握其实施状况，进而优化政策方案，提升政策实施效果具有重要的价值。

科技创新券；指标体系；政策评估

2004年，荷兰最早开始实施科技创新券。随后，爱尔兰、英国、新加坡等国家和地区也开始推行科技创新券。作为一种政策创新，科技创新券很快在全球超过 20 多个国家和地区实施。2012年，中国江苏省宿迁开始实施创新券政策，成为国内最早应用创新券的地区。随后，科技创新券在中国很多地方推行开来。目前，江苏、浙江、黑龙江、河南、北京、上海、广东、山东、贵州、辽宁、安徽等地区都出台了相关政策，实施科技创新券。在越来越多地区推行科技创新券政策的现实背景下，无论是对于先行地区，还是后来跟上的地区，都急需了解该政策实施中的效果怎样，有哪些问题需要注意和解决，未来又该如何改进等问题。这些问题的准确回答，需要对科技创新券实施情况进行有效评估。由此，构建一套科学的科技创新券政策评估体系变得尤为重要和迫切。

1 科技创新券政策评估指标体系构建的依据

科技创新券政策评估指标体系构建主要从科技创新券本身属性出发，重点考虑三个方面：一是科技创新券评估从行为归属上是政策评估，政策评估基本理论和模式对指标体系构建具有基础性指导作用；二是从政策归类看，科技创新券是科技创新政策的一种。因此，需要参考科技创新政策的评估理论和实践；三是评估对象是科技创新券，必须对科技创新券的构成进行全面分析。

1.1 政策评估的模式

随着国家对政策评估不断重视，政策评估在不断发展的过程中，评估理论的研究取得了丰富的成果。基于评估标准选择的效果、经济和职业评估理论[1]、伪评估、正式评估和决策理论评估模型[2]，由项目验证和情景分析，及社会论证和社会选择构成的双层政策评估分析框架[3]被广泛应用于各国政策评估的实践。政策评估实践推动评估理论不断完善发展，同时，评估理论也指导评估实践更好地开展。德国学者韦唐(Evert Vedung)[1]通过对西方政策评估理论实践的总结，1997年在《公共项目与政策评估》中提出政策评估模式的系统分析框架，被视为是政策评估中较严谨和科学的一种分析框架。韦唐按评估准则的不同把评估模式分为效果模式、经济模式、职业化模式三大类，效果模式细分为6种。其中，目标达成模式是将目标作为评估的准则，分为目标达成评价和影响评价两部分。综合评估模式则采用系统论的视角对政策的投入、转换和产出阶段进行评估，涉及政策的设计、执行和结果的整个过程。使用综合评估模式时，一方面要对意图和观察进行描述，另一方面，在设定标准的基础上比较并判断意图、观察和标准间的异同。利益相关者模式是对政策在设计、执行过程中涉及的所有对象进行评估。应用利益相关者模式进行评估时，其一，明确该政策的目标群体、直接受益者、资源提供者、直接管理者以及在政策环境中可能受到政策结果影响的群体；其二，确定利益相关者的样本；其三，采用社会调查法收集利益相关者的意见；其四，分析调查的结果并得出评估结论。由于科技创新政策全过程管理涉及多方利益相关者[4]，而且科技创新效果存在一定滞后性和潜在性，因此，科技创新政策的评估越来越注重采用多主体、多角度和全过程的综合评估模式，并运用定性与定量相结合的方法。这些理论成果及实践应用为科技创新券指标体系构建提供了重要指导。

每一种模式都有自身的侧重点、优点和缺点，本文结合科技创新券政策的内容与特点，基于政策评估理论及韦唐效果模式下的目标达成模式、综合评估模式和利益相关者模式的分析框架，提出科技创新券指标体系的评估框架。该框架按照“政策制定—政策执行—政策效果”全过程的分析思路，覆盖投入阶段—转换阶段—产出阶段各个政策阶段，涉及政府部门、申请科技创新券的企业以及科技创新服务机构等政策主体，形成科技创新券政策多主体、多角度、全过程的指标体系框架。

1.2 科技创新政策评估的理论框架与实践

在理论方法研究上，不同的学者对科技创新政策评估的框架有不同的观点。大致从政策过程、政策主体、政策内容、政策时间、经济、社会和地域等角度进行评估。赵莉晓[5]基于政策过程评估标准和政策评估时间节点从政策制定、执行、效果全过程及事前、事中、事后评估3个时间节点出发建立科技创新政策的评估框架。肖士恩[6]根据社会、过程和地域性角度选择创新型社会、政策地域性、政策协调性和政策效果四个标准构建指标体系对地方科技创新政策评估的理论进行研究。现有研究成果提到了政策知晓度、认同度、满意度等围绕政策主体建立的指标，对投入、产出、绩效、效率等经济标准的指标以及效果、效益等社会标准的指标给予了高度的关注。在政策评估理论指导下，部分学者进行了实证研究，采用文献分析法、数理分析法、理论分析法及专家咨询法构建科技创新政策理论模型，通过问卷调查等社会调研方法实证理论模型有效性。代表性的有张炜等[7]从创新政策强度、政策协同度、政策完善度三个维度构建指标体系对江苏省、浙江省、上海市区域创新政策进行实证应用评估。曲婉[8]等在借鉴OECD 监管政策评估方法、欧盟政策影响评估框架、美国健康政策评估框架的基础上，构建包含政策作用对象、创新创业活动、政策评估内容、政策评估对象的创新政策理论评估框架，并以高新技术企业税收优惠政策为例验证评估框架的可行性。在实践层面，由于中国科技券政策的实施处于起步阶段，还尚未见到政府关于科技券政策公开的评估报告。只有小部分地区率先进行了科技创新政策的评估实践，如北京的《首都科技创新发展报告》基于首都科技创新发展理论体系，坚持客观科学的构建原则及指标总体框架不变部分微调的思路，从创新资源、创新环境、创新服务、创新绩效四个方面，纵向和横向两个维度建立三层指标体系，并对每一层指标设置权重；而天津的《天津市科技创新政策实施报告》 引入了更科学、更客观的政策实施效果量化评估方法。

科技创新政策的理论框架及实践评估对科技创新券政策指标的设计具有启发意义，基于上述的理论框架及实践，紧扣科技创新券的目标，深入分析科技创新券政策的实施过程及政策效果的形成机理，在指标体系设计过程中遵循客观性、科学性、逻辑性、系统性、可测量性的原则。

1.3 科技创新券的构成要素

科技创新券构成要素，可以从两个层面考虑，一是主体层面，该政策主要涉及三个主体，即政府相关部门、申请科技创新券的企业、提供科技服务的机构。因此，科技创新券评估指标，应主要围绕着这三个主体来设计；二是过程层面，科技创新券要实现一个政策周期，必然包括政策设计、政策执行和政策效果。因此，开展评估也主要围绕政策内容、政策过程和政策效果这三个阶段来进行。具体来说，首先，政策内容评估，包括资源、投入、实施要求等关键要素，涉及科技创新券政策文件及试行规定，分析科技创新券政策实施规定及管理办法的制定是否科学合理，资源的配置是否合理，是否满足企业及科技创新服务机构的需求。其次，政策过程评估，包括主体、态度等关键要素，关注政策执行过程中是否按计划执行、执行是否有效及主体对政策实施的接受程度，分析政策实施过程能否促进目标的实现。最后，政策效果评估，包括意愿、行为、产出等关键要素，关注政策实施的结果是否实现了预期的目标以及主体对结果的满意程度，分析政策实施对企业及科技创新服务机构意愿、行为、产出的影响。

2 科技创新券政策评估指标体系的指标构成分析

基于上述研究分析，以政策评估的理论模式、科技创新券政策评估的理论框架及实践、科技创新券的构成要素为分析依据，提出科技创新券政策评估指标体系构建的整体思路，然后将指标体系设计成专家咨询评估表，通过邮件和访谈相结合的方式，邀请了在科技创新券研究方面比较有影响力的7位专家，对指标的合理性进行检查评估，进而对所构建的指标体系进行初步筛选，删减测度不精确的指标，合并关联性极强的指标，并依据逻辑关系调整指标间的顺序。最终形成的评估指标体系，共有5个一级指标，12个二级指标以及39个观测点，具体如表1所示。

一级指标反映的是政策从方案、实施到效果全过程的逻辑关系。政策内容科学性、政策投入、政策执行、目标达成度及满意度构成的指标是一条环环相扣的政策链。政策内容的科学性决定政策投入的合理性，政策投入的合理性会影响政策执行的有效性，政策执行一段时间后，政策执行过程是否有效会影响政策对象的政策接受程度与评价程度。若政策的接受度高，政策的回应度和满意度也会高，对科技创新的意愿、行为及产出会有影响，从而促进或阻碍目标的达成。因此，每一级指标之间是相辅相成的关系，彼此之间具有严密的逻辑关系。科技创新券政策指标体系构建的逻辑模型见图1。

表1 科技创新券政策评估指标体系

图1 科技创新券政策指标体系构建的逻辑模型

2.1 政策内容科学性

政策内容的科学性是针对政策的方案而设计的指标。基于综合评估模式，政策的评估范围不应局限在执行与结果上，还应包括政策的计划与决策。针对政策在计划与决策阶段的活动内容，设计政策实施规定与政策管理办法两个二级指标。通过对不同地区与不同年限科技创新券实施办法横向与纵向地解读及分析，从科技创新券的时间、空间、金额、流程及材料要求等方面设计5个观测点对政策实施规定进行观测。并通过对考核方式和监督方式的描述来观测政策管理办法的科学性。一方面，观测企业及科技创新服务机构的考核及评价办法是否合理，另一方面，观测资金使用及日常管理监督条例是否全面到位。

2.2 政策投入

政策投入是考察政策资源充足程度而设的指标，是为了获得政策产出与政策影响而使用的资源，包括时间、资金、人力、设备等，是投入阶段的指标。科技创新券政策的投入主要包括行政管理的投入与资金的投入。行政管理投入是为了保障政策实施的管理性投入，从人员经费、宣传费用和日常监督管理费用三个观测点进行观测。科技创新券政策行政管理投入体现的是行政成本，在科技创新类的政策中，行政成本需要控制在较低的水平。资金的投入分为财政资金的投入与其他资金的投入，实地调查中，可采用表2中科技创新券政策投入指标与代码分类。

2.3 政策执行

政策开始执行后，不一定会按照预先设定的程序按部就班地进行，因此，需要对政策的执行过程进行监测。政策执行力是针对政策过程而设计的指标，是对政策执行情况进行监测、判断政策有效性的重要指标。政策执行的知晓度、有效度与认同感是相辅相成，相互影响的，是政策执行过程中的三轮。政策执行的宣传度是知晓度的前提条件，政策宣传力度的强弱对政策知晓度的高低起到促进或阻碍作用，同样，政策知晓度的高低对政策的执行有效性也会起到促进或阻碍作用。政策的认同感也会随着政策执行的有效性而发生变化。

表2 科技创新券政策投入指标与代码分类

首先，政策知晓度观测的是政策宣传后，人们对政策的认知程度，是针对政策导向认识过程设计的指标。通过政策的相关文件让人们明白这一政策是做什么的，如科技创新券政策，是为扶持企业创新而制定的政策。企业及科技创新服务机构对政策的相关文件、实施细则、操作流程及注意事项清晰是否了解，对创新券的基本内容、申请、使用、兑现的标准及程序是否清楚。其次，基于综合评估模式框架，政策执行有效性属于政策转换阶段的指标。政策执行有效性是对科技创新券政策能否按计划执行、实际执行情况以及政策项目交付情况的描述。以科技创新券政策的实施细则作为比较的标准，对科技创新券的实施过程中申请者是否符合条件、审批者是否严格按照程序进行、材料提交是否完善、问题解决程度、能否符合兑现要求进行观察、判断及评估。通过设计政策有效性中政策规定的实现度、政策执行的有效性及公正性3个观测点，可以评估政策执行过程中的行为是否属于规范行为，是否根据特定的标准和程序进行。最后，政策执行的认同感是针对政策利益相关群体而设计的指标。以利益相关者模式作为理论基础，对政策执行认同感这一指标进行解析。一方面，明确科技创新券政策的利益相关者群体。科技创新券政策的目标群体是企业、创新创业团队、科技创新服务机构；直接受益者是实现兑现的企业、创新创业团队和科技创新服务机构；另一方面，描述不同利益相关者的价值观及真正需要。通过管理者政策执行的积极性、企业的参与性及科技服务机构支持性3个观测点来观测其价值观及需要。

2.4 目标达成度

目标达成度是针对政策目标与政策效果而设计的指标，是产出阶段的指标。判断一项政策是否有价值，一个很重要的标准是看其是否实现了既定目标，使政策问题得到解决，因此，设计目标达成度这一指标评价科技创新券政策目标实现程度。

运用系统分析中的目标——手段分析法，对目标达成度这一级指标进行细化，使一级指标、二级指标与观测点之间形成层次分明、互相联系又逐渐具体化的分层系统[9]。二级指标是科技创新券政策的分目标，分目标的集合就是为了保证科技创新券政策总目标的实现。 应用目标达成模式的三步骤对目标达成度这一指标进行解析。第一，明确科技创新券政策的目标，设置权重并转化为可测量的客体。科技创新券政策的总目标是贯彻落实科技创新驱动发展战略及营造“大众创业、万众创新”的氛围。同时，科技创新券政策是企业导向型政策，通过增强企业科技创新意愿并影响其行为及产出能促进“大众创业、万众创新”的发展。因而，将总目标分解成科技创新意愿、科技创新行为、科技创新产出三个二级目标，这三个二级目标是衡量总目标的二级指标，也是实现总目标的一级手段。再把六个二级目标转化成可测量的客体，通过设计十一个观测点对三个二级指标进行测量，如图2所示。第二，测定多大程度实现目标。第三，科技创新政策实施的环境、条件在多大程度有利于或阻碍目标的实现。

使用前后对比法，设计问卷收集数据并分析科技创新券的推行能否促进企业及科研机构科技创新意愿的提高，能否影响其科技创新的行为，能否促进政策的产出。政策产出是产出阶段的指标，是政策的目标群体或受益者所获取的各类资源及服务[2]。科技创新券政策的目标群体是科技型中小企业和科研机构，受益者是成功兑现的科技型中小企业和科研机构。科技创新券政策的产出从已兑现的企业和科研机构的获得中描述。设计5个观测点(见表1)对科技创新产出进行具体评估。

2.5 满意度

政策满意度是指科技创新券政策的执行结果是否符合目标群体及利益相关者——企业及科技创新服务机构的偏好或价值观念。科技创新券政策的目标群体是企业及科技创新服务机构，因此，从政策制定到政策实施设计6个观测点对企业满意度及科技创新服务机构满意度进行描述。使用用户调查分析法，设计调查问卷、开放式的面谈协议书(如表3所示)，通过实地调研的方法收集关于科技创新券政策满意度评价的相关信息。政策效果的评估可采用前后对比分析法，将科技创新券政策执行前的有关情况与科技创新券政策执行后发生的变化进行对比，根据访谈及调查数据测量出科技创新券政策的效果。

图2 科技创新券目标—手段分析图

评价力估计问题政策项目评价力估计中小企业、科技创新服务机构对政策绩效的期望、预期效益是什么?实际效果与这些期望是一致的吗?如果不一致,最大的障碍是什么?

3 科技创新券政策评估指标体系的试应用与检验

3.1 科技创新券政策评估指标体系试应用的对象与方法

本指标体系试应用的对象选择的是湛江市所实施科技创新券。2016年1月14日，湛江市为鼓励企业积极共享使用各类科技创新资源，激发企业创新活力，在广东省科学技术厅广东省财政厅《关于科技创新券后补助试行方案》框架下，印发了湛江市科学技术局湛江市财政局《关于科技创新券后补助的实施办法》。并依据该办法，湛江市组织开展2016年科技创新券申请工作，申请工作于2016年4月开始，并于2016年底完成了科技创新券的兑换。据资料显示，2016年，湛江科技创新券的预算金额为250万元，由3部分组成，分别为2015广东省科技厅专项经费80万元、2016广东省科技厅专项经费70万元及2016湛江市科技局专项经费100万元。申请科技创新券的企业数量有38个，其中，符合条件并成功申请的企业数量有18个，18家企业的发放金额为300万元，成功兑现的企业数量有15个，15家企业的兑现金额为249.85万元。成功申请率为47.37%，成功兑现率为83.34%，符合兑现率为100%，由于发放金额超出预算金额，超出了原定的预算计划，按申请时间的先后顺序，较迟申请的3家企业顺延到下一批兑现。

选择湛江市实施科技创新券，一是湛江市科技创新券实施有规范的政策内容，而且已经实施了一个完整年度，具备评估考核和指标体系试应用的基本条件；二是湛江正在全力实施创新驱动战略，对科技创新券工作十分重视，也急需对现行科技创新券实施情况，通过评估考核进一步发挥科技创新券的创新推动效应；三是研究者工作和生活在湛江，在资料数据获取方面，比较便利。

在确定对湛江科技创新券进行指标体系的试应用后，依据指标体系，采用了李克特五分量表法设计问卷，向湛江相关企业、科技创新服务机构及政府部门发放问卷200份，答题者根据实际情况及自身感受给出评分，如表3所示，5分为非常合理，4分为大部分合理，3分为一般，2分为大部分不合理，1分为完全不合理。回收问卷后对数据进行标准化处理，根据各指标在实际数据中反应的客观信息来确定指标的权重，以此对指标进行量化赋权。

3.2 科技创新券政策评估指标体系的检验与指标赋权

对原始数据进行标准化处理后，采用主成分分析法确定指标的权重，而后，对原指标进行熵值，并采用熵值法计算，具体步骤如下：

(1)提取出特征根大于1的11个主成分，得出累计方差贡献率及旋转成分矩阵。根据旋转后的K个方差贡献率占累计方差贡献率的比值算出11个主成分的权重。

(2)根据11个主成分权重及旋转矩阵定义评价矩阵X=(xij)np

(3)对数据进行归一化处理，计算指标权重。

根据以上步骤计算出科技创新券政策评估指标体系39个观测点的权重，12个二级指标的权重由对应观测点权重的线性相加所得，5个一级指标的权重由对应二级指标权重的线性相加所得，各个指标的权重如表4所示。根据评估过程及输出结果检验了指标体系的有效性，并对指标体系进行了进一步修订。

通过科技创新券政策评估指标体系的检验，一方面说明了指标体系具有一定合理性，经过试点评估证明该指标体系是科学、可行的。另一方面，对指标体系的指标进行了赋权，最终形成对科技创新券的评估结论。由科技创新券政策评估指标权重表可以看出，湛江科技创新券政策内容合理性占科技创新券政策的17.2%，政策投入占5.1%，政策执行占25%，目标达成度占36.4%，满意度占16.3%。因此，可以得出这样结论，湛江市实施科技创新券政策过程中注重政策执行以及目标的达成，对政策内容的合理性、政策的满意度及政策投入的充足性不够重视，这是未来继续推行科技创新券政策应该进一步注意和改进的地方。

表4 科技创新券政策评估指标体系权重

总之，科技创新券政策评估指标体系的构建对于检验科技创新券实施效果尤为关键。然而，一套科学、全面的指标体系，既需要理论工作者充分发挥理论创新的勇气，又有赖于在实践中对其进行不断检验和完善。本文在构建科技创新券政策评估指标体系之后，又进行了试点检验，只是完成了初步的合理性检验和赋权工作。由于试点地区的特定性以及评估资料数据的局限，科技创新券政策评估指标体系的发展完善，还需要众多理论工作者共同关注和参与研究，并推动其在更大范围内试行检验，以促使该指标体系的不断优化和完善。

[1]VEDUNG E.Public policy and program evaluation[M].New Brunswick and London:Transaction Publishers,1997.

[2]威廉·N·邓恩.公共政策分析导论[M].谢明，等译,北京：中国人民大学出版社,2002:437-447.

[3]弗兰克·费希尔.公共政策评估[M].吴爱明，等译,北京：中国人民大学出版社,2003.

[4]PHILIPPE Mustar，PHILIPPE Larédo.Innovation and research policy in France(1980—2000)or the disappearance of the Colbertist state[J].Research policy,2002(31):55-72.

[5]赵莉晓.创新政策评估理论方法研究———基于公共政策评估逻辑框架的视角[J].科学学研究,2014,32(2):195-202.

[6]肖士恩.基于创新型社会的地方科技创新政策评估理论研究[J].科技进步与对策,2010,27(1):103-105.

[7]张炜,费小燕,肖云，等.基于多维度评价模型的区域创新政策评估：以江浙沪三省为例[J].科研管理,2016,37(4):614-622.

[8]曲婉,冯海红,侯沁江.创新政策评估方法及应用研究:以高新技术企业税收优惠政策为例[J].科研管理,2017,38(1):1-11.

[9]陈振明.政策科学——公共政策分析导论[M].北京：中国人民大学出版社,2003:317-325.

TheIndicatorSystemofPolicyAssessmentonTechnologyInnovationVoucher

Zhang Yuqiang，Hu Siqi

(Management College of Guangdong Ocean University，Zhanjiang 524088，China)

Technology innovation voucher is a new-type investment policy of government’s science fund，which has been put into effects in many areas of China.That means it badly needs to be all-around evaluated.This paper is framed on policy assessment model，the theory and practice of technology innovation policy assessment.The indicator system is constructed on three perspectives of policy scheme，policy enforcement，policy effects and five aspects including scientific contents，policy investment，policy executive，goal achieved and satisfaction degree.It tests and verifies the indictor system and completing the enpowerment on key indictors.Besides，The assessment has a great value on the policy effects.

Technology innovation vouchers；Indicator system；Policy assessment

F204

A

广东省科技计划项目“广东省科技创新券政策的评估及完善研究”(2016A070705064)，广东省大学生科技创新培训项目“科技创新券政策评估体系构建的理论与实证研究——基于湛江的调研”(pdjh2017b0245)。

2017-04-12

张玉强(1978-)，男，黑龙江齐齐哈尔人，广东海洋大学管理学院副教授，管理学博士；研究方向：公共政策、科技服务。

(责任编辑 刘传忠)