政府科技项目第三方评价的影响因素与发展对策

邵 邦,范明超

(1.中车工业研究院有限公司，北京 100070；2.中国科学院地理科学与资源研究所，北京 100101；3.山东现代学院，山东 济南 250104)

为应对世界竞争格局的演变和重振经济的需求，各国更加重视用科技评价提升科技管理水平，优化科技资源配置。党的十八届三中全会以来，政府科技项目执行过程中的第三方评价(以下简称第三方科技评价)日益成为引导科技活动方向、规范科技资源配置的重要方式和手段，也成为加快创新驱动发展战略的重要组成部分。《科学技术成果鉴定办法》的废止，为第三方科技评价的发展创造了有利条件。

学术界虽然对“第一方”和“第二方”的界定有所差异，但是普遍认为“第三方”是独立于前两者的专业机构[1-4]。第三方科技评价作为一种委托代理模式，将传统的二元博弈扩展为三元甚至多元博弈，制度建设和机制设计是实现第三方科技评价目的的前提和保障[6-13]。以同行评议和科学计量为代表的评价方法已较为成熟，但是评价目的和评价方法的适切性问题日益得到学者们的关注[14-18]。从学术理论构建和发展角度，对政府科技项目执行过程中影响第三方科技评价效果的主要影响因素进行实证研究，不仅可以促进中国科技评价理论的发展，还可以为中国科技体制改革提出发展对策。

1 研究假设

1.1 机构属性与科技评价

第三方科技评价机构的独立性是科技评价结果公平公正的重要基础。徐双敏认为第三方是与服务对象和被评价对象无任何隶属关系和利益关系的一方[1]。包国宪认为第三方是独立于政府部门之外的第三方组织[2]。倪星认为第三方评价是不同于政府内部评价和普通公众外部评价的独立专业性机构的评价[3]。程国祥指出第三方包括受委托的研究机构、专业组织，区别于政策制定者和执行者[4]。

在中国现行体制下，科技管理部门既是科技评价的管理者又是组织者,同时还是监督者，使具体评价过程中难免会出现以政府行政命令确定评价结果的现象，这样势必会造成科技评价结果的可信度降低。第三方机构在“到位不越位，献策不决策，过程控制，及时沟通”原则下参与科技评价，可以有效改变决策、组织和评价不分家的现状，优化科技管理模式[5]。基于此，本研究假设第三方科技评价机构的机构属性对第三方科技评价效果有影响。

1.2 制度设计与科技评价

第三方科技评价涉及的主体包括委托方、受委托方和被评价[6]。传统科技项目管理中存在的“项目组织单位-项目承担单位”的委托代理模式，在第三方科技评价机构参与后，将在以前基础上增加“项目组织单位-第三方科技评价机构”的委托代理关系。王明明等将博弈主体分为申请单位、组织单位、第三方机构，将博弈过程分为申请单位是否申请、组织单位是否委托第三方、第三方是否接受委托、组织单位是否接受申请、第三方是否努力、承担单位是否努力七个阶段，并在匹配第三方评估经费，保证第三方机构独立性，建设信誉机制等方面提出发展建议[7-10]。还有学者从制度建设和运行机制[11]、项目后评价[12]、绩效评价[13]等方面进行研究，分析了第三方评估制度建设的重要意义，提出了进一步发展的建议。

在中国科技评价相关政策文件中，虽然对科技评价的目的、原则、程序等有相关的要求,但是,内容不够详尽导致科技评价难以适应实践中的新问题，缺乏有效落实措施导致容易出现有章不循的情况,最终使得评价过程和结果偏离既定目的和原则。而第三方科技评价机构参与后，可以严格贯彻评价原则，明显优化评价过程。基于此，本研究假设第三方科技评价的制度设计对第三方科技评价的效果有影响。

1.3 方法选取与科技评价

同行评议法和科学计量法是目前科技评价的主要方法，两种方法在实际运用中有其合理性一面，也有其备受诟病的一面。同行评议方法最早用在英国《哲学学报》的稿件评审中，二战前后，美国癌症研究咨询理事会和美国科学基金会也开始邀请外部科学家参与拟资助项目遴选，经过长时间的探索，同行评议系统逐步形成[14]，成为评定科研工作的学术水平和重要程度的主要机制，其评价结果也日益成为决策的重要依据[15]。但是，无论美国还是英国，都对专家评议有着强烈的改革呼声，因为很多时候专家意见变成官员和科学家之间的“默契”和“潜规则”。

科学计量学是运用统计学和数学对科学活动的产出进行定量分析的科学[16]，1963年，“科学引文索引数据库”(SCI)的诞生为定量分析科技情况提供了数据平台。科研产出质量不但反映科研工作的声望，还在同行评议中扮演重要角色，同时，论文引用次数也可被认为是论文质量的精确测量。主要科学计量学指标包括论文数量、被引频次、影响因子等[17]，这些指标被普遍应用的同时，也有学者对数据精确性、文献覆盖范围、一般效度、指标效度等提出质疑，在中国科技评价中还出现了SCI滥用的问题[18]。

随着研究和实践的不断深入，其他方法也在不同情境下使用，如经济回报率分析方法、回顾性分析方法、指标分析方法等日益受到专家学者的重视。此外，其他学科与评估学的跨学科研究也衍生出一些新的方法，如以“solow余值法”为代表的计量经济学方法、以CCR模型为代表的数据包络分析方法和基于内生增长理论的科技投入产出绩效评价方法等。在科技评价活动中，针对不同的评价项目，在评价方法的选择上要考虑适切性。基于此，本研究假设评价方法的选取对科技评价效果有影响。

1.4 能力建设与科技评价

党的十八大以来，《中共中央 国务院关于深化科技体制改革 加快国家创新体系建设的意见》《国务院关于改进加强中央财政科研项目和资金管理的若干意见》《关于深化中央财政科技计划(专项、基金等)管理改革的方案》等文件陆续出台，对科技管理体制进行优化改革，其中第三方科技评价成为改革的重要抓手。第三方科技评价机构参与政府科技项目管理，一定程度上改善了原有科技管理体制的非帕累托最优状态，但是如果第三方机构没有相应评价能力，那么政府科技项目组织方、承担方和第三方机构三元主体博弈仍非帕累托最优[19]。

第三方机构科技评价能力体现在评价人才配置、评价专家水平、评价指标设置和评价流程安排等方面。专业的评价人员可以保证评价过程的科学性，高水平的专家队伍可以保证评价结果的权威性，科学的指标和流程设置可以保证评价流程的规范性，最终提高了科技评价正确的概率，使得科技项目总体收益达到最高。基于此，本研究假设第三方科技评价机构的能力建设对第三方科技评价效果有影响。

2 数据与结果

2.1 描述性分析

为调查第三方科技评价机构属性、第三方科技评价制度设计、第三方科技评价方法的选择和第三方科技评价机构评价能力对第三方科技评价效果的影响程度和作用机制，2017年3月，本研究选取政府科技管理部门、科技服务公司、高校和科研院所等第三方科技评价相关方进行问卷调查。考虑调查数据可得性，本次调查采用匿名方式，在中国科学院地理科学与资源研究所、北京市技术市场协会、中关村科技服务业产业联盟、清科控股招商交流平台、第十五届科技评价会议五个微信交流群中展开。其中，中国科学院地理科学与资源研究所是科研单位，北京市技术市场协会是技术市场监督、管理部门，中关村科技服务业产业联盟是包括第三方科技评价机构在内的科技服务组织，清科控股招商交流平台涵盖了政府科技管理部门、高科技企业等科技评价相关方，第十五届科技评价会议交流群是科技评价学术研究的主要力量，调查选取的样本具有较好的代表性。

本次调查共回收问卷339份，去除无效问卷42份，共回收有效问卷297份，其中中国科学院地理科学与资源研究所63份、北京市技术市场协会41份、中关村科技服务业产业联盟89份、清科控股招商交流平台58份、第十五届科技评价会议46份。在本次调查回收的有效问卷中，男女占比分别为54.68%和45.32%，性别分布比较均衡；25～34岁和35～49岁占比分别为44.44%和35.96%，年龄分布相对集中；本科和硕士及以上占比分别为27.78%和54.39%，学历普遍较高；从事科学研究、科技管理和科技服务的比例分别为25.73%、14.62%和19.59%，职业分布与本研究主题比较契合。

考虑调查对象的耐心和兴趣，以及本研究的调查内容和目的，问卷共设置20个单选问题，其中主要调查问题全部采用李克特5级量表，分别为“非常同意”“同意”“说不清楚”“不同意”和“非常不同意”。主要调查问题包括“现阶段第三方科技评价机构独立于项目组织方和承担方”“现阶段第三方科技评价执行中有明确的法律和规范”“现阶段第三方科技评价的方法选取与评价目的相契合”等，由于前期研究和调查对象对第三方机构的科技评价能力没有明确的概念，问卷将研究假设中的能力建设细化为“现阶段第三方机构具有专业的评价人员”“现阶段第三方机构具有权威的专家队伍”“现阶段第三方机构能够设置科学的评价指标”和“现阶段第三方机构能够制定合理的评价流程”四个问题进行调查。

2.2 验证性分析

政府科技项目第三方评价调查信度分析结果显示，Cronbach’s Alpha系数的计算结果为0.850，可见调查量表信度非常好，数据可信。对机构属性、制度建设、方法选取、评价人员、专家队伍、评价指标、评价流程等自变量问题进行因子分析，从KMO和Bartlett的检验结果来看，Bartlett球形检验统计量为2228.638，检验的P值接近0，表明各变量之间有较强的相关关系。而KMO的统计量为0.921，说明适合做因子分析。

因子分析的结果如表1所示，通过特征根由大到小的排列顺序、各因子的贡献率和累积贡献率，总共提取了一个因子，它的特征根为5.360，它解释了原始变量方差的76.575%，表明因子分析的效果比较理想。

表1 各因子所解释的原始变量的方差

提取方法：主成分分析。

从因子得分系数矩阵，可以将公因子表示为各变量的线性组合。得到的因子得分函数为：f1=0.141x1+0.167x2+0.163x3+0.168x4+0.166x5+0.167x6+0.170x7,式中的x已经不再是原始变量，而是标准化变量。

以评价效果为因变量，机构属性、制度设计、方法选取以及包括评价人员、专家队伍、评价指标、评价流程的能力建设为自变量，进行回归。由模型汇总表(见表2)、方差分析表(见表3)可知，整个回归方程的拟合优度为0.655。虽然拟合优度的值并不高，但是从方差分析表的F检验知，整个回归方程通过了F检验，说明整个方程的拟合效果较为理想。

表2 模型汇总

表3 方差分析

因变量:评价效果;预测变量:(常量),机构属性,制度建设，评价方法,能力建设。

机构属性、制度建设、方法选取的系数均通过了5%的显著性检验，能力建设的系数通过了10%的显著性检验，这表明整个方程的回归系数是显著的。另外，方程的回归系数均为正，说明现阶段的评价效果应该与现阶段的机构建设、制度建设、方法选取和能力建设呈正相关(见表4)。

表4 系数分析

因变量:评价效果。

3 结论与讨论

3.1 明确政府科技管理部门与第三方机构的职责

政府科技管理部门应尽量减少对科技评价活动的干预,凡第三方机构能评价的应交由第三方机构去评价。具体而言，其一，政府科技管理部门应规范从事科技评价活动的第三方机构的资质,并对资质进行严格的审核；其二，政府要建立第三方科技评价的标准和规范，以保证科技评价的质量；其三，政府要建立健全第三方科技评价监督机制和奖惩机制,监督第三方机构遵守法律规定和评价规范的情况，形成优胜劣汰的发展态势。

3.2 加快第三方科技评价法律建设进程

第三方科技评价的发展除了需要明确的政策指导外，更需要有相关法律予以支撑。用法律的形式确认第三方科技评价的效力，不仅可以保证其严肃性和权威性，而且可以为科技评价发展提供法律前提和依据。中国已初形成科技评价法治制度的基础，但因起步晚，基础相对薄弱。现阶段，中国需要加快有关第三方科技评价的法律建设进程，尽快制定有强制力的第三方科技评价法律，特别是要对科技评价活动的实施予以规范，对评估结果的使用提出要求。

3.3 明确第三方科技评价的基本原则

在确保公开、公平、公正原则的前提下，还要切实履行评价落实原则、惩罚落地原则和专家问责原则。其一，第三方科技评价要坚持目标导向和问题导向，不能走过场、讲条件、跑关系。其二，第三方科技评价的结果要严肃对待，对单位和个人的奖惩要落实到位，加大违约方短期行为的成本。其三，严格专家资格审核制度，落实回避、轮换、备忘制度，如出现问题，应精准问责，避免“举起板子不知打谁”的现象出现。

3.4 第三方科技评价机构要加强自身能力建设

第三方机构要想在激励竞争中把握发展机遇，需不断加强自身能力建设。其一是加强评价队伍建设，无论是评价负责人，还是评价组成员，无论是专职人员，还是兼职人员，都应学习科技评价知识，并不断进行跨学科、跨专业、跨领域学习，以应对科技评价对象和内容的多元化。其二是加强专家队伍建设，开展科技评价工作的专业群体应由各领域资深专家组成。其三是加强市场竞争力，第三方科技评价将逐步市场化运作，要想在激烈的竞争中生存发展，必须具备独特优势和良好声誉。

[1]徐双敏.政府绩效管理中的第三方评估模式积极完善[J].中国行政管理，2011(1)：28-32.

[2]包国宪.绩效评价：推动地方政府职能转变的科学工具[J].中国行政管理，2005(7)：86-91.

[3]倪星，余凯.试论中国政府绩效评估制度的创新[J].政治学研究，2004(3)：84-92.

[4]程样国，李志.独立的第三方进行政策评估的特征、动因及其对策[J].行政论坛，2006(2)：51-52.

[5]方勇，王明明，刘牧.政府职能转变与科技计划项目管理的第三方评估咨询[J].中国科技论坛，2010(8)：5-9.

[6]郑祥慈，房迈莼，苏国华.科技评价中如何发挥第三方评价的作用[J].科研管理，2015(1)：340-345.

[7]王明明，钱坤.科技计划项目的第三方评估咨询制度研究[J].中国科技论坛，2008(3)：7-11.

[8]王明明，贺雅丽，徐磊.国家科技计划项目委托代理博弈分析[J].科学学与科学技术管理,2009(2):34-39.

[9]王明明，贺雅丽.国家科技计划项目过程管理第三方评估咨询三元博弈研究[J].科学学与科学技术管理，2010(6):34-39.

[10]王明明，徐磊，贺雅丽.科技项目第三方评估咨询管理模式研究[J].中国科技论坛，2009(6):11-14+25.

[11]黄锦成，杨颂阳，陈启源.政府科技计划项目的监督机制研究[J].科学学与科学技术管理，2005(7)：46-48.

[12]张军果，任浩，谢福泉.项目后评价视角下的财政科技项目绩效评估体系研究[J].科学学与科学技术管理，2007(2):14-20.

[13]戴国庆，李丽亚.国外科技项目绩效考评研究与借鉴[J].中国科技论坛，2005(5):45-48.

[14]吴述尧.同行评议方法论[M].北京：科学出版社，1996.

[15]刘明.学术评价体制检讨[J].浙江社会科学，2005(5)：210-214.

[16]朱军文，刘莉，朱佳妮，等.国际科技政策发展报告[M].上海：上海交通大学出版社，2015.

[17]HIRSCH J E.An index to quantify an individual scientific research output[J].Proceedings of the national academy of sciences of the United States of America,2005(46):16569-16572.

[18]李国杰.SCI不是评价科研成果的唯一标准[N].光明日报，2006-10-24(25).

[19]邵邦.国家科技计划多元协作治理的博弈研究[J].工业技术经济，2016(11)：23-27.