河南省科技奖励工作后评估逻辑框架构建及应用

摘 要：【目的】探索河南省科技奖励工作后评估框架和指标体系，推进科技奖励工作不断完善。【方法】根据河南省科技奖励工作的特点，基于ATP通用逻辑模型构建科技奖励工作后评估逻辑框架，建立融合相关性、效率、效果和影响等评估准则的科技奖励后评估指标体系，并运用隶属度函数对后评估逻辑框架和指标体系在2022年河南省科技奖励工作后评估中的应用效果进行检验。【结果】2022年河南科技奖励工作评估结论为成功，但在奖种设置、奖励制度建设等方面有待提升。【结论】通过开展后评估工作，初步建立了科技奖励工作第三方监督和评估结果反馈机制，提升了河南省科技奖励工作的质量和整体绩效。

关键词：科技奖励；后评估；ATP通用逻辑模型；评估准则；指标体系；隶属度函数

中图分类号：G322 文献标志码：A 文章编号：1003-5168（2024）17-0144-06

DOI：10.19968/j.cnki.hnkj.1003-5168.2024.17.030

Construction and Application of the Logical Framework for Post-evaluation of Science and Technology Awards in Henan Province

FENG Wenjun WANG Miao XIANG Yong ZHANG Hui

（Henan Science and Technology Innovation Promotion Center，Zhengzhou 454003， China）

Abstract： [Purposes] This paper aims to explore the post-evaluation framework and index system of science and technology awards in Henan Province， and promote the continuous improvement of science and technology reward work. [Methods] According to the characteristics of science and technology awards in Henan Province， a logical framework applied in post-evaluation of the science and technology awards procedures was constructed on the basis of ATP general logic model. Moreover， the membership function is used to test the application effect of the post-evaluation logical framework and index system in the post-evaluation of science and technology awards in Henan Province in 2022. [Findings] The evaluation conclusion of science and technology award work of Henan Province in 2022 is successful， but it needs to be improved in terms of award setting and reward system construction. [Conclusions] Through the post-evaluation work， a third-party supervision and evaluation result feedback mechanism for science and technology awards was initially established， which improved the quality and overall performance of science and technology awards in Henan Province.

Keywords：science and technology award; post-evaluation; ATP general logical model; evaluation criteria; index system; membership function

0 引言

科技奖励作为我国科技政策的重要组成部分，代表着政府和社会对科技工作者成果及其贡献的认可，在激励自主创新、激发人才活力、营造良好创新环境等方面发挥着重要作用。《关于深化科技奖励制度改革的方案》［1］和《河南省深化科技奖励制度改革方案》［2］中明确提出，建立科技奖励工作后评估制度，每年科学技术奖励大会后，委托第三方机构对年度奖励工作进行评估，促进科技奖励工作不断完善。《国务院办公厅关于完善科技成果评价机制的指导意见》［3］在关于改革完善科技成果奖励体系中同样提出加强事中事后监督，提高科技奖励整体水平。

科技评估是政府加强科技管理和完善科学决策的重要举措。因此，科技奖励工作后评估整体定位是在科技奖励工作完成后，由独立的机构按照规定和规范化要求，对工作目标、执行过程、效益作用和影响等进行系统、客观的再评估，通过建立第三方监督和评估结果反馈机制从政策设计、目标设置、执行过程等方面不断优化，提升科技奖励工作质量和整体绩效。

1 后评估发展现状

项目后评估起始于20世纪30年，是在项目完成并运行一段时间后，对项目目的、执行过程、效益、作用和影响等进行系统、客观地分析和总结的技术经济活动［4］。它已从单一的财务评价发展到包含经济、技术和可持续性后评价等多类内容的综合评价。Ilzkovitz等［5］指出了项目后评估的4个目标：加强对竞争政策决策影响力的理解、提高竞争政策的透明度和问责性、提倡竞争和竞争政策、改善未来的决策实践［6］。世界银行、亚洲开发银行、美国、日本等国际机构和国家逐渐形成了较为完善的后评估体系和独立的评估机构。我国的后评估起始于1988年，现已广泛应用于财政绩效［7］、项目［8］、政策［9］，甚至立法效果［10］等评估评价工作。

目前学术界关于科技奖励后评估的研究成果并不多，且前期的研究工作主要集中在科技奖励制度运行绩效评价和科技奖励获奖项目绩效评价，难以涵盖科技奖励工作后评估的全貌。《深化科技奖励制度改革方案》印发后才出现科技奖励工作后评估相关研究。危怀安等［11］构建了社会、行政、制度、管理和文化“五位一体”的国家科技奖励工作后评估研究逻辑，从过程维与结果维两个视角探讨了国家科技奖励后评估的主要对象和关键内容。张成伟［12］基于“概念的操作化定义—后评估维度确定与解构—后评估指标筛选与赋权—指标释义与评分标准确定”逻辑，运用专家咨询法和层次分析法建立了国家科技奖励后评估指标体系。

2 河南省科技奖励工作后评估逻辑框架构建与指标体系开发

2.1 评估逻辑模型

设计科学合理的评估框架是开展评估工作的基础，目前主要的科技评估框架有逻辑模型和变革理论［13］，其中逻辑模型中的ATP（Advanced Technology Program）通用逻辑模型通过建立“社会目标—具体政策—目标任务—组织机制—实施效果”完整评估链条，向计划管理者和政策制定者反馈评估结果及建议，与科技奖励工作后评估定位高度吻合。因此，本文选用ATP通用逻辑模型，从河南省科技奖励的社会目标出发，分析现行科技奖励政策、组织机制和实施效果，厘清科技奖励目标和任务实现路径（图1）。

河南省科技奖励的社会目标是弘扬求真务实、勇于创新的科学精神，营造尊重知识、尊重人才的良好氛围，调动全社会支持科技创新的积极性，推动科技进步和经济社会发展、加快建设创新型河南和全国科技创新高地。具体概况为激励导向目标和凝聚人才目标。科技奖励政策包括奖种设置、奖励结构和奖金标准等。组织机制包括科技奖励工作组织机制和评审监督机制，通过建立科学的评价方法、规范高效的工作流程和公开透明的评审监督机制，提高科技奖励评审质量和公信力。实施效果是指奖励效果，主要包括奖励成效和满意度。

2.2 评估准则

评估准则是开展评估工作的若干标准，国际上普遍采用相关性、效率、效果、影响、可持续等准则开展公共R＆D（研究与开发）评估。根据前面建立的河南省科技奖励工作后评估逻辑模型，选择相关性、效率、效果和影响等4个评估准则。

相关性：从科技奖励工作目标定位、奖种设置等方面评估科技奖励工作与河南省科技创新政策的相符程度，判断科技奖励工作的设立是否合理。

效率：从科技奖励工作组织实施、评审监督等方面评估科技奖励工作整体投入与产出之间的关系，判断科技奖励工作实施过程是否科学高效。

效果：从科技奖励成效等方面评估科技奖励工作目标的实现程度，判断科技奖励工作是否达到预期效果。

影响：从奖励工作满意度方面评估科技奖励工作社会满意度，判断社会对科技奖励工作的公认程度、目标群体的满意度等。

2.3 评估指标体系

根据前文建立的河南省科技奖励工作后评估逻辑模型和选择的评估准则，通过梳理研究相关政策、规范和文献，确定了“科技奖励工作+后评估”的定位，设计开发了目标定位、奖种设置、组织实施、评审监督、奖励效果等5个一级指标，并细化了14个二级指标、22个三级指标（表1）。该评估指标体系覆盖了《国家科学技术奖励绩效评价暂行办法》［14］要求的评价内容，在技术方法层面推动科技奖励工作后评估机制与预算绩效管理的融合，有助于评价信息共享与评价结果互认。

2.4 评估等级

科技奖励工作后评估坚持问题导向和结果导向，重在发现科技奖励活动中存在的问题，以及科技奖励工作产生的效果和影响。本次评估结果处理采用定性的等级评定法，总体评估结论设置不成功、基本成功、成功和非常成功4个评估等级。

3 评估分析

通过案卷研究、问卷调查、面访座谈、专家咨询、数据分析等方法，围绕各一级评估指标对2022年河南省科技奖励工作展开分析。

3.1 目标定位

激励导向方面。河南省科技奖励工作坚持激励性和导向性原则，围绕河南省经济社会发展全局和产业结构转型升级需要，建立健全以创新能力、创新质量、实际贡献为导向的奖励机制，重点奖励创新引领作用强、特色优势突出、对产业转型升级和经济发展贡献大、解决“卡脖子”技术难题的科技成果，重点奖励具有重大影响力的科学发现、具有重大原创性的技术发明、具有重大经济社会价值的科技创新成果。在起重装备、矿山装备、冶金装备、交通运输装备等领域涌现出一大批高水平科技成果，为推动河南省制造业高质量发展提供了有力的科技支撑。

凝聚人才方面。河南省科技奖励工作坚持优中选优、宁缺毋滥的原则，严格评审标准，突出标志性成果的质量、贡献和影响。自然科学奖、技术发明奖和科技进步奖共提名数量853项，授奖总数315项（人），激励引导了更多优秀科技人才。通过科技奖励工作，发现人才、培养人才、支持人才，调动科技人员积极性和创造性，增强科技人员的荣誉感、责任感和使命感，激发人才活力。

3.2 奖种设置

河南省科学技术奖包括自然科学奖、技术发明奖、科技进步奖、科学技术杰出贡献奖和科学技术合作奖等五个奖种与国家科技奖相衔接，符合科学技术在基础研究、技术发明、应用研究等3个阶段的发展规律，授奖315项符合河南省改革方案中总数不超过350项的要求，获奖项目领域结构与河南省相关行业的实际科技水平基本相符。

2022年度河南省科技奖励工作共评审出获奖项目315项（人），其中省自然科学奖24项，技术发明奖16项，科技进步奖269项，科学技术杰出贡献奖2人，科学技术合作奖4项（人）（表2）。除杰出贡献奖和合作奖不设奖励等级外，自然科学奖、技术发明奖和科技进步奖共评选出特等奖项目2项、一等奖项目27项、二等奖项目118项、三等奖项目162项，比例分别为0.65%、8.74%、38.18%、52.43%。与2020年相比，新增特等奖2项，一等奖增加了4项，二等奖减少了3项，三等奖增加了14项。符合河南省深化科技奖励制度改革方案的规定。

在奖金标准方面，《河南省深化科技奖励制度改革方案》设定的“杰出贡献奖奖金标准为300万元/人；河南省自然科学奖、技术发明奖、科学技术进步奖奖金标准为：一等奖50万元/项、二等奖30万元/项、三等奖20万元/项”，在中部六省中是最高的，强化了科技奖励的激励导向。

3.3 组织实施

河南省科技奖励工作设立了管理组织架构和评审组织架构，职责分工明确，构建的奖励工作“二三七五”①工作机制保证了奖励工作规范操作，实现了评审结果公平公正，提高了科技奖励评审质量和公信力。

评审工作实行“五个坚持”，即坚持定性评价与定量评价相结合、坚持异地答辩和现场答辩相结合、坚持“评审+考察”机制、坚持评审全程留痕管理、坚持评审期间封闭管理和各环节接受监督，评审组织工作严密、纪律严明。

评审工作实行异议制度，对异议的分类、处理流程、处理时效、负责单位等作出了详细的规定。

3.4 评审监督

从提名到评审的7个工作环节，进行5次公示，接受省纪委驻省科技厅纪检监察组与厅纪检组全程监督。实行评审观察员制度，邀请省人大代表、政协委员、新闻媒体到评审现场观摩，社会监督机制完善。

3.5 奖励效果

河南省科技奖励工作建立了完善的奖励工作质量管理体系，保证了奖励工作机制的严格执行和规范操作，在全国范围内树立了河南省科技奖励的工作品牌，形成了可复制可推广的经验，且被《中国科技奖励年鉴》收录推广。

获奖项目既有面向国家战略需求、解决“卡脖子”技术的重大项目，也有致力于改善民生的科技成果，获奖项目领域结构与河南省相关行业的实际科技水平基本相符。

通过对科研人员、科技管理人员、科技奖评审专家及其他人员的640份有效调查的分析发现，评奖结果满意度、科技奖励工作公开透明度、科技奖励的社会公认度满意及非常满意分别占比91%、95%和90%。

4 综合评价

模糊综合评价是对受多种因素影响的事物做出全面评价的一种十分有效的多因素决策方法。本文结合河南省科技奖励工作的特点，根据模糊数学最大隶属度原则确定后评估等级［15-16］。基本思路为：①确定评价对象指标集。根据前文确定的河南省科技奖励工作后评估指标体系，确定5个一级指标作为后评估的指标集，邀请熟悉河南省科技奖励工作的专家，在事实证据分析的基础上对2022年河南省科技奖励工作5个一级指标进行定量评估，得到的分数为u=（83，79，92，89，86）；②确定评价集。设定4个后评估等级及相应的分值区间，详见表3；③按照梯形分布函数建立模糊评价矩阵R；④通过德尔菲法得出评判指标权重集A；⑤根据最大隶属度原则判断后评估等级。

令[μ1]（x）（i=Ⅰ，Ⅱ，Ⅲ，Ⅳ）表示相对于4个等级的隶属度函数，按照梯形分布函数进行计算：

[μ1（x）=1（0≤x<60）80-x20（60≤x<80）0（80≤x≤100）]

[μ2（x）=x60（0≤x<60）1（60≤x<80）90-x10（80≤x<90）0（90≤x≤100）]

[μ3（x）=0（0≤x<60）x-6020（60≤x<80）1（80≤x<90）100-x10（90≤x≤100）]

[μ4（x）=0（0≤x<80）x-8010（80≤x<90）1（90≤x≤100）]

将5个分数代入该隶属度函数，得到评价矩阵：

[R=00.710.30.0510.950000.8100.110.900.410.6]

运用德尔菲法确定5个一级指标权重，经归一化后得到权重集A，A=（0.1，0.1，0.3，0.2，0.3）。

计算出模糊综合评价结果集B=AR，采用取大取小算法得到：B=（0.005，0.25，0.935，0.69）。归一化后得到最终的结果集D=（0.003，0.133，0.497，0.367）。根据最大隶属度原理，得到的结果等级为Ⅲ级，说明2022年河南省科技奖励工作整体评估结论为“成功”。

5 结论与建议

5.1 评估结论

①建立的河南省科技奖励工作后评估逻辑模型，从科技奖励的社会目标出发，厘清了科技奖励目标和任务实现路径。依据后评估逻辑模型与相关性、效率、效果、影响、可持续等准则开发的评估指标体系覆盖了《国家科学技术奖励绩效评价暂行办法》要求的评价内容，从技术方法层面推动科技奖励工作后评估机制与预算绩效管理的融合，有助于评价信息共享与评价结果互认，减少重复评价，提高评价质量与效率。

②邀请专家通过案卷研究、数据分析、满意度调查等方法搜集分析评估证据，运用隶属度函数得到2022年河南省科技奖励工作整体评估结论为“成功”。

③通过后评估工作初步建立了河南省科技奖励工作第三方监督机制和信息反馈机制，增强了科技奖励工作公开透明度，提高了科技奖励的公信力和社会影响力，有助于提升科技奖励工作质量和整体绩效。

5.2 评估建议

5.2.1 提高授奖数量，调整授奖结构。2022年河南省科技奖励工作共评审出获奖项目315项，为改革方案要求的不超过350项的90%。一等奖占获奖项目总数的8.74%，与国内其他地方一等奖比例一般在10%以上相比，获奖比例仍偏低。建议进一步提高授奖总数和一等奖获奖比例，提升科技奖励激励效应。

5.2.2 优化科技奖励类别和结构。目前全国15个省（区、市）的奖种设置除了自然科学奖、技术发明奖、科技进步奖、科学技术杰出贡献奖和科学技术合作奖以外，还设置了青年科技奖、创新团队奖、创新企业奖等。河南省科技奖励奖项类别相对较少，建议进一步增设青年科技杰出贡献奖和创新团队等奖项，强化对优秀青年学者和科研创新团队的激励和培育。

5.2.3 加快科技奖励制度建设。河南省科技奖励改革方案出台已近4年，全国31个省（区、市）已有27个修订并发布了新的科技奖励办法，建议加快修订出台《河南省科学技术奖励办法》，为河南省科技奖励工作提供政策支撑。

5.2.4 建立获奖项目跟踪评价机制。在更长时间的维度中跟踪科技成果的科学、技术、经济、社会、文化价值，总结分析高质量科技成果特征，指导科技奖励政策修订。

注释：

[①]“二三七五”工作机制即两个工作阶段（提名评审和审核批准）、三级评审（专业组网络评审、行业组会议评审和评委会会议评审）、七环节五公示（从提名到评审的七个工作环节，进行五次公示）。

参考文献：

［1］国务院办公厅.关于深化科技奖励制度改革的方案［EB/OL］.（2017-06-09）［2021-12-21］.http：//www.gov.cn/zhengce/content/2017-06/09/content_5201043.htm.

［2］河南省人民政府办公厅.河南省深化科技奖励制度改革方案［EB/OL］.（2019-04-15）［2021-12-21］.https：//www.henan.gov.cn/2019/04-26/744155.html.

［3］国务院办公厅.国务院办公厅关于完善科技成果评价机制的指导意见［EB/OL］.（2017-08-02）［2021-12-21］.http：//www.gov.cn/zhengce/content/2021-08/02/content_5628

987.htm.

［4］陈银花.获奖科技成果的后评价研究［D］.上海： 华东理工大学，2012.

［5］ ILZKOVITZ F， DIERX A．CRESSE 2017，12th international conference on competition and regulation［C］//Brussels： European Commission， 2017.

［6］危怀安，杜锦.国外项目后评估研究综述［J］.科技管理研究，2020，40（15）： 231-235.

［7］谢福泉，任浩，张军果.财政科技投入产出绩效评价体系的构建：科技项目后评价视角［J］.中国科技论坛，2006（6）： 25-27.

［8］刘艳艳.科技计划项目后评价体系构建研究［D］.呼和浩特：内蒙古工业大学，2013.

［9］腊孟珂，刘会成，林立清，等.逻辑框架法在环境政策后评估中的应用及实例研究［J］.江西科学，2016，34（6）：903-906.

［10］丁贤，张明君.立法后评估理论与实践初论［J］.政治与法律，2008（1）：131-137.

［11］危怀安，张成伟.国家科技奖励工作后评估：逻辑起点与对象分析［J］.科技管理研究，2019，39（19）：28-32.

［12］张成伟.国家科技奖励工作后评估指标体系的理论构建与实证检验［J］.科技管理研究，2020，40（19）： 77-85.

［13］国家科技评估中心，中国科技评估与成果管理研究会.科技评估方法与实务［M］ .北京：北京理工大学出版社，2019：24-26.

［14］财政部，科技部.国家科学技术奖励绩效评价暂行办法［EB/OL］.（2019-12-17）［2021-12-21］.http：//jkw.mof.gov.cn/zhengcefabu/202001/t20200109_3457033.htm.

［15］涂向阳，高学平.模糊数学在海水入侵地下水水质评价中的应用［J］.水利学报，2003（8）：64-69.

［16］孙锋.基于隶属度函数的福建省水务网站绩效评价［J］.供水技术，2014，8（1）：55-57，61.

收稿日期：2024-03-29

基金项目：河南省软科学研究“科技成果评价与‘三评’融合理论及实务研究”（232400410258）。

作者简介：冯文军（1988—），男，硕士，工程师，研究方向：科技评估、成果转化；王淼（1990—），女，硕士，工程师，研究方向：科技项目管理、科技评估；张辉（1971—），男，本科，高级工程师，研究方向：科技评估、绩效评价。

通信作者：项勇（1968—），男，本科，教授级高级工程师，研究方向：技术经济评价。