基于大数据赋能的重大科技项目监测评估新模式研究

张 亮，王再进，黄灿宏

（1.科技部科技评估中心，北京 100081；2.中国科学技术部，北京 100862）

重大科技项目是面向国家全局及长远发展部署的重大战略科技任务，坚持“四个面向”，聚焦国家重大战略需求，坚持目标引导、问题导向，着力解决战略性全局性前瞻性的重大科技问题，是推动经济社会高质量发展、实现高水平科技自立自强的重要抓手。当前，中国正值新一轮重大科技项目的部署与组织实施，既有面向产业需求的应用研究，也有涉及自由探索的基础研究，一般以3 ～5年为一个滚动周期或者更长，财政资金投入多、攻关技术难度大、统筹协调难度大、管理流程复杂。本文拟从高质量建构重大科技项目监测评估模式、更好地支撑服务重大科技项目组织管理的角度出发，在对国内外相关项目监测评估研究的基础上，分析重大科技项目监测评估的发展现状与不足，探讨大数据赋能的重大科技项目监测评估新机制和新模式，并提出相关的政策建议。

1 研究目的与意义

科技评估是遵循一定的评估原则和标准，运用规范的程序与方法，对科技活动及其相关行为和要素所开展的专业化评价与咨询活动[1]。重大科技项目（如国家科技重大专项、科技创新2030—重大项目等）监测评估是科技评估的重要组成部分。由专业化评估机构根据科技行政主管部门的需求，按照相应的原则、程序和标准，运用科学的、可行的方法，对项目相关活动和参与主体所开展的评估活动，通常需要跟踪、分析和评价重大科技项目的组织实施情况与效果，总结经验、发现问题，并提出改进意见建议等。

实施重大科技项目监测评估是国际通行做法。美国国家航空航天局重大项目监测评估是由美国政府问责局通过收集各重大项目的经费投入、进展情况等，分析存在问题，提出相关改进措施和建议，服务重大科技项目的组织实施。欧盟组织开展对欧盟框架计划的监测与评估，欧盟理事会明确欧盟委员会对欧盟框架计划的执行应该连续、系统地监测并定期报告监测结果，为欧盟科研资助政策的调整，以及完善框架计划的管理工作等提供支持。世界银行、亚洲开发银行等国际金融机构明确对重大项目贷款的遴选、前期准备、谈判和实施监督等整个项目周期全过程均有监测评估方面的要求[2]。

国内学者对相关项目监测评估模式和方法进行了探讨。例如，李有平等[3]通过研究小企业创新基金的项目监理机制、电动汽车专项实施全过程监理、委托第三方评测机构对产品的技术性能进行专项测试等模式开展监测评估，提出重大科技项目应实施全过程监测评估的理念；欧阳进良等[4]结合中国科技计划的评估活动，提出重大科技项目评估的主要模式分为两类，一类是从目标定位与布局、管理的规范性和科学性等角度以“目标、管理、效果或影响”为主要评估框架开展的全面性的系统的综合评价；另一类是选择关键问题，围绕社会关注的热点问题和重要议题开展的专题评估；陈华雄等[5]分析技术成熟度评价在国内外的应用情况，提出该评价模式可应用到重大科技项目的立项论证、中期检查和结题验收等项目管理的各个环节中，加强项目的过程管理、目标管理和不同技术的协同攻关。

综合分析国内外有关重大科技项目监测评估的文献，结果表明，国外重大科技项目的管理机构、重点科技计划、重要研究机构对监测评估有所涉及，国内部分学者在国家重大科技计划的管理中也研究了监测评估的模式。当前，随着数字经济浪潮的蓬勃发展，单一的评估指标和视角难以全面评估项目的进展、质量和绩效，亟须探索大数据等新一代新兴技术与重大科技项目组织实施的深度融合。

本文认为，新一轮重大科技项目实施亟须强化科学管理理念，创新完善监测评估方法和工具，打造监测评估管理新模式，充分利用大数据赋能监测评估新模式具有全面性、准确性、实时性和预测性等特点，帮助管理者实时、动态和便捷地了解重大科技项目的实施进展和效果，降低潜在风险，增强监测评估的及时性和精确性，为高质量的科技评估开辟新路径。

2 重大科技项目监测评估面临的挑战与风险

当前，部分重大科技项目通过采取监督评估措施，促进了重大科技计划组织实施的顺利进行，为建设国家科技创新体系探索了有效路径。其中，中国组织实施的重大科技专项通过开展实施情况督查调研、重点议题监督评估、中期评估、阶段评估和总结评估等方式，以不同切入点推进重大专项实施，形成决策、执行和监督评估的管理模式，切实发挥了掌握实情、发现问题、监督指导和推进实施的重要作用，为新一轮重大科技项目的监测评估积累了丰富的实践经验。但是面临新时代、新形势、新要求，探究如何应用大数据技术让科研人员从非科研事务中解脱出来，减少对科研人员干扰，建立免干扰监测评估体系仍面临不小的差距，主要体现在以下3 个方面。

2.1 监测评估数据分析等方法运用不够充分

部分重大科技项目的实施周期长、管理链条长、资金投入大，虽存在专家判断法、问卷调查法、座谈访谈法和技术就绪度法等监测评估管理手段，但是管理模式固化、管理方法单一，带来了主观判断多、数据量偏少和数据收集具有局限性、风险预测准确性不高等问题，导致在数据资料收集和分析问题根源时干扰科研单位且影响科研人员的科研活动；同时，当前存在监测评估数字化程度低、监测评估数据的继承性和共享性较差等问题，与数字经济的飞速发展形势以及委托方对数据管理的要求存在差距。

2.2 重大科技项目风险防控预警机制不够健全

当前，在重大科技项目管理中，部分科技管理人员风险防控意识淡薄，主要体现在对重大科技项目实施的国际环境变化认识不足，面对新情况、新形势和新挑战的前瞻性认识不够，风险防控意识差。同时，风险预警方法单一，仅通过专家的主观判断对项目进行风险评估，无法预判项目执行过程中潜在的重大法律纠纷、财务纠纷，影响项目的后期执行效果。此外，部分重大科技计划项目涉及行业范围大、覆盖面广、信息离散度高、缺少信息关联机制，导致信息无法及时共享，对重大风险的涌现效应难以尽早预见。

2.3 重大科技项目管理数据对科技决策支撑不够

在重大科技项目数据管理方面，存在采集数据工作机制不够顺畅，部分科研单位对于数据统计、数据整理和数据提交工作不够重视，部分承担单位由于项目负责人变更、法人变更等原因，给数据统计带来一定困难。同时，缺乏重大科技计划数据管理机制。部分数据管理主体的变更，档案交接不顺畅、涉密资料敏感资料不宜公开等，给监测评估数据的准确性带来了挑战。此外，在重大科技计划数据的应用方面，数据作用发挥不够充分，多侧重于统计分析，对已发生事件的总结没有进行深入挖掘数据规律和分析数据的规律，无法利用数据支撑决策。

3 构建大数据赋能重大科技项目监测评估新模式分析

3.1 理论依据

3.1.1 “二八定律”理论

经济学中“二八定律”是指80%的社会财富集中在20%的人手里，而80%的人只拥有社会财富的20%[6-7]。同样，在科技计划管理和项目管理中普遍存在“二八定律”，重大科技项目属于科技计划项目中重要程度高、影响力大的这类20%项目，与其他一般项目相比，具有投资强度大、跨越周期长和统筹协调难等特点，有必要加强监测评估，建立涵盖重大科技项目立项、组织实施、监督评估和总结验收等环节在内的全生命周期的监督管理模式，如表1 所示。

3.1.2 数据治理理论

数据治理是对数据资产管理行使权力和控制的活动集合，是数字时代经济和社会治理的基础性问题，是组织中涉及数据适用的一整套管理行为[8]。在重大科技项目管理中，数据治理是以基本数据信息、任务合同书和科技报告等为基础，采用数据挖掘、信息萃取和数据显示技术等信息技术为手段，进行动态监视、测量、分析及评估的方法。面对海量数据，需要加强基础数据库建设，打造数字化管理平台，推动项目管理由人员管理转向数据管理，由数据管理转向数据治理，提高项目监测评估的智能化程度，最大限度地发挥数据的应有价值，如图1 所示。

图1 重大科技项目数据治理过程

3.1.3 契约理论

契约理论是指双方或多方当事人之间的一种协议与约定，是一个或多个行为主体根据契约，指定或雇佣另一些行为主体为其提供服务，同时授予后者一定的决策权利，并根据后者提供的服务数量与质量对其支付相应的报酬[9]。在重大科技项目组织实施中，决策机构要引入和用好专业化监测评估机构，充分发挥其监测评估的专业优势；监测评估机构要根据契约约定，以第三方视角针对发现的问题提出相应解决方案，更好地为决策机构提供监测评估服务和管理决策支撑，如图2 所示。

图2 重大科技项目契约主体及责任

同时，重大科技项目的监测评估过程要贯穿整体管理理念，从系统论观点出发，考虑整体与要素、整体与环境的相互联系、相互作用，以达到最优化地处理问题，突出体现监测评估整体性、动态性和最优化等主要特点。注重反馈控制的及时性，根据事先确定的标准和计划与实际工作进行检测和评价，出现偏差及时纠正。

3.2 监测评估特点

3.2.1 常态化

一般情况下，重大科技项目监测评估更加关注重大科技项目活动实施的产出与成效，并根据结果与实施方案、考核指标之间的达成度做出事实和价值判断。而基于大数据赋能的监测评估更加关注重大科技项目组织实施过程中各个要素的实时状态，通过与预先设定目标以及计划进行对比，目的在于实时获取重大科技项目组织实施状态和科研活动进展等信息，查找组织实施活动中存在问题的原因，及时修正偏差，提出改进组织实施措施。

3.2.2 客观性

重大科技项目监测评估更加侧重于强调用数据作为证据，通过数据之间的关联，借助统计分析、预测预警等功能，揭示评估对象的内部潜在规律，准确定位项目执行的状态，提供给科技管理决策部门，提高重大科技项目资源配置的使用效率，增强重大科技项目信息的公开透明度。

3.2.3 时效性

重大科技项目高质量管理体现在信息反馈的及时性与持续改进的有效性。高质量的监测评估需要利用现代信息技术手段，对重大科技项目有关信息实施按日、周、月、季度等动态地采集、整理与分析，实现重大科技项目管理状态的及时反馈。

3.2.4 多元性

多元性主要体现为监测评估信息采集渠道多样化。传统评估所需资料主要来源于科研单位的年度报告、组织实施专业管理机构的各种报表信息，以及项目组织实施阶段性或最终的监测评估报告，着眼未来长期发展进行的信息反馈等。而多元性的监测评估主要是建立定点化、制度化的信息收集机制，采集实地考察信息、进展报告等方式，以正在进行的活动和短期成果等为基础进行信息反馈。

3.3 监测评估原则

3.3.1 坚持客观准确的原则

重大科技项目监测评估以客观事实为依据，动态监测重大科技项目的实施进度、财务经费等核心数据，采用数字化信息管理系统，客观反映重大科技项目管理的状态，确保所监测数据的客观准确。重大科技项目管理作为一个复杂的系统，定量监测数据可用来判断采用数据与管理状态在一定时间内的高度相关性或者发展的趋势，客观反映管理状态的变化情况，同时对于难以应用客观数据量化的项目需要使用定性描述。

3.3.2 坚持科学合理的原则

重大科技项目监测评估应遵循科研规律，根据重大科技项目的不同特点，制定合理的评价指标和确定评估议题，科学可行、规范有效的组织开展监测评估。对战略导向的体系化研究类项目、前沿导向的探索性基础类项目、市场导向的应用类项目应建立不同的评价指标体系，构建与高质量重大科技项目管理相适应的监测评估体系。

3.3.3 坚持可信有用的原则

科技重大项目评估坚持证据来源可靠、数据分析合理和评估结论可信的原则，提高监测评估质量，改进重大项目的组织实施，为科学决策提供支撑。在证据收集的过程中静态化、固定化、程式化的范式无法满足现实的需要，而动态监测的数据基于重大科技项目管理的真实数据采集，能够对重大科技项目管理状态的实时反馈，确保信息的及时性。

3.3.4 坚持多元主体共治的原则

大数据赋能的多元主体共治要求监测评估为多元主体服务，即重大科技项目管理决策必须针对不同主体，满足不同主体的诉求，不但包括政府部门、相关事业单位、第三方评估、实施管理机构、专业管理机构以及项目承担单位的意见，还应广泛动员社会各界共同参与监测评估，充分听取行业、协会、相关领域专家以及社会公众等的意见，形成多元主体共治的良好局面，如图3 所示。

图3 监测评估的特点与原则

3.4 大数据赋能的监测评估内涵

基于大数据赋能的监测评估模式是利用大数据等新一代信息技术，对国家重大科技项目组织实施的相关情况的采用数据采集、数据融合和数据评估等手段，通过可视化的数据模型，实现数据治理的监测评估模式。主要体现为：评估主体由单一走向多元，更加凸显评估的客观性与准确性；评估客体中项目科研管理过程由集中管理变为日常管理，科研工作由忙于管理变为专注科研；评估周期由周期化转变为常态化，由原有的年度评估、阶段评估和总结评估，转变为更加注重日常监测、预警和反馈；评估机制由静态向动态转变 ，由原有管理的信息迟滞转变为实时捕捉项目信息；评估价值由原来的提供判断转变为客观状态与价值判断相结合。从而实现利用数据工具、捕捉数据信息、挖掘数据内涵和提升数据价值，找到行业发展的趋势与规律，为科技决策提供支撑。

4 重大科技项目数据治理路径

重大科技项目具有类型多、数量多等特点，管理数据具有体量大、结构多样和时效性强等特征。为丰富重大科技项目数据分析方法，健全风险防控机制，提升项目数据管理对科技决策的支撑能力，本文提出探索基于大数据赋能的监测评估管理模式，主要包括数据采集、数据融合、数据评估、数据可视与数据治理等，如图4 所示。基于大数据赋能的重大科技项目的管理决策需要跨界融合，动态监测通过数据建立的跨界关联、大数据资源治理机制、大数据管理与决策价值分析和大数据分析方法与支撑技术，形成一种新的管理决策范式[10]。

图4 重大科技项目数据治理路径

4.1 实行开放式多元化的数据采集渠道

重大科技项目数据采集是重大科技项目组织管理的重要环节，多元化的采集途径、丰富的采集类型为形成重大科技项目数据管理决策提供重大支撑。重大科技项目数据采集来源包括多个渠道：一是重大科技项目管理活动相关的各类公开统计数据，其中包括政府部门、行业协会、产业（技术）联盟以及承担科研项目的企业、科研院所和高等院校等发布的公开数据；二是媒体数据，主要是指通过应用网络信息收集技术，对媒体上特定领域或指定方向的重大科技项目活动进行实时抓取所需要的过程数据；三是内部采集数据，对某一项特定项目，由重大科技项目管理机构提供所需要采集的数据；四是文本报告，主要包括重大科技项目组织实施中的科技规划、科技政策、管理制度、年度报告、阶段报告和总结报告等文本材料；五是国际数据，既包含了重大科技产品的考核指标、国际上同类产品的技术水平，同时还包括高端智库对重大科技项目所提供的状态数据等。

4.2 开展数据融合，形成不同数据集

单一数据的来源和类型无法满足科技管理部门对重大科技项目管理数据多样性、准确性和可靠性等方面的要求，要根据需求应用数据融合技术从多源数据中进行预估和判断，增加数据的置信度，提高数据可靠性，降低数据不确定性。因此，对重大科技项目的管理数据应围绕基础数据对比、领域数据对比和国际数据对比，进行统计转换、信息抽取、模型提取等处理，围绕不同区域、不同城市和不同承担单位等，形成不同层面、不同维度和不同类型的重大科技项目组织管理数据集。

4.3 开展项目的数据评估，分析问题机理

数据分析是运用数据科学而产生的新分析方法，采用恰当的统计学分析方法对采集的海量数据进行检测、清洗、转换和建模等处理，并得出分析结论，其目的是把数据变为信息，信息变为知识，最后把知识变成智慧的过程[11]。面对重大科技项目管理系统的海量数据，数据评估工作可以帮助项目管理人员完成深层次的数据挖掘，通过数据比较与数据特征分析，锁定数据质量的问题，分析大数据中隐含的问题机理，对存在的问题做出相应判断。

4.4 根据委托需求，客观呈现数据结论

重大科技项目监测评估的核心在于根据委托方的需求，对重大科技项目组织实施情况、经费使用和管理情况、成果应用及经济社会效益等状态的变化过程进行监测。数据可视化是重大科技项目监测评估中数据描述的重要呈现方式，旨在通过对重大科技项目的可视化显示，让项目决策者和管理者清晰直接地了解重大科技项目的当前状态，重大科技项目状态存在的异常和风险，以及对未来发展趋势进行预测，不断提升重大科技项目全过程和全方位的管理能力，推动重大科技项目管理走内涵式高质量的发展道路。

4.5 形成数据治理策略，助力科技决策

大数据治理是指运用大数据管理和利用进行评估、监督和指导的体系框架，通过制定战略方针、建立组织架构等，实现大数据的风险可控、安全合规、绩效提升和价值创造，并提供持续创新的大数据服务[12]。大数据治理的目的是鼓励实现价值和管控风险期望行为的发生，解决如何对决策进行监控、如何做出决策等实际问题[13]。大数据治理的重要内涵之一就是决策[14]，重大科技项目的数据治理是通过数据采集、数据融合、数据评估和数据可视化形成重大科技项目监测评估的核心要素，明确重大科技项目的改进目标，为重大科技项目的监测评估提供支撑决策，更好地服务科技决策。

5 实施基于大数据赋能重大科技项目监测评估的有关建议

在新形势下，为进一步加强重大科技项目监测评估专业化建设，需要坚持以高质量监测评估为主线，充分发挥数字化、信息化监测评估作用，健全项目风险管理机制，积极探索新模式、尝试新方法，切实发挥监测评估对决策支撑、管理服务和监督保障的作用，提高监测评估的体系化、智能化水平，更好的服务科研单位和科研人员，提出如下建议。

（1）建立重大科技项目信息共享的新机制。

通过建立重大科技项目监测评估信息平台，实现国家科技管理信息系统、重大科技项目管理平台之间相关数据信息充分共享，以及管理信息的全透明、可查询。依托国家科技管理信息系统，建立监测评估数据库、科研信用数据库、监测评估支撑机构数据库，开展电子监督检查、实现风险预警和防控，提高监测评估工作的质量和效率。

（2）探索重大科技项目信息化监测评估的新方法。

应用“互联网+”数字经济平台，开展行业数据资源的动态采集，利用知识图谱构建相关信息资源的展现、关联、分析、挖掘，积极引入重大科技项目行业动态规律分析、知识产权预测与分析等方法；重大科技项目监测评估系统主要围绕重大科技项目管理过程，通过资源整合建立监测评估数据源，采取数据分析工具处理，形成监测评估知识库，可视化图形，为形成高质量的评估报告提供服务支撑。

（3）建立重大科技项目齐抓共管的监测评估保障新体系。

建议研究出台国家重大科技项目监督评估管理办法，明确规定重大科技项目的监督评估组织机构、评估流程以及动态调整需求等，为重大项目监督评估做好政策保障；健全重大项目动态调整机制，定期开展回顾与改进重大项目实施情况研讨，制定重大项目实施效果的奖罚机制，为重大项目实施提供制度保障；建立重大科技项目推进工作组，成立重大项目专职组织机构，设定专职人员，压实责任，实时跟踪重大科技项目实施进展，协助开展重大科技项目实施的各项工作，为重大项目实施提供组织保障；探索建立重大科技项目科技评估委员会，加强重大科技项目的目标考核和绩效管理。

（4）强化重大科技项目专业化监测评估管理的新模式。

重大科技项目监测评估涉及的主体主要包括决策机构、实施机构和监测评估机构。决策机构负责重大科技项目实施和资金的监督评估，组织重大科技项目里程碑节点和总体指标的监督检查、绩效评估，强化监督评估结果的应用；实施机构为重大科技项目的承担单位，主要负责项目实施和资金管理，规范资金的使用，落实配套支持条件，接受决策机构指导、检查，配合相关评估和总结验收工作，完成既定项目目标；监测评估机构采用适用技术、方法和手段协助决策机构对实施机构的项目执行情况、资金管理和实施效果等进行监测评估，并提出有效解决措施。