美国国家科学基金会绩效管理与评估实践研究

赵南煜，梁 冰，刘 蔚

（中国科学技术信息研究所，北京 100038）

科技计划项目绩效管理是科技计划项目实施的重要内容和环节之一。2018年，中共中央办公厅、国务院办公厅印发《关于深化项目评审、人才评价、机构评估改革的意见》，强调加强国家科技计划绩效评估[1]。2019年，党的十九届四中全会提出要健全符合科研规律的科技管理体制和政策体系，改进科技评价体系[2]。2020年9月，习近平总书记在《在科学家座谈会上的讲话》中指出，对科技创新来说，科技资源优化配置至关重要，要发挥我国社会主义制度能够集中力量办大事的优势[3]。近年来，我国国家财政对科技经费投入保持增长态势，因此衡量科技资源是否得到有效使用的绩效评估逐渐成为关注焦点。

美国国家科学基金会（National Science Foundation，NSF）是美国联邦政府唯一的专职科技管理部门，我国学者通过研究其基金管理动向[4-6]、科技监督成本控制[7]、资助管理[8]、利益冲突管理[9]等，为我国科技项目管理的具体工作提供借鉴。本研究以美国国家科学基金会为对象，对其绩效管理及科技评估的相关资料进行梳理、分析与总结，旨在为我国科学基金的绩效评估工作开展提出建议。

1 美国国家科学基金会绩效评估实践

美国国家科学基金会成立于1950年，其宗旨是：推动科学进步；提升国家健康、繁荣与福祉；保障国防及其他目的[10]。作为独立的科研资助机构，美国国家科学基金会通过拨款、合同和合作协议向全美的大学、学术联盟、非营利组织、小型企业和其他研究机构提供研究和教育支持。

美国国家科学基金会负责承担国家基金类计划的管理工作，对项目的全周期管理都有完全的独立权，对项目遴选结果具有决策权和审批权，会为研究者们提供资助和项目管理的服务，并对基金资源配置情况做出阐述[11]。

绩效评估是接受社会监督及改进管理水平的重要手段。20世纪80年代以来，每年美国国家科学基金会需要向多个机构提交相关报告，并接受来自监察机构及内部各委员会对其进行监测、评估与检查。1993年，美国国会通过克林顿政府提出的《政府绩效与结果法案》要求各联邦机构每五年制定一次战略规划，每三年对其进行一次修订，阐明使命、长期目标和实现这些目标的方法，将其分解为每年需要完成的年度绩效计划，并对照年度绩效计划中的定量目标形成年度绩效评估报告，通过整合计划、预算和绩效衡量来确保机构项目的有效性，通过绩效评估检查战略规划的实施进度和效果[12]。

美国国家科学基金会严格遵循《政府绩效与结果法案》规定的“战略规划—年度绩效目标—项目绩效报告”准则，建立了以财政年度为单元的绩效管理体系[13]，使得预算决策、绩效目标及绩效评估结果紧密联系，提高管理绩效[14]。从2002财年起，每财年美国国家科学基金会必须将上述战略规划、年度绩效评估报告及部门绩效评估报告共三份报告整合成一份绩效与责任报告（Performance and Accountability Report，PAR）上交国会。2007财年开始编制年度财务报告取代绩效与责任报告。自2010财年开始，每年美国国家科学基金会都会公开机构财务报告、年度绩效报告及绩效和财务亮点报告三份报告，为公众提供项目财务管理和绩效的相关信息。

2010年，《政府绩效与结果现代化法案》（GPRAMA法案）在国会通过，优先绩效目标工具成为核心绩效工具并被正式写入法案。优先绩效目标的结果导向，要求联邦政府必须用发展性的结果数据作为支撑，用“结果”证明机构优先绩效目标的实现情况[15]。

根据《政府绩效与结果现代化法案》，2010财年美国国家科学基金会更新其战略规划，从根本上重新定义了基金会的战略目标，该规划为每个战略目标建立了一套绩效目标，开始了在新的联邦法案下对机构绩效评估管理及应用工作的探索，这些优先目标每三年重新审查一次，并根据需要进行更新。

3 美国国家科学基金会绩效评估框架

美国国家科学基金会的评估是使用系统数据收集和分析的评估，采用基于变革理论（Theory of Change）的逻辑模型（Logic Model），以数据库内的数据及专家评议的结果为主要依据，结合定性与定量方法进行内部与外部的评估。

3.1 评估原则

2020年9月，美国国家科学基金会基于现行评估原则发布《评估政策》，用以指导评估活动的开展。该方针指出，评估需要遵循5个原则：（1）相关性和实用性，必须解决重要问题，并满足利益相关者的信息需求；（2）高质量和严格，产生约束条件（如时间）内的可信数据；（3）独立性和客观性，致力于支持客观和公正的评估；（4）透明和可再现，促进评估活动的规划、实施和报告阶段的透明度，从而提高公正性；（5）职业道德，评估需要按照最高的道德标准进行，以保护公众并维护公众对该机构的信任[16]。

3.2 评估类型

对于研究活动，评估的目标是在受资助的时间范围内取得已设立的预期成果，需要设定好指标，并且明确每个指标的基线（Baseline）再来收集计划的实际效果。形成性评估（Formative Evaluation）贯穿项目的整个生命周期，其目的是评估正在进行的项目活动，并为监测和改进项目提供信息。总结性评估（Summative Evaluation）发生在项目已经完成后，目的是评估一个项目是否成功地达到了既定的目标。过程评估（Implementation Evaluation）的目的是评估项目是否按计划进行，通常在授权或合同的有效期内开展几次。进展评估（Progress Evaluation）的目的是评估项目在达到最终目标方面的进展情况，包括收集信息以了解进展的基准是否达到，并指出可能出现的偏差。

无论是总结性的还是形成性的评估，均可以总结为6个阶段：（1）制定计划的概念模型，并确定关键的评估点；（2）制定评估问题和确定可衡量的结果；（3）设计评估方案；（4）收集数据；（5）分析数据；（6）向不同需求的用户提供相应的评估结果[17]。

3.3 理论模型

美国国家科学基金会为了提高评估的质量，认为在对其支持的研究进行评估时都应该开发一个基于变革理论的逻辑模型。

变革理论作为过程性的项目管理工具，面向结果，在逻辑框架上分析项目的要素组成，阐述过程中存在的干预活动及其对预期结果可能造成的影响，即单个项目或举措与目标间的因果关系。

变革理论在评估上的应用可以追溯到20世纪50年代末Don Krikpatrcik的“学习评价模型的四个层次”。进一步的发展和演变包括Daniel Stufflebeam的CIPP评估模型和广泛应用的逻辑框架或逻辑模型。1995年Carol Weiss等人认为人们忽视了实现长期目标过程中产生的变化，在阿斯彭研究所支持下，包括Carol Weiss等人在内的“综合社区发展圆桌委员会”出版了《评估社区行动的新方法：理论、测量和分析》一书推广变革理论，自此变革理论得到了广泛的应用[18]。将变革理论应用到科技活动的管理中，应保证其逻辑的严密性、语言的简明性及全面客观，并满足“言之有理、可操作、可检验”的衡量标准[19]。变革理论的结果导向及对过程的分析，可以为科技管理提供依据，有利于提升科技管理水平及整体绩效。

逻辑模型是将科技活动的实施过程抽象为几个模块，将其之间的联系用线性关系表示出来的方法。逻辑模型易理解、易复制且标准化的特点，使其得到了广泛的应用。应用逻辑模型有助于厘清活动的因果关系及目标实现路径，从而为建立评价被评对象需要的指标提供依据，有利于发现、总结被评对象可能存在的问题，提出具有针对性的高质量意见和建议。模型描述了项目的各个部分以及它们之间的预期连接，通常由投入、活动、产出、短期和长期成果、背景及影响六类元素组成。

3.4 数据来源

美国国家科学基金会的数据主要来自于：一是美国国家科学基金会自动管理系统，维护交易数据、人力资源数据、出版物等几十个能度量绩效目标的良好指标参数的数据库；二是内部活动汇报，里程碑的成就通常通过查看某些活动和事件的记录来确定；三是外部各方的数据请求，直接向受资助者征求定性或定量的信息[20]，获得数据的方法主要包括调查、访谈、社会网络分析、焦点小组及文献调研等。在使用调查、访谈等方法进行数据的获取时，评估人员会用多种方法研究同一现象，即交叉验证法，也称三角验证法（Traingulation），以求获得可靠的数据。

3.5 评估方法及程序

由于美国国家科学基金会活动成果的时间是不可预测的，而每年的产出变化也不能准确地指示实现成果目标的进展情况，因此成果的绩效目标并不是特定于某个财政年度的。美国国家科学基金会坚持使用定量评估与定性评估相结合的方法，资助的绩效目标每年设定一次，以量化的方式表述，或以量化的表现指标来评价绩效的标准。评估科学和工程进展的影响本质上是回顾性的，最好是通过专家的定性判断来进行。在对一些特定的项目的结果和影响进行评估时，可以考虑设置对照组。面对样本数量过大的情况，可以选择采取抽样的方式来对其进行统计。

价值评议（Merit Review）是美国国家科学基金会为研究和教育项目提供的第一阶段评估，由国家科学基金会的工作人员审核，申请人和受资助者提供美国国家科学基金会资助前的成果、现有设施和设备以及其他支持来源等信息。评审者关注两个主要的标准——学术价值和广泛影响，并在评审过程中考虑潜在的变化。

美国国家科学基金会的评估工作主要由外部专家委员会（Committees of Visitors，COVs）及咨询委员会（Advisory Committees，ACs）负责：外部专家委员会是美国国家科学基金会理事会咨询委员会的小组委员会，通常由一组来自学术界、产业界、政府和公共部门的外部专家组成，审查大约每四年进行一次，向美国国家科学基金会提供外部专家评估的项目操作的质量和完整性、项目管理情况等；每个理事会都有一个外部咨询委员会，通常每年召开两次会议，对项目管理进行审查和建议，讨论当前的问题，并对理事会或办公室所涉及的学科和领域的政策、项目和活动的影响进行审查和提出建议，包括定期对美国国家科学基金会资助的申请人进行调查，以衡量总体满意度，以及对美国国家科学基金会工作人员进行调查，获得对美国国家科学基金会内部服务、系统和工作环境的反馈。

就绩效目标而言，基本的评估框架将依赖于在不同时间尺度上应用的多种措施和指标。表1展示了美国国家科学基金会2011—2016财年战略规划中提出的评估框架。

表1 美国国家科学基金会评估框架：时间框架和潜在方法[21]

4 对我国科技绩效评估的启示

2020年初，科技部发布《关于破除科技评价中“唯论文”不良导向的若干措施（试行）》，提出强化分类的考核评价导向，对国家科技计划项目（课题）评审评价突出创新质量和综合绩效，强化监督检查[22]。绩效评估可以为管理提供决策依据，促进成果产出，优化配置资源，美国国家科学基金会在绩效管理与评估方面的成熟经验对我国科技评估工作的开展具有重要的参考价值。

4.1 从评估的管理方面

（1）推进评估结果公开，营造风朗气清的科研环境。

美国政府颁布《自由信息法案》及《政府阳光法案》，依据这两个法案的精神，联邦政府的记录和档案原则上向所有人开放。美国国家科学基金会的项目信息也是面向公众开放的，公众可以在相关网站中查找到信息。美国科技项目信息系统还提供链接，便于公众监督和反映项目申请中作弊、项目资金使用不当等情况[23]。我国正在加快建设科技强国，现行的社会主义制度和计划组织管理模式是构建科技评估体系不能忽略的基础条件，应充分发挥中国体制的优势[24]。不仅科技计划的设置要符合国家战略，而且可公开项目的信息及绩效评估结果要向公众发布，达成信息共享，在接受公众监督的同时也可以满足社会各方面的科技信息需求，提高科技工作透明度，形成良好的科研氛围。

（2）制定报告制度，优化科技管理和决策。

美国国家科学基金会自成立之日起就制定了年度报告制度，一直紧跟联邦政府法律框架的变动且稳定运行，其年度绩效评估体现出对其提供资助和管理的服务的问责，并对公共财政资金的资源配置情况进行交代。评估报告是评估结果的主要形式，规范的报告制度是形成评价的重要数据基础。美国国家科学基金会绩效报告是科学基金组织有效呈现其绩效、实施绩效问责的典范[25]。形成规范的报告制度不仅是对科研主体的一种监督和督促，也可以为评估工作提供证据，加强监督问责与反馈，发挥好评价指挥棒和风向标的角色作用，引导科技创新发展。

（3）严控同行评议，加强对专家的管理和监督。

在现代科研管理体制中，同行评议的重要性毋庸置疑，在众多科学评价过程中起着主导性的作用，同时推动科学的发展[26]。同行评议本身具有的缺陷使得对其进行监督与评估成为保证其公正性的重要措施。美国国家科学基金会针对同行评议内部、外部均建立了监督机制与评估制度，各学科计划的同行评议每三年进行一次，由外部专家委员会承担，向咨询委员会汇报，美国国家科学基金会每年进行同行评议系统的全面评估，向美国国家科学委员会汇报，美国政府问责局（Government Accountability Office，GAO）还会对其进行不定期的监督，旨在为评议建立多道“警戒线”和多层“防火墙”[27]。针对同行评议，我国还未实施有效的监督与制度化评估体系，小同行评议饱受争议，国际同行评议也不是最优解。暴露出目前对评议专家的管理与考核并不到位，亟需制定针对性的改进措施及监管机制，保证评估的公正性。

4.2 从评估的实施方面

（1）开展项目全周期评估，实现评估模式转型。

美国科学界普遍认为，科学研究有其内在规律，允许科研失败，但应在前期减小项目失败发生的概率。在具体科研项目层次上的评估关键是事前评估，即评估提交的研究方案是否合理[28]。科技计划的制定需要符合国家科技战略，但科学研究也存在一定的风险性，实施过程中可能存在变动。在国内的科研评价体系中占主导地位的是对项目事后进行的总结性评估，主要针对其是否达成了项目立项时的目标成果进行评估，轻视了形成性评估的作用。由总结性评估向形成性评估转型是当前中国科研评价导向所急需的转型模式[29]，形成性评估可以为各层次的评价对象提供有益建议，重视形成性评估，可以帮助发现可能存在的问题，把握科技发展方向。

（2）实施多评估主体评估，构建多层次评估体系。

美国国家科学基金会在项目层次的评估以内部进行的价值评议为基础，由外部专家委员会对资助计划层次进行评估，各科学部层次的评估则由咨询委员会承担，美国国家科学基金会、国会与白宫对美国国家科学基金会的整体绩效进行评估和审议[30]。同时美国国家科学基金会每年聘请第三方机构IBM对其绩效数据单独进行核查与确认，保证数据质量。我国绩效评估通过公开竞争等方式选择第三方评估机构开展评估并且根据需要引入国际评估，本质都是外部专家进行评估。项目管理人员是对项目最为熟悉的，其对项目的评估也应当被重视。可以学习美国国家科学基金会，由不同评估主体针对不同层次开展评估，不拘泥于仅评估其目标是否达成，而是多角度多维度进行评估，构建多层次评估体系，从而形成全面、客观的评估结果。

（3）结合管理进行评估，动态调整规划项目。

美国国家科学基金会自2004年添加组织卓越作为战略规划目标开始，就将行政和管理活动放在了战略地位，2014年美国国家科学基金会又引入标杆管理，对于时间框架内资助项目在拨款期限外的成果，可以与世界各地类似组织进行标杆管理，以确保其项目的实力，作为对未来绩效的衡量。科研与管理并不是割裂开来的两个部分，好的管理可以帮助科研人员更高效地完成项目。我国已开始注重科研人员对项目实施过程中各阶段的意见反馈，将行政管理也作为绩效评估的一部分，同时也可以将绩效作为再次获得资助的重要参考，依据每一阶段项目的绩效表现修正下一阶段的资金投入，合理布局，这样不仅可以对未能达到预期结果的项目进行甄别，也可以为具有潜力的项目提供更大的支持。

4.3 从评估的方法与指标方面

（1）丰富评估指标，拓展项目评估维度。

美国国家科学基金会针对不同任务需求均设置了对应的一套指标，严把数据质量，评估指标的信息也是通过多渠道、多角度进行采集，且随着评估重点的变化及时更新。这一点也可以为我国科技评估工作提供借鉴。我国已给出项目支出绩效评价指标体系框架等作为评估工作的参考，主要维度为决策、过程、产出及效益。指标的选择关乎评估的准确性、可用性及可信度，今后评估工作需要注意依据提炼的共性指标把握评估方向，挖掘个性指标实现全面评估，根据实际情况结合使用替代计量学等，同时要重视数据质量，保证评估工作的真实性与完整性。

（2）应用信息技术，提高评估工作质量。

美国国家科学基金会评估方法根据评估需求和对象特点确定，合理选用定性及定量方法，同时积极运用互联网及大数据分析方法与技术。其具体实践如通过开发一个主体建模工具来分析拨款提议，从而了解价值评议阶段“广泛影响”这一审查标准的含义。同时美国国家科学基金会也应用经济学的一些评价方法来评价科学研究带来的利益或回报，这可以用来评价一些任务导向的项目计划[31]。当前我国科技绩效评估方法主要为传统的定量方法及同行评议的定性方法，其在指标的选择上也以传统的基础指标为主。应融合先进的技术手段，拓宽评估的视角，根据实际需求引入衍生指标，同时创新评估方法，提高评估的科学性与合理性。

（3）完善信息系统，提高项目管理效能。

美国国家科学基金会自1994年开始使用电子信息进行管理，其中最具代表性的是其开发并不断完善的实时交互的FastLane在线网站。FastLane系统是一套科研项目的管理系统，承担了美国国家科学基金会的项目发布、申请、评审及管理工作，同时可以为项目相关人员及潜在的研究人员提供交流平台[32]。目前我国国家科技管理信息系统、国家科技报告系统及国家科技项目评审专家库均在建设完善中，后续可以对已建设的信息系统进行集成，构建科研信息平台，这样不仅可以规范项目管理流程、提升项目管理效率，还可以为评估活动提供必要的数据信息等支撑，保障评估活动有序开展，更好地服务于国家和社会。■