建立第三方机构绩效评价质量评估机制的思考——以上海市嘉定区为例

●孙贝莉 刘晓婷

由于绩效评价涉及的领域较广，专业性较强，需要采集的资料较多，而第三方机构绩效评价具有专业性强、相对独立等特点，评价结果往往被认为较为客观公正，易被评价各方所接受，因而近年来在我国财政支出绩效评价中有较大的推广应用。通过在财政支出绩效评价中引入委托第三方机构绩效评价可以克服政府自我评价的一些弊端，提高绩效评价质量，促进预算绩效管理水平的提升。

近几年来，上海市参与财政支出绩效评价的第三方机构数量越来越多，但各方执业质量参差不齐，对评价报告的形成及评价结果应用有很大的影响。笔者通过梳理近几年来上海市嘉定区在重点绩效评价实施过程中的经验做法，从绩效评价相关方入手，分析问题和原因，探索改进方法，以推动第三方机构绩效评价质量评估机制的建立与完善。

图1 绩效评价相关方关系图

一、影响第三方机构绩效评价质量的因素

从上海市嘉定区近几年委托第三方机构开展绩效评价的情况来看，有以下主要因素影响着第三方机构绩效评价执业质量。

（一）以往业绩经验

第三方机构的历年业绩经验是比较重要的执业质量保障，通过对比2020年度嘉定区财政局组织的重点绩效评价情况，各机构的最终质量得分都在80分至90分之间（见图3），而过去两年全国承接评价项目数量较多的机构，在2020年度嘉定区开展的项目中评价质量相对较高（见图2和图3）。

当然，也不是项目承接得越多就越有优势。图2和图3中有几个点偏离了趋势，如机构7的项目数量达到了所有公司中的峰值，但评价质量优势却不明显，与其做多却未做精有一定的关系。机构9项目数量较多但质量得分反而最低，主要由于其90%以上的项目都是同一行业领域的，行业领域较为单一，2020年在嘉定区承接了不熟悉领域的项目，质量就难以保证。

图2 2018—2019年全国承接评价项目数量

图3 2020年度上海市嘉定区开展绩效评价项目质量得分

（二）负责项目的机构人员素质

机构以往的业绩经验只能据以判断其整体水平，负责具体绩效评价项目的团队人员的专业能力和素质同样非常重要。由于绩效评价行业是近几年才发展起来的，设有专门的绩效评价专业的高校院所屈指可数，学习钻研绩效评价专业方向的领域人才十分有限。机构吸纳绩效评价从业人员的门槛往往较低，有些机构由于人手不够，往往派出经验较浅、从未接触过该领域的新人，导致评价质量得不到保障。比如，在某农田排涝设施养护项目的绩效评价中，评价人员对于一些专有名词诸如“圩区”“套闸”“单泵”都没有弄清，基础工作没有做到位，这是作为绩效评价从业人员最基本的要求，而刚刚进入这一领域的新人往往摸不到头脑，从而导致评价方向严重偏离需求。

（三）委托主体的要求和态度

由于整个绩效评价受多方因素影响，委托主体在其中扮演着不可或缺的角色，监控力度也因委托主体不同而异。委托主体应清晰地表达评价需求，把控评价方向，掌握评价节奏。目前，财政支出绩效评价的委托主体主要是财政部门和预算部门，两个评价主体对评价质量的理解和要求不同。总体上看，财政部门作为绩效管理工作的推动方对绩效评价的质量要求显然要高于预算部门。而作为资金使用主体的预算部门和单位，在对本部门或系统的财政资金进行绩效评价时，有的是任务观点，盲目相信和依赖第三方机构的专业性，从项目委托到报告形成之间没有任何质量把控意识和措施；有的则出于自我保护的考虑，不想、不愿将工作中的某些问题反映到绩效评价报告中，从而主观上放松了对绩效评价质量的监控要求。

（四）专家评审意见的指导性

在整个绩效评价过程中，至少须经过两次专家评审，第三方机构则会根据专家评审意见完善评价方法，调整评价体系。因此，专家意见是否具有针对性，能否切中要害，能否纠错纠偏，是影响第三方机构绩效评价结果质量的重要方面。

二、上海市嘉定区加强第三方机构绩效评价质量监控的探索

为了较大程度地消减部分因素带来的影响，上海市嘉定区财政局在组织开展财政重点绩效评价时探索形成了一定的流程规范，以把控整个绩效评价过程的节奏和质量。

（一）设置准入门槛，择优选择机构

如表1所示，综合考虑机构资质、人力资源、评价任务类型与评价机构擅长领域等因素，通过政府采购方式，聘用合适的第三方机构。

表1 上海市嘉定区财政局第三方绩效评价机构报名表

（二）专人负责跟进，协调各方需求

每个评价项目都有一名委托主体代表专门跟进项目进程，如果第三方机构和被评价部门之间有任何沟通上的困难，能及时协调，排除障碍，也能将支出科室的评价需求及时准确地传达给第三方机构，减少了沟通不畅的弊端。

（三）评价过程把控，保障评价有序进行

从评价项目对接到项目单位结果反馈，做好每个步骤的时间计划安排（见表2），掌控评价节奏，使评价工作能按部就班地有序进行；且每一步都能形成成果性文档，便于委托主体掌握评价进程和评价质量。

表2 绩效评价时间进度表

（四）综合各方意见，考核评价质量

评价结束后，对每个项目质量进行考核。考核由工作方案质量、评价报告质量、财政质量评估、评价对象反馈等组成，汇总形成项目考核结果并确定等级。得分高于85分的，评级为优；得分在75分到85分之间，评级为良；得分在60分到75分之间的，评级为合格；得分在60分以下的，评级为不合格。项目考核结果与绩效评价服务费相挂钩，考核结果为优、良、合格、不合格四个等级，对其分别按服务费总价的100%、90%、80%、60%支付绩效评价服务费。

三、第三方机构绩效评价质量监控的瓶颈

虽然上海市嘉定区财政局在第三方机构绩效评价质量监控方面已经积累了一定的经验，但仍有一些问题仅依靠财政部门自身的力量还不能有效解决。

（一）信息的不对称性

财政支出绩效评价是一个系统性、整体性较强的工作，涉及各行各业、各种各样的项目。这就需要参与评价的第三方机构对各个被评价部门的工作职责、服务领域、行业知识有较为全面的了解，拥有庞大的知识背景，才能科学合理地进行评价指标的设计和量化；需要第三方机构从公众的主观感受出发，科学严谨地设计访谈提纲和调查问卷，才能搜集到真实客观的公众评价，为最终得出评价结论提供充分的数据支撑。同时，参与调研访谈的对象或社会公众必须与被评价部门有业务往来，才能对其有一定的了解，从而给出真实、客观、有用的信息。这三者之间的信息对称性对绩效评价结果准确性的影响和制约显而易见。

然而，在第三方机构参与的财政支出绩效评价实践中，往往第三方机构与财政部门、被评价部门、参与评价调研的公众之间都存在着明显的信息不对称现象，致使评价结果的客观性难以保证。

（二）缺乏专业的人才队伍

1、第三方机构人才的缺乏。近几年来，参与绩效评价的第三方机构发展很快，每年入围本市的机构都有百多家，而真正能力强、业绩突出的却不多，归根结底还是缺乏专业人才。以服务于嘉定区的第三方机构为例，据不完全统计，近半数的机构专职绩效人员在20人左右，若5人成立一个评价组，最多也只有4个评价组。一般情况下，出于生存的需要，第三方机构并不是完成一个评价项目再进行下一个评价项目，而是在市场的驱动下全国各地尽可能地获得多的评价项目，赚取更多的利润。但是第三方机构的组织规模有限，能有效利用的人力、物力资源也有限。一旦同时开展好几个评价项目，就有可能顾此失彼。即使是专职绩效人员，其所学专业、资质能力也千差万别。其中有财政专业、会计专业、统计专业等相关专业的人员，也有市场营销专业、工程造价专业等专业匹配度不高的人员，因此有可能造成评价方法五花八门、得出的结论差之千里的尴尬情况。

2、财政部门内部人才的缺乏。以嘉定区为例，区级绩效部门负责绩效评价的人员一共3人，而到了街镇可能就只有1人，甚至半个人，且大多数接触绩效评价领域的时间都不长，要管理、监督、指导这么多第三方机构，力量较为薄弱。

3、绩效评价专家的缺乏。目前，绩效评价中评审专家遴选的方法、标准及门槛，专家组的人员数量及组成结构（如行业专家匮乏）等，都没有明确的、科学的实施标准和要求可参照执行。这些不仅影响评审专家组在专业学识和行业领域经验上的互补性，还会影响专家评审意见指导水平的高低和权威性，进而影响第三方机构绩效评价结果质量。通过梳理嘉定区历年来评审专家类型（见图4），可以发现大多绩效评审专家集中为学院教授和区级绩效部门人员两类，且数量十分有限，难以拓展，能提出犀利到位意见的，更是屈指可数。若只集中聘请某些专家，有一定的风险和局限性。

图4 上海市嘉定区评审专家类型

（三）缺乏标准评价体系

由于财政支出项目的种类千差万别，要制定一套适用于所有项目的标准评价体系很难，共性指标的选取与项目多样化具有明显的对立关系。第三方机构按照项目的不同特点设定不同的评价体系，具有一定的主观性，难以简单地用对错来衡量，这对委托主体把控其质量的好坏造成了一定的困扰。

（四）独立性与质量控制悖论

在财政部门或预算部门组织开展的第三方绩效评价中，财政部门或预算部门不仅兼具了委托主体和监管者的双重身份，还有既当“运动员”又当“裁判员”的嫌疑。要把控第三方机构的质量，一定要对评价过程中的过程性成果文档进行审核把关。譬如，方案评审时要召集第三方机构、评价对象一起讨论确定细化评价指标，可能在提高评价指标可行性的同时，干预了第三方机构的独立性，会对绩效评价工作的客观公正造成一定影响。

四、完善第三方机构绩效评价质量评估机制的思考

（一）拓展绩效管理信息系统应用，以信息化手段为绩效评价工作质量的监控提供技术支持

目前，上海市绩效管理信息系统与第三方机构绩效评价有关的功能较少，还仅限于简单的任务下达等流程性操作。今后可考虑加强信息交互，促进绩效评价项目信息传递的便捷性和公开化，加强绩效评价工作各方之间的信息沟通和交流。委托主体、被评价部门、第三方机构，以及评审专家都能通过一定的权限直接在系统中查阅、传递相关信息，使整个绩效评价工作的开展都留有痕迹，便于进行质量监控。

（二）加快队伍建设和人才培养

鉴于全面实施预算绩效管理的长期性和常态化推进，必须加快财政支出绩效评价专业队伍建设和专门人才培养，提高绩效评价领域的从业门槛。一是鼓励高等院校开设财政支出绩效评价专业，以财政学、投资学、会计学等知识为主体，定向培养掌握科学绩效评价方法的专业人才；二是通过设置社科规划课题引导各级科研院所加强财政支出绩效评价方法的研究和创新；三是借助劳动人力资源体系设置相应的职业和职称体系，引导更多的专业人才投入财政支出绩效评价的发展和研究中来。

（三）建立相对统一的绩效评价体系

2018年，广东省财政厅印发了《广东省财政预算绩效指标库》，收录了20个行业大类、52个子类，涉及277个资金用途的2589个绩效指标目录，形成了相对完整的指标体系，且根据实际情况可对指标动态调整，指标入库、调整、退库均有明确的规范，但其在具体操作中适用性如何暂不得而知。然而，这仍不失为一次开拓性的尝试，具有一定的参考价值。要建立起相对统一的绩效评价体系，首先要从预算管理出发统一项目设置，将项目适当分类，使每个具体项目都能归属对应的分类；其次，按照每一分类梳理出行业内共性指标，并配套给出具体的指标解释、指标标准值、评分标准及指标出处等；第三，所有评价指标必须从指标库里选取，若指标发生新增、调整、退出都需经行业主管部门和财政部门的共同审核。

（四）提升第三方机构开展绩效评价的独立性

独立性是第三方机构参与绩效工作的基本立场，是其开展绩效评价工作的灵魂所在。独立性既指第三方机构开展工作过程中的独立，能摒除各方观点和要求的影响；也指第三方经济来源上的独立，而不必被雇主所主导。在当前我国绩效管理工作发展阶段，虽然完全独立的第三方评价机构仍是一个理想化的想法，但仍是一个可以努力的方向。通过培养发展壮大第三方机构，使其获得经济独立性，从而提高其主体独立性。此外，充分利用人大这一立法机关的监督职能，也是提升其主体独立性的可行路径。广东省人大曾尝试过引入第三方评价财政资金绩效，采取由“人大为委托主体—第三方为评价主体—财政专项资金支出为评价客体”的模式。这不仅可以强化人大的监督职能，同时也可以消除财政部门或预算部门既当“运动员”又当“裁判员”的弊端，极大提高第三方机构的独立性和评价结果可靠性。■