绩效评价报告质量分析及提升建议
——以湖北省武汉市东湖高新区2021年财政评价项目为例

2022-08-01 08:23刘金文许明丽
财政监督 2022年14期
关键词:绩效评价情况指标

●刘金文 许明丽

一、绩效评价报告质量评审情况

财政部2021年8月发布的《第三方机构预算绩效评价业务监督管理暂行办法》(以下简称《暂行办法》)第四条规定:县级以上人民政府财政部门(以下简称财政部门)依法依规对第三方机构及其工作人员从事预算绩效评价业务进行管理和监督。第二十三条规定:财政部门应当依法依规加强对第三方机构预算绩效评价执业质量的监督检查。

绩效评价报告是绩效评价业务的最终成果,可以直接反映出绩效评价工作的执业质量。根据《暂行办法》的要求,湖北省武汉市东湖高新区财政局预算绩效管理办公室针对2021年开展的16个财政评价项目的绩效评价报告,组织来自高校、第三方机构和绩效管理研究会的6名专家进行了评审,履行对第三方机构预算绩效评价执业质量的监督检查,做到专业对口、多重角度、权威性强,为保证评审质量提供了智力支持。

评审标准是根据2020年12月湖北省市场监督管理局发布的湖北省地方标准DB42/T1601.3—2020《第三方机构参与预算绩效管理第3部分:报告编制规范》(以下简称《规范》)。《规范》中对评价报告的基本要求为:报告编写应格式规范、内容完整;评价结论应客观公正、依据充分;文字表达应逻辑清晰、重点突出。根据这些要求,我们确定评审规则为:达到前两个要求才能评为C,达到前三个要求才能评为B,只有专家认为结论可用即应用建议具有独到见解或得到领导认可才能评为A。对照这些标准,专家评审结果情况为:16份报告的质量评级中,4个为A,9个为B,3个为C。

东湖高新区本次财政评价的16个项目覆盖了部门运转类支出、公共卫生支出、基本建设支出、城市治理及维护专项资金、支持产业发展专项资金及土地专项支出等。16个项目中1个为部门整体评价,2个为政策类评价,13个为项目支出类评价(其中:1个支出项目为运转类经费,12个支出项目为专项资金)。16个项目分别由10家第三方机构完成并出具绩效评价报告。

本文认为,不论从资金管理角度还是第三方机构的参与情况,参评样本都具有一定的代表性,通过分析评价报告中存在的普遍问题,有助于第三方机构规避撰写高质量评价报告时的常见问题,从而为提升财政评价的整体效果提供借鉴。

二、绩效评价报告质量问题分析

从评价等级标准来看,“格式规范、内容完整、客观公正、依据充分”是基本要求,四项符合才能达到合格,评为C级,有任何一项不符合,只能评为D。在C的基础上,“逻辑清晰、重点突出”才能算是良好,评为B级;在B的基础上有思路创新或“建议可用”,才能评为A。根据评价标准,分析16个项目的绩效评价报告,本文将共性问题归纳如下:

(一)C级标准基本达到,具体细则不符要求

《规范》中对格式和内容提供了参照的蓝本,如格式包括封面、目录、字体、字数等。专业版的内容包括三部分:评价结论、佐证材料、原始材料;缩略版只需要前两部分。但对“客观公正、依据充分”只能根据专家的专业判断进行评定。虽然所有报告都在C级以上,但在评审中发现,有些细则还不够规范,没达到标准要求:

1、格式不规范

(1)封面不统一:有的为“湖北省绩效评价报告”,有的为“武汉市预算绩效评价报告”,有的为“东湖高新区绩效评价报告”,目录中有的加了“前言”,大部分没有。

(2)字体,没有严格区分一、二、三级标题的字体和粗细。

(3)字数,报告缩略版字数9000字左右,正文第一部分评价结论字数宜在1500字左右,即佐证材料字数宜7500字左右。但大多数报告没有按照字数提供,特别是第一部分没有控制字数在1500字。

(4)图表,规范中没有提出具体要求,有的报告有表格、有的没有,多数没有统一编号。

(5)附件不一致:有的提供了其他佐证材料,有的提供了原始资料。

以上情况实际统计见表1。

2、内容不完整。16份绩效评价报告中,提供专业版的为5份、提供缩略版为9份、未标注版本的为2份;有的专业版的佐证材料中只有基本情况、评价工作开展情况、绩效指标完成情况分析,没有提供其他佐证材料。有外聘专家的,没有附专家意见书。其他佐证材料的内容不完整、不统一。

3、标准不客观。客观公正主要通过审阅佐证材料中的绩效评价工作开展情况进行考察。一是评价目的、对象和范围是否明确;二是评价抽样情况、评价方法和时间安排等是否合理,一般来说评价报告应选择两种以上评价方法进行分析;三是评价指标体系和综合评分方法是否科学、评分标准是否客观。

表1东湖高新区16个重点绩效评价报告格式情况表

评审中,对象和范围都很明确,评价方法多数在两种以上,一级和二级评价指标都符合共性指标框架,设计了与项目相关的三级指标。但也存在以下问题:一是评价方法笼统,多数报告采用了成本效益法、比较法、因素分析法、公众评判法等,没有说明具体方法在实施评价工作中的具体应用,如公众评判法通常包括专家评估、公众问卷及抽样调查等,只有1个项目聘请了专家,但没有出具专家意见书,多数项目进行了问卷调查,但没有介绍抽样的方法、样本的比例、设计问题对具体指标评分的支撑。二是分值权重无依据。一级指标中产出和效益不低于60分,但多数报告中一级指标的分值分配只有结果没有设计思路和具体说明,权重分配具有随意性,如满意度分值差别很大,最低的为3分,最高的为12分。三是评分标准不具体。三级指标只有分值权重,没有评分标准要点,打分扣分存在较强的主观随意性,定量指标没有计算公式,定性指标没有明确得分等级。

4、依据不充分。依据是否充分,主要是看佐证材料中其他佐证材料是否完整,评价结论、绩效指标完成情况分析、存在的问题和原因及结果应用建议等内容是否有据可依,是否保证有足够的相关数据、文字等论据对论点进行支撑。如有的“绩效指标完成情况分析”只对具体指标的标准分值及得分情况进行说明,没有将目标值与实际值进行对比分析,没有详细表述比较结果、扣分情况;有的问卷调查只有最终结果,没有提供问卷设计及统计情况。

(二)B级标准勉强符合,重点逻辑不够清晰

一是评价结论中,相关评分表的格式内容不一致,虽然都有总体打分和等级,有的列示到所有三级指标得分,有的只列示到二级指标,有的只列出一级指标得分。报告展示内容的详略程度不一样,给使用者提供的重点信息就不一样。

二是绩效目标完成情况分析中,重点不突出,有的是三级指标进行逐个分析,没有对完成情况进行总体评价、针对完成的指标总结取得的成绩、针对未完成的指标进行重点分析并简要说明原因。有的是对指标得分情况进行了简单的罗列,未深入分析得分和扣分的标准和原因,也未对照失分指标进行问题总结。造成绩效指标完成情况中的失分指标和存在问题的分析部分前后脱节、逻辑不一的情况。

三是问题原因建议的逻辑性不强。多数报告能从绩效指标完成情况中找出问题,但没有针对绩效指标完成情况进行具体原因分析;多数报告针对存在的问题提出了相应的结果应用建议。但也存在完成情况与具体原因不相互对应、应用建议与存在问题关联性不强的现象。如有的问题归因为机构改革,有的问题归因为主体责任意识不强,但机构改革完成后问题就会迎刃而解,逻辑性不强。

(三)A级标准难以满足,应用建议可用不多

在评审中强调,有以下情况之一可以评为A级报告:一是指部门主要负责人在评价报告对应的评价结果上作出明确批示,评价结果在工作中得到应用的;二是指受托参与报告评级的专家学者认定有独到见解,并有理念或思路创新,对相关段落、语句作出提示,出具推荐词的。从目前来看,还没有领导在评价结果上作出明确批示,只能依据专家的评定。从专家的评定来看,有理念或思路创新,对改进部门(单位)预算管理、提升财政资金使用效益具有实际意义或指导作用的只有疫情防控经费、垃圾收运服务及处置生态补偿费、湖北今日头条、武汉华星光电等4个项目,报告质量均被评为A级。多数评价结论和建议只是就事论事,针对项目指标完成情况提出管理改进的建议,能为预算安排和财政管理提供建议的不多,建议的实践指导性和可用性不强。

三、绩效评价报告质量提升建议

绩效评价工作经过三个阶段完成,需要将前期准备、评价过程、工作成果的所有内容体现在最终的评价报告中,因此,绩效评价报告是绩效评价工作质量的集中体现,是完成绩效评价工作的最后一步也是最重要的一步。以高质量绩效评价报告为载体,有助于进一步强化各单位绩效管理理念,为相关部门完善政策制度、填补管理漏洞、优化预算安排提供专业参考。

本文认为,在认真完成前期工作的基础上,撰写绩效评价报告必须做到以下几点:

(一)按照《规范》格式,从表面上做到“形似”

《规范》的格式就是报告的框架,一份标准的报告起码要在外表上符合框架的要求,如封面、结构、字体、字数的要求。

1、统一封面格式。报告封面应该反映三个方面内容:一是委托部门的名称,是哪一级财政部门委托就写哪一级的名称,如东湖高新区财政绩效评价报告;二是预算部门和项目名称,应该反映具体项目的报告,如2020年度农贸市场改造项目绩效评价报告;三是评价单位名称,具体是指接受委托的第三方机构,包含两名主评人信息,如果聘请专家的要标明专家名称。

2、遵守报告框架。报告框架包括评价结论、佐证材料、原始材料三个层次,专业版要提供三部分的完整资料,缩略版只提供前两部分材料;每个一级标题下的二、三级标题都应该有相应内容作为支撑。

3、控制字体字数。报告字体要区分不同级别标题的字体字号,只对一、二级标题加粗,二级以下视同正文,不应加粗,这样才能有立体感和层次感。字数上不仅要控制总字数,还要区分重点,才能体态均称、符合标准。如缩略版的总字数不超9000字,其中:评价结论1500字左右,佐证材料7500字左右。原始材料可以不限字数。

(二)领会具体内容,从实质上做到“神似”

《规范》虽然提供了参照蓝本,多数报告也能按照格式完成,但在内容上与具体要求不符。因此,必须领会标题下的具体内容要求,全面反映第三方机构评价项目的工作成果,体现出每个项目的内在实质,便于委托人完全了解委托项目的绩效情况。

1、区分绩效目标完成情况分析与绩效指标完成情况分析。第一部分“评价结论”中有“绩效目标完成情况分析”,第二部分“佐证材料”中有“绩效指标完成情况分析”,多份报告没有进行明显区分,都是针对三级指标完成情况进行说明,只是详略程度不同。实质上,两者是有区别的,“绩效目标完成情况分析”重点在于总结性评价总体绩效目标的完成情况、一级指标完成情况和未完成情况,不需要对具体指标(二、三级指标)进行分析;“绩效指标完成情况分析”则要针对三级指标逐个分析,并详细表述比较结果和偏离原因及扣分、得分情况。

2、区分绩效评分表与绩效指标体系表。第一部分“评价结论”的“评价分数和等级”内容中要求附相关评分表,即绩效评分表;第二部分“佐证材料”的“绩效评价工作开展情况”内容中要求提供评价指标体系和综合评分方法,也就是绩效指标体系表。多份报告没有进行区分,在第一部分将所有指标的分值、扣分、得分情况全部呈现出来,第二部分中也将所有指标的分值权重、评分标准列示出来,这样导致报告的重点不突出及第一部分的字数超标。实质上,第一部分的“绩效评分表”只需呈现一级指标的分值、得分情况及评价总得分和评价等级,二、三级指标的具体设计内容(名称、分值、评分要点、评分标准)在第二部分“绩效指标体系表”列示,具体扣分、得分情况在“绩效指标完成情况分析”中说明。

3、区分其他佐证材料与原始材料。第二部分“佐证材料”是反映绩效评价的过程材料,为评价结论提供支撑,包括基本情况、绩效评价工作开展情况、绩效指标完成情况分析、上年度评价结果应用情况和其他佐证材料;第三部分“原始材料”是对佐证材料有支撑作用的备查材料,如相关资料复印件、对比分析数据来源和计算过程等文件。评审发现,有些报告没有提供“其他佐证材料”,都作为原始材料备查,不便于委托部门或评审专家对“评价结论”是否依据充分进行审定。实质上,“其他佐证材料”应该是一些评价结论的证明性材料,如评价对象由不同单位或子项目组成时,应该附有不同评价对象的评分情况;工作中有外聘专家,应附专家意见书。“原始材料”是证明材料的说明性材料,如预算绩效评价实施方案、基础数据报表、数据核查确认报告、预算绩效评价工作底稿及附件、调查问卷等。如满意度通过问卷调查得到95%,是结论,可以得到相应分值,那么,“其他佐证材料”中应该提供问卷统计结果,“原始材料”中应该提供调查问卷原稿。

(三)提炼问题建议,从结果上做到“有用”

报告的“评价结论”部分是整个评价工作的结果,是报告全部内容的浓缩,是部门领导、委托单位、评审专家最关心的内容,也是评价报告最出彩的部分。报告怎样出彩、结论怎样有用?我们认为需要从以下方面用心提炼和归纳。

1、重点突出,问题清楚。存在问题一般是通过绩效指标评价分析结果来反映的,通常来讲指标评价分析扣分的地方就是问题的所在。在第二部分“绩效指标完成情况分析”中,一般都会针对三级指标详细表述绩效目标与实际完成情况的比较结果和偏离原因,所以,在第一部分的“评价结论”中,需要归纳提炼绩效管理的主要问题或不同资金使用单位的共性问题,并说明清楚,而不是列举指标完成情况的所有问题,不需要面面俱到。

2、逻辑清晰,原因透彻。任何结果都有一定的原因,结果与原因要有关联性。针对列示的问题查找原因要遵循逻辑、符合规律,不能针对目标完成情况只看表面现象,要深入透彻分析,找到问题的根源,并得到项目实施各层级管理者的接受和认可。只有这样针对问题导向,才能提出解决的方向和途径。

3、建议明确,直接可用。建议是浓缩的精华,是整个报告的核心。针对反映的问题和原因分析,要围绕提升项目绩效管理、改善管理模式、优化预算资金安排、调整资金支出方向和政策等方面提出建议。财政部门归口业务科室要深度参与绩效评价工作,就绩效评价的重点方向、具体要求、绩效指标设置、报告修订等工作与第三方机构反复沟通交流,增强评价报告准确性和公允性。关于如何提高资金支出绩效,要对部门(单位)及项目改进绩效管理、提升绩效目标完成程度有用;关于如何改善管理模式,要对业务主管部门加强行业管理、提高管理效率有用;关于优化预算资金安排,要对财政部门安排下年度预算、提高财政资金配置效益有用;关于调整支出方向和政策,要对党委政府的政策制定部门是否延续、调整或取消政策有用。

总之,撰写绩效评价报告是整个绩效评价工作的“最后一公里”,要全面反映全部绩效评价工作的最终成果,体现整个绩效评价工作的整体质量。需要努力做到评价准备有方向、评价实施讲方法、评价报告守规范、评价结果求应用,才能全面提升绩效评价报告质量和预算绩效管理整体水平。

猜你喜欢
绩效评价情况指标
基于DRGs的老年医学科医疗服务绩效评价分析
公路工程造价管理绩效评价指标体系研究
企业内部审计绩效评价体系的优化建议
我觉得自己在三种情况下最有阳刚之气
主要宏观经济指标及债券指标统计表
主要宏观经济指标及债券指标统计表
脱发 养“老金”
一周融资融劵情况
主要宏观经济指标及债券指标统计表
主要宏观经济指标及债券指标统计表