政策落实审计绩效评价体系的构建

■/苏 孜 王俊锋

一、引言

国务院要求全国各级审计机关自2014年8月起，持续开展对地方政府及相关部门贯彻落实政策措施情况的审计监督，揭示存在的主要问题和出现的新情况，深入分析问题产生的原因并提出建议和意见，促进政策的不断完善和落实。从国内政策审计目前的现状来看，虽然政策措施落实审计实践开展得如火如荼，取得了一定的成效。但是目前开展的政策落实审计主要还停留在资金、项目等活动的真实性、合法性的审计业务上，而在政策落实的绩效评价方面开展的工作却少之又少，究其原因就是缺少一整套完善的绩效评价指标体系。由此可知，构建一套完善的绩效评价指标体系是当前审计机关的迫切需求和工作重点。

二、文献回顾

由于政策落实审计的研究起步较晚，尤其是政策落实审计绩效评价体系的研究更是凤毛麟角，国内学者对政策落实审计的研究主要集中在理论与实务两个方面：一是政策落实审计理论研究方面。陈希晖、邢祥娟（2017）认为政策落实审计是政策审计和跟踪审计的结合，通过综合运用经济、行政、法律和舆论等手段促进政策落实，重点关注政策执行过程和执行效果，具有事中预防、动态追踪、综合性强等特点。史吉乾（2016）提出用把握经济规律与评价政府政策干预相结合的思维、用扩展经济运行空间与提升市场参与主体信心相结合的基调、用改善外部环境和政策导向的方法、用精算政策加减法、用贯彻政策全周期与实行多维评估机制相结合的角度等审计方法指导相关审计实践。苏孜、何延平（2016）提出应以“政策——项目——资金”为主线，展开政策落实审计，明确审计内容。同时从保持独立性、控制审计风险，构建政策措施执行效果和审计工作组绩效评价体系，强化监督整改落实，加强对审计工作组的思想教育等四个方面进一步完善政策落实审计。王慧（2015）在政策措施落实情况审计专题研讨会中提到部分代表认为政策措施落实情况审计的目标可以分解为四个分目标：一是摸清现状；二是发现问题；三是评价绩效；四是提出建议。二是政策落实审计的实务研究方面。林中华等（2017）认为实际工作中面临着审计范围较窄、深度有限、组织管理不够健全、知识储备和人员素质不足等困难。提出围绕重要工作任务，聚焦政策措施落实情况跟踪审计重点内容，为审计工作实践提供参考借鉴。陈英姿等（2017）从管理创新的原则与目标调整和管理重点两方面探讨了政策落实审计管理创新的途径，对科学发展的审计管理方式进行了探索。侯全明等（2016）从形式、事实、价值三个维度对“农村饮水安全”政策进行了研究与考量，解决了审计思维、审计管理、审计资源等与审计现实需求不衔接、不协调的问题。王慧（2015）提到政策措施落实情况审计的评价和定责难度较大，亟需建立相关的审计规范体系。并提出从改进审计组织方式、创新审计方法、完善评价机制和加强审计队伍素质建设方面改善审计实践结果。

综上已有的国内研究可知，学者们在对政策落实审计的理论与实务研究已经非常成熟，提供了非常坚实的理论基础，但仍然存在一定的不足和缺憾。主要表现在：一是缺乏将绩效审计与政策落实审计结合的研究，缺乏对政策落实审计绩效评价指标体系的研究，虽有部分研究涉及到此，但也无法全面覆盖审计全过程。二是实证研究较单一，都是针对某一具体政策进行的研究，缺乏代表性。基于此，本文尝试基于公共政策生命周期理论和层次分析法选取了综合评价政策落实情况绩效的指标，构建了一套绩效评价指标体系，并通过实证检验测试了指标体系的合理性，以期对我国政策落实审计绩效评价体系的研究作出贡献。

三、基于AHP法的政策落实审计绩效评价体系的构建

（一）指标选取的理论依据

政策生命周期理论也称政策过程模型，是理解和研究公共政策的基础架构，一般包括政策决策、政策执行、政策评价和政策终结。其中，政策决策是起点，政策执行与政策评价则贯穿政策落实的整个过程，政策终结则是政策落实的最终结果。公共政策生命周期理论认为，在政策执行过程中，需要将政策执行的效果和政策客体的反应及时向政策主体作出反馈，并及时对政策进行修正和优化，使政策能够更好适应政策环境的变化，延长政策的生命周期。

层次分析法（简称AHP）利用分解的思想，将决策问题层次化，包括目标层、准则层和方案层，然后利用判断矩阵计算出各指标的权重。本文之所以采用AHP法是因为政策落实审计内容比较复杂，影响因素多，层次分析法能将复杂的指标划分为几个有序的层次，能使指标更加全面；而且，层次分析法可将定性指标量化，能保证评价结果更加公正、明确。

（二）指标体系的构建

本文将指标体系分成了目标层、准则层和方案层，基于“政策制定—政策执行——政策监控——政策效果”这一流程构建了政策落实审计绩效评价指标体系。目标层为“政策落实审计绩效评价”，准则层设置了“政策制定”、“政策实施”、“政策监控”和“政策效果”四个一级指标。最后，从定性和定量两方面构建了为实现各准则层要素目标的二级指标（即方案层）。本文选取了如下18个指标（见表1）：

1.政策制定层面。“政策目标”指标衡量的是要明确制定该项政策所要达到的目标，要实现什么样的效果，所有的制定程序都是围绕政策目标展开的，是制定一项政策的基础。“科学性”指标是指一项政策是否能够达到预期的效果，取决于该项政策的制定是否科学有效，是否可行。“项目数”指标评价的是一项政策所带来的项目数，项目数越多，很显然能达到的目标就越多，覆盖面越宽，能达到更好的效果。“项目预算比”指标是由政策总预算与政策所涵盖项目数之比计算出的，可以用以科学的判断该项政策的经济性与否，帮助制定者决定在某些方面是否作出修整。

2.政策执行层面。“单位政策项目比例”是指审计机关和审计人员要了解各地区各部门在贯彻执行每项政策措施时某一项目所占有的单位比例，这一比例越低，说明完成该项目所需的单位越少，也即说明政策执行人员的效率越高。“政策执行流程完善程度”是指审计人员要了解从中央到地方以及地方各地区各部门在政策贯彻执行时所制定使用工作方案和流程。“资金使用效率”指标是指政策项目资金在各地区各部门之间的流转和使用，本文是通过总预算扣除闲置资金后在总预算中的占比来测度的。“岗位责任完善程度”是指审计人员要关注政策执行过程中各部门负责不同工作流程的工作人员之间是否形成相互监督，是否能够协调一致，有否沟通衔接不畅的情况，每个部门每个流程工作人员是否清楚自己的工作内容和责任义务。“召开政策会议次数”指标考察的是项目单位在政策执行过程中各级政府或部门主导的政策相关会议次数，包括政策执行管理人员对政策进程及资金用途等的汇报工作，尤其是政策执行中重大问题的专题会议。

3.政策监控层面。首先，在这一阶段，审计机关人员重点关注的是政策执行过程中出现的问题。“滞后项目比例”是指在政策措施的执行到政策落实完成的进程中存在的项目滞后数目与总项目数之比，主要反映的是落实政策的时间维度，体现的是各地区和各部门贯彻落实政策措施的力度和速度，用以评价政策的执行效率。其次，“问责人数比例”是指审计人员要记录政策执行人员在执行政策流程中出现的问题，包括资金挪用、任务分配不合理、管理混乱不规范、资金浪费、工作中越权越责和不认真履行工作职责等，记录管理者对相关责任人的处理结果。再次，“资金审核滞后比例”指标主要考察的是政策执行中具体流程所使用的资金与流程预算金额相比重大的部分，以及资金管理者对资金的审批和管理制度，确保政策的执行的经济性。最后，“地方制定的政策相关文件数”指标主要反映的是地方政府部门在政策执行中发布的相关的政策实施办法及规定条例等，可以为管理者在监控政策执行过程中的行为提供标准，也有助于审计人员藉此评价政策的执行情况。

4.政策效果层面。“审计问题整改比例”在一定程度上反映了政策投入的效果性，对发现的问题及时落实整改，不仅能提高政策的完成效率，更能改善项目所能达到的效果。“农村居民人均纯收入”、“城镇居民人均可支配收入”两个指标主要考察的是政策的实施达到的最直接的效果，反映了政策的实施给地方带来的经济效益，很显然该指标属于正向指标，结果越大越好。而“公民满意度”是以政策受众群体为出发点，通过调查问卷的方式，评价政策在达到了预期的效果的基础上是否体现了公平性，使每一个受众群体都收到了政策带来的效果。此外，“地区环保支出比例”也是一项重要的指标，该指标是由环保支出占预算支出的比例计算得出的，主要考察的是5E绩效审计中“环保性”这一项。

表1 政策落实审计绩效评价指标体系

四、权重的确定和综合绩效的测度

（一）权重的确定

本文采用层次分析法确定各评价指标的权重，通过构建两两比较判断矩阵，对同一层次的指标进行两两比较，再采用规范列平均法计算出权向量，然后进行一致性检验，最后计算得到各指标的权重。

1.建立判断矩阵

相对重要性标度：aij表示第i个指标与第j个指标的重要性之比，同样地，第j指标与第i个指标的重要性之比就是，则称为两两比较矩阵。设W=w1，…，wn，同时，，为权向量。本文采用的是Saaty等人提出的1—9尺度判断法（aij取值1，2，…，9）。如表2所示：

表2 相对重要性标度

2.专家对各层指标打分

判断矩阵是AHP的基本信息，是以上一层的某要素作为评价准则，对本级的要素进行两两比较来确定矩阵元素的。本次评价采用层次分析法，经过3轮专家讨论，对指标体系构造的各级判断矩阵如下（本文仅列示指标A的判断矩阵）：

表3 指标A的判断矩阵

表5 指标B2的判断矩阵

表6 指标B3的判断矩阵

表7 指标B4的判断矩阵

3.计算权向量（规范列平均法）

现使用规范列平均法对专家给出的表3-表7的判断矩阵求出权重列向量。方法如下（以总指标A为例）：

（1）求出指标A判断矩阵各二级指标（B1，B2等）每一列的总和，如表8所示。

表8 指标A判断矩阵的列总和

（2）把指标A判断矩阵内的每一元素除以其相对应列的总和，所得矩阵为标准两两比较矩阵，如表9所示。

表9 指标A标准两两比较矩阵

（3）计算标准两两比较矩阵（即表9）的每一行的平均值，这些平均值就是各二级指标（B1，B2等）的权重，如表10所示。

表10 指标A标准两两比较矩阵行均值（指标B的权重）

由此可得，判断矩阵A的标准特征向量（即指标B的权向量）为：

wA=（0.072，0.293，0.115，0.520）T。同样地可以计算出判断矩阵B1，B2，B3，B4相应的权向量：

wB1=（0.165，0.108，0.255，0.472）T，wB2=（0.304，0.166，0.396，0.083,0.051）T，wB3=（0.245，0.147，0.502，0.106）T，wB4=（0.122，0.242，0.398，0.079）T。

4.一致性检验

判断矩阵不可能具有完全一致性，而一致性检验探讨的是存在多大的不一致才不会影响评价结果。检验判断矩阵的一致性指标是：CI的值越大，判断矩阵的一致性越差。一般认为，只要CI≤0.1即认为判断矩阵的一致性是可接受的。本文采用的计算一致性的步骤如下（以指标A判断矩阵为例）：

（1）用指标A的判断矩阵乘以其对应的特征向量（即权向量）WA，得到赋权和向量。即：

A（具体计算过程这里不做详细列式）

（2）用每个赋权和向量的分量除以对应权向量（WA）的分量，并将所得的结果求平均值。

该均值即为λmax，本例中均值为：

因此，判断矩阵A计算所得的权向量通过了一致性检验，所得的权重是可接受的。同样地，对其他各判断矩阵B1，B2，B3，B4进行一致性检验，得出的结果分别为：0.02、0.032、0.052、0.025，都小于0.1，这表明，其他判断矩阵也通过了一致性检验，所得的权重也都是可接受的。

表11 标准后的C层指标权重

5.方案层（C指标）权重的计算

C指标层权重的计算结果如表11所示：

本次关于政策落实审计绩效评价指标体系的构建完成，从表11可以看出，B指标层权重中，依次为：B4政策效果、B2政策执行、B3政策监控和B1政策制定。而在C指标层的权重中，资金使用效率C7、农村居民人均纯收入C15、城镇居民人均可支配收入C16三个指标占到比较大的权重，均超过了0.1。

（二）综合绩效的测度

在进行政策落实审计绩效的综合评价时，由于指标体系中的每一个指标都是从某个角度对绩效进行评价，各不同的指标带有计量单位，为了使得评价结果具有可比性，就必须对原始数据进行无量纲化处理。本文采用“功能系数法”消除不同量纲的影响并计算指标分值。计算公式为：正向指标：一项指标的单项得分=60+（该指标实际值－该指标最小值）/（该指标最大值－该指标最小值）×40；负向指标：一项指标的单项得分=60+（该指标最大值－该指标实际值）/（该指标最大值－该指标最小值）×40；经过处理的标准化指标分值居于60到100之间计算绩效评价的综合得分，通过将各指标单项的分乘以各项指标的权重，加总即可得出政策落实审计绩效评价的综合得分。

显然，综合绩效的得分越高，说明政策的贯彻落实情况越好。根据综合得分的判断标准，当综合得分达到为90到100时，绩效评价为优；当综合得分达到80到90时，绩效评价为良；当综合得分达到70到80时，绩效评价为中；当综合得分达到60到70时，绩效评价为合格。

表12 XX省2014至2016年度重大政策落实情况相关数据

五、评价指标体系的应用分析

（一）数据来源

本文的数据是XX省2014至2016年度重大政策落实情况相关的数据，主要来源于XX统计局、XX省政务网、XX省政府官网以及XX省审计厅网站上公开发布的一些数据，选取了各评价指标所需要的相关数据，并对XX省2014-2016年度重大政策落实情况进行实证分析和评价（参见表12）。

（二）数据计算

根据表12的相关数据和相关计算公式，采用“功能系数法”计算得出各指标各年度的无量纲化值（即标准值），并将各指标权重与其相对应的标准值相乘得到加权得分值（参见表13）：

表13 XX省2014至2016年度重大政策落实情况绩效综合得分表

（三）数据分析

根据表13的计算结果，总体看来：XX省重大政策落实情况绩效水平逐年稳步提升，从2014年的61.92增加到了2016年的98.88，达到了非常高的水平，说明了XX省有效地履行了贯彻落实国家重大政策措施的职责，取得了不错的效果。

从政策制定层面来看，项目预算比逐年小幅度下降，绩效得分逐年增加，说明XX省的预算控制制度逐年完善，预算管理水平不断提高。另外，项目数也逐年增加，这也说明了在贯彻落实重大政策措施方面更加重视，能达到更好地政策效果，使更多的人受惠，体现了我国公平性的原则。

从政策执行层面看，总体上B2的绩效得分增加幅度很大，说明XX省政府及各部门在执行政策落实的效率和效果等方面取得了很大的进步。具体的看，单位政策项目比从2014年的1.19下降到2016年的0.59，而相应的绩效得分则增加到8.9，将近增加了一倍。这说明了XX省各单位在执行政策贯彻落实的过程中工作效率大大的提高，侧面也就降低了政策执行的成本，达到了经济性和效率性的结果。此外，流程和岗位责任制度的完善程度、资金使用率及召开政策会议次数四个指标的得分也是逐年增加，说明了XX省政策执行单位各项制度更加完善，在控制了成本，保证了效率的基础上，大大提高了政策落实的效果。

从政策监控层面来看，除了问责人数比例的绩效得分下降逐年下降之外，其他三项评价指标的绩效得分都在平稳上升。从表12可知，问责人数的比例逐年增加，这说明了XX省政府在问责制度上更加严格，一方面是为了反腐倡廉，另一方面也是为了提高政策执行的效率，保证政策执行的效果。从另外三个指标可知，XX省在推进政策项目实施方面取得了很大的进步，确保了每一个项目和每一分钱落实到位，保证了政策落实的效率性和经济性。

从政策效果层面上看，B4的绩效得分从2014年的31.20增加到2016年的52.00，这说明XX省很好的完成了政策的落实，达到了显著的效果。具体来看，审计问题整改比例这一指标，反映了XX省政府及相关部门对政策落实过程中发现的问题认真对待，及时整改，保证了政策的贯彻落实，提高了政策效果。此外，XX省农村居民人均纯收入和城镇居民人均可支配收入都有所增加，相应的绩效得分逐年增加，表明了中央政策效果显著。另外，从公民满意度和环保支出比例这两个指标的绩效得分来看，反映了XX省人民对政府在贯彻落实政策的过程中所体现出来的公平性和环保性还是非常满意的。

六、研究结论

本文基于公共政策生命周期理论对指标层确定了4个一级指标，并根据结合层次分析法建立了18个二级指标，对每一项指标的确定都进行了详细的论述。然后通过德尔菲法得出各指标的相对重要度，建立了判断矩阵，计算出各判断矩阵的最大特征根，得出了各指标的权重，并进行了一致性检验，计算出指标体系中各指标的综合权重，建立了完整的评价指标体系。最后，以XX省2014年至2016年重大政策落实绩效报告数据为例进行实证分析，结果表明，XX省重大政策落实情况综合绩效稳中向好，呈现逐年提高之势。

本文只是在评价体系的构建指标的选取上做了一些尝试，构建的政策落实审计绩效评价指标体系只是为政策落实审计绩效评价体系研究提供了一套研究思路，由于在指标的选取方面存在欠缺，并且缺少更多实践数据进行检验，因此还需要在实践的基础上不断完善该评价指标体系，才能为有效评价政策落实审计绩效发挥更好的作用。