海岛整治工程绩效评价指标体系研究

2013-06-05 09:39戴铄隐
海洋开发与管理 2013年4期
关键词:海岛绩效评价整治

张 浩,戴铄隐

(河海大学基础设施投融资研究中心 南京 211100)

1 海岛整治工程绩效评价概述

海岛整治工程绩效是在财政支出绩效中增加具体操作对象——海岛整治工程。海岛整治工程绩效属于财政支出绩效的一部分,因此具有财政支出绩效的特点,属于财政支出绩效的第4个层次——某一项具体的财政支出活动。海岛整治工程属于财政支出为主的公益性工程,绩效评价是其整个绩效管理的核心和重要手段,也是政府编制绩效预算的前提。海岛整治工程绩效评价系统不仅能够向公共服务的提供者揭示公众的满足程度和公共预期目标的实现程度,而且也能指明财政支出决策的改进空间和应采取的行动[1]。

1.1 海岛整治工程绩效评价的内涵

海岛整治工程绩效主要包括3个方面:效益、效率和效力。具体来说,海岛整治工程绩效评价的对象是海岛整治工程,内容包括整治工程的行为过程和行为结果,对海岛整治工程效益、效率、有效性和公众满意度的评价[2]。具体来说,海岛整治工程绩效评价是采用一定的评价方法、量化指标及评价标准,对整治工程最终绩效目标的实现程度及为实现这一目标所安排预算的执行结果进行的综合性评价。

1.2 海岛整治工程绩效评价的特点

绩效评价的实质就是分析和评价实施一项活动的有效性,而且是基于预期目标的有效性。对于海岛整治工程项目的绩效评价,就过程来说,它包括投入是否满足经济性要求,决策是否科学,管理是否严谨高效,过程是否合规和合理,项目自身及其与环境、资源之间能否协调可持续发展;就结果而言,它又包括整治的结果是否达到预期的目标及预期产生的中长期影响[3]。这里的影响既包括经济的影响,又包括社会影响、生态影响、对海岛整治管理及相关法律法规的影响。有别于传统的项目评价,海岛整治工程的绩效评价有其自身的特点,主要体现在以下几个方面。

(1)强调评价内容的科学性和完整性。每一类整治工程的具体内容和侧重点不仅相同,整治的手段和方法更是因岛各异。因此,海岛整治绩效评价的内容既要包括对项目微观层次的技术经济评价、影响评价和社会评价等传统评价内容,又要包括项目管理及项目与社会、资源、环境的协调可持续发展评价的内容 (根据项目所处阶段不同,具体评价内容可有所侧重和调整)。

(2)强调项目的全过程动态性和连续性。海岛整治工程绩效评价需要在传统的项目后评价的基础上丰富和增加过程中的动态评价,即对项目从开始到结束的全过程进行定期、不定期的跟踪评价监督,尤其是加强决策阶段与建设过程中的事前、事中评价及事后的总结提高,并根据结果实时反馈和及时调整,防患于未然,切实体现评价的指导与监督管理价值。

(3)强调海岛整治工程项目的综合评价。作为一项公共项目,海岛整治工程的效益以间接效益为主,其直接经济效益不像工业项目那样很容易具体测算。因此,在进行绩效评价时就必须从全社会的利益出发,考虑整治工程所带来的社会效益与生态效益,而不仅仅度量其经济效益,总之更加强调海岛整治工程项目的综合评价。

(4)强调海岛整治工程项目的中长期利益。海岛整治工程所带来的经济效益和社会效益需要一段时间才能发挥和显现出来。尤其是海岛整治工程作为财政支出的非营利性公益项目,在对其进行绩效评价时不仅要考虑项目完成后的短期成效,更要考虑到项目的中长期利益。

1.3 海岛整治工程绩效评价的基本内容

海岛整治工程绩效评价的内容包括绩效评价的目标、主要依据和绩效分析3个方面的内容[4]。

1.3.1 海岛整治工程绩效评价的目标

海岛整治工程绩效评价目标的确定应与财政支出的目标相匹配,目标是促进资源的合理配置、政府正确地进行决策,确保预算和决策得到实施,提高资金使用效率。此外,海岛整治工程绩效评价更广义的目标是促进海岛整治工程在近期及未来的社会满意度。

1.3.2 海岛整治工程绩效评价的主要依据

根据海岛整治工程绩效评价的具体特点,在开展绩效评价工作的过程中应该以有关规定和相关资料作为出发点和主要依据:① 党和国家的方针政策、法律法规、规章制度,包括国家海洋局和财政部通过的各种规章制度,如 《海岛保护法》《中华人民共和国预算法》等;②国务院确定的部门职责范围以及部门事业发展中长期规划和年度计划;③ 海岛整治工程项目预算批复文件以及项目资金管理办法;④ 项目实施管理办法以及项目申报书、可行性研究报告、立项评估报告、中后期验收报告等;⑤项目财务执行报告、决算报告以及与项目有关的其他财务会计资料;⑥其他相关资料。其他各类与海岛整治项目相关的资料,如项目绩效报告、海岛生态环境监测报告、海岛整治修复的技术可行性报告等。

1.3.3 海岛整治工程绩效分析

海岛整治工程是具有战略意义的一项大工程,通过对受到破坏的海岛进行综合整治和修复保护,实现海岛的永续利用。因此,海岛整治工程的绩效对社会和环境的影响远远大于对海岛自身的经济效益。

海岛整治工程绩效评价的内容主要包括两点:①评价的动作和行为,即在项目实施后,对项目的优劣进行评价,检验工程是否如期完成,财政预算是否合格,是否达到海岛整治工程项目建议书的具体目标,是否改善了海岛的生态环境,促进了当地社会的可持续发展等,也就是对项目的经济性、效率性、社会性、可持续性等作出评价[5]。② 评价结果的反馈和改进。通过对项目的整体评价,总结经验教训,以抽离出需要注意的事项,进一步完善关于海岛整治的法律法规,优化整治工程组织结构,完善整治工程管理制度,提高整治工程管理效率,为以后的海岛整治工程积累经验,并指明方向。

因此,在海岛整治工程绩效评价的过程中,我们将从管理的效率、工程的实施过程、工程结果对社会和生态的影响及工程创新等方面进行综合评价,以期得到最全面、最准确的结论。

2 海岛整治工程的绩效评价指标体系

2.1 海岛整治工程绩效评价指标设置的指导思想与原则

建立海岛整治工程绩效评价指标体系要达到3个基本目标:① 能够较为科学地评估海岛整治工程的效率;② 能够较为完整地评估海岛整治工程的绩效评价指标;③ 具有较强的可操作性。基于以上3个基本目标和指导思想,评估指标体系的设计应该遵循以下基本原则[6]。

(1)科学性与可操作性相结合的原则。依据海岛整治工程的特殊性和多样性,设置客观、科学的指标体系。同时,指标设计必须考虑操作性,一定要能够通过第一手资料或第一手资料的收集后进一步处理,采用一定的方法予以计算得到结果。

(2)系统性与层次性相结合的原则。围绕资金的 “投入—过程—产出—效果”、按照管理的流程—— “科研—组织—管理—控制”各个环节指标相结合进行工程项目效率性和有效性的评价。层次性指评价主体设计层次清晰的指标体系,反映利益相关者的不同需求,综合反映不同方面的效率。

(3)重要性与针对性相结合的原则。评价指标体系力求简洁,尽量选择重要的、有代表性的,能够反映海岛整治绩效的综合性指标。而且,评价指标体系应针对所要解决的问题设立,具有一定的针对性,实现对海岛整治工程的综合评价。

(4)动态性与静态性相结合的原则。静态指标描述现状,动态指标则反映发展过程。指标体系要保持动态变化,这一原则是为了保持指标体系的全面性考虑的。现状和发展结合起来考核海岛整治工程绩效比单纯一个静态的现状考核更合理,而且发展本身具有连续性。

(5)定性与定量指标相结合的原则。对于经济效益的评估通常直接用定量指标进行衡量,但由于海岛整治工程更重要的是将产生的经济外部性,即其所产生的社会效益、生态效益、具有的创新性意义等,还较难用定量指标来衡量[7]。

(6)唯一性和全面性相结合的原则。唯一性原则指各个指标之间相互独立,不存在包含、交叉现象。全面性原则是防止指标的 “少”设置。

2.2 海岛整治工程绩效评价指标体系层次的划分

当为海岛整治工程项目设计相应的绩效评价指标体系时,就必然会碰到指标的层级、指标的选用等问题,如果没有一套科学合理的框架结构,可能会造成层级、指标之间的重叠或混乱。

鉴于资金特点和工程特点,为了充分反映海岛整治工程项目绩效的特征,本研究从管理绩效、社会绩效、生态环境绩效、可持续性绩效和创新性绩效等5个评价维度进行绩效评价,从而构成了绩效评价的5个基本维度,即管理绩效、社会绩效、生态环境绩效、可持续性绩效和创新性绩效[8]。

根据海岛整治工程绩效考核的原则和目标,将绩效评价指标体系分为总目标层、准则层、指标层和分指标层4个等级。

第一层次,绩效评价的总目标层。主要明确海岛整治工程项目评价指标体系设置、进行评价的总方向,海岛整治工程绩效评价最终的目标是准确评价出海岛整治工程的绩效。

第二层次,绩效评价的准则层。准则层确定海岛整治工程项目绩效评价的角度和内容,我们根据海岛整治工程的特点和资金来源的特征将其划分为5个维度,主要包括管理绩效、社会绩效、生态环境绩效、可持续绩效和创新性绩效5个方向。

第三层次,指标层。指标层是指标的选择,根据5个准则层来设置,从工程管理的效率、工程的实施过程、对社会和生态环境造成的影响及项目创新等方面进行评价。

第四层次,分指标层。分指标层是对指标层的进一步细化,采用可以获得的指标或指标群,对指标层的指标给予合适的恰当的度量。

在海岛整治工程绩效评价指标体系层次划分的基础之上,初步建立一个全面的指标库。这些指标中有些可能与海岛整治工程绩效相关性不大,有些指标之间可能存在一定的关联,因此将初步的指标体系设计为问卷,发放给海岛整治相关的专家,专家将依据指标设置的目标和原则进行打分[9]。最后综合整理专家们的意见,将原来的指标体系进一步调整,筛选出指标体系34个。具体指标体系见表1所示。

表1 海岛整治工程绩效评价指标体系及指标权重

3 绩效评价的数据收集与处理

3.1 绩效评价指标数据收集的流程设计

海岛整治工程绩效评价数据收集的流程设计主要包括数据收集的时间和数据的传递。海岛整治工程绩效评价数据收集的时间安排上要结合各个海岛整治工程的进度和国家宏观层面的统一安排来进行。

在财政部和国家海洋局层面可要求各省、自治区、直辖市及计划单列市定期汇报海岛整治工作的进展情况、资金使用情况等详细信息,如1年两次,年中和年终各1次。在国家层面以下,各省、自治区、直辖市及计划单列市应担负对海岛整治信息收集的具体工作,详细信息流程可采用从最基层单位逐步上报的模式。

3.2 绩效评价指标数据的处理

海岛整治工程项目最基本的数据信息采集来源于施工第一线,如工程进度、资金到位情况等,但是原始的信息采集是大量的、杂乱无章的,必须对其进行后期的再处理。

3.2.1 数据整理

数据整理是按照数据分析的要求进行的,数据分析思路和目的决定着数据整理分类或分组。海岛整治工程绩效评价数据是为进行绩效评价服务的,需有针对性地选择相应指标的数据。因此,往往需要采用不同分组方式对原始数据进行反复整理。数据整理的基本步骤包括原始数据的审核和归类整理等[10]。

3.2.2 数据审核

数据审核的内容主要包括数据的有效性、准确性和一致性。数据的有效性主要检查是否在规定的调查时间内完成数据的收集,采集的数据是否为规定的调查时点上,或规定的调查时期内的数量特征,以保证统计数据在时间上的准确性和可比性;数据的准确性需要从数据的完整性、真实性和精确性角度进行审核。检查调查对象中每一个单位是否不重复、不遗漏地包含在调查的实际登记资料之中,或抽样调查的抽样框不重复、不遗地包含在调查对象所有的调查单位;数据的一致性指检查数据在时间和空间上的连续性和可比性。

数据审核的方法包括逻辑审核和技术审核。逻辑审核是按照数据审核内容,采用逻辑分析方法,检查原始数据中各项数据是否合理的数据审核方式。技术审核指按照数据审核内容,通过对调查数据原始登记表和其他原始登记材料进行机械性核对,来实施数据审核方式。

3.2.3 分类项目的确定

海岛整治工程绩效评价一共包括5个维度,即管理绩效、社会绩效、生态环境绩效、可持续性绩效和创新性绩效。对收集到的数据具体归属于哪一个评价维度需作出判断和处理,根据之前的指标分类将原始数据按照确定的分类项目分为不同的组别。这一过程既可视为按照分类项目将原始数据分别归入不同的组里,也可看成是按照分类项目的特征将部分具有相同特征的数据合并在同一组中。在这一过程中,强调和突出了原始数据中作为这一分类项目的特征,同时忽略和隐去了原始数据中的其他特征。

图1 AHP法的层次结构

4 海岛整治工程绩效评价方法

4.1 海岛整治工程绩效评价方法的选择

海岛整治工程绩效评价的方法,就是在具体实施评价过程中应该采取的具体工具和方法。海岛整治工程的多样性和复杂性决定了海岛整治工程绩效评价工作方法的多样性。本研究比较之后确定采用综合分析法中的层次分析法,对海岛整治工程绩效进行全面的评价,同时在对指标权重赋值时结合问卷调查法。

4.2 海岛整治工程绩效评价指标权重的确定

层次分析法对绩效评价权重处理的方法与步骤是,在对绩效评价指标充分研究后首先分析问题内在因素间的联系,并把它划分为若干层次:子准则层、准则层、目标层等。子准则层指具体的指标要素;准则层则是评价方案优劣的准则,即二级指标;目标层是解决问题所追求的总目标,即进行绩效评价。把各层间要求的联系用直线表示出来就构成了一个层次结构图,如图1就是一个简单的层次结构图。

通过对海岛整治工程的相关专家发放问卷调查,对各指标权重进行对比打分,采用9级打分法,最后对回收问卷进行数据分析和处理。

AHP法定性等级量化时所采用的1~9标度见表2所示。

表2 等级量化1~9标度含义

使用层次分析法分析进行权重的确定分为以下4个步骤。

4.2.1 建立评价指标的递阶层次结构模型

建立一个多层次的递阶结构,按目标的不同、实现功能的差异,将有关的各个因素按照不同属性自上而下地分解成互不相交的若干层次,同一层的诸因素从属于上一层的因素或对上一层的因素有影响,同时又支配下一层因素或受到下一层因素的作用。

4.2.2 构造两两比较判断矩阵

给出递阶结构中的某一层因素,以及相邻上一层次中的一个因素,两两比较该层的所有因素对上一层因素的影响程度,将比较的结果以数字的形式写入一个矩阵表,即构成判断矩阵,如管理绩效指标下的各子指标两两比较判断矩阵如表3所示。其中,bij表示对B而言,Bi对Bj相对重要性的数值表现形式。

表3 B指标下的各子指标判断矩阵

4.2.3 一致性检验

为了检验判断矩阵的一致性,需要计算其一致性指标CI:

其中,n为判断矩阵的阶数。另外,由于矩阵的一致性还有随机性,还引入了随机一致性指标RI,其值的大小只与矩阵的阶数n有关。表4是1~10阶矩阵的RI取值。

表4 1~10阶矩阵的RI取值

检验判断矩阵的一致性是用一致性比率CR:

一般而言,CR越小,判断矩阵的一致性越好;当CR≤0.1时就认为判断矩阵满足了一致性要求。

4.2.4 海岛整治工程绩效评价指标权重计算

在上述基础上,对专家打分进行数据统计和处理,进行一致性检验,检验通过之后计算一级指标和二级指标权重见表1所示。

在指标体系结构中,二级指标下面有很多细化的指标要素,从所有指标要素中依据不同的考核角度,筛选出最重要、最具有代表性和针对性的具体指标考核要素作为三级指标。每一个二级指标下属的三级指标考核的角度和内容都不尽相同,无法从同一个平台上给出各自权重的大小,鉴于此,每个二级指标下面的三级指标所占的权重相等。

其中,需要指出说明的是三级指标C17,即对本地居民的影响,该项指标分为两种情况:存在本地居民时该项指标作为考核内容之一,应该占B6社会经济环境指标的1/3权重;当不存在本地居民时,该项指标也相应不存在,因此指标C16对区域经济发展的贡献和指标C18提升海岛自身的使用价值应该各占B6社会经济环境指标的1/2权重。

4.3 海岛整治工程绩效综合评价方法

对每个指标进行打分后,还必须将指标与相应的权重相结合,通过加权评价法得到逐级计算,从而得出海岛整治工程绩效综合评价的总体得分。加权评价法的具体实施步骤如下。

(1)邀请n位专家根据实施效果依次对单一指标打分,即Yij。

(2)根据式 (3)计算单一指标得分。

(3)依据各层指标权重,利用式 (4)逐层计算各层指标得分,最终得到综合得分。

式中:Ej为第j项评价指标的最后分值;Yij为第i专家给第j项评价指标的分值;n为专家人数;i为其中一位专家。

式中:w为下一级各指标权重矩阵;e为下一级各指标得分矩阵;b为该级各指标得分向量。

在得出整治工程绩效综合评价的总得分之后,根据得分情况的不同,便可以对项目的绩效作出初步判断。低于60分的,可以认为项目存在严重问题,无法满足海岛整治工程科学性、合理性的需要,没有从根本上起到整治的作用,必须从多方面进行整改。介于60~80分,海岛整治的性质已经有初步体现,过程中也能综合考虑各方面的因素,有一套相应的制度和管理体系作为整治工程的保障,但仍有需要改善及注意的地方。得分高于80的,可以认为达到了海岛整治工程的目标,制度完善,管理决策体系完整高效,工程存在许多闪光点,可以将其中的经验教训进一步提高、总结,供以后的海岛整治工程进行借鉴。

5 结束语

科学合理地进行绩效评价是海岛整治工程成功实施的关键之一。为了对海岛整治工程绩效进行评价,本研究从总目标层、准则层、指标层和分指标层4个等级出发,创造性地构建了海岛整治工程评价指标体系,以希望促进海岛整治工程的顺利实施,促使海岛的明天更美好。

[1]陆庆平.公共支出的绩效管理[J].财政研究,2003(4):18-20.

[2]国家海洋局.中国海洋发展报告2010[R].北京:海洋出版社,2010.

[3]贺剑波.政府公共工程绩效审计评价体系简介[J].财政监督,2007(16):61-62.

[4]CHEN SHAO HUA,Martin Ravallion.Hidden Impact of Ex-Post Evaluation of an Anti-Poverty Program[R].Washington:Development Research Group World Bank,2003:219-247.

[5]BODSON J.CGSDL Measuring Policy Perofrmance:The Dashboard Tool[R].French:Isabelle Lelandais Analyst and Project Office,2007.

[6]HANLEY N.Measuring sustainability:A time series of alternative indicator for Scotland[J].EcologicalEconomics.1999(28):55-73.

[7]KAISER H F.An index of factorial simplicity[J].sychometric,1974(39):31-36.

[8]ATKINSON R.Project management cost time and quality,two best guesses and a phenomenon,its time to accept other success criteria[J].International Journal of Project Management,1999,17(6):337-342.

[9]STEWART W E.Balanced scorecard for projects[J].Project Management Journal,2001,32(1):38-53.

[10]ZENG XIANG YUN.Enterprise performance evaluation based-on the the2ory of Supply Chain Management[J].Enterprise management,2001:50-53.

猜你喜欢
海岛绩效评价整治
笃行不怠 奋力深化提升三年专项整治
专项整治
专项整治
冰与火共存的海岛
在海岛度假
养殖业整治需多措并举
基于BSC的KPI绩效评价体系探析
非营利组织绩效评价体系的构建
气象部门财政支出绩效评价初探
绩效评价及其政策选择