国际视野下农业建设项目绩效评价指标设计

2013-09-06 09:43李凌何君耿大立
关键词:建设项目绩效评价指标体系

李凌,何君,耿大立

(1.北京农业职业学院 职业教育研究所,北京102442;2.农业部对外经济合作中心,北京100125)

党的十八大报告中指出要推动城乡发展一体化,要加大统筹城乡发展力度,增强农村发展活力,逐步缩小城乡差距,促进城乡共同繁荣。加快发展现代农业,增强农业综合生产能力,确保国家粮食安全和重要农产品有效供给。坚持把国家基础设施建设和社会事业发展重点放在农村。我们有理由相信在农村的农业投资建设力度会进一步加大。

《中华人民共和国国民经济和社会发展第十二个五年规划纲要》提出要借鉴国外先进经验、制度与管理方法的政策导向要求,不断完善政府投资农业项目全过程管理,增强资金使用效率和提升项目效果。我们需要认真研究国内外农业建设项目的绩效评估体系及绩效指标体系制定的理念和方法,在此基础上,建立针对国内农业建设项目特点的绩效评价框架和指标,推动农业建设项目的绩效管理,推动城乡一体化和新农村建设。

一、国际金融组织绩效评价指标设计的经验

世界银行和亚洲开发银行作为国际金融组织(以下简称国金组织),提供贷款所支持的项目更注重社会效益,这与各国政府公共投资项目的目标具有一致性。管理系统的核心在于以结果为导向,贯穿项目始终的全过程管理,并形成了绩效评价的理念和指标设计的方法。

(一)国金组织指标设计理念

1.充分体现以结果为导向的管理理念

目前,国际金融组织的项目绩效管理采用的是发展结果导向管理 (Management for Development Results)。[1]2003年,世界银行开始实施“发展结果管理行动计划”(Managing for Development Results Action Plan),并在监测与评价中引入 “逻辑框架”,监测评价的重点从产出向成效转变。

这一管理方法要求有清晰的目的和目标,具备能度量和监测绩效结果的体系,国金组织采用的逻辑框架是设计文件的一个有机组成部分,是项目实施、评估和后评估阶段的主要信息来源。在项目设计阶段就确立逻辑框架,其中体现了投入—活动—产出—成果—影响的结果链,据此开发出的指标框架也就支持了发展结果导向管理,体现了以结果为导向的管理理念。[2]

2.指标体系开发逻辑完整,方法完善

国金组织的指标体系以逻辑框架为基础,在纵向上针对项目产出、成果和影响,从横向上开发出相应的指标,并确定指标来源和信息如何处理,整体上体现了完整的逻辑关系。指标体系开发有四个主要特点:

一是通过明确原则对开发指标进行规范。如亚行采用的是实现优良绩效的 “SMART”的原则,要求指标开发要遵守5个原则:

具体的 (Specific):指标定义清晰,不产生歧义的;

可衡量的 (Measurable):有确定的评价基准 (Benchmark)对其进行衡量和分析;

实现的 (Achievable):在现实条件下可以收集到相关证据;

相关的 (Relevant):指标与对应的关键评价问题要相关,能够为管理提供有用的信息;

时限的 (Time-bound):具有确定的时间范围。

以上原则有利于判断所开发指标的适用性。

二是通过操作规范明确了指标开发的步骤。我们以某农业发展项目为例说明以上步骤,该项目的目标是某地区的农民提高农业创收能力 (见下表)。

农业第1步:确定基本的指标,即确定要衡量的内容步骤小农的稻米产量提高第2步:决定数量的增加与减少的数量至少1000个小农 (自有土地面积3公顷及以下)的稻米产量至少提高30%,即从5吨增加到6.5吨。第3步:描述性质,确定是什么类型的变化至少1000个小农 (自有土地面积3公顷及以下)的稻米产量至少提高30%,即从5吨增加到6.5吨,同时保持稻米质量仍达到2004年的标准 (平均谷粒重量)。第4步:添加完成时限,即明确完成任务的截止日期。从2007年开始,每年至少1000个小农 (自有土地面积3公顷及以下)的稻米产量至少提高30%,即从5吨增加到6.5吨,同时保持稻米质量仍达到2004年的标准 (平均谷粒重量)。

国金组织这种细致的指导性规范保障了方法统一,也可以减少人为差异。

三是明确了指标来源。国金组织对指标来源会给出参考,如亚行制定了 《国别战略与规划》,实施机构已经将其作为其管理信息系统的一部分所采纳的指标;其它项目或援助机构用于衡量类似的产出、成果和影响的指标;全球性实体,如世界经济论坛和透明国际采用的,通常侧重点是国别绩效的某些方面的相关指标;在相应专业领域,如电力、水和电信部门的实体通常采用的指标作为参考指标来源,并指出理想的指标是那些由相关政府部门、私营机构或者非政府组织进行了数据收集工作的指标,或者是能够从其它国内渠道得到数据的指标。这种具体意见有利于减少指标开发成本,提高指标可靠性。

四是鼓励利益相关方参与指标开发。国金组织在指标开发过程中鼓励设计、实施和受益方的共同参与,这种做法可以吸纳各方的认识,形成共识,这不仅有利于开发出切实可行的指标体系,还可以提高利益相关方的归属感,对提高项目绩效也有积极的作用。

3.构建了开放性和共享性的分类指标体系和数据库

国金组织都建立了系统的指标库,供进行项目监测与评价时选用。如亚洲开发银行在 《项目绩效指标设计和选用手册》中,建立了包括农业与资源、能源、供水和其他城市基础设施与服务以及交通通讯在内的四大部门的指标库,在每个部门中,又根据行业特点,分出了不同的次部门,如农业与自然资源部门包括了农业生产与市场、灌溉、排水与防洪、渔业、林业、畜牧业、土地资源管理、水资源管理、农业与农村区域发展等八个次部门。

其指标库列出了每一个次部门的影响和成果层面期望达到的可能目标,从每一个目标现有的统计资料和定期发布的行业报告等资料中选出了相关的衡量指标,并给出了每一指标的来源。这些指标库还显示出开放性和共享性的特点。指标体系能够不断地根据监测需要和实际情况进行完善和改进,具有开放性;另外,不同的项目实施主体可以根据具体项目参考指标库内容,对产出层面的指标根据项目范围设计具体的衡量指标,具有共享性。[3]

(二)国金组织指标体系的基本框架

国金组织指标体系一般围绕 “投入Input”、“产出Output”、 “成果Outcome”、 “影响Impact”四个方面进行设计。我们以世界银行贷款扶贫项目为例,探讨指标的基本框架。[4]

首先,投入产出类的指标主要衡量管理效率。从资金传递的总量和时间上来衡量资金、项目和规划管理的效率。

其次,成果类指标主要是对效果的衡量,着重从社会的角度,对扶贫产出的利用情况进行监测,反映的是扶贫效益,对提高扶贫政策的瞄准性和防止扶贫利益的渗漏具有重要作用。世界银行贷款的扶贫项目在经济维度方面,主要选择一些能较好反映当地减贫情况及经济发展水平状况的指标,在社会维度方面,主要选择一些能较好反映当地教育卫生状况及性别敏感的指标;在政治维度方面,主要选择一些能较好反映贫困群体话语权、参与权及决策权,社区稳定及村级基层自助组织建设等方面的指标;在环境维度方面,主要选择一些能较好反映或影响当地自然环境变化的指标。

第三,影响类指标主要是监测扶贫政策措施对受扶持对象的政治、经济、社会、素质和生产生活水平等方面产生的影响,侧重于从政治和社会稳定的角度对扶贫政策措施进行监测,这是政府对扶贫投资的期望回报,也是促使主要扶贫投资者 (政府)加大扶贫投入的原动力。世界银行贷款的扶贫项目在经济维度的影响衡量上,通过“恩戈尔系数”、“贫困发生率”等指标来测量扶贫影响;在社会维度的影响衡量上,通过分性别的 “贫困户家庭小学辍学率”、“贫困户家庭初中辍学率”、“贫困户儿童营养不良率”等指标来测量扶贫影响;在政治维度的影响衡量上,世界银行贷款的扶贫项目通过 “群体事件起数”、“农民权益纠纷起数”等指标对中央相关农村整体政策满意度等村级指量上,通过 “因灾返贫农户比率”、“自然灾害发生频率”等指标测量扶贫项目的影响。

以上指标框架可以简要概括如下:

规划概述 绩效目标/指标数据来源/报告机制 假设/风险影响成果产出关键活动 投入

(三)国金组织指标体系的分类

根据不同的绩效衡量和监测以及评价的目的,国金组织对绩效指标给出了不同的分类。按衡量的目标和层次分类,指标体系可以分为影响指标、成果指标和产出指标。按照项目绩效评价,指标分为相关性指标、效率指标、效果指标、可持续性指标和影响指标;按衡量目标的方法可以将指标分为直接指标和代理指标。按照能否量化可以分为定量指标和定性指标。

(四)国金组织指标设计和信息收集

绩效指标为绩效的衡量提供了一个有效的工具。其方法是,通过把各个层面的目标,转化为可以定量或定性的指标,并对相应的指标进行监测,再通过对绩效指标监测和数据信息的分析,评估目标是否得以实现或实现的可能性。为了实现目标到绩效指标的转化和指标信息的收集,需要经过四个步骤 (?):第一步是对目标进行分解。就是把各层面的目标分解成一个个清晰而独立的目标单元。这是因为每一个层面的目标往往是综合和多方面的。为全面地、完整地衡量这一目标,就需要明确所有的内容。第二步是进行指标的设计和选择。就是对分解后的目标单元,设计和选择其衡量指标。第三步是考虑指标的数据来源,确认绩效指标。第四步是确认绩效指标的基准数据和目标值。(如下图所示)

收集信息的来源可以分为内部来源和外部机构的收集。项目内部监测的信息来源于项目办和/或项目实施机构,通过层层上报的方式最终汇总到最高级别的项目办。信息收集方法包括统计、实地监测、调查、访谈等。独立监测信息由外部机构收集。

二、政府投资农业建设项目绩效评价指标设计的做法和问题

2011年4月2日财预 [2011]285号,财政部颁布了 《财政支出绩效评价管理暂行办法》的通知,该通知对于积极推进预算绩效管理工作,规范财政支出绩效评价行为,建立科学、合理的绩效评价管理体系,提高财政资金使用效益,发挥了指导规范作用。

(一)设计原则

财政支出项目绩效评价指标设计遵循了以下原则:

一是相关性原则。评价指标与绩效目标有直接的联系,能够恰当反映目标的实现程度。

二是重要性原则。优先使用最具评价对象代表性、最能反映评价要求的核心指标。

三是可比性原则。对同类评价对象要设定共性的绩效评价指标,以便于评价结果可以相互比较。

四是系统性原则。将定量指标与定性指标相结合,系统反映财政支出所产生的社会效益、经济效益、环境效益和可持续影响等。

五是经济性原则。指标设计通俗易懂、简便易行,数据的获得有限考虑现实条件和可操作性,符合成本效益原则。

上述原则反映了中国在指标开发方面的特点,如重视评价结果的比较,其相关性、经济性和系统性原则与国金组织也有相同之处。[5]

(二)指标分类

《财政支出绩效评价管理暂行办法》规定,项目的绩效评价指标分为共性指标和个性指标两大类。

共性指标是适用于所有评价对象的指标,与国金组织的相关性指标和效率指标比较一致。是指对每一个评估对象、部门都涉及的指标,主要包括预算编制和执行情况、财务管理状况、资产配置、使用、处置及其收益管理情况以及社会效益、经济效益等。共性指标由财政部门统一制定。

个性指标是针对预算部门或项目特点设定的,适用于不同预算部门或项目的业绩评价指标。是依据每个评估对象特征的评价指标。个性指标由财政部门会同预算部门制定。

从指标的开发主体看,财政支出绩效评价指标体系是由财政部门主导的,与国金组织强调的参与主体多元化、重视相关利益方的参与有很大区别。

(三)指标设计存在的主要问题

1.设计理念侧重合规性评价导致绩效评价的内容不够完整

我国现行的相关政策和制度安排中反映出的最典型的理念是 “以我为主”,相关部门容易倾向于从自身的角度考虑、分析问题,履行管理职能。在这种思维模式,或者说 “以政府为主”的理念支配下,政府投资的绩效评价往往成为政府的 “自我评价”。作为模版的指标体系尤为重视合规性评价,容易忽略对政府投资项目的目标评价和外部效应评价。

2.指标开发过程缺乏规范性影响绩效管理水平

政府投资项目在绩效管理上会运用相应的指标体系,但整体上缺乏细致的方法论作为指导,单纯依靠专家能力甚至是闭门造车的现象比较普遍。由于缺乏对指标开发的步骤、信息来源、参与者以及方法的详细规定,项目绩效评价达到“以项目结果为导向”的要求很难反映到指标体系的开发中来,影响了绩效管理的水平。

3.指标体系缺乏逻辑性影响评价的有效性难以把握评价重点

财政支出绩效评价所使用的指标框架包括项目决策、项目管理和项目绩效三大类,直观来看,这种分类方式是平行的,相互之间的逻辑关系不够明确。平行式的指标框架安排使得在开发具体指标的时候,也容易按照平行的逻辑去考虑。而项目目标的实现是按照投入—产出—成果—影响这一纵向逻辑得以实现的。如何在财政支出绩效评价指标体系中梳理出围绕项目目标的逻辑关系,并体现在具体的指标开发中还需要进一步探讨。

三、政府投资农业建设项目的特点及绩效指标开发建议

近年来,各级政府对农业建设项目的投资加大,为更好做好绩效评价,需要借鉴国际理念,研究政府投资农业建设项目的特点,开发适合中国国情的指标体系。

(一)政府投资农业建设项目的特点

政府投资农业建设项目是指通过政府财政安排的用于农业基础设施和公益性事业建设,以扩大生产 (业务)能力或新增工程效益、增强农业发展后劲和事业发展能力为主要目的,且能形成新的固定资产而实施的建设项目。其具有以下特点。

1.公共性与公益性

农业项目产出具有较强的 “准公共产品”特征,表现在项目内容上主要涉及基础设施、能力建设和环境保护等,在项目效果上主要是保障粮食安全、食品安全和水土保持等,具有深远的社会和环境影响。但是农业是比较效益较低、社会效益明显的产业,受农产品价格因素制约,农业建设项目本身的投资回报率较低,具有基础性和弱质特性。与其他行业相比,政府投资农业建设项目承担着提高农业生产能力、增加农民收入、改善农村生产生活条件、保护农业资源、改善生态环境、支撑以农业产品为原料的相关产业发展等多方面而且不可替代的作用,具有显著的基础性和公益性的特征。

2.主体多样性

农业建设项目从申请、立项、设计、执行到竣工,农业建设项目的参与主体涉及中央及地方各级发改部门、财政部门和农业部门,各级项目办公室、项目企业和农户,同时还包括与项目相关的其他政府职能部门、事业单位和机构等,具有主体多样性的特点。

3.内容复杂性

农业建设项目的复杂性体现在三个方面。一是农业建设项目常常呈现出跨流域、跨区域以及多行业领域交叉的特点。为了能够标本兼治地解决某一农业领域所面临的发展问题,需要从统筹兼顾、区域协调的原则出发,制定跨省份、涉及多个行业领域的项目活动,如农业综合开发类项目,需要综合考虑种植、养殖、水利设施、技术推广等农业相关领域。二是农业建设项目涉及行业多。主要包括种植业、畜牧业、兽医、渔业、农垦、农业机械、乡镇企业等行业,每个行业都各有特点。三是农业建设项目涉及内容多。农业建设项目涉及的内容包括农业生产、农村经济、农民生活和农业生态环境等方面,耕地质量建设、科技创新和技术推广、病虫害和动物疫病防控、农产品质量检验监测、生物质能源开发、市场信息、农产品加工和营销等等。[6]

(二)政府投资农业建设项目绩效指标设计应遵循的原则

政府投资农业建设项目绩效指标体系的开发应遵循 “基本准则为前提,关键问题定方向,基本指标重特点,个性指标选择用”的思路,同时做到 “基本指标”和 “个性指标”的易表述性和可计量性。[7]

1.相关性原则

绩效评价的目的在于提高管理效率,完成农业建设项目的目标,就需要在选定绩效指标的时候就要考虑指标能够体现考量项目绩效,尽量满足持续改进项目管理的需求。评价指标体系的设置具有相关性,需要做到三点。一是设计评价指标要有科学的绩效评价的理论做指导,指标体系抓住项目绩效评价的基本概念,做到逻辑结构严谨合理,评价内容具有针对性,抓住农业建设的本质。[8]二是符合农业建设项目的性质、特点、关系和项目管理进展。三是做好调研和动态监测。指标体系中各项二级、三级指标在设计前要经过充分的调研、论证,注重动态的监测,在对收集的数据进行周密、细致的统计分析的基础上经过项目点的实用才可以设计推广到相关的项目中。[9]

2.重要性和系统性相结合的原则

农业建设项目往往是系统的工程,项目的目标是多方面的,在评价的时候,就需要把握项目的特点,选择最具代表性、最能反映绩效评价要求的指标,即找到重要性的指标,无论采用定性评价、定量分析,还是建立模型,绩效评价指标体系都应该是客观的抽象描述,抓住能够评价项目的核心、本质,能够体现具有代表性的内容。

同时,指标的选择在抓住重要指标的前提下,还要注重指标的系统性。农业建设项目的评价对象必须用若干指标进行衡量,系统性原则要求这些指标能够提前项目的进程和逻辑关系,指标之间互相联系、互相制约。农业建设项目的系统性指标需要从项目的设计、项目的投入和产出、项目的效果和影响、项目的可持续性、项目存在的风险等几个方面设计一级指标,这是评价指标的逻辑顺序,体现以结果为导向的绩效评价。首先是指标体系的层次设置。采用系统分解和层次结构分析法,由总指标分解成次级指标,再由次级指标分解成再次级指标 (通常人们把这三个层次称为目标层、准则层和指标层),并组成树状结构的指标体系,使体系的各个要素及其结构都能满足系统优化要求;其次是做好指标选择,需要考虑各指标对实现评价目标的重要程度、各类指标在指标体系中的合理构成以及指标间的关联度,做好指标的合理取舍和指标权重的设置;指标数量以够用有效为原则,用较少的指标全面系统的反映评价对象的内容,既要避免指标体系过于庞杂,又要避免单因素选择,追求的是评价指标体系的总体最优或满意。做好指标的系统、层次和具体的指标,从而构建科学、完整的绩效评价系统,做到评价指标既能突出重点,又能体现系统完整,实现指标体系的重要性和系统性的结合。[10]

3.共性与特性相结合的原则

农业建设项目有共性的特点,同时不同的项目又有各自的个性,,在设计农业建设投资项目的指标的时候,可以学习借鉴世界金融组织的做法,如亚洲开发银行在 《项目绩效指标设计和选用手册》的农业与自然资源部门包括了农业生产与市场、灌溉、排水与防洪、渔业、林业、畜牧业、土地资源管理、水资源管理、农业与农村区域发展等八个次部门的指标,每个次部门指标具有共性的特点。同时需要对各个次部门领域、不同农业建设项目设置特性评价指标。[11]

4.科学规范和有效实用相结合的原则

农业建设项目的指标的建立在理念上需要充分体现以结果为导向的管理理念,围绕投入、产出、成果和影响四个方面进行设计,做到体系逻辑完整,开发步骤科学,鼓励相关利益主体参与,逐渐建立指标库,这是指标体系建设科学规范的要求。

同时在保证科学规范的基础上,充分考虑绩效评价指标的数据可获得性和评价的可操作性,能够用合理的经济成本开展项目的绩效评价,达到有效实用。做到指标简化,方法简单,数据要易于获取。

5.定性与定量相结合的原则

即对于能够量化的内容要尽量采用定量指标进行评价,在设计指标体系时,要注重设计可量化的指标,坚持定量与定性相结合,以定量指标为主的思路,确保评价结果的客观性。对于无法量化的内容可采用定性指标进行评价。

(三)农业建设项目绩效评价指标框架的开发建议

农业建设项目绩效评价指标的设计应从项目预期实现的目标出发,关注项目直接产生的、可以确定的结果,以及由于项目实施带来的可测量的变化。

农业建设项目绩效评价框架应与财政支出绩效评价指标框架保持一致,设定项目决策、项目管理和项目绩效三个一级指标,围绕一级指标,然后设计,体现结果链的二级、三级关键指标。

指标体系建议采用100分制,可由评价专家组、实施主和受益方共同研究,在分析农业行业和具体农业项目特点的基础上确定各级指标的分值。首先,由评价专家组确定评价指标框架以及个性指标;其次,由专家组按照项目特点和重要性,给出各级指标的分值;再次,评价小组根据评价依据对每一个个性指标 (或基本指标)打分;最后,逐级汇总合计可得到项目绩效评价的综合分值。

有科学性指导性的绩效指标的设计不可能一蹴而就,在实际绩效评价过程中,需要积极探索在财政支出绩效评价指标框架的基础上,按照能反映项目结果链的思路进行指标开发,逐步形成具有完整逻辑的指标体系,针对农业行业涵盖广泛的特点,在基本指标和个性指标所反映共性的基础上,进一步开发农业子行业的 “一揽子”指标库,开展农业项目绩效评价的试点工作,完善指标体系开发的方法,提高指标的适用性。

[1]戴钰,刘亦文.我国政府绩效评估最新研究进展综述 [J].科技管理研究,2010(4):57-59.

[2]蔡立辉.西方国家政府绩效评估的理念及其启示 [J].清华大学学报 (哲学社会科学版),2003,18(1):76-84.

[3]亚洲开发银行.亚洲开发银行贷款项目管理手册 (内部资料)[Z].235-249.

[4]亚洲开发银行.项目绩效指标设计和选用手册 (内部资料)[Z].8.

[5]《财政部关于开展中央政府投资项目预算绩效评价工作的指导意见》[Z].财建 [2004]729号,2004-12-23.

[6]刘艳.政府投资农业建设项目后评价有关问题的探讨 [J].中国工程咨询,2006(6):24-26.

[7]王瑾,陆欣.焦化区生态环境可持续发展力评价指标体系研究 [J].山西农业大学学报 (社会科学版),2005(3):232-235.

[8]孙迎春.政府绩效评估的理论发展与实践探索 [J].中国行政管理,2009,291(9):29-33.

[9]邓玲,王彬彬.统筹城乡发展评价指标体系研究——基于成都市温江区的实证应用 [J].西南民族大学学报 (人文社科版),2008 (4):80-84.

[10]冯飞燕,郭玉明,韩永英,等.山西省农机化项目绩效评价指标体系的建立与分析 [J].山西农业大学学报 (自然科学版),2007,27 (1):93-95.

猜你喜欢
建设项目绩效评价指标体系
基于环保竣工验收对建设项目环评的分析
推动工程建设项目“非禁即入”普遍落实
层次分析法在生态系统健康评价指标体系中的应用
供给侧改革指标体系初探
基于BSC的KPI绩效评价体系探析
非营利组织绩效评价体系的构建
气象部门财政支出绩效评价初探
做好对重大建设项目的监督
工程建设项目的招投标
测土配方施肥指标体系建立中‘3414