公共项目绩效管理考评指标体系模型研究

2013-10-11 11:57程素杰张国兴张绪涛
华东经济管理 2013年2期
关键词:指标体系神经网络指标

程素杰,张国兴,张绪涛

(兰州大学 管理学院,甘肃 兰州 730000)

一、引 言

公共项目绩效管理考评是市场经济和社会进步对公共项目管理提出的必然要求。在市场经济条件下,一个国家的公共部门投资在整个国家经济投资中占有很大的比重,为社会和经济的发展奠定了基础[1]。改革开放以来,随着政府投资的大型公共项目的增多,所谓的“面子工程”、“献礼工程”、“烂尾工程”的现象此起彼伏。大规模、高标准公共项目的超前建设,使政府在公共项目竣工后陷于设施使用率低而维护成本昂贵的困境,例如珠海三灶机场由于20年前的超前建设,到目前为止其综合利用率尚未达到10%。为遏制公共项目的低效循环及其衍生的社会腐败问题,国家越来越重视公共项目绩效管理考评工作,而且随着政治和经济体制改革不断深入,社会公众对项目绩效管理的监督意识不断提升,公共项目绩效管理的效率和价值导向问题也就逐渐受到重视。

我国公共项目绩效管理考评工作始于20世纪80年代中后期,2003年党的十六届三中全会明确提出了建立项目绩效考评体系的要求,为我国建立政府公共项目绩效考评制度提出了任务;四川省监察厅和省计委于2003年成立《政府投资重大建设项目违规行为分析及对策研究》课题组,设计了《关于重大建设项目建设情况问卷调查表》;2006年国家发改委和建设部联合发布《建设项目经济考评方法与参数(第三版)》,首次明确提出公共项目是政府委托相关部门生产或提供公共物品或服务来满足社会公众需要的项目;孙明远(2009)认为财政投资项目绩效考评应当与公共财政职能相匹配,不仅要衡量和考评财政投资的经济性、效率性和效果性,还要反映活动实施主体对预定活动过程的遵从度及公众满意度[2]。

公共项目绩效考评指标体系建设是开展绩效考评工作的重点及难点,缺乏考评绩效指标相应的考评活动就无法正常有效开展。公共项目往往被视作政府的“政绩”,如何对其考评后给出相应的“成绩单”,不仅是社会向前发展的客观要求,亦为学术界值得关注的课题[3]。公共项目绩效管理考评已成为一种社会现象,其绩效管理考评指标体系研究就显得日益重要。

二、公共项目绩效管理考评相关研究

西方对公共项目绩效考评的研究较多。在政府部门实施系统化的绩效测控和报告制度,将绩效信息整合到政策和管理中,提高政府的绩效、责任性和回应性[4]。美国是世界上最早实施公共项目考评工作的国家,经过多年的发展,美国的项目评估已建立了公共项目考评支持系统[5]。美国国会于1993年1月通过了《政府绩效与结果法案》。美国政府又于1993年3月成立了国家绩效评价委员会,负责法案的监督和实施;澳大利亚联邦政府从1985年开始实施科技项目的绩效考评试点工作,1993年全面推行科技项目绩效考评,1999年对公共部门所有支出预算进行绩效考评;Norman Flynn(1997)指出政府绩效管理的必要性体现在落实责任、满足利害关系人的期望和对结果导向的强调[6]。Ammons(1995)也认为通过绩效考评,组织可以获取市民信任,市民也会觉得其在纳税后得到合理回报[7]。西方国家绩效考评方法也日益丰富,“3E”考评法、标杆管理法、平衡记分卡法、净值分析法、神经网络法、关键成功因素法等,使得公共项目管理绩效考评方法日益完善。

在我国,公共项目绩效管理及其考评起步相对比较晚,一些国内研究者如贾康、白景明(2003)认为要解决我国各级政府存在的公共支出渠道多、规模大、资金低效甚至浪费等严重问题,客观上需要一个科学合理的公共投资绩效考评体系[8]。还有我国在一些重大公共项目方面如国家对攻关计划的评价、“863”计划评价和高新技术开发区评价方面开展了一系列研究和实践探索[9-10]。张军果等(2007)基于科技项目后评价视角构建了财政科技项目绩效考评体系,运用模糊数学法计算科技项目的投入产出比并给出了基础研究、应用研究和试验发展三类项目的绩效考评体系[11]。杜亚灵,尹贻林(2008)也认为公共项目管理绩效改善的基础和标尺是绩效考评,只有通过全面有效的绩效考评,深入分析绩效考评结果,绩效改善才能有的放矢、事半功倍[12]。翟启江等(2009)根据环保公益性行业科研项目绩效考评的探索和实践,研究并提出了项目绩效考评工作的内容、指标和流程[13]。

综合文献资料所述,目前国内外对公共项目绩效管理考评工作,不论是相关部门的评价指引,还是学界的理论、方法和实证探讨,虽然都冠名“绩效”,但是大多还停留在学术探讨交流的层面,一套统一完善的考评指标体系尚未形成。事实上,公共项目绩效考评往往被忽视,与绩效的内涵要求相差甚远。特别是在我国计划经济条件下形成的政府公共项目等同“政治项目”思维的影响及由此衍生的重前期立项、轻后期评价的状况并未得到根本改善,造成我国公共项目绩效管理不到位、效率低下。而其更深层原因不仅是政府公共项目的非盈利性,更是通用的指标体系框架尚未完全体现项目绩效管理的价值、构建的指标体系与公共项目绩效管理考评价值目标难以耦合以及选用的考评工具不够科学,最终导致公共项目绩效管理考评工作主观随意性大、精度不够、绩效管理考评指标间的相对重要性得不到科学体现、绩效管理考评价值失衡如公共服务、公共责任、公正公平价值的缺失,更不能体现公共项目所固有的正外部性,不能科学完善地考评公共项目的管理绩效[14]。本文将基于层次分析法(Analytic Hierarchy Process简称AHP)和模糊综合法的神经网络模型,对公共项目绩效管理指标体系进行考评,为科学地进行绩效管理考评提供理论借鉴。

三、公共项目绩效管理考评指标体系构建

(一)考评指标体系构建的原则

公共项目的管理绩效指标体系要从哪些方面开展考评,一套系统科学完善的公共项目考评指标体系是实施项目绩效考评的基础,它直接关系到考评结果的有效性。在公共项目绩效管理考评指标体系研究中,选取并建立项目绩效管理考评指标要遵循一定原则,使其既具有公共项目绩效管理考评的普遍适用性,又能体现项目绩效管理的价值导向目标。公共项目绩效管理考评指标体系构建应遵循的原则有:

(1)价值导向原则。这是公共项目绩效管理考评指标从其绩效管理的社会公众满意度和公平性目标中衍生而出的,强调绩效管理考评指标对整个公共项目管理绩效的引导作用,通过其引导促使项目绩效管理相关利益方为绩效管理目标做出贡献。大型公共项目应该尽可能地使社会福利最大化,让尽可能多的公众享受其效益,能否让受益者满意是大型公共项目投资绩效考评的核心准则[15]。

(2)相关性原则。只有与绩效考核要实现的目标和考评内容高度相关,才能准确地做出客观评价,因此相关性原则是构建公共环境项目绩效考评指标体系所必须遵循的。

(3)实用性原则。根据财政经济和社会发展的现状和趋势,设计并选择相应的考评指标,公共项目绩效考评指标的价值在于它的有效性、能应用于实践及具有较强的可操作性。

(4)系统性原则。大多公共项目规模大,集环境、经济、风险等因素为一体,对其评价必须采用系统观点,在系统的相互关联和制约中描述系统的特征。具体操作中,对指标体系的设计既要突出重点,又不能以偏概全,以便对项目绩效管理做出整体的分析和考评。

(5)层次性原则。绩效管理考评指标的构建应能准确反映各层次之间的支配关系,各指标有明确内涵,按照层次递进的关系,组成层次分明结构合理的考评指标体系。

(6)独立性原则。公共项目绩效管理考评涉及的指标较多,许多指标存在一定的重复性和相关性,构建指标体系时应使考评指标相关性尽量小,指标之间互不影响,避免互相包容的关系。

(7)动态完善性原则。科学有效的项目绩效考评是一个长期过程,并非一次完成的。保持考评指标动态完善,使公共项目绩效考评测量的结果之间具有参考性;考评标准的适用性和有效性会随着时间、环境条件的变化而变化,要依据具体情况动态地确定考评指标。

(8)操作便捷原则。不同公共项目的绩效管理进行比较,其考评指标的构建在计算口径上要一致,尽可能实现不同区域、不同公共项目的考评,使指标尽可能做到操作便捷性。同时,指标含义要明确,对考评指标要进行量化,使不同指标之间分别具有纵向和横向的可比性。

(9)注重社会和国家的宏观效果原则。公共项目是以提供公共物品为特征的项目,其考评指标的选取不应仅仅局限于公共项目本身的销售收入和利润方面,而应该选取那些以增进社会经济效益、增加整个社会福利价值为基本依据的因素。

(二)考评指标体系构建

西方国家在公共项目绩效管理考评指标设计上围绕“三E”即经济(Economy)、效率(Efficiency)、效益(Effective⁃ness)展开。我国现有的公共项目绩效管理考评指标体系中,有可量化的“硬指标”如财务性指标和经济性指标,又有难以量化的“软指标”如社会性指标。但是整个考评体系框架并没在完全体现市场经济条件下公共项目绩效管理考评价值导向目标的要求,如公共项目衍生出的公共服务的均衡化程度等。

由于很难对公共项目绩效管理的全部行为活动和结果进行审核测量,本文综合考虑到目前公共投资项目绩效管理考评及其指标体系存在的问题,根据公共项目绩效管理考评指标的原则,突出以公众利益价值为本的公平责任性指标,多角度全方位对公共项目的管理绩效进行考核评价,构建的公共项目绩效考评指标体系层次结构图如图1所示。

图1 公共项目绩效管理考评指标层次结构图

在确定了公共项目绩效考评指标体系层级结构的基础上,通过分析和研究构建的绩效管理指标系统涵盖了如图1所示的6个一级指标、13个二级指标及每个二级指标相对应的如下若干关键考评要素:

(1)资金筹集指标。资金筹集合格率、资金充足率、资金到位率、筹集资金成本率、筹集资金风险。

(2)投资决策指标。内控制度健全有效率、资金使用合格率、资金支出结构合理率、资金支出合法率。

(3)收益类指标。经济收益、财务净现值、劳动生产率、投资回收期、财务净现值率、投资利润率、相关经济产出。

(4)费用类指标。借款偿还期、运营成本费用、偿债备付率。

(5)社会就业指标。总投资就业效益、单位投资就业人数、社会就业系数。

(6)社会人文指标。居民生活质量提高系数、居民与项目相关生活成本费用及损失减少系数、当地居民人均纯收入增长系数。

(7)宏观经济指标。投资经济增长率、经济结构完善系数。

(8)资源消耗指标。项目单位净产值综合能耗、单位投资占用耗地、单位产品生产耗水量。

(9)生态环境治理指标。环保投资增长额、空气净化率、水土流失治理率、人均森林覆盖变化率。

(10)利害关系指标。与公共项目绩效管理多层委托关系中各契约方有直接/间接关系。

(11)利益均衡指标。利益相关者受到的影响、项目收益和受损群体的待遇是否公平、弱势群体的价值利益是否得到更多关注。

(12)合同管理指标。合同完成率、非正常合同变更率。

(13)质量管理指标。工程质量事故的次数、返工损失金额。

四、基于AHP模糊综合法的神经网络考评模型

(一)指标权重确定

不同的项目绩效管理考评指标对公共项目管理绩效的影响作用不同,所以在对公共项目绩效管理考评指标体系的综合考评中,各个指标对考评对象的作用及考评的价值目标并不同等重要。为了体现各个考评指标在指标体系中的作用及重要程度,要根据各指标要素对公共项目管理绩效的影响高低确定其在整个绩效考评指标体系中的权重。为此本文构建的测度考评指标体系指标权重的分析过程为:

(1)根据公共项目绩效管理考评指标体系层次结构模型,用九分法比较尺度综合专家群体咨询意见构建判断矩阵;

5.对公共项目指标体系的二级指标重复(1)-(4)。

(二)指标综合考评矩阵确定

以上用AHP法确立考评指标体系中各层次指标对整个项目绩效考评目标影响的程度。由于公共项目绩效管理考评指标体系中指标层级边界存在模糊性,为了与精确指标相结合,更科学地考评出指标体系的优劣程度,本文采用模糊综合法计算模糊指标隶属函数值。

(1)确定考评集。依据公共项目绩效管理层级考评指标体系结构,目标层的指标集定义为UA={U1,…,}U6,分别表示财务性指标B1,经济性指标B2,、、、,管理类指标B6;准则层的指标集Uk={Uk1,…,}Uk13,分别表示资金筹集指标C1,…,质量管理指标C13。评判集本文采用三级考评标准V={V1,V2,}V3,通过专家经验法确定每个层级的上限值U1,U2,U3。

(2)确定指标隶属函数值对于项目指标体系中的定性指标,如一级指标中的公平责任性指标等难以定量表示,需要根据相关的规程让考评专家进行打分,转换为定量指标,然后建立其隶属函数,转换方式如下:

得到项目绩效考评体系中各个单项指标的考评矩阵:

(3)模糊综合考评。一级单因素指标考评模型为:

再将考评模型Y=[yB1…yBn]T按照评语的不同等级以等差打分法量化得到综合考评属性集G。本文设F=[f1…fn]T是分数集合,fj代表第j级评语的分数,n是评语中等级的个数,以10分为满分用公式进行等差打分,得到考评结果为G=YF。

(三)神经网络考评模型构建

以上用AHP模糊综合法将公共项目绩效考评指标的重要程度数量化,以此作为神经网络的前端分析处理。根据项目绩效考评指标体系中一级指标的个数来决定神经网络模型输入层神经元节点数,将得到的指标综合考评属性集G的相应值作为神经网络的输入量,将模型考评的结果值作为输出量,隐含层的神经元个数通过样本实验中逐步增长的方法确定,最终确定神经网络模型的拓扑结构。

公共项目绩效考评指标体系是一类在复杂环境下的多层次、多指标的综合指标的考评问题,而且各个指标的重要程度各不相同。另外,项目绩效考评指标体系中既有类似于财务性指标、经济性指标的定量指标,也有类似于公平责任性指标、环境性指标的定性指标。而定性指标是难以精确描述的,具有不确定性和模糊性,计量考评会有难度。采用基于AHP模糊综合法的神经网络考评模型能克服以上缺点。该模型在用AHP法确定公共项目绩效管理考评指标体系中各个评价指标的权重的基础上,再利用模糊综合法进行模糊综合数量化处理得到项目绩效管理指标的综合考评属性值;接着将各个指标相对应的属性值作为神经网络考评模型的输入量,将考评结果作为输出量;需要强调的是,为了使这种考评模型更具有准确性和科学性,在对项目绩效指标体系性能考评之前,要用一定数量的样本训练该神经网络模型,使其获得相关考评的知识经验,形成相对科学完善的考评模型。本文基于AHP模糊综合法的神经网络绩效指标体系考评模型如图2所示。

图2 基于A HP模糊综合法的神经网络绩效指标体系考评模型

在实际应用中,相关公共项目绩效考评部门可以将训练好的神经网络作为考评模型,把要考评的指标体系的相关指标属性值输入神经网络得到项目绩效考评指标体系的考评结果。显然本文构建的基于AHP模糊综合法的神经网络模型是解决公共项目绩效管理考评指标体系这一多因素、多指标考评问题较为有利的模型方法。

五、算例分析

本文以某大型公共项目为例,对其绩效管理考评指标体系进行综合考评。按照图1的层次结构,综合专家群体咨询意见,构建的相应的判断矩阵及其权重如表1。

表1 A-Bi一级考评指标判断矩阵

表2 二级指标权重及其总排序

二级指标总排序结果和大型公共项目的价值导向目标相吻合,而且对应二级指标权重为:WB1={0.2500,0.7500},WB2={0 .6667,0.3333},WB3={0 .0738,0.6434,0.2828},WB4={0 .1667,0.8333},WB5={0 .2500,0.7500},WB6={0.1250,0.8750。}

根据该大型公共项目的实际情况及专家经验采用十分制法,确定隶属函数属性值的上限为(3,6,8),专家根据表2得出的某大型公共项目的二级指标总排序对各项二级指标的评分为(3,3,4,4,4,5,5,5,6,5,7,3,4)。则由公式(1)(2)(3)得到的二级指标考评矩阵分别为:

由公式(4)计算得到一级指标综合考评模型矩阵为:

分别对yBi进行等差标量属性值转化,转化的分数集为则该大型公共项目绩效考评体系的一级指标综合考评属性集为:

最后以该大型公共项目的6个一级指标个数作为人工神经网络模型输入层的神经元节点数,采用逐步增长的方法确定隐含层单元数为7,输出的节点数为1,将集合G对应的属性值输入,最终输出的分值就是对整个公共项目绩效管理考评指标体系的考评结果。本文将项目绩效管理考评指标体系考评的结果分成优、良好、中等、差四个等级,相对应的实数值会落在0和100之间,输出结果属于(90,100]时,说明指标体系水平优;属于(80,90]时,说明指标体系水平良好;属于(60,80],说明指标体系水平中等;属于[0,60],说明指标体系水平差。

本文选用专家对10个公共项目的绩效管理考评指标体系的考评数据和综合考评结果作为训练样本,将其对应的一级指标综合考评属性集G对应的属性值输入神经网络对其训练,使得误差达到预定值0.1%。再将该大型公共项目绩效管理考评指标体系的一级指标属性值G输入训练好的神经网络,最终输出的考评结果为83.6,而专家考评值为84.0,误差在预定范围之内,该公共项目的绩效管理考评指标体系水平良好。

六、结束语

随着社会的进步和体制改革的深入,公共项目绩效管理的效能日益受到重视。本文尝试性地构建了公共项目绩效管理考评指标体系并建立AHP模糊综合法神经网络模型科学客观地对考评指标体系进行综合考评。其中涉及的考评指标范围较全面并且具有普遍的适用性,通过考评也充分科学体现了各层级指标的重要程度及公共项目绩效管理的公众满意度和利益价值导向目标,并通过具体算例分析得到较好的考评结果,也进一步说明此模型具有较强的操作和实用性能,为推行公共项目绩效管理考评工作奠定理论基础、提供方法借鉴。

值得指出的是,运用AHP模糊综合法神经网络指标考评模型在专家组给出判断前不仅需要做一系列实地问卷调查,以尽可能降低主观性,也要经过相关部门从理论和实践相结合的角度出发而得出的管理活动结果数据的检验,不断使公共项目绩效管理考评指标体系臻于完善。

[1]理查·A·穆斯格夫.财政学原理[M].北京:中国财政经济出版社,2003.

[2]孙明远.财政投资项目绩效评价研究[J].财经研究,2009(2):31.

[3]郑方辉,陈佃慧.政府绩效视野下的广州BRT项目评价[J].华东经济管理,2011(4):25.

[4]Nyhan,Ronald,Hebert.Performance Measurement in the Pub⁃lic Sector:Challenges and Opportunity[J].Public Productivi⁃ty&Management Review,1995(18):66.

[5]戴国庆,李丽亚.国外科技项目绩效考评研究与借鉴[J].中国科技论坛,2005,6(5):45-47.

[6]Flynn Norman.Public Sector Management[M].New Jersery:Prentice Hall,1997.

[7]Ammons,David N.Overcoming the Inadequacies of Perfor⁃mance Measurement in Local Government:The Case ofLi⁃braries and Leisure Services[J].Public Administration Re⁃view,1995(1):37-47.

[8]贾康,白景明.如何认识和构建公共投资评审体系[J].中国财政,2003(7):9-10.

[9]李丽亚,宋扬.科技项目绩效考评方法初探[J].中国科技论坛,2004(6):110.

[10]陈衍泰,陈国宏,李美娟.综合评价方法分类及研究进展[J].管理科学学报,2004(2):28-3.

[11]张军果,任浩,谢福泉.项目后评价视角下的财政科技项目绩效评估体系研究[J].科学学与科学技术管理,2007(2):14-20.

[12]杜亚灵,尹贻林.公共项目管理绩效评价研究[J].项目管理技术,2008(2):13.

[13]翟启江,邵世才,陶鹏.环保公益性行业科研专项项目绩效考评经验及启示[J].中国科技论坛,2009(8):7-10.

[14]刘瀛弢.公益性行业科研项目绩效考评研究[J].中国软科学,2010(6):107.

[15]陈强,鲍悦华.大型公共项目的受益者满意度评价[J].投资研究,2006(10):13.

猜你喜欢
指标体系神经网络指标
一类带临界指标的非自治Kirchhoff型方程非平凡解的存在性
神经网络抑制无线通信干扰探究
最新引用指标
莫让指标改变初衷
层次分析法在生态系统健康评价指标体系中的应用
供给侧改革指标体系初探
基于神经网络的拉矫机控制模型建立
复数神经网络在基于WiFi的室内LBS应用
基于支持向量机回归和RBF神经网络的PID整定
制造强国的主要指标