●宋鹤娇
政府采购项目支出是高校财政支出的重要组成部分, 如何提高高校采购的投资效益, 使教育投入产出绩效最大化,一直是备受关注的问题。在深化政府采购制度改革的背景之下,高校政府采购业务管理全面进入数据化时代,如何坚持新发展理念,结合政府采购大数据治理, 加快形成评价主体职责清晰、评价规则科学高效、评价过程可行可控、政策功能健全完备、技术支撑先进的政府采购绩效评价体系具有重要意义。
随着教育投资规模的不断扩大,公众对高校政府采购项目的关注度越来越高。 同时,大数据、云计算等信息手段在政府采购管理上充分运用,给政府采购工作提出了深化改革的方向,政府采购绩效评价的研究也逐渐受到重视。 近年来,学术界取得了一定的研究成果, 但仍存在局限性:一是对指标体系的定性分析研究较多,定量分析显得较为薄弱;二是部分研究重点放在现状分析和展望上,对指标体系的架构和评价方法研究还有待进一步深入;三是研究以理论分析为主,鲜有结合大数据和实际应用的过程研判; 四是研究较为分散,少有以高校政府采购项目为绩效研究对象的理论框架;五是研究注重绩效评价过程的研判,忽视评价结果的运用,没有建立评价结果促进工作提升的运用机制。
本文构建了高校政府采购项目绩效评价指标体系,并对指标进行分析解释,选取科学的实验方法,对指标进行赋权, 并反复验证其合理性,确定数据来源、 收集途径及分析方法,选取代表性项目进行评价的实证分析与研究, 通过实践不断改进优化,使指标体系趋于合理、健全,从而为推动政府采购绩效管理全面实施提供有益借鉴。
本文以高校政府采购项目为对象, 选取了国际上比较常用的评价法则“4E 评价法”,确立“4E”指标,包括经济(Economy)、效率(Efficiency)、效能(Effectiveness)、公平(Equity)四方面主要内容。
图1 4E 理论模型
评价指标体系的设计兼顾系统性、 全面性、导向性和可操作性。笔者运用修正版的德尔菲法(Modified Delphi Method,MDM)进行调查问卷的设计,在对政府采购的政策分析和绩效评价相关理论文献研究的基础上,通过访谈调研、专家咨询和问卷调查,反复进行筛选和论证,按照全流程管理方法和“4E”原则,选取了适用于政府采购决策、执行、管理、验收、反馈等各环节的绩效评价指标,设计了《政府采购绩效评价指标体系调查问卷》。 问卷调查的对象包括采购预算单位采购人代表、供应商、集中采购机构人员、财政监管人员、专家评委等,共收到反馈问卷40 份。
为了提高问卷的填写率和填写质量,在专家意见咨询问卷中,采用了科学的李克特五点量表(Likert five-point scale)。 该量表由关于每条指标的名称和解释说明组成,每一指标有“非常同意”“同意”“没有意见””不同意”“非常不同意”五种回答,分别记为5 分、4 分、3 分、2 分、1 分,专家根据对政府采购绩效评价的认知及每条指标的理解判断,逐条给出态度及意见,用加总方式来计分。 笔者将每位专家的态度,即对各道题的回答所得分数进行加总平均, 平均得分超过3.5 分的指标予以保留,据此确立了评价指标的具体内容和层级架构,组成最终的评价指标体系。 通过问卷调查,使得本文指标的选取具有科学性和合理性。
指标体系的设计理念具体如下: 第一步,按照“4E 评价法”设计反映政府采购整体特征的一级指标,可以从经济性、效率性、效益性、公平性四个维度考察;第二步,在一级指标的基础上设计二级指标,二级指标包括预算管理、资金管理、采购执行效率、履约效率、支付效率、履约验收管理、政策效力、各方满意度、采购过程规范与监督等方面;第三步,将反映整体情况的一级指标和反映绩效实施情况的二级指标有机结合,并进行分解,设定三级指标。 具体指标内容和解释详见下页表1。
表1 项目采购绩效评价指标体系
计算指标体系的效度与信度,并进行检查和修正,进一步评估构建的政府采购绩效评价指标体系的合理性和科学性。
1.项目绩效评价指标体系效度的检测。 效度(Validity)即有效性,测量结果与政府采购绩效评价指标体系越吻合,则效度越高。
评价指标效度评定常用内容效度比(C.V.R)来表示。 另外,评价主体中认为某指标可以采用的评价人数记为m, 评价项目的总人数设为M。政府采购绩效评价指标效度计算公式为:
当所有评价者都认为指标内容不当时,C.V.R=-1; 当所有评价者都认为指标项目内容很好时,C.V.R=1;当评价者中认为指标项目适合和不合适的人数对半时,C.V.R=0。
通过系统计算内容效度比C.V.R, 得到了各个指标与政府采购绩效这一评价对象之间关系的密切程度。 统计结果表明,约有85%指标的效度比值在0.65 以上,评价体系效度较高。
2.项目绩效评价指标体系信度的检测。 信度(Reliability)也就是可靠性,为确保指标体系建立的可靠性,笔者对问卷结果做了信度检验。 笔者运用SPSS 软件检验了本次问卷的克隆巴赫系数(Cronbanch’s Alpha)。
克隆巴赫内部一致性系数计算公式为:
α 为信度系数,N 为子指标层所含的指标个数,Si为指标的标准差,Si2表示第i 个指标的方差,S2为总分的方差。
一般认为,克隆巴赫系数大于0.8,则该量表的信度较好。 统计结果表明,总体的克隆巴赫系数为0.86,结果表明项目绩效评价共性指标体系的内部一致性比较高,具有良好的信度。
指标权重的确立是评价指标合理量化的关键。 传统的权重设计往往靠主观设定,在理论上缺乏科学依据。 本文运用层次分析法(Analytic Hierarchy Process,AHP)进行指标权重分配,通过对绩效评价各项指标的定量分析,分别赋予合理的权重分配。
笔者根据层次分析法(AHP)的形式设计了“政府采购项目绩效评价指标体系AHP 专家咨询问卷”,用以确定各影响因素之间的相对权重,在同一个层次中对影响因素重要性进行两两比较。
笔者共发放55 份问卷, 发放对象包括采购人代表、专家评委、供应商、集中采购机构人员、政府采购监管人员等,收回有效问卷50 份。使用Yaahp层次分析软件,进行层次模型构建、判断矩阵数据计算、排序权重计算等。
运用几何平均数的方式对问卷结果进行集结,并进行了一致性检验,计算结果一致性比例为0.005,通过一致性检验。
上述判断矩阵的一致性满足要求, 根据矩阵的最大特征值, 通过Yaahp 层次分析软件进一步计算得到对应的特征向量,并通过标准化(使特征向量中各分量的和为1)将其转化为权向量,从而得到各要素对其相应的上层要素的影响权重,具体指标权重情况如表2 所示。
表2 项目采购绩效评价指标体系权重表
笔者运用模糊综合评价法对绩效评价进行等级判断,结合政府采购绩效评价指标体系,设计绩效评级评分表,将每个指标分为优、良、合格、 不合格四个评价等级, 分别赋予 100、80、60、0 的分值。 对照评分表对已收集、 整理的数据进行分析, 并对所有指标评分, 科学计算后形成评价结果。 计算各指标的加权平均值得出绩效得分, 全部评价指标的总和形成该项目整体绩效得分。
项目绩效评价总分计算公式如下:
项目绩效评价总分=Σ 各指标评级分值×各指标权重
项目整体绩效评价结果采用综合评分定级的方法,总分值为100 分,绩效评级分优、良、合格、不合格。评价得分高于90 分(含90 分)的,绩效评级为优;得分在75(含75 分)—90 分的,绩效评级为良;得分在60(含60 分)—75 分的,绩效评级为合格;得分在60 分以下的,绩效评级为不合格(具体见表3)。
表3 项目绩效评级方法
指标体系实践应用选取的对象是某高校的4K 电竞综合演播室建设项目,属于政府采购的设计及施工一体化项目,采购方式为公开招标,允许进口设备投标。 该项目总预算资金1725 万元,主要资金来源为中央财政、省财政、中央财政配套。
本课题选择该项目作为绩效评估方案的实证案例, 运用绩效评价相关理论提出评价的具体方案, 结合项目采购的实际情况, 应用评价指标体系,收集整理指标所对应的基础数据,运用统计学和信息学的计算方法进行数据分析, 从而做出整体绩效评价。
4K 电竞综合演播室建设项目绩效评级总体思路如图2。
图2 项目绩效评级路径图
在项目自评阶段, 项目负责人根据评价指标体系和评价准则, 对照项目的实际情况,完成项目自评报告,并由专家组进行研判和可行性分析。
在现场评判阶段, 专家组根据评价方案深入实地进行调研, 并召开绩效评价现场会议,听取项目负责人自评情况,同时对资料信息进行整理和分析, 将整理后的数据与指标进行对照评价。根据制定的评价指标体系,结合项目实施的实际情况,以科学、客观、公正的原则,对各项指标进行绩效评分, 并综合计算出评级结果。
通过自评和专家评判, 分析项目绩效评价结果,讨论项目存在的问题,进一步核实评价结果,形成项目绩效评价报告。
在绩效评价实施过程中, 专家组使用模糊综合评价法对项目绩效进行评级并赋予分值。 对所有专家的意见进行加权平均后, 得出项目绩效分值为94.91,该项目对应的绩效评级为“优”。
以4K 电竞综合演播室建设项目为例进行的政府采购绩效评价探索,立足绩效看采购,从客观的角度分析政府采购全过程, 全面评判政府采购项目的经济性、 效率性、效益性和公平性,梳理政府采购的有益措施和改进方向,有较好的实践意义。
目前,我国对政府采购项目管理总体上还是偏重于前期审批和过程监督,对于采购结果和绩效的评价分析相对薄弱。绩效评价对政府采购项目实施具有重要的导向、规范与促进作用,强化绩效评价工作迫在眉睫。
截至目前, 对政府采购的全过程绩效评价和管理规范较少。这使得绩效评价工作缺乏法律约束和制度保障,工作推进难度较大,迫切需要加快相关法律法规的建立与完善。通过制定政府采购项目绩效评价与管理相关操作规范和管理办法,推动政府采购项目绩效评价工作逐渐纳入法制化、规范化的轨道。
政府采购绩效评价指标体系构建必须有完善的数据来源和管理系统,确保政府采购数据准确有效,信息搜集、分析和处理过程有效记录。
从现有政府采购项目数据流分析,采购过程中产生的量化数据采集基础较好, 采购预算执行、信息发布、开标、评标、定标、合同签订等数据记录较为清楚,可以直接用于绩效评价指标的定量计算。但项目采购执行中的一些数据容易出现缺失的情况,比如预算产生、立项依据、实施过程、验收数据、采购人和供应商的满意度等,需要进一步设计数据采集模块。
数据采集模块可从政府采购项目立项决策体系、过程监管体系、反馈数据收集体系进行建设。通过绩效评价信息化管理模块,可实现从项目预算到采购实施、验收反馈等全过程、全方位的动态管理,各类信息可以实时查询、统计和分析, 可以解决绩效评价过程中数据资料收集困难的问题, 也为过程中绩效评价和指标预警提供了可能性。应用信息化手段,在政府采购执行环节对绩效评价指标进行实时计算和评价,对绩效目标实现程度和采购进度进行 “实时监控”,对采购过程中绩效目标运行偏离、未达预期进度的采购项目, 各采购人可以及时分析原因并纠正。
政府采购作为预算执行的重要方式和项目支出的重要组成,必须强化政府采购绩效管理流程约束, 建立政府采购各关键环节的绩效管理,切实强化程序性约束,协同推进预算管理、项目管理与政府采购管理,加强财务部门与业务部门的协调配合,确保政府采购绩效管理延伸至使用终端。 要加快推进绩效管理信息系统一体化建设,打破单位预算、绩效、业务、财务、采购、资产的“信息孤岛”,实现项目支出绩效评价和政府采购绩效评价的有机结合和信息共享。加快建成全方位、全过程、全覆盖的绩效管理体系,避免多头评价,交叉监管。