PPP项目运营期绩效评价问题与对策研究——以泉州市科技馆为例

吴琳琳

(泉州市科技馆,福建 泉州 362000)

随着各地 PPP (Public Private Partnership)项目逐步进入执行阶段,社会各界对PPP 项目的运营质量越来越关注,国家对PPP 项目的绩效评价工作也是越来越重视。一般而言,PPP项目大致可以分为建设期、运营维护期及项目移交后,其中运营维护的周期都比较长,因此各级政府相继出台《操作指引》《实施细则》等一系列政策文件,从制度层面加强对运营期绩效评价工作的重视,切实有效地提高公共服务供给质量和效率。

1 泉州市科技馆PPP项目概况

泉州市科技馆新馆总建筑面积30423m2,展教工程布展面积13000m2,总投资2.08亿元,运营期为15年。项目公司负责提供建设及运营维护服务,实施机构根据绩效评价结果支付可行性缺口补助收入。泉州市科技馆新馆正式运营以来,累计参观人数60多万人次,使用者付费收入超过300万元。

2020年1月,泉州市科技馆新馆展教工程PPP项目签约落成。在合同签约前,实施机构和项目公司一致同意把绩效考核方案作为附件写进合同,作为科技馆PPP项目运营过程中的重要考核标准,并明确运营期绩效考核结果作为实施机构付费的根本依据。

1.1 将绩效考核规则前置,形成绩效管理闭环

《泉州市科技馆PPP项目合同》规定,对于项目公司运营期的绩效评价采取年度、临时考核相结合,年度考核一年一次,临时考核每半年至少考核一次。当年绩效考核得分汇总中,年度考核得分与临时考核得分各占一半。通过事先将绩效考核规则在合同中明确,保证事中各方的客观履约与客观检验,有效实现了PPP项目的绩效管理,在实务考核中形成了项目绩效管理闭环。

1.2 运营期考核结果与影子票务收入及可用性服务费直接挂钩

项目公司获得的可行性缺口补助=可用性服务费+基于运营维护的影子票务收入-政府方享有的经营收益分成。《泉州市科技馆PPP项目合同》规定,每期结算的可用性服务费=按合同约定计算得到的可用性服务费×绩效考核系数R1。

基于运营维护的影子票务收入指项目公司提供符合考核标准的运营维护服务所应得的收入。《泉州市科技馆PPP项目合同》规定,每年需支付的影子票务收入=按合同约定计算得到的年度影子票务收入×绩效考核系数R2。R1、R2两者对应关系如表1所示。

表1 运维考核分数与绩效考核系数R1、R2的对应关系

1.3 设置强制性指标,以罚分进行规则约束

崔德高[1]认为,在PPP项目合作过程中,实施机构可通过合同管理、绩效评价及按效付费等一系列措施,减少对微观事务的过度参与,并且以结果为导向督促项目公司提供可持续和高效的公共服务。因此,在设计泉州市科技馆PPP项目运营期维护考核方案时,实施机构通过设置多项强制性指标,从罚分上对项目公司进行规则约束,督促项目公司规范化管理。一是不得提供不真实的客流数据,不得存在虚报客流量等蓄意伪造客流数据的行为;二是实际年度观众量必须达到年度保底观众量的50%以上;三是科技馆内不得发生安全事故。凡违反其中一项,则当年度考核得分汇总后直接扣减20分,以此警示项目公司必须规范管理。

1.4 设置深度不同的检查方式

日常或不定期考核由实施机构成立的项目监督小组在考核前5日以正式文件通知项目公司,可随机抽取考评项目进行考核或根据日常考核方案进行全部项目考核;年终考核则由实施机构牵头,邀请财政部门、审计部门、第三方机构,以及部分参观公众代表等组成PPP项目考核组进行年度绩效考核,按照考核方案要求进行全部项目考核,以确保在实务考核过程中各项工作的真实性和有效性。

2 泉州市科技馆PPP 项目运营期实务考核中存在的问题

泉州市科技馆新馆展教工程PPP项目合同虽已签订,但是在项目具体实务考核过程中发现,合同考核方案中的依据仅仅从原则性上进行说明,其指标设计不健全,评价内容过于模糊,主观性影响的因素较多,无法量化评价。这不仅会影响绩效考核的全面性及执行力度,而且很容易引发双方矛盾,最终影响整体项目的可持续发展和公共服务的供给。

2.1 考核内容与评分标准不明确

科技馆PPP项目合同中运营期考核方案设定的评价指标中,可以量化的指标不多,只有展教活动的展项完好率和课件更新率、运行管理的经营效益考核、社会影响的观众满意度属于定量指标,其余都属于定性指标。在实际考核过程中,监管组人员对于定性指标只能凭自身的工作经验来评判,评价结果主观性太强,缺乏足够的说服力,容易引起合作各方对评价结果产生争议。通过分析指标的评分标准不难发现,不明确的考核内容与评分标准会导致绩效考核在实务中缺乏可行性。例如,运行管理中经营项目的经营收益考核指标以经营收入与经营成本支出比值作为考核的标准进行评分,该指标设置为运营期年度考核的指标之一,可是在考核方案中没有详细说明经营收入与经营支出的范围及计算方法。在具体考核过程中,项目公司与实施机构对于经营收入与支出的范围界定有所不同,取值不一样,相应地计算结果的出入也比较大,进而对该指标的考核分值产生很大的影响。

2.2 关键性绩效指标权重不突出

2020年4月,财政部发布《政府和社会资本(PPP)项目绩效管理操作指引》(以下简称《操作指引》),由于泉州市科技馆合同在发布之前就已签订,项目绩效考核方案在前期设计中产出指标占 65%,管理指标占25%,效果指标占10%,所占比重未达到《操作指引》的有关规定。在《操作指引》中规定,运营期绩效评价一级指标“产出”的权重须大于或等于总权重的80%且二级指标中的“项目运营”与“项目维护”总和应大于或等于总权重的60%。因此,开展丰富的展教活动及提高有效的公共科普服务等作为科技馆PPP项目的重要产出指标,仍应继续加大其指标权重,建立健全完善的“按效付费”机制,否则将影响绩效考核目标的实现。

2.3 绩效指标数据来源不明晰

卢霞[2]认为,为了获得有效且真实的数据或信息应在具体指标评价过程中标明数据来源。《操作指引》明确规定,在PPP 项目的绩效评价工作方案中要把每一个三级指标数据的具体来源进一步细化,尽量杜绝指标数据提供不准确或不相符的情况。泉州市科技馆新馆展教工程PPP项目的绩效方案没有对每一个指标进行明确,只是要求项目公司提交上一个年度的工作计划、绩效考核目标、工作总结及考评指标所涉及的相关资料。可见,合同中对于数据来源的定义过于笼统,可操作性不强,尤其是大部分资料都由项目公司提供,该资料的真实性与可靠性都需要进一步验证。

3 健全科技馆PPP项目运营期绩效评价体系

《操作指引》作为开展绩效评价工作的主要指导文件,不仅要求规范化地开展各项考核工作,而且要维护好各方的合法权益。尽管《泉州市科技馆新馆展教工程PPP项目合同》于2020年1月签订,合同早于文件发布时间,但是为了项目的可持续发展,实施机构与项目公司经过多次协商,一致同意以合同为蓝本进一步完善科技馆PPP项目运营期的绩效评价方案。

3.1 组合应用多种绩效评价方法

科技馆PPP项目运营期的绩效考核方案中,每一个指标的评价都罗列出具体的评价方法,不同的指标对应不同的评价方法,指标的分值才能更科学、更合理。具体的绩效评价方法主要以指标评分法为主,结合因素分析法、公众评价法等其他方法辅助使用,共同进行考评。例如,指标评分法是百分制,实施机构把项目公司的运营情况根据一、二、三级指标进行划分并赋予每个指标一定的分值,考核组成员对每个指标独立打分后再取平均值;成本效益分析法是将项目公司一定时期内的支出与效益进行对比分析,用于评价项目公司的成本控制情况;公众评价法则用于评价公众满意度,实施机构在一定时期内要求入馆参观人员以特定形式填报问卷,以此了解公众满意度的情况。

3.2 运营期绩效评价指标以定量为主,定性为辅

在实际考核过程中,若以定性指标为主,考核组成员大部分只能依靠个人的主观感受和工作经验进行打分,这样的考核结果往往缺少说服力且存在很大的偏差,容易引发合作各方的矛盾;若以定量指标为主,考核组成员就可以把搜集整理的数据通过公式进行运算得到明确的结果,这样的考核结果有具体的数据支撑,说服力和客观性都比较强,可最大限度地确保绩效评价结果的公平公正[3]。根据《福建省政府和社会资本合作(PPP)项目全生命周期绩效管理实施细则》(以下简称《实施细则》)中明确规定,绩效指标包含三个等次,项目公司运营期一级指标包括产出、效果、管理三部分;二级指标根据科技馆的特殊性设置项目运营、项目维护、成本效益、安全保障、社会影响、可持续性、满意度、组织管理、财务管理、档案管理、信息公开等11项;三级指标对二级指标进一步细化量化,针对科技馆运营管理的特性在展项完好率、展项更新率、课件更新率、展教活动、公益讲座、公益培训、满意度等34项进行具体评价。这些评价指标大部分都是从定量的角度选取,数据的获取来源比较容易,具有可操作性,主观影响较小,从根本上提高考核的准确性。具体应用如表2所示。

表2 科技馆PPP项目运营期绩效指标评价方法及评价要点(三级指标)

续表

3.3 依据绩效指标的重要性确定指标权重

根据《实施细则》中明确规定,产出绩效是考核项目公司在一定期限内提供科普服务数量、质量、实效的重要指标,指标权重占比80%;效果绩效是考核项目公司在经济、社会、生态环境、可持续发展、满意度等方面的实施效果,指标权重占比10%;管理绩效是指项目公司在组织、财务、制度、档案、信息公开等方面的情况,指标权重占比10%。在结合相关规定的基础上,为突出科技馆的公益属性,一是增加公益性指标权重,例如在科普讲座、培训活动、创客体验活动、临展科普活动等方面开展的公益活动才能够纳入绩效评价范畴,使用者付费的科普活动项目一律不予考核,充分体现科技馆的公益性,最大化地实现科技馆PPP运营模式的社会效益。二是设置激励创新性指标,提升运营管理的质量和水平,例如在网站管理和微信公众号管理增加对原创文章和转载率及文章更新率的考核,从根本上督促项目公司提升网站和微信公众号的管理水平。

3.4 依据指标性质确定数据来源

实施机构在具体考核过程中,往往需要依靠某些特定的载体或途径来获得信息与数据。为了能够准确反映绩效目标完成情况,可以依据指标的性质确定数据来源方式,以获取真实可靠的数据信息。因此,在绩效评价过程中每一项指标都有对应的数据来源方式,可以是单一的实地查看或问卷调查,也可以是资料收集、数据填报与实地调研等多种方式相结合。与此同时,应加强日常的数据及资料报送,并将日常数据或资料报送的结果反馈在绩效评价考核指标内,以此督促项目公司从日常做起,重视数据报送的及时性、准确性,从根本上确保每项考核数据的来源真实和可靠。

4 提升科普场馆PPP项目绩效评价水平的建议

4.1 提高绩效评价工作的执行率

提高执行效率是提升PPP项目绩效评价工作水平的关键。一是加强PPP项目的日常绩效评价,从绩效评价目标、考核指标、考核计划、评价标准等方面重点加强对项目公司的日常考核,以此实现绩效评价的执行力度,从根本上提升项目公司提供科普服务的质量。二是发挥项目公司的能动性,加强全过程的绩效监控,并把绩效评价方案中每一条评价指标转换成日常工作的任务清单,责任到人,并以此作为项目公司考核员工的标准。三是根据《操作指引》规定,项目实施机构必要时可委托第三方机构协助开展 PPP 项目绩效管理工作。根据PPP项目的实际情况,针对财务、法律等专业性强的绩效考核指标,可以通过引入第三方机构等方式实现多方共同监管,提高项目绩效评价工作的执行率。

4.2 开展绩效评价动态考核

按照《操作指引》的规定,PPP项目应在准备阶段就编制完成总体绩效目标和绩效指标体系,但是在PPP项目执行阶段往往会因相关政策、行业标准等不可控因素发生变化而导致静态的考核标准难以满足实践需要。因此,在PPP项目执行阶段,实施机构还应按照最新的文件要求和行业标准,以及项目实施的现有情况重新制定《PPP项目绩效评价工作方案》,并根据新绩效指标体系的具体细则进行试评价。只有通过一定时间的动态考核,才能判别绩效评价结果是否与预期产出的效果相匹配,付费金额是否合理,能否达到项目的年度绩效目标等。只有在经过多次的动态考核及考核方案的不断调整,才能最终形成比较完善的科技馆PPP项目绩效评价体系。

4.3 健全场馆类核心绩效指标体系

目前,关于场馆类PPP项目的绩效评价体系没有统一的模板,而且PPP项目可以根据不同的行业类型、运营范围及回报机制随机组合成不同的评价工作体系。因此,一是要建立健全场馆类的绩效评价指标体系参考框架,尽量细化到三级指标,尤其是一些关键性的核心指标的设定要详细阐明指标内涵,明确数据来源以及评价标准。这样大部分科普场馆 PPP 项目在编制绩效评价方案时,可以根据自身的实际情况在该参考框架内进行优化,以提高场馆类PPP项目绩效评价指标体系的有效性。二是要推动激励相容机制的实施。《实施细则》规定,构建科学指标体系,项目公司运营期一级绩效指标包括产出、效果、管理三部分,绩效指标得分采用百分制,指标权重应结合该指标重要性和项目实际需要确定。但是当项目公司管理良好时,无法设置加分项,这样项目公司没有一个外在驱动力去加强自身的管理,对科普服务提质增效存在一定的影响。因此,需设定奖励机制,有效地激励项目公司长期保持优秀考评结果。在实际操作中,建议可以在方案中设置加分项、奖励机制或者给予合同延期等适当的激励措施,满足项目公司的利益需求,激发他们提升科普服务的能力。