地质灾害专业监测预警项目供应商绩效评价研究——以四川省为例

●雷蕾，吴 洁，李 婷

（第一作者单位：成都信息工程大学物流学院）

一套科学的绩效评价体系不仅能够丰富政府部门绩效评价管理理论，还可以在实际应用中帮助自然资源主管部门发现存在的问题，提高专业监测预警能力。因此，构建一套科学的绩效评价体系是十分有必要的。

研究小组分析了地质灾害专业监测预警项目供应商绩效评价的特点、内涵以及绩效评价体系等内容，运用层次分析法建立绩效评价模型，并在四川省S县进行实证研究。

一、四川省供应商绩效评价工作存在的问题

四川省地质灾害专业监测预警项目自2017年开始，各级自然资源主管部门按照四川省自然资源厅相关要求对供应商进行绩效评价。随着项目建设规模的不断扩大，绩效评价取得了一定进展，但是在实践中也存在着一些问题。

（一）绩效评价意识薄弱

四川省自然资源主管部门对供应商绩效评价重视程度不够，缺少专人负责机制，绩效评价工作存在拖延心理和应付现象。由于部分工作人员对绩效评价工作的重要作用存在认识上的不足，致使有些市县的绩效评价工作中仍存在“走过场”现象，严重影响了绩效评价结果的有效性。

（二）绩效评价重项目建设结果，忽视了项目服务过程

绩效评价主要针对结果评价，缺乏过程的考核，即主要在项目验收阶段对供应商进行考核，在运维服务阶段时监督考核缺失。地质灾害专业监测预警项目周期一般为3年，主要包含项目建设和运维服务2个重要阶段。供应商在项目验收通过后，由于缺少相应的绩效评价，供应商在进行运维服务时积极性低，出现设备损坏后延期处理、不及时维修更换等问题。

（三）评价结果未能有效利用

在对以往的供应商绩效评价中，拨付款按照进度拨付，供应商在项目中的表现优劣并不是最主要的考核因素，部分供应商的工作积极性降低，由此出现响应不及时、甚至不处理等问题。

（四）绩效评价以定性为主，缺少定量指标评价

自然资源主管部门对供应商的绩效评价多是根据采用定性的文字描述进行评价，缺少量化指标。这导致绩效评价主观性较强，不同评价人员对同一供应商的评价结果不同，不利于形成统一的监督和考核体系。

二、绩效评价体系设计

关于绩效评价概念的界定，主要有4种方式。第1种是强调绩效评价结果的内涵；第2种是从过程界定绩效评价概念；第3种是从被评价对象能力界定绩效评价概念；第4种是结合以往学者对绩效评价的观点进行拓展。目前，对地质灾害监测专业预警项目供应商绩效评价的内涵还没有明确、统一。研究小组认为，地质灾害专业预警是地质灾害防治的重要组成部分，因此，此次研究主要采用第4种界定方式，即结合地质灾害防治绩效评价内涵和地质灾害专业预警项目特点，由自然资源主管部门为实现一定经济效益和社会效益，采用定性和定量分析相结合而制定的绩效评价体系。评价体系的指标要充分体现科学性，能够对供应商在地质灾害监测预警项目服务过程和结果进行综合评价。

地质灾害专业监测预警项目属于政府项目，由自然资源主管部门组织实施。自然资源主管部门作为组织单位，对整个项目负责，对供应商进行监管；供应商为地质灾害专业监测预警项目提供服务，对自然资源主管部门负责，受自然资源主管部门监督。因此，供应商绩效评价的主体、客体分别为自然资源主管部门和项目供应商。

以往，自然资源主管部门经常采用定性评价的方式对供应商进行绩效评价。这种方式缺少量化指标，主观性较强、流于形式，违背了绩效评价的初衷。层次分析法是一种定性和定量结合的方法，能够将复杂问题简单化、减小主观因素影响、应用广泛，因此，研究小组选用层次分析法建立绩效评价模型。

三、绩效评价指标体系构建

（一）评价指标要素

过程考核：供应商为实现项目预期效果所进行的一系列活动，包括仪器的灵敏度、应急响应等指标。

结果考核：供应商采取监测预警技术和管理手段实现项目的预期结果，包括互联互通、设备在线率等指标。

设备在线率：同一时间段内，设备的在线率要求高于95%。设备在线率是一项长期性的指标，它关系到项目能否稳定运行。

应急响应：项目设备多在山区，服务周期长，设备面临着较多的不可控因素。该指标要求供应商在断电等紧急情况下，可以保证设备可短期运行。应急响应性能是项目的必然要求。

互联互通：设备系统平台建设与省、市、县平台对接情况及数据上传频率。互联互通体现在数据的实时传输上，对设备在线率起决定性影响。

监测数据上传报告：监测点的计算结果数据（观测点原始数据等资料），监测数据上传报告的原始数据为模型优化、预警值的设置提供了重要依据。

运行维护：定期维护仪器设备和设施，确保监测设备、数据传输、预警。运行维护响应及时性是互联互通、设备在线率稳定的重要保障。供应商要在仪器出现异常后3个工作日内使其恢复，特殊时段至少应于5个工作日内使其恢复。

仪器的灵敏度：仪器对被测物变化量的反应程度。地质灾害具有突发性，仪器如果不能及时、快速、准确地实现预警、预报，就无法为转移受灾人群提供缓冲时间，难以保障人民生命财产安全。因此，要求监测仪器具备良好的灵敏度。

仪器的安全性：仪器安装完成后，需考虑人为破坏、牲畜破坏等因素造成仪器的损坏。供应商须通过选用材质优良的支架、围栏，设置警示标志等方式保障仪器的安全。

仪器的故障率：仪器的故障率对项目稳定运行产生重要影响，一旦仪器出现故障，发生地质灾害，会造成巨大的损失。因此，要求仪器具有较低的故障率。

分区预警模型：针对不同的地质灾害建立适合的预警模型，供应商根据现场情况、历史数据优化预警模型，提升监测预警的准确性和及时性。

预警值设置：供应商要结合监测历史数据、现场情况等设置预警值，避免仪器出现误报，给附近居民带来不便。

（二）应用AHP 法确定评价模型和指标权重

依据四川省自然资源厅绩效考评管理办法，经相关单位调研、专家论证，研究小组建立了专业监测预警项目供应商综合绩效评价模型（见图1）。评价模型分为3层，目标层即供应商综合绩效；准则层即绩效评价要素集，包括过程考核、结果考核；指标层即绩效评价要素，包括互联互通等10项指标。

图1 专业监测预警项目供应商绩效评价层次分析模型图

考察准则层各影响要素和指标层各观测指标对目标层的影响程度，用成对比较法和 1～9 比较尺度构造成对比较阵。比较尺度主要分为1～9共9个标度。其中1、3、5、7、9分别代表两个要素相比较，具有相同重要性、前者比后者稍重要、前者比后者明显重要、前者比后者强烈重要、前者比后者极端重要；2、4、6、8分别代表上述含义中的中间值。

通过Matlab计算出最大特征值和一致性指标，检验一致性，获得各层权向量，从而确定各指标层间权重及权值（见表1）。

四、基于四川省S 县的实证分析

研究小组应用构建的层次分析法评价模型，在四川省S县进行实证检验，结合四川省自然资源主管部门对绩效评价的可操作性和简易性需求，采用评判等级和分值范围对应，实施评价。

在实例中，四川省自然资源主管部门按照表1中的二级指标权值进行分项评分，计算出总分，根据分值范围得出评价等级，等级设置为优秀、合格、不合格，分别对应的分值范围为80～100分、60～80分和60分以下。在项目招投标文件中明确考核周期采用绩效评价和付款相挂钩的模式按年度计算。经四川自然资源主管部门考评后，供应商得分在80（含）分以上的，支付当年度100%的服务费；得分在60（含）～80（不含）分的，只支付当年度95%的服务费；得分在60（不含）分以下的，只支付当年度90%的服务费并要求供应商提供整改报告，如整改后仍不合格，则按违约处理。

表1 各指标层间权重及权值表

通过在四川省S县的实践，绩效评价结果与实际情况一致（如表2所示）。从评价结果来看，S县供应商在设备在线率、互通互联、运行维护方面还存在不足，四川省自然资源主管部门根据绩效评价办法拨付其95%的年度服务费，以督促供应商改进服务，该供应商后期作出了相应改进，提高了供应商的服务效率和水平。

表2 四川省S 县供应商绩效评价得分表

五、建 议

（1）坚持过程考核和结果考核并重的原则，对项目全过程绩效评价。对供应商绩效评价指标选取时，既要重视过程指标也要重视结果指标；从四川省S县的实例来看，构建了全过程绩效评价指标体系，既考虑到过程指标，如：运行维护、仪器故障率等，也考虑到了结果指标，如：设备在线率、互联互通等，各级自然资源主管部门坚持对供应商在项目全生命周期的行为进行考评，确保了供应商在监测预警项目全过程中发挥技术与服务支撑作用。

（2）坚持全面和重点相结合，注重指标选取的科学性、全面性。采用多项指标绩效评价，促进绩效评价全面、客观。重点突出设备在线率、应急响应、运行维护、互联互通、预警值设置等指标的权重；广泛征求供应商、主管部门及专家的意见，尽最大可能降低主观因素对绩效评价指标的影响，以反映供应商的真实水平。

（3）建立绩效评价长效机制，将绩效评价纳入供应商拨付服务费款的依据。从四川省S县的实例来看，将绩效评价和付款相挂钩，也就是将绩效评价结果作为拨付款的依据，可以倒逼供应商提升服务质量，确保项目取得防灾、减灾的预期效果。

（4）建立绩效评价监督机制，保证绩效评价反映真实情况，保障绩效评价工作的客观性和公平性。制定绩效评价监督制度，成立绩效评价监督小组，规范绩效评价流程，切实解决绩效评价主观性强、流于形式等问题。

（5）实施绩效评价模型动态调整机制。地质灾害监测预警项目是动态的，项目周期长、涉及内容多、控制因素多、复杂性强，因此绩效评价模型指标和权重要根据实际情况动态调整。自然资源主管部门要积极收集绩效评价相关问题及建议，检查绩效评价结果和供应商实施情况是否相符，组织专家对绩效评价模型进行优化调整。