金融业信息化项目绩效评价研究—以金融基础设施开发类信息化项目为例

文 · 中国人民银行金融基础数据中心 郝岸

一、引言

按照中国人民银行、发展改革委等六部门联合印发的《统筹监管金融基础设施工作方案》，我国金融基础设施统筹监管范围包括金融资产登记托管系统、清算结算系统、交易设施、交易报告库、重要支付系统、基础征信系统六类设施及其运营机构。金融基础设施在金融市场运行中居于枢纽地位，信息化建设是推动金融基础设施高质量发展的重要力量，担负着保障金融市场稳健高效运行的重要职责。不同于一般的行政单位或企业，金融基础设施的信息化建设，特别是开发类信息化项目，具有社会影响大、建设周期长、资金投入大、建设难度高等突出特点。如何以绩效评价为抓手，规避信息化项目可能存在的进度超预期、投入超预算、开发质量低下等建设风险，对加强我国金融基础设施建设管理具有重要意义。本文从立项、实施、产出、发展4个维度设计了33个绩效评价指标，分析了层次分析法、模糊综合评价法在绩效评价中的应用，并将绩效评价及其结果应用细化为事前、事中、事后三个阶段分别进行阐述。

二、国内信息化项目绩效评价研究概况

按照John M.Ivancevich给出的定义，绩效管理（Performance Management，PM）是企业的管理者与监督者促使员工与企业战略目标相一致的过程。绩效评价（Performance Evaluation，PE）是绩效管理的技术手段，通过运用一定的评价方法、评价指标及评价标准，对绩效目标的实现程度以及为实现这一目标所安排预算的执行结果所进行的综合评价。

信息化项目绩效评价是绩效评价在信息化项目中的应用，以增强信息化项目与单位战略发展目标的一致性。我国理论界和实务界对信息化项目绩效评价进行了初步探索，从研究成果看，信息化项目的行业差异较大，国内学者对信息化项目绩效评价研究主要分行业开展。李文全 等（2021）针对高校信息化项目建设特点，从项目立项、项目过程、项目成效、项目发展4个维度设计了15个评价指标，提出层次分析法（Analytic Hierarchy Process，AHP)解决定性与定量相结合的问题，模糊综合评价法（Fuzzy Comprehension Evaluation Method，FCE）解决评价指标难以量化的问题。潘玲（2018）分析了公益类科技情报（信息）机构未建立绩效评价制度、简单套用一般科研机构绩效评价指标体系而缺乏适用性的现状，基于平衡计分卡，从客户、内部业务流程、财务、学习与成长4个维度设计了30个评价指标，采取专家打分的方式为评价指标赋权。陈莉 等（2012）针对电力信息化项目实施范围广、投资巨大、无形资产增值在评价中难以体现等难点，从投入和输出两个维度设计了9个评价指标，应用数据包络分析法（Data Envelopment Analysis，DEA）对电力系统信息化项目绩效评价体系进行了研究。

三、开发类信息化项目管理中普遍存在的主要问题

需要说明的是，本文所指开发类信息化项目，主要包括通过程序设计和开发语言实现业务和办公管理需求等新建或重大升级改造的项目。按照问题导向原则，在探讨金融基础设施开发类信息化项目绩效评价机制前，需要对开发类信息化项目及其绩效管理中普遍存在的问题进行梳理。本文对国内实务界的相关研究进行了整理，可发现，当前我国开发类信息化项目绩效管理主要存在如下问题。

（一）信息化项目建设事前统筹不足

信息化项目开发建设周期长、投入大，需要以服务于单位发展战略目标为导向，做好前期整体设计规划。受项目前期准备时间、项目建设部门专业水平、政策变化等因素影响，信息化项目建设易出现事前统筹不足的问题，主要表现在：进度管理不力导致无法按照项目计划的时间进度完成，开发进度落后于工作需要的迭代，甚至出现项目完成时其所使用的技术已经过时；系统开发未预留足够的整合空间导致系统补丁化、模块碎片化现象突出；系统开发大而全导致投入巨大而部分模块利用率低下。

（二）信息化项目管理重投入、轻绩效

信息化项目管理应形成立项管理、过程管理、验收管理的完整链条。实践中，各单位对立项管理相对比较重视，对过程管理、验收管理往往缺乏有力举措，因项目急于上马、专业人员储备不足等原因，易导致以下问题：因本单位专业人员有限，项目开发过度依赖外部单位，导致项目实现功能与单位预期存在落差；项目验收未全面对照采购需求和合同约定，项目存在漏洞风险仍验收通过，导致后续补救返工陷入被动；项目正式投产后缺乏跟进评价，系统低效运转甚至以二期工程“卷土重来”。

（三）绩效管理与项目建设存在进度费用脱节、周期错配等问题

项目实施部门与财务部门应在“进度—费用—成效”中形成绩效管理的联动。实务中，项目实施部门往往仅关注项目进度，觉得涉及费用的问题应归属于财务部门；财务部门更多关注项目的年度预算执行率，忽视项目各阶段的费用情况，易导致项目的进度与费用脱节。另外，信息化项目的周期较长，多为跨预算年度实施，绩效管理的普遍做法是按照一套评价指标以预算年度为周期开展绩效监控和评价，如用户满意度等指标，在系统未投产前无法用于评价，上述的周期错配易导致绩效评价失效。

四、金融基础设施开发类信息化项目绩效评价探究

（一）评价主体

当前我国金融基础设施分属不同监管部门主管和监管，多数金融基础设施建设以政府为主导，在治理机制、考核方式等方面具有较浓厚的行政色彩。基于此，信息化项目的绩效评价更适宜采取自下而上的方式，由建设和运营单位自行开展，并接受上级主管部门的监督和管理。

（二）评价指标

1.评价指标设计

结合金融基础设施建设特点，评价指标设计应遵循以下原则。

一是系统性原则。绩效评价需覆盖从立项、实施到产出、发展的各个阶段，且各阶段指标应相互衔接又互不牵制，绩效评价指标应定量定性相结合，多维度反映绩效目标实现程度。

二是相关性原则。绩效评价指标应当与评价对象直接相关，存在因果关系。

三是可操作性原则。现阶段绩效评价主要依赖本单位内部人员，绩效评价指标应通俗易懂、具体明确，评价所需数据与佐证资料的获得应考虑现实条件，同时应选取最具代表性、最能恰当反映产出和效果的绩效指标，确保绩效评价工作高效推进。

基于上述原则，本文按照公共部门生产链框架模型，将金融基础设施开发类信息化项目建设划分为立项、实施、产出、发展4个阶段，共设计了33个绩效评价指标（见表1）。对绩效评价指标实行动态调整管理，不同指标适用于事前绩效评价、事中绩效监控、事后整体绩效评价3种情形。

表1 绩效评价指标体系

续表

续表

（1）项目立项

为避免事前统筹不足，绩效评价的首要环节是要做实、做细事前绩效评价，重点对项目立项的必要性、可行性、预算合理性进行评价。本阶段共设7个指标，包括项目必要性、项目可行性、目标明确性、预算合理性、绩效目标合理性、实施计划完备性、立项程序规范性。7个指标纳入事前绩效评价和事后整体绩效评价。

（2）项目实施

金融基础设施开发类信息化项目建设周期长、投资大、建设难度高，持续做好实施阶段的绩效管理是规避进度慢、超预算、质量低等问题的有效手段。项目实施可细化为准备阶段和执行阶段，共设8个指标。

准备阶段重点对项目需求和采购执行进行评价，共设3个指标，分别是需求的完整性、科学性、合理性，采购程序的规范性，总体技术方案、工程实施方案的合理性，均纳入事后整体绩效评价。

执行阶段通常包括软硬件平台搭建、软件开发、业务测试、技术测试、第三方测试、集成部署、业务培训、技术培训、试运行、投产、推广实施11个步骤。执行阶段的绩效管理重在及时纠偏，共设5个指标，从进度、预算、质量、风险4个维度开展，其中进度、预算、质量和风险控制4个指标纳入事中绩效监控和事后整体绩效评价，实施程序规范性纳入事后整体绩效评价。

（3）项目产出

产出阶段的绩效评价重点评价项目的经济效益和社会效益，金融基础设施建设项目的社会效益更为凸显。考虑到开发类项目的社会效益具有显著的延迟性，这个阶段的绩效评价在项目运行一年后开展，共设产出指标13个，包括操作界面友好性满意度、系统运行平稳性满意度、系统功能满意度、业务集成能力、系统集成能力、系统功能实现率、用户并发量、系统故障时长、培训率、系统模块使用率、系统覆盖率、数据备份完整性、系统安全性。

（4）项目发展

项目发展能力是信息化项目绩效评价的重要内容。本文设计了可维护性、可扩充性、组织保障能力、厂商质量、项目维护经济性5个发展能力指标，纳入事后整体绩效评价。

2.评价指标权重

评价指标权重设置的合理性将直接影响评价结果的合理性。层次分析法具有定量与定性相结合、简便实用等优点，可较好地解决评价指标权重设置问题。层次分析法由T.L.Saaty在20世纪70年代初提出，基本原理是将复杂问题中各种因素通过划分为相互联系的有序层次，通过两两比较将一层次元素的重要性进行定量描述，利用数学方法计算反映每一层次元素的相对重要性次序的权值，通过所有层次之间的总排序计算所有元素的相对权重并进行排序。本文以立项环节的7个指标举例，分析层次分析法应用于评价指标权重设置的方法。

（1）建立递阶层次结构

第一步是建立评价指标的有序层级，上层指标支配下层指标，形成递阶层次，同一层中的各个指标相互独立。金融基础设施开发类信息化项目评价指标分为两个层级：上层是按照项目生命周期设置的项目立项、项目实施、项目产出、项目发展4个一级指标；下层是归属于不同阶段的二级指标，如项目立项下的二级指标包括项目必要性、项目可行性、目标明确性、预算合理性、绩效目标合理性、实施计划完备性、立项程序规范性。

（2）构造判断矩阵

第二步是对上层的4个一级指标，以及一级指标下各二级指标进行两两比较，构造判断矩阵。结合T.L.Saaty提出的标度方法（见表2），可通过邀请内外部专家填写调查问卷的方式得出判断矩阵。在填写问卷过程中，应注意逻辑一致性，如果A比B重要，B比C重要，在比较A与C时，A应该比C重要。判断矩阵构建完毕后，每个单元格纵向归一计算，再横向求和得出每行行和，将横向求和结果再次归一化处理，得出每个特征向量的权重（W）。以项目立项阶段的7个二级指标为例，判断矩阵及列向量归一化结果见表3。

表2 判断矩阵标度方法（因素i与因素j比较）

表3 项目立项阶段二级指标判断矩阵

（3）一致性检验

在层次分析法应用中，因评价专家存在主观不确定等因素，特别是当同层级指标较多时，评价容易陷入矛盾和混乱状态，从而导致结果可信度降低。因此，有必要进行一致性检验，确定判断矩阵结果是否可以接受。如果一致性检验通过，第二步计算的特征向量权重就是每个指标的权重值。一致性检验具体步骤如下。

①构建AW矩阵，将判断矩阵每一行乘以特征向量列，得出AW矩阵值；

③计算一致性指标（Consistency Index，CI），CI=；

④查找相应的平均随机一致性指标（Random Consistency Index，RI）。对于n＜15的低阶判断矩阵，RI可以直接查找T.L.Saaty(2008)给出的RI值；对于高阶判断矩阵，本文采用洪志国等（2002）的研究成果。随机一致性指标值见表4。

表4 随机一致性指标值

⑤计算一致性比率（Consistent Ratio，CR）,。当CR小于0.10时，即认为判断矩阵具有满意的一致性，否则需要调整判断矩阵。

经一致性验证，项目立项环节的判断矩阵CR为0.05，小于0.10，该判断矩阵结果可接受，各指标特征向量权重就是每个指标的权重值。

（三）评价模型

本文采用模糊综合评价法来解决定性评价量化的问题。模糊综合评价法是一种基于模糊数学的综合评价方法，根据模糊数学的隶属度理论把定性评价转化为定量评价，即用模糊数学对受到多种因素制约的事物或者对象做出一个总体的评价，具体步骤如下。

1.建立评价指标集

2.建立评价等级集

采用五梯度标准，将各评价指标的绩效水平划分为非常好、好、一般、较差、差，评价等级集表示为=｛非常好,好,一般,较差,差｝,各等级对应的测量标度为=｛5,4,3,2,1｝。对定量指标，得分90分以上判定为非常好，80～90分的判定为好，70～80分判定为一般，60～70分判定为较差，60分以下判定为差。

3.进行单因素评价

单因素评价以专家打分结果为基础，建立各层指标的模糊隶属度矩阵R。

4.综合评价

将各指标层的模糊隶属度矩阵与指标权重相乘得到综合评定向量S，S是所有评价指标属于某个评价等级的加权数之和，是所有专家综合评价的结果。以项目立项为例，其综合评定向量为（0.44,0.32,0.22,0.02,0），综合评价得分为4.17（见表5）。

表5 项目立项阶段综合评分

（四）评价结果应用

我国理论界和实务界对绩效评价结果的应用主要有两方面的建议：一是完善绩效评价结果与干部培养选拔、薪酬待遇和行政问责挂钩的考核办法（吕侠，2013）；二是在预算执行阶段放松投入控制，允许在预算限额内围绕绩效目标灵活统筹资金（苟燕楠，2013）。

金融基础设施建设单位的内部管理更接近于行政单位，绩效评价作为发现问题的有效手段和改进问题的重要依据，其结果更多应用于提供决策支撑，同时有效提升项目管理水平。基于此，文本将金融基础设施开发类信息化项目的绩效评价细分为事前、事中、事后3个阶段，不同阶段应用不同的绩效评价指标，评价结果以评价报告、信息化项目仪表盘、打分表等不同形式展现，不同阶段的评价结果有着不同的应用。

1.事前绩效评价

事前绩效评价重点解决项目事前统筹不足的问题，重点围绕7个评价指标开展，评价结果将作为建设单位决策机构集体审议项目立项和预算安排的重要参考。本阶段的绩效评价可由第三方机构独立开展，也可组织绩效评价小组进行评价，必要时可邀请外部专家参与。

2.事中绩效监控

事中绩效监控重点解决超计划、超预算、质量低等问题，重在及时发现问题、解决问题。事中绩效监控自项目立项后每半年开展一次，从进度、预算、质量和风险控制4个维度开展，以信息化项目仪表盘的方式在单位内部展示。信息化项目仪表盘主要包括项目名称、开始时间、预计完成时间、总投资、建设目标、项目负责人、预算执行进度、项目实施进度、风险控制重大事件等内容。

为提高管理效率，若项目进度符合计划安排，信息化项目仪表盘以项目实施部门自评估为基础，绩效评价小组复核后发布。对预算进度、实施进度未达成预定目标的，绩效评价小组提请项目归口管理部门启动督办程序，具体如下：项目进度延迟超过实施计划50%或项目执行预算超过本阶段预算50%的，以会议形式讨论解决方案，项目负责人（服务商不参与）参会，必要时邀请外部专家参与，形成解决方案，解决方案落实情况纳入信息化项目仪表盘；项目超过6个月无任何进展的，项目暂停；项目立项之日起1年内未能开始实施的，项目自行撤销。

3.事后整体绩效评价

为全面评价项目绩效，项目投产一年后开展事后整体绩效评价。事后整体绩效评价结果以打分表的形式展现，评价结果将作为项目实施部门绩效考核的重要参考，也将作为信息化项目后期投入或二期立项的重要依据，评价过程发现的问题要形成信息化项目管理备忘录。事后整体绩效评价由项目实施部门开展自评、绩效评价小组开展评价的方式进行，必要时可邀请第三方机构或外部专家参与。

五、总结

本文对金融基础设施建设单位开展开发类信息化项目绩效评价提供了具体的工作思路和评价方法，设计了33个绩效评价指标分别应用于3个评价阶段。各金融基础设施建设单位需结合自身管理实际、项目实际，对绩效评价指标体系进行个性化完善。结合金融基础设施项目建设特点，本文就开发类信息化项目绩效评价工作的要点总结如下。

一是坚持全周期管理。开发类信息化项目的建设周期较长，如果采用传统的事后评价为主、事中监控为辅的管理方式，往往会陷入管理被动。建设单位应积极将全生命周期管理理念融入绩效评价工作中来，在项目立项、实施、产出和发展全过程，以绩效评价为抓手、为引导，有效提升项目管理水平。全周期管理的难点是实现绩效管理前移，需要单位领导层、建设部门、需求部门、财务部门形成共识，在立项阶段让绩效评价结果有话语权，在实施阶段让绩效监督发挥实效。

二是善于划阶段管理。绩效评价的指标选取和结果应用最终服务于单位的管理目标。开发类信息化项目在事前、事中和事后各个阶段的管理目标不尽相同，绩效评价也应相应细化为事前绩效评价、事中绩效监控和事后整体绩效评价。每个阶段的评价指标和评价结果应用都应结合实际、突出重点，提高绩效评价的针对性和有效性，不能一套指标走到底，更不能将绩效评价简单等同为一张打分表。