于超 房芳
近年来,随着大数据、云计算、区块链、虚拟现实、人工智能等现代信息技术取得突破性进展,以及智能制造和工业互联网等技术平台的不断发展,信息化引领创新和驱动转型的先导性作用日益凸显。企业的发展离不开信息化的支撑,信息化在企业发展中发挥越来越重要的作用。企业信息化项目实施效果的好坏,直接决定着企业整体信息化水平的高低。因此,科学、合理地评价企业信息化项目的效果和价值尤为重要,这就需要企业做好信息化项目的后评价工作。
信息化项目后评价研究的现状
目前,国内信息化项目后评价理论及应用研究大多针对的是固定资产投资建设项目,对信息化项目后评价研究还不多。高伟(2007)探讨了企业信息化后评价工作的重要性,建议在信息化项目后评价过程应分阶段进行。王华、郭梅等(2009)认为信息化项目后评价的重点是项目目标实现度、項目管理情况、应用效果、影响和持续性。朱士松、肖瑾等(2013)把平衡计分卡融入项目后评价之中,为信息化管理人员的实际操作提供了规范和便利。李旭(2014)研究通用性信息化项目投资效益的评估方法,提出一种评价估计信息化项目的投入和产出的方法。
随着我国信息化进入快速发展期,对信息化项目后评价的需求也越来越迫切,此前我们对企业信息化项目后评价的研究尚未形成成熟的体系,不同企业信息化后评价的方法也存在较大差异。因此,本文提出一套企业信息化项目后评价指标体系,并结合实例进行分析,可以为后续企业开展信息化项目后评价工作提供参考。
信息化项目后评价的原则和方法
原则
(1)独立性原则。后评价工作必须独立、公正地开展。要独立进行分析研究,不受外界干扰或干预,在调查研究、分析问题、做出判断和提出建议时,要客观、公正和公平。
(2)科学性原则。坚持科学的态度,注重分析方法的正确性、研究依据及衡量标准的可靠性、分析结论的客观性。
(3)实用性原则。后评价结论要对决策者产生影响和作用,为决策提供服务。因此,后评价过程必须具有较强的针对性,后评价方法必须具有较强的可操作性。
(4)可行性原则。后评价过程应该考虑数据资料收集的方便性,尽量选择简单、易于掌握的计算方法等,避免程序烦琐复杂。
方法
(1)逻辑框架法。逻辑框架法是把一个复杂项目的内涵和关系展现在一张简单的框架图中来分析,将几个内容紧密相关、必须同步考虑的动态概念组合起来,通过分析它们之间的关系来评价一个项目的方法。
(2)综合评价法。综合评价法着重分析考察影响大和存在风险的问题,指出影响项目的关键指标,提出项目综合性评价结论的方法,是一种定量分析与定性分析相结合的评价方法。
(3)成功度法。成功度法是凭借评价专家或成员组的经验,根据项目总体的执行完成情况,综合考虑后评价的各项指标评价,对项目达到预期目标的程度或成败做出定性判断并得出结论。
信息化项目后评价内容及评价指标的建立
企业信息化项目可从项目前期评价、项目实施过程评价、项目目标实现评价、项目实施效果评价四个方面进行后评价。本文建立了一套涵盖1个一级指标、4个二级指标、12个三级指标的信息化项目后评价指标体系(见图1)。
项目前期评价
项目前期评价可分必要性评价和立项程序合规性评价两个方面。
(1)必要性评价。主要对项目技术条件、需求状况、项目可行性等方面对项目建设的必要性进行评价。
(2)立项程序合规性评价。主要对立项过程是否合规、材料是否完整等方面进行评价。
项目实施过程评价
项目实施过程评价可分投资控制评价、进度控制评价、质量控制评价、招投标及合同管理评价四个方面。
(1)投资控制评价。通过对比项目的估算、概算及结算金额,计算概算较估算节余率、结算较概算节余率,分析投资下降的原因,对于节余率较大的工程重点分析原因。
评价指标:
投资变化率=|估算-概算|/估算×60%+|概算-结算|/概算×40%
(2)进度控制评价。通过统计开工、竣工计划时间与实际时间的偏差、计划工期与实际工期的偏差,分析影响工期和进度的主要因素,评价进度控制措施的制定和执行情况。
评价指标:
进度偏离率=(实际工期-计划工期)/计划工期×100%
(3)质量控制评价。通过工程合格率、优良率等指标,评价项目前期设定的质量目标是否实现,若质量目标未实现,分析原因并提出改进建议。
评价指标:验收一次通过率(合格率)。
(4)招投标及合同管理评价。通过分析招投标合法性(程序、范围等)、招投标过程程序的完备性、合同订立程序的合规性、双方是否严格按照合同约定条款履行相关义务、合同纠纷处理等方面进行评价。
项目目标实现评价
项目目标实现评价可以分功能需求实现评价、系统架构实现评价和技术性能实现评价三个方面。
(1)功能需求实现评价。通过对比应实现的功能需求数量和已实现的工程需求数量,评价其情况。
评价指标:
功能需求实现率=实际实现的功能需求数量/应实现的功能需求数量×100%
(2)系统架构实现评价。可以从数据架构、应用架构和技术架构三个维度分析评价。
(3)技术性能实现评价。可对照可行性研究给出的同时在线用户数、系统响应时间、计算机资源可用率、每秒完成事务数量等性能指标,评价系统性能目标实现率。
项目实施效果评价
项目实施效果评价可以分为投入产出评价、系统安全评价和用户满意度评价三个方面。
(1)投入产出评价。通过计算系统投入、系统产出,得出投入产出比。根据投入产出效益评价标准,投入产出比大于等于200%,投入产出效益为“优秀”;投入产出比大于等于150%且小于200%,投入产出效益为“良好”;投入产出比大于等于100%且小于150%,投入产出效益为“一般”;投入产出比大于等于60%且小于100%,投入产出效益为“较差”;投入产出比小于60%,投入产出效益为“差”。
评价指标:
投入产出比=系统产出/系统投入×100%
另外,还可以采用系统投资实施效果当量作为指标进行投资效益分析。
评价指标:
投资系统价值当量=系统实施效果当量/系统总投资×100%
可以从三个维度考察实施效果:①提升企业业务能力与水平,以主营业务层面的改善情况为衡量依据,如流动资金占用率等;②提升管理效率,以主要管理效率层面的改善情况为衡量依据,如办公流程电子化程度、信息传递效率、管理透明度等;③改善系统架构与优化资源配置,以主要系统架构与资源配置层面的改善情况为衡量依据,如资源共享范围等。
(2)系统安全评价。可通过第三方风险评估中发现系统存在高危、中危风险的情况,进行系统安全评价。
(3)用户满意度评价。通过设计用户满意度调查表,抽查系统用户的满意程度,进行评价。
评价指标:
用户满意度=满意用户/抽查用户×100%
具体实例分析
以某公司云系统研发项目为例,该项目主要对云系统的各模块进行功能优化与增强,包括分布式计算服务模块、分布式存储服务模块、集中式存储服务模块、分布式网络服务模块、认证服务模块、资源编排模块、监控计量模块等。经分析,得到以下评价过程。
项目前期评价
(1)必要性评价。该项目的研发可提高公司的云服务能力,拓展产品市场,是非常必要的。
(2)立项程序合规性评价。该项目按时立项,申报材料完整,立项程序合规。
项目实施过程评价
(1)投资控制评价。该项目可研估算为497万元,结算为410万元,投资变化率=|结算-估算|/估算=17.5%,结算较估算节余率控制在20%以内,表明投资控制良好。
(2)进度控制评价。该项目计划开工时间为2018年4月15日,实际开工时间为2018年5月23日,较计划时间延后38天;计划最终验收时间为2018年12月31日,实际最终验收时间为2018年12月19日,较计划最终验收时间提前12天,表明该项目进度控制良好。
(3)质量控制评价。该项目一次性验收通过率为100%,获得验收证书,表明项目质量控制良好。
(4)招投标及合同管理评价。通过统计分析该项目招投标资料,该项目招投标流程规范,合同范本使用情况优良,合同签订规范、及时,履约情况良好。
项目目标实现评价
(1)功能需求实现评价。通过统计,该项目应用功能需实现24项,已实现24项;系统集成需实现4项,已实现4项。功能需求实现率为100%,表明项目在开发实施阶段对功能需求的实现有良好的控制过程,保证了实际功能与功能需求的一致性。
(2)技术性能实现评价。该项目的技术性能主要体现为网络性能、存储性能。经内外网测试,项目的网络性能与物理网卡速率相近,符合预期;存储性能的测试结果也较为满意。
项目实施效果评价
(1)投入产出评价。通过收资计算,统计该项目的投入产出情况如下:系统初设投资为410万元,系统运行费用为500万元。系统销售收入为1 900万元。通过计算,该項目投入产出比209%。根据投入产出效益评价标准,该项目经济效益水平为“优秀”。
(2)系统安全评价。经过网络安全测试,测试结果未发现高风险漏洞,存在中、低风险安全漏洞,经过安全整改后,修复了部分中、低风险安全漏洞,基本满足了公司对系统、网络安全的要求,表明该项目系统安全良好。
(3)用户满意度评价。该项目共发放用户满意度调查表20份,收回20份,用户满意份数为19份,满意度为95%。
结论
本文根据信息化项目的特点,从项目前期评价、项目实施过程评价、项目目标实现评价、项目实施效果评价四大方面,建立了一套适用于企业信息化项目的三级后评价指标体系,并在某企业云系统开发项目中进行了实证分析,证明该指标体系对评价信息化项目建设全过程可行、有效,可为后续企业开展信息化项目后评价工作提供参考。综上所述,信息化项目后评价可以全面反映和掌握信息化项目的投资绩效,有效控制管理信息化项目的全过程。