基于D&M模型的IT系统效能评估审计评价模型

王颖 张珂 赵蔚 戎伟 夏军 李旭

[摘要]本文基于中国移动北京公司内部信息系统审计成果，从审计角度探索IT系统效能评估模型，在拓宽审计成果实践应用的同时，为促进企业信息化管理能力的提升提供参考。

[关键词]内部审计    IT系统    效能评估    模型

一、IT系统需求开发及使用效能审计内容

中国移动北京公司（以下简称北京移动）2020年开展了IT系统需求开发及使用效能审计调查项目，根据北京移动IT系统管理特点，审计从系统建设项目全生命周期角度开展，对项目立项、需求管理、开发测试、系统运行维护、费用结算、系统应用等环节重点把控，查找问题风险点。

审计发现，在项目立项阶段，对IT系统进行宏观规划时，前期目标考虑不充分，导致后期IT系统功能需求频繁变更，造成系统开发投入资金的浪费。因此，在项目立项前期应对IT系统功能建设的必要性、建设内容、建设规模、建设方案、进度安排、风险分析、配套等相关内容进行充分的可行性研究，从公司发展战略、长远目标、业务时限需求等方面进行评估和决策。

在需求管理方面，存在项目最终交付成果与立项内容不一致情况，经审查是由于IT系统建设过程中存在未经审批的项目变更导致。需求随意变更，可能导致项目实际执行偏离立项目标，存在影响项目投资效益风险。在项目任务书下达后，如果涉及项目建设内容、建设规模、投资及进度等的变更，应及时提出变更申请并经相应层级审批。

在开发测试阶段，未充分考虑系统程序架构、安全等问题，且测试不够全面、完整，造成系统由于存在功能缺陷或安全漏洞等问题而下线，影响正常生产并造成投资损失。在系统立项及建设过程中，应充分考虑系统安全相关规定、指标，确保符合系统安全规定。

在系统运行维护阶段，存在系统功能模块上线、下线未及时发布通知，系统账号管理粗放，功能模块零使用率等问题，从应用维护角度反映出系统的使用情况。

在费用结算环节，工作量评估不合理、不严谨，导致需求工作量评估过高，对需求排期造成浪费，结算过多的人天工作量给公司带来一定的经济损失。应建立工作量评估模型，合理评估需求工作量，提升系统投资效益。

本次审计还通过线上调查问卷的形式，对系统的使用效果、使用频率、用户满意度等方面进行调研，多渠道收集信息资料，为搭建系统效能评估模型提供充分依据。

二、IT系统效能评估模型探索

北京移动结合层次分析法将决策问题分为目标层、准则层和方案层，同时参考D&M模型中的信息质量、系统质量、服务质量、使用意愿、用户满意、净收益等因素，分析IT系统需求开发及使用效能审计项目成果及其对公司的影响程度，对系统效能评估模型进行探索，最终确定IT系统效能评估模型。

IT系统效能评估模型分为5个维度，分别为目标评价维度、能力评价维度、效益评价维度、影响评价维度、持续性评价维度。每个维度由不同的指标共同进行评估，并根据企业实际情况设定指标评分依据及指标权重。

（一）系统效能评估模型架构

1.目标评价维度。包括制定合理性、战略一致性和实施时效性指标，共同评估IT系统建设项目的目标完成情况。制定合理性主要评估目标制定及项目立项的合理性。战略一致性主要评估IT系统建设项目立项是否符合公司发展前景或集团要求。实施时效性主要评估IT系统建设项目竣工完成的及时性。

2.能力评价维度。包括系统功能能力、系统运行能力和系统安全能力指标。系统功能能力主要评估IT系统建设项目竣工后，系统实际功能点完成度能否覆盖全部立项需求。系统运行能力主要评估系统在运行过程中的性能能否满足运行要求。通过系统性能评估、缺陷记录等查看是否对项目中功能点提出了缺陷修复需求，同时结合系统定期运行情况通报数据及日常运维需求进行综合判定。系统安全能力主要评估系统运行过程中的安全能力能否满足公司要求。结合网络与信息安全管理部门系统安全等级评判以及系统漏洞扫描记录，对系统的安全能力进行评判。

3.效益评价维度。包括系统开发效益和系统运维效益评估指标，共同评估IT系统建设过程及建设后为企业带来的效益。系统开发效益主要评估开发成本的合理性，查看人天价格是否合理、功能点人天工作量评估是否合理、评估开发过程中成本花费是否合理。系统运维效益主要评估项目功能点开发后带来的收益或提升的工作效率。

4.影响评价维度。包括內部流程影响和用户满意度影响指标。内部流程影响主要评估系统建设或优化后对公司内部业务流程的影响。向系统使用部门发放调查问卷，问卷中设定项目功能点开发前及开发后的流程影响评分，收集反馈并进行统计评判。用户满意度影响主要评估系统用户对系统的满意度情况，调查问卷中设定客户满意度等级，收集用户人员的反馈并进行统计评判。

5.持续性评价维度。包括系统点击率与账号活跃度两个指标。系统点击率主要评估系统功能的使用情况。定期统计系统使用率，查看系统功能点上线后的使用情况（点击率），结合该项目下所有功能点的点击率进行线性评分。账号活跃度主要评估系统账号的活跃程度。

（二）模型评分依据及指标权重

为使系统效能评估结果更准确、更贴合公司管理现状，北京移动通过对系统进行全量数据分析，对抽样数据进行重点审核，采用数据分析及概率统计的方法，确定本系统效能评估模型的评分依据及指标权重（见表1）。

三、系统效能评估实例展示

北京移动以某项目管理系统及2017年扩容项目二阶段工程为例，通过资料审阅、问卷调查、数据收集与分析，参照系统效能评估模型，对该系统进行系统效能评估，评估得分结果见表2和图1。

从某项目管理系统评估结果可以看出，该系统整体得分偏低，短板主要集中在效益评价维度和持续性评价维度方面。

为验证该模型的评估效果，北京移动还抽取了除该系统之外的8个系统进行评估，评估结果见表3。

通过对9个系统效能评估结果进行分析对比，系统效能评估平均分为70.23分，其中5个系统评分超过平均分，4个系统低于平均分，根据系统评估结果的分布情况来看，该模型评估效果具备可参考价值。

四、结束语

北京移动以拓宽审计成果实践应用范围、提高审计成果转化率为目标，本着审计价值利用最大化的原则，运用信息系统审计项目成果对IT系统效能评估模型进行探索。通过系统不同维度的得分结果，清晰得出系统建设项目存在的短板并分析原因，为后续系统建设项目投资立项及决策提供参考。不同企业可根据自身实际情况，调整模型指标打分依据及权重，为企业系统信息化评估提供思路，以审计之力助企业健康发展，最大限度发挥内部审计价值。

（作者单位：中国移动通信集团北京有限公司，邮政

编码：100007，电子邮箱：wang_ying2@bj.chinamobile.com）