信息系统性能效率评估方法

2023-08-30 03:17黄文财吴新杰朱晓鹏钟远生
计算机测量与控制 2023年8期
关键词:赋权主观信息系统

黄文财,吴新杰,朱晓鹏,钟远生

(1.广东产品质量监督检验研究院,广州 510670;2.国家市场监管重点实验室(智能机器人安全),广州 510670;3.工业和信息化部 电子第五研究所,广州 511300)

0 引言

信息系统是以计算机为核心,融合数据处理、信息管理、决策支持、办公自动化为整体的人、机、信息资源一体化系统[1]。当前,信息系统日益复杂、用户急剧增加、数据存储量巨大和操作行为趋于多元化,信息系统关注的重点不再仅仅是功能正确性,系统的性能效率表现也越受重视[2-3]。信息系统性能效率测试是采用测试工具(如LoadRunner、JMeter等)最大限度模拟信息系统存在大量活跃用户且用户高度聚集的业务场景的多种负载状态[4],测试性能效率指标,分析并评估测试数据,判断信息系统满足性能效率程度。在《ISO/IEC 25010》标准中认为,软件的效率决定于时间特性、资源利用性和容量三大子特征[5]。在《GB/T25000.10-2016》中,性能效率被分割为时间特性、资源利用性、容量和性能效率的依从性四大子特性[6]。2021年,性能效率测试被单独撰写成国家标准《GB/T 39788-2021》,该文件详细描述了大型信息系统性能效率质量测度指标、测试过程[7],提高指标的覆盖率,由此可见,信息系统性能效率测试重要性不明而喻。

性能效率评估具有以下优点:1)基于信息系统性能效率测试的评估结果,可评估信息系统的执行效率、资源占用、系统容量等系统能力;2)分析评估信息中指标的异常状态,定位性能效率的系统瓶颈,为改善信息系统性能效率提供依据;3)根据评估信息多次试验,调整,验证信息系统的良好配置,实现信息系统的调优[8-11]。因此,构建全面覆盖时间效率、资源利用、最大限度的容量、性能效率依从性的指标、选择合理、科学的评估模型,对定位系统瓶颈、系统调优有重要意义。但目前信息系统性能效率评估方面还存在诸多问题:1)缺乏从多层级(合格、良好、优秀)角度出发评价指标数据;2)评估模型简单,现有的信息系统性能效率测试模型过分依赖于专家的专业知识和经验,或对客观的测试数据简单地线性加权,模型简单,评估结果不够合理、科学;3)性能效率的评估过程和结果具有随机性和模糊性,需要科学的方法解决表达语言中随机性、模糊性以及两者之间的关联性的问题。

目前评估方法有基于专家偏好的主观赋权法,包括层次分析法、专家调查法、关联矩阵法等,有基于实际测量数据的客观赋权法,包括熵值法、变异系数法、主成分分析法等[12]。然而,主客观赋权法均存在一定的缺陷,主观赋权过分依赖专家的专业能力和经验,主观意识过强,脱离实际数据,缺乏科学性;客观赋权法依赖于数据,缺乏相关经验知识的考虑[13]。为了融合主客观的优点,采用组合赋权法[14-15],包括最小二乘的线性组合法、乘法合成归一法等,既考虑专家的经验知识,又保留数据的严谨性,可应用于多属性决策问题[16]和风险、质量、可靠性等评估[17]。

本文设计一种信息系统性能效率评估方法,可综合评估信息系统的性能效率能力。首先,构建评估指标,采用改进的功效系数法从多层级角度(合格点、良好点、优秀点)归一化指标数据;其次,使用CRITIC法,基于权重之间的对比性和冲突性构建多权重组合赋权法,既克服单一专家的主观随意性,又综合考量主客观权重优点,最后基于云模型理论,克服综合评价的模糊性与随机性。

1 基于组合赋权云模型的信息系统性能效率评估方法

1.1 评估指标的评价归一化

1)性能效率评估指标的选择;通过逐一调查分析信息系统运行流程的每一阶段、每一环节,绘制了信息系统性能效率执行框架图(见图1),分别由输入单元、待测信息系统、控制单元、指标监视单元4部分组成,其中,输入单元是通过负载发生器模拟多用户并发执行负载脚本记录的用户操作信息。控制单元决定性能效率流程顺序、控制数据流的流向。指标监视单元监控待测信息系统性能指标的实时信息,包括信息系统运行效率的时间特性、所使用资源数量和类型利用程度的资源利用率、最大限量满足需求的容量和遵循相关标准程度的依从性。选择此4个指标作为一级指标,在一级指标之下构建多项二级指标,如图2所示。

图1 信息系统性能效率执行框架图

图2 性能效率指标

2)波动性指标数据评价的归一化;针对平均吞吐量、容量与信息系统的类型、性质、服务器容量、用户的需求等有关,不同的信息系统的评分标准不一,满足用户需求程度也不同,数据波动性大,不易评价的问题,采用通过专家打分法,根据满足需求的程度越高,分值越高的原则打分,取值范围为[0,1]。

3)稳定性指标数据评价的归一化;考虑时间特性(除平均吞吐量)、资源利用性、性能效率依从性数据波动性较小,趋于稳定,数据之间具有可比性,可基于数据范围归一化评价该指标,但依然存在以下问题:1)性质、量纲不一;如时间特性强调运行效率、性能效率的依从性遵循相关标准的程度,且两者数值单位也不一致;2)数量级别不在同一等级;如资源利用性强调资源利用程度,取值范围为[0,1],时间特性的取值为[0,N],其中N≥0;3)缺乏对不同层级的分数的划分,且不能体现性能效率合格、良好、优秀等层级的分数。针对以上问题,采用功效系数法,可将指标数据一一映射到同一区间[0,1],但传统功效系数法直接采用线性映射方式归一化指标数据,且不同样本数据最大值和最小值不统一,出现同一指标数据的相同数值,在不同样本数据中归一化的结果不一致,导致数据不具备可比性[18]。因此,在传统功效系数法基础上,设置层级点(合格点、良好点、优秀点),划分性能效率指标数据为不同等级区间,基于范围设置双边约束临界值,规范最大值和最小值,通过改进的功效系数法归一化指标数据,其步骤如下:

1)设置双边约束临界值;选择固定的不可接受临界值和最佳性能效率值为双边约束临界值[Imin,Imax],映射到固定区间[0,1];

2)数据指标离散化;选择层级点(合格点Ih、良好点Il、优秀点Iy)为离散点,划分指标数据到多个固定标准化区域,并一一对应不同的功效系数值[Gmin,Gh,Gl,Gy,Gmax]=[0.2,0.6,0.8,0.9,1],其中Gh,Gl,Gy分别为层级点的功效系数值,Gmin,Gmax分别为双边约束临界值的功效系数值;

3)数据同向化;将数据类型统一转变为数值越大性能效率越小的极小型,如性能效率的依从性,该指标为极大型,采用倒数法转化为极小型;

4)归一化指标数据;基于相邻区间的功效系数值的差值,计算标准值,结合该标准化区域的功效系数值,采用改进的功效系数法计算评估数据的分数,使得不同指标评估数据转化到同一数量级,克服量纲、数量级等特征不一致的问题,其中改进的功效系数如式(1)所示:

(1)

1.2 评估权重的计算

为了克服单一专家的主观随意性,又综合考量主客观权重优点,让三位专家采用层次分析法给出性能效率的主观权重,采用熵权法基于历史数据计算出客观数据评估权重,再采用CRITIC法,基于权重间的对比性和冲突性构建多权重组合赋权法,优化组合权重的方法,提高权重的合理性、科学性和严谨性。

1)主观评估权重的计算;为了将复杂的性能效率评估指标层次化、结构化,将时间特性、资源利用性、容量以及性能效率的依从性等划分成层次化结构;采用层次分析法,构造包含目标层、准则层、指标层的递阶层次指标结构,综合考虑专家专业知识和经验,主观构建判断矩阵,经一致性校验后获取主观评估权重再将其归一化,提高权重的合理性。

2)客观数据评估权重的计算;为了避免权重计算主观偏好过强的情形,利用数据的方差变异程度越小,信息熵会越大,代表对应的权重值越小原理,采用熵权法客观计算经过标准化处理的历史评估数据的概率、推算指标的信息熵和信息效用值,归一化后取的指标的权重,客观计算评估权重,提高评估权重的科学性和严谨性。

3)组合权重的计算;综合考虑专家专业知识和经验和数据的严谨性,采用组合赋权法综合考量主客观权重优点,提高权重的合理性、科学性。

4)组合权重的优化。性能效率指标性质不一、数量众多,特别是二级指标分配不均,单一专家求解权重容易造成主观随意性,为了克服这一现象,设计一种由三位专家采用层次分析法主观赋权,结合熵权法的组合权重办法,提高权重赋值的合理性、科学性和严谨性。然而,多权重的组合赋权不仅主观、客观权重赋值之间存在差异,并且不同专家间的主观权重赋值由于知识储备、工作经验不一而导致多个主观权重的赋值也会存在一定的偏差,这些偏差导致权重之间的不一致,相关性较低,因此,为提高权重间的相关性,缩短差异,首先设置权重系数,再利用CRITIC法的对比性和冲突性构建组合赋权,其中,对比性利用标准差的形式衡量同一个指标在不同评价权重之间取值差距大小,标准差越大,说明波动越大,即评价权重在此指标的取值差距越大,权重系数赋值也因设置较高;冲突性使用皮尔逊相关系数法表示权重之间的正相关性,若相关性较小,其冲突性越大,其权重系数应设置较大。通过设置权重系数的大小,减少权重间的差距,提高相关性,其计算过程为:

1)依据三位专家的主观权重(W1,W2,W3)和熵权法的客观权重W4设置权重系数。

W=α1W1+α2W2+α3W3+α4W4

(2)

其权重系数α1,α2,α3,α4满足约束条件:

α1+α2+α3+α4=1

(3)

2)构建权重矩阵[W1,W2,W3,W4],计算权重数据的对比性和冲突性如式(4)和式(5)所示:

(4)

(5)

式中,rkj是指标k和j之间的相关系数,使用皮尔逊相关系数法表示。

3)设置信息量为中间值,有机结合对比性和冲突性,综合衡量权重的相对重要性,信息量计算公式如下:

(6)

其中:ηj表示对比性量化数值。

4)计算权重系数,根据权重数据的对比性和冲突性,采用CRITIC法计算权重系数,其中,权重的重要性越大其权重系数越大。

(7)

依式(7)最后所求得的权重系数αj为[0.201,0.188,0.194,0.417],代入式(2)计算的主客观权重和组合权重如表1所示。由表1可知,三位专家的主观权重在一级指标中顺序都为:B1>B2>B3>B4,而客观权重的顺序为B1>B3>B2>B4,缺乏合理性,这是由于客观权重过度依赖于实测数据,缺乏相关知识经验的支撑,而组合权重保留了主观权重的合理性,其顺序与主观赋权一致。其次,三位专家的主观权重中,B1比B4权重都相差过大,这是由于脱离实际数据,过度强调主观意识造成的,而组合权重结合数据的严谨性,缩小B1与B4之间的差距。因此,基于CRITIC法的对比性和冲突性的组合赋权法综合考虑了主观因素和客观因素,不仅保证权重间的层次顺序,又有效缩小了权重间过大的差距,具有合理性和有效性。

表1 性能效率主客观权重值

1.3 信息系统性能效率的评估

基于云模型理论的定性、定量之间的转换,结合组合赋权权重转换为云模型,生成以自然语言描述性能效率综合评估结果[19-20],克服综合评价的模糊性与随机性。

1)评估等级的构建。根据系统满足性能效率的程度,构建多个等级区间描述性能效率综合评分的模糊评语集,包括极低性能、低性能、适中性能、良好性能、优秀性能5个评估等级,再采用云特征计算公式求出等级区间的云模型特征值,构建的评估等级如表2所示,其中云特征计算公式为:

表2 评估等级

(8)

式中,Exs为期望值,Mmin,Mmax分别为最大、最小边界,k为熵Ens和超熵Hes之间的线性关系值。

2)标准模型的绘制。基于评估等级的云模型(如表2),采用正向云发生器,绘制出性能效率的标准模型,作为评价的衡量尺度。

3)二级指标的云模型特征参数的计算。为了提高测试数据的可信度,多次测试数据,剔除异常值,采用逆向云发生器转换数据,计算出二级指标云模型的3个数字特征,结果为Exi,Eni,Hei,其计算公式如式(9)所示:

(9)

4)一级指标和综合评价云模型特征参数的计算;二级指标的云模型特征参数Exi,Eni,Hei,结合该指标的组合权重,通过公式(10),综合成一级指标云模型的数字特征(Yx,Yn,Yh),同理,综合评价云模型特征参数又二级指标的云模型特征参数,结合该指标的组合权重计算可得。

(10)

5)模糊评估结果的生成,将一级指标和综合评价云模型特征参数绘制成云模型,生成综合云模型的基本形态,与标准模型比较,进而判断一级指标和综合评价云模型的隶属度,再结合表2的评估等级,生成以自然语言描述性能效率综合评估结果,克服综合评价的模糊性与随机性。

2 系统验证

选择国内某大型工业机器人制造企业CRM信息系统为例,该系统需满足数据实时性强,交互性强、系统稳定性高等需求。随着企业业务的快速地发展,CRM系统中客户量、交易量、任务量、商机展现量快速增长,并由此而产生的数据量急剧增加。为了获取更贴近真实CRM系统的日常业务应用,选取关键业务且资源的占用率高、业务使用频率、数据实时性强的商机提交、任务创建、客户交易信息查询、商机查询、任务查询组成并发的混合业务场景,其中,指标中平均响应时间、平均周转时间取多个业务的平均值。选择典型业务且是数据分析基础的客户交易信息查询场景作为压力测试场景。为了提高测试数据的可信度,采用多次测量(5次)指标数据(如表3的测试数据)。再采用式(1)所示的改进的功效系数法结合表4中多层级评价的层级点(合格点、良好点、优秀点),归一化评估指标的评价,结果如表3所示。二级指标的云模型特征参数通过公式(9)处理的评估数据,将此结果结合公式(10)计算一级指标的云模型特征参数结果如表5所示,同理获取性能效率综合评价,其结果为(0.783,0.007,0.003)。最后将上述获取的云模型特征参数依次绘制如图3所示,由于性能效率依从性B4趋于稳定,不具备模糊性,故不使用云模型绘制。

表3 CRM信息管理系统性能效率数据

表4 多层级评价的层级点

表5 CRM信息管理系统性能效率数据

图3 性能效率云模型

绘制的评估云模型如图3所示,图中黑色云模型为评价衡量尺度的标准模型,灰色云模型为评价模型,其都显正态分布,趋于稳定,表明该云模型有效。由图3(d)可

知评价模型位于U3和U4之间且趋于U3,为了确保综合评价结果的准确性,基于文献[21]中云模型相似度度量方法计算其相似度,可以得出与U3更为相似,根据最大隶属度原则,该CRM系统综合评价A的等级为适中性能(U3),即该系统基本满足信息系统的性能效率要求,系统基本稳定,该结果与预案评审结果一致。由图3可知,B1,B2和B3隶属度分别为U4、U3、U3,可以看出,一级指标中,时间特性隶属度最高,结果为良好性能(U4),表明时间特性满足信息系统对该属性的性能效率要求,资源利用性和容量隶属度为U3,隶属度偏低,评估等级为适中性能;仅基本满足信息系统对资源利用的要求。分析导致该隶属度的原因可知,资源利用性拉低了性能效率的整体的评分,通过深入分析,该CRM信息系统运行多年,积累的客户信息、交易数据数量巨大,且频繁访问造成内存I/O的频繁读写,导致CPU使用率、带宽占用率过高,造成资源利用性评分过低。因此建议投入更多设备提高该CRM信息系统容量,包括扩大服务器规模、增加内存设备,提高网络带宽,以适应数据量和交易量日益增加的需求。

3 结束语

性能效率评估可分析系统瓶颈,为改善信息系统性能效率、实现系统调优提供依据,设计改进的功效系数法从多层级(合格、良好、优秀)角度出发评价指标数据,使用CRITIC法的对比性和冲突性构建综合多位专家主观权重和客观权重的多权重组合赋权法,不仅克服单一赋权的局限,也克服单一专家求解权重容易造成主观随意性的问题,为归一化评估指标、组合赋权提供新的方案,本文构建的信息系统性能效率评估方法的结果表明具有良好的适用性,云模型的定性、定量之间的转化,有效克服评估中模糊性与随机性问题,为性能效率的评估提供了技术支撑。

猜你喜欢
赋权主观信息系统
论乡村治理的有效赋权——以A县扶贫项目为例
企业信息系统安全防护
“美好生活”从主观愿望到执政理念的历史性提升
企业数据赋权保护的反思与求解
加一点儿主观感受的调料
试论新媒体赋权
基于改进AHP熵博弈赋权的输变电工程评价
基于区块链的通航维护信息系统研究
刑法主观解释论的提倡
信息系统审计中计算机审计的应用