李森 王子鑫 吴承昆
摘要:目前,计算机性能评价主要基于基准程序开展测试,且只能对某一方面进行检测,缺乏完整的综合性能评价方法。文章针对上述问题深入开展评价方法及模型的研究,通过开展大量信创计算机的性能测试并基于测试结果建立了计算机综合性能评价的理论模型,在行业内首次应用多元统计的因子分析方法,计算出理论模型中各项指标所占比重,并提出一种科学、完整、准确的计算机综合性能评价方法。
关键词:计算机;性能测试;综合评价;多元统计;因子分析
中图法分类号:TP368 文献标识码:A
1 引言
当前,市面上大部分的计算机评价软件均通过基准程序进行测试,存在评价软件功能单一且评价范围不全等问题。赵波[1] 指出,“基准程序不能对整个系列的产品性能做出纵向评价。” 常见的UnixBench,LmBench,GeekBench,Stream 和IOZone 等软件难以对计算机综合评价得出明确及完整的结论;刘力力[2] 指出,LmBench 测试存在计时方法误差较大、统计方法不够科学等局限性。因此,研究一种科学的计算机综合性能评价方法,可有效填补计算机在综合性能评价方面的空白市场。
本文拟采用多元统计的因子分析方法构建计算机的综合性能评价体系,通过构造模型,剔除指标之间的相互制约的成分,使复杂数据简单化[3] 。利用因子分析法,将较少的变量代替较多的变量,建立计算机综合性能评价的理论模型,并通过开展大量信创计算机的性能测试,准确计算出CPU、内存、I/ O 等指标的所占权重,从而对计算机综合性能进行深入分析、合理解释和正确评价。
2 多元统计分析评价系统
2.1 多元统计分析
多元统计分析是指同时检查多个变量之间关系的分析方法,能够在多个对象和多个指标互相关联的情况下分析它们的统计规律,如计算机设备之间CPU、内存、I/ O 等指标的相互关系,是一个重要的研究客观事物中多个变量(评价系统中所采用的各种指标)之间相互依关系的研究方法,也是一种综合的分析方法[4] 。
多元统计分析中常用的分析方法有聚类分析、因子分析、主成分分析、多元方差分析等。
2.2 因子分析
因子分析法已经在众多领域的应用中取得了成果,如余波[5] 将其应用在学术话语权评价指标的体系构建中。本文通过因子分析法对CPU、内存、I/ O 等观测变量进行了分类,将相关性高、聯系较紧密的观测变量分在同一类中,形成公共因子[6] 。建立因子分析模型的目的不仅仅在于找出主因子,更重要的是知道每个主因子的意义。例如,建立计算机综合性能评价模型后,我们希望知道每款计算机的性能分布情况———哪些计算机性能较强、哪些计算机性能较弱,这就需要用变量的线性组合来标记公因子,即由计算机产品的各项性能指标来估计它的因子得分[7] 。
因子分析法有2 个核心问题,即如何构造因子变量及如何对因子变量进行命名解释。
因子分析法的模型如下。
综上所述,根据因子分析抽取出的9 个公因子获利因子以及成长因子可以了解,对于计算机综合评分影响最大的能力就是处理器性能。X1 的贡献率为32.714%,所以对于提升计算机性能评分可以优先考虑提高CPU 能力,也符合大众对计算机的认识。
存在的问题:由于LmBench 的限制,结果只能精确到0.01 ns,因此LmBench 结果中长整型的加和乘数据无法测量,在因子分析中,先决条件是变量可以通过观测获得,模型中并未考虑处理器的长整型加和乘的影响。
4.2 计算机评价结果分析及提升建议方法
通过对采集的68 条技术路线的测试数据进行分析,得到结果:综合得分第一名的技术路线得分为1.1分,此技术路线(芯片+操作系统组合)的计算机在处理器能力、系统处理时间、上下文切换性能、乘法性能与显示性能5 个因子方面得分都比较靠前,但在内存、I/ O性能方面表现一般;处理器处理能力因子F1 方面,技术路线29 得分最高,分值接近2.3 分,而技术路线65得分最低,接近?3.3 分,说明此技术路线下CPU 性能表现较差。该因子下的排名与综合得分下的排名相近,说明处理器处理能力是影响信创计算机综合评价的最重要的因子;内存性能因子F2 方面,最高得分为正数,分数超过4.5 分,得分最低依然是负数。与因子F1 相较,内存性能因子的分值超过1 的技术路线有9 条,说明较强的内存性能对提升信创计算机的综合性能有正向帮助。系统处理时间因子F3 方面,得分最高的超过3 分,最低的接近-2 分,该因子下,排在前10 的技术路线大多都是MIPS 架构的设备,说明MIPS 架构在系统处理时间方面优于其他架构。
4.3 计算机综合性能提升建议方法
通过因子分析的计算机综合性能评价模型,充分显示了各性能因子在综合评价中的占比, 分析出计算机的性能短板所在,从而有针对性地进行优化,可以以较小的代价,使计算机的综合性能获得较大的提升。其中,处理器处理能力占整个计算机综合系统评分体系比重较大。考虑到目前信创处理器与主流的x86 或arm 处理器在性能上还存在较大的差距,因此,可以通过提高处理器处理能力使计算机的综合评分获得较大的提升。在本评价体系中,占比第2 的是内存性能,提升内存性能(包括提升内存带宽与降低内存延迟),同样可以以较小的代价获得计算机综合评分较大的提升。
各维度的性能占比如表7 所列。
5 结束语
本文对各类Linux 评价软件在计算机不同方面的性能指标进行了数据采集,通过多元统计中的因子分析法建立了计算机综合性能的评价模型,为计算机的综合性能评价提供了科学、客观的评价方法。后续会根据此评价方法及模型,建立一套计算机的性能综合评价系统,广泛应用于各类计算机,实现数据自动采集与综合评价功能,为个人或机构测评计算机提供重要的参考依据。
参考文献:
[1] 赵波.基于PageRank 的计算机性能评价方法[J].计算机工程,2010,36(17):286?287+290.
[2] 刘力力.计算机系统性能评测与分析[D].北京:中国科学院研究生院(计算技术研究所),2000.
[3] 李立明.基于多元统计分析方法的机器人综合性能评价[D].北京:北京工业大学,2014.
[4] 朱建平,殷瑞飞.SPSS 在统计分析中的应用[M].北京:清华大学出版社,2007.
[5] 余波,赵蓉英,邱均平.中国学者学术话语权评价指标体系的构建与应用研究———以国际生物学为例[J].情报科学,2021,39(12):105?112+125.
[6] 何晓群.现代统计分析方法与应用[M].北京:商务印书馆,2004.
[7] 何晓群.多元统计分析[M].北京:中国人民大学出版社,2007.
[8] 王小龙.冯诺依曼结构也适合量子电路[N].科技日报,2011?09?03(2).
[9] 董宇晖.计算机性能定量分析方法研究[J].计算机光盘软件与应用,2012,15(22):97+118.
[10] 杨军伟.面向IaaS 云平台测试的负载生成系统研究与实现[D].杭州:杭州电子科技大学,2016.
[11] 吴平凡,刘显德,吴少刚.基于龙芯平台的Docker 评测与分析[J].计算机系统应用,2020,29(4):58?64.
[12] 张广飞,侯锐,张科,等.内存系统模型与性能分析[C] / /第十七届计算机工程与工艺年会暨第三届微处理器技术论坛论文集(下册),2013:43?54.
[13] 陈金忠,姚念民,蔡绍滨,等.基于页面写相关的闪存转换层策略[J].通信学报,2013,34(6):76?84.
[14] 张立志,赵士彭,赵皓宇,等.高性能GPU 模拟器的实现[J].高技术通讯,2020,30(6):553?560.
[15] 舒予.基于因子分析和方差最大化模型的科研评价指标体系构建[J].情报杂志,2015,34(12):33?37.