信息系统硬件资源需求测算方法

2017-11-03 03:15,,
计算机测量与控制 2017年10期
关键词:用户量数据量测算

,,

(1.中国南方电网有限责任公司,广州 510530; 2.南京南瑞集团公司信息系统集成分公司,南京 210000)

信息系统硬件资源需求测算方法

胡俊杨1,易勇强1,王涛2

(1.中国南方电网有限责任公司,广州510530; 2.南京南瑞集团公司信息系统集成分公司,南京210000)

信息系统硬件资源作为支撑企业信息业务的基础设施,其容量的准确测算对于信息系统的建设、运行以及扩容具有重要意义;目前信息系统硬件资源容量测算方法主要有TPC,SPEC,SAP基准测试,Linpack以及RPE2等;研究表明,这些方法有一定的通用性,但在反映系统运行的实际性能指标等方面仍有不足,导致企业在信息系统建设过程中普遍缺乏合适的硬件资源容量评估与配置方法,造成信息化建设成本增高或资源浪费;为解决这一问题,通过对实际信息系统进行性能测试,基于实测数据,运用拟合方法和灰色关联方法对系统的硬件资源容量的关键参数进行分析,建立硬件资源容量评估与测算模型,从而对资源需求和性能指标进行较为准确的量化测算;算例表明,所建立的模型正确有效,具有一定的工程应用价值;运用该方法结合企业信息系统实际,建立适合企业自身特点的测算标准,帮助企业在硬件资源配置中明确需求,确定选型,降低采购成本,达到避免浪费的同时满足业务需求的目标。

信息系统;硬件资源;容量测算;灰色关联分析;拟合方法

0 引言

信息系统是保障企业生产、经营管理等业务正常运转的重要支撑,承载它的基础硬件资源就显得十分重要。这些硬件资源主要包括服务器与存储。随着企业信息系统不断升级完善,已有硬件资源需要扩容,此时需要对其容量进行测算[1]。容量是对信息系统所需硬件资源进行的量化。服务器资源的量化指标包括服务器CPU核数、服务器内存大小等;存储资源的量化指标包括存储空间、IOPS等。与信息系统实际需求相比,硬件资源容量的测算结果偏小则不能满足运行要求,阻碍企业业务开展;测算结果偏大则造成硬件资源整体使用率低,导致设备成本的浪费。因此,硬件资源容量的测算结果是否准确十分重要。企业有必要对硬件资源进行容量管理,为信息系统所需的资源进行准确的量化与评估。良好的容量管理可以帮助企业进行精细化采购,降低采购成本。容量管理工作的重点在容量的评估、改进和预控,通过建模、服务监视、性能管理、需求管理、负载分析、趋势分析、优化等过程实现对资源、服务性能等级的准确管理,以符合当前和预期的业务需求。

目前,对于信息系统硬件资源容量的常用测算方法仍存在一定的不足。很多企业采用的容量计算模型大多是以TPC-C为参照[2-3],但其中参数的选值具有很大的主观性,并且各个硬件供应商公布的TPC-C数据往往只体现了极端配置的情况,和企业典型配置之间没有直接对应关系。

针对上述问题,以参照实际信息系统所搭建的测试环境为基础,结合以往实践经验,对系统实测运行数据进行整理分析,使用灰色关联分析法[4-6]对各硬件设备的相关指标进行了定量的关联分析,然后对关键指标与各运行数据进行建模,从而得出硬件资源容量的测算方法。算例表明,使用所建模型的计算结果与实际要求相符。

1 数据准备

以典型信息系统作为研究对象,对其相关硬件设备容量参数进行采集、存储、分析,并作为测算的输入。

2 硬件资源测算方法构建

根据企业信息系统业务特点及需求,硬件资源可分为存储硬件资源,数据库服务器硬件资源,应用服务器硬件资源。对这3种硬件资源分别进行分析建模。

2.1 存储硬件资源测算

对于存储硬件资源,重点关注数据容载能力以及数据传输能力,因此在进行容量测算时,对数据存储空间与IOPS这两个关键指标进行建模计算。数据存储空间是指存储器可以容纳的二进制信息量,用存储器中存储地址寄存器MAR的编址数与存储字位数的乘积表示,是存储产品最为关键的参数,类似磁盘的空间大小;IOPS (Input/Output Operations Per Second),即每秒进行读写(I/O)操作的次数,指存储每秒可接受多少次主机发出的访问。

总用户表大小TotalTable的算法:通过前期调研获取新建或扩容系统的核心业务数据占总用户表大小的比例,用核心业务数据量除以比例值计算出得出。核心业务数据是由所涉及的表大小、索引大小累加之和得出,即由单表的行数、平均行长度、索引数量等参数计算得出单表的大小以及对应索引的大小,并将各表、索引大小累加得出。计算步骤如下:

Step1:计算单个用户数据表大小

TableSize=LineSize*AvgLineLength* 1.3

(1)

根据行业经验,用户数据表通常大于单行大小与平均行大小的乘积,根据测算结果与实际对比考量,选取系数1.3。

Step2:计算用户索引表大小

IndexSize=IndexNum*TableSize* 0.2

(2)

根据行业经验,索引通常占自身表大小的20%,根据测算结果与实际对比考量,选取系数0.2。

Step3:计算总用户表大小

TotalTable=Σ(TableSize+IndexSize)/LoadRate

(3)

Step4:计算总数据存储空间大小

TotalCapacity=TotalTable+SysDbSize+

TmpDbSize+UndoDbSize

(4)

其中:TableSize为单个表大小,LineSize为单个表行数,AvgLineLength为单个表平均行长度,IndexSize为索引大小,IndexNum为索引数量,TotalTable为总用户表大小,LoadRate为核心业务量所占总业务量的比重(%),TotalCapacity为总数据存储空间大小,SysDbSize为归档空间大小,TmpDbSize为临时表空间大小,UndoDbSize为Undo表空间大小。

IOPS的计算主要根据用户表数据增长量以及用户表的计算模型中读/写比例,推算出用户表在业务高峰期产生的总I/O量,并通过这些核心数据产生的I/O占整个系统的比例,推算整个系统在业务高峰期的IOPS指标。将IOPS分为三部分:索引IOPS,redo IOPS,写操作IOPS,对其分别计算。

索引IOPS:

Step1:获取每个块写入的行数

Rows(i)=BlockSize*BlockFull/RowLength(i)

(5)

Step2:获取每行写执行的时间

RowsPerSec(i)=DayInc(i)/24/3600*(24*BusyRate)

(6)

Step3:获取索引需要的IOPS

IOPSIndex(i)=IndexReadCount*IndexCount*

RowsPerSec(i)*(1-HitRate)

(7)

redo IOPS:

Step4:生成redo需要的IOPS

IOPSRedo(i)=RowsPerSec(i)/CommitCount(i)*

RedoAddon

(8)

写操作 IOPS:

Step5:获取写操作需要的IOPS

IOPSInsert(i)=RowsPerSec(i)/Rows(i)*2*

(1+UpdateAddon(i))

(9)

Step6:累加各个核心业务获取系统总共需要的IOPS

IOPS=AdjRate*∑(IOPSInsert(i)+IOPSIndex(i)+

IOPSRedo(i))/∑(LoadRate(i))/

LoadHite/RWRate

(10)

其中:Rows(i)为每块写入行数,BlockSize为数据库数据块大小(byte),BlockFull为块填充率,RowLength(i)为数据库表行长度,RowsPerSec(i)为每行写执行的时间,DayInc(i)为每日增长记录数,BusyRate为忙时集中系数,IndexReadCount为每个索引操作的逻辑读数量,IndexCount为表的索引数量,HitRate为数据库cache命中率,CommitCount(i)为批量提交数量,RedoAddon为系统redo附加开销,IOPSInsert为写操作IOPS,UpdateAddon(i)为更新所占写操作开销,AdjRate为业务复杂度调整因子(业务复杂度调整因子,本次测试数据以某系统作为基准,选取典型综合场景进行测试,后期在使用方法进行测试时需要考虑新建系统与该系统相比的业务复杂程度,可通过经验数据确定也可通过并发数比例,数据量比例、峰值交易量比例,综合考虑调整因子的范围,选取范围建议为:1~2),LoadRate(i)为核心用户表所占总业务量的比重(%),LoadHite为系统允许的最高负载,RWRate为系统中的写操作占总操作的比例。

2.2 数据库硬件资源测算

服务器CPU决定了数据库服务器的运行速度,是衡量服务器性能的首要指标。服务器的内存主要是用来存储临时数据,起到缓存作用。一般而言,内存越大,可以将更多的临时数据存放到内存里,也就越有利于数据库运行[7]。因此,将数据库服务器的内存和CPU核数作为测算数据库硬件资源容量的指标。

内存主要分为3个部分:会话内存、PGA、SGA。

会话内存:数据库发起一个请求连接所占用的内存。

PGA:Program Global Area,每个服务进程、后台进程专有区。

SGA:system global area,全局共享区。

PGA与SGA配置标准是根据业界各类信息系统的数据库型配置管理经验总结得出。

表1 典型PGA内存配置表

表2 典型SGA内存配置表

表3 业务系统级别定义

内存测算公式如下:

Step 1:获取单节点数据库会话数

SessionCount=CurrUsers/NoteCount+SyssesCount

(11)

Step 2:获取所需内存

TotalMem=(SessionCount*SinglesesMem+

PGA+SGA)/0.8

(12)

其中:SessionCount为单节点数据库会话数,CurrUsers为最大并发用户量,NoteCount为数据库节点数,SyssesCount为数据库系统会话连接数,TotalMem为总内存,SinglesesMem为单空载session内存消耗,PGA为根据系统规模确定的PGA池大小,SGA为根据系统规模确定的SGA池大小。PGA大小、SGA大小、会话数空载消耗内存大小这3个部分的内存相加得出的结果应占总内存的80%。(根据业界的2/8原则,操作系统预占内存的20%,数据库预占内存的80%)

CPU核数消耗与并发用户量、数据量(所操作的数据库表和索引的大小,即热数据)有关。在系统运行过程中,若两个因素变化的趋势具有一致性,即同步变化程度较高,可谓二者关联程度较高;反之,则二者关联程度较低。灰色关联分析方法可以根据因素之间发展趋势的相似或相异程度,对其随时间或不同对象而变化的关联性进行量度[8]。

以某系统为业务测试对象,运用灰色关联分析法分析CPU核数与并发用户量、数据量的关系,步骤如下[9-10]:

Step 1:确定分析数列

反映系统行为特征的数据序列,称为参考数列,这里参考数列为CPU核数,记为y(k)。影响系统行为的因素组成的数据序列,称比较数列,这里为用户并发量与数据量, 记为xi(k),i表示比较数列类别。

Step 2:计算关联系数

x0(k)与xi(k)的关联系数记Δi(k)=|y(k)-xi(k)|,则关联系数计算公式为:

(13)

ρ∈(0,1),称为分辨系数。ρ越小,分辨力越大,通常取ρ= 0.5。

Step 3:计算关联度

关联度ri公式如下:

(14)

灰色关联度计算结果如下(几组结果求均值):0.7157

同理,可以得数据量关联度:0.5753

表4 测试数据

X1、X2、X3、X4、X5、X6,分别代表并发用户数:0、25、50、75、100、125、150、175、200。X0列表示:数据量(GB)

表5 计算X0-Xi

min min

|X0-Xi|=|299.73036,299.6139431,299.5004125,299.3897681,299.28201,299.1771381,299.0751525,298.9760531,298.87984|=298.87984

max max

|X0-Xi|=|999.7011,99.4188181,999.1394225,998.8629131,998.58929,998.3185531,998.0507025,997.7857381,997.52366|=999.7011

代入公式后:

r(X0,Xi)=

由上表可知CPU核数与用户并发量、数据量的关联度。对三者的关系做进一步分析,将CPU核数与用户并发量、数据量在三维图上表示,运用曲面拟合算法拟合,结果如图2所示。

图2 CPU核数与用户并发量、数据量的关系

其中:x代表数据量,y代表并发用户量。

通过Matlab进行计算得出CPU核数与用户并发量、数据量的曲面拟合公式:

f(x,y)=0.7449-0.002072*x+0.001871*y+

(1.626e-06)*x2+(9.478e-06)*x*y-

(2.309e-06)*y2

当数据量一定时,CPU核数与并发用户量之间变化关系如下:

图3 数据量一定时CPU核数与并发用户量的关系

基于上述拟合公式,CPU核数计算方法为:

1)获取套用测试模型的基准CPU核数(本例是以IBMP750硬件作为测试基准,基准CPU即指该款服务器的CPU)

CoreCount1=(0.7449-0.002072*x+0.001871*y+

(1.626e-06)*x2+(9.478e-06)

*x*y-(2.309e-06)*y2)*TestCpuRate

(15)

2)获取代入业务模型的基准CPU核数(业务系统计算所需的CPU)

CoreCount2=CoreCount1 *AdjRate*NoteCount/

(1-lusterLoad)/LoadHite

(16)

3)获取目标机型CPU核数(目标机型CPU是最终选型的服务器CPU)

CoreCount=CoreCount2 /CoreRate

(17)

其中:CoreCount1为套用测试模型的基准CPU核数,y为最大并发用户量,x为数据量(初始数据量与年增长数据量的总和),TestCpuRate为测试模型CPU的性能比值,CoreCount2为代入业务模型的基准CPU核数,AdjRate为调整因子(根据业务复杂度取值,选取范围建议为:1-2),NoteCount为数据库节点数,ClusterLoad为RAC集群消耗的额外资源比例,LoadHite为系统负载率,CoreRate为目标机型CPU与基准CPU性能的比值。(以IBM P750 单核CPU做基准,通过压力测试,记录下TPS值:TPS1。TPS=并发数/平均响应时间;计算出被测服务器单核CPU下的TPS值:TPS2;用TPS2值除以TPS1得到与基准CPU性能比值:k=TPM2/TPM1;IBM Power 750配置参数,CPU型号:POWER7;CPU主频:3.5 GHz;单路CPU核数:8;CPU路数:4。)

2.3 应用服务器硬件资源测算

通过对应用系统实际运行环境中上配置不同核数及内存数进行最大并发用户的压力承载能力测试,给出推荐的应用服务器配置如表7所示。

表7 应用服务器配置推荐表

应用服务器硬件资源测算主要依据最大并发用户量,结合典型系统的业务复杂度调整因子,确定最终的并发数量,根据应用虚拟机的典型配置通过查询表4获取所需的单个服务器配置,从而推算总资源数量。

下面计算并发量:

SupCurrUsers=CurrUsers(i)*AdjRate

(18)

其中:SupCurrUsers为最大支持并发用户量,CurrUsers为最大并发用户量,AdjRate为业务复杂度调整因子。

3 算例及分析

选取某已部署上线的系统的硬件资源使用情况进行验证分析,初始最大并发用户数为300,初始化数据量为110 GB。

1)存储硬件资源测算:

IOPS=(5.55*(400*(1+0.05)3+67.28)*1.5/0.7=5601.55

数据存储空间=800+100*3=1100G

生产环境实际存储配置为18T的中低端日立存储:

系统名称IOPS3年数据量推算存储需求生产环境某系统5601.551100G低端存储日立存储(中低端)18T

存储评估结论:

该系统的存储设备与经测算相差较大,实际生产环境所使用的存储设备容量高于测算结果,了解实际情况,主要原因是存储设备是公用存储,导致设备使用率过低。

2)数据库服务器硬件资源:

将采集数据代入公式(11)~(12),得出内存消耗=25.76G。

将采集数据代入公式(15)~(17),得出数据库基准CPU消耗=39。

建议配置如下:

根据2节点rac配置,单节点核数消耗是20。2路PC每台消耗4个核数(最大支持12核数);低端小机每台消耗3个核数(最大支持8核数),每台机器负载率不高于70%。

生产环境配置:

生产环境使用IBM p6 550搭建2节点rac每台服务器8核,高峰期系统CPU开销为35%。

数据库评估结论:实际生产环境所使用的存储设备和测算结果基本吻合。

3)应用服务器硬件资源:

最大并发用户数=300*(1+0.1)3*1.2=480

2路PC按最优(2核4G支持160并发),160*4个服务器=640并发用户

考虑到系统重要性按照N-1模式配置,即配置2台2路PC,总共8台服务器。

生产环境配置:生产环境使用2台8C虚机,高峰期系统CPU平均开销为10%,每台机器分配一个服务器共2个,每个服务器分配1 G内存。

应用服务器评估结论:该系统生产环境应用服务器硬件配置与测算值较为相符,但是生产环境中服务器内存分配较少,容易导致高峰期时期系统延时等问题,可进一步完善。

4 结论

将信息系统硬件资源分解为存储硬件、数据库服务器硬件、应用服务器硬件等3个部分,对每部分容量的关键指标进行了定性分析以及灰色关联度的定量分析,基于实测数据通过数据拟合的方式建立模型。仿真算例说明所建模型的计算结果与实际环境较为相符,表明模型的正确性与有效性。

[1] 袁小凯. 信息化硬件测试标准与方法研究[J]. 网络安全技术与应用, 2014(9):79-79.

[2] 明 媚, 焦丽梅. 面向应用的数据库服务器性能优化方法研究[J]. 计算机工程与应用, 2004, 40(34):179-182.

[3] 丁玉伟, 田渊文, 王海滨. 结合统计学方法的银行IT系统性能预测模型研究[J]. 中国金融电脑, 2015(10):42-47.

[4] 谭学瑞, 邓聚龙. 灰色关联分析:多因素统计分析新方法[J]. 统计研究, 1995(3):46-48.

[5] 邓 莉, 冉光和. 重庆农村金融发展与农村经济增长的灰色关联分析[J]. 中国农村经济, 2005(8):52-57.

[6] -曹树刚, 徐阿猛, 刘延保,等. 基于灰色关联分析的煤矿安全综合评价[J]. 采矿与安全工程学报, 2007, 24(2):141-145.

[7] 赵 琛. Oracle服务器性能影响因素分析与优化[J]. 电脑编程技巧与维护, 2011(20):73-74.

[8] 吕干云, 程浩忠, 翟海保,等. 基于改进灰色关联分析的变压器故障识别[J]. 中国电机工程学报, 2004, 24(10):121-126.

[9] 赵万里, 王智冬, 刘连光,等. 基于灰色关联分析的输电网规划方案模糊综合评价[J]. 电测与仪表, 2014(6):24-27.

[10] 齐亚伟, 刘 丹. 信息产业发展促进区域产业结构合理化的灰色关联分析[J]. 经济经纬, 2014, 31(4):74-79.

EstimationMethodforInformationSystemHardwareResourceRequirement

Hu Junyang1,Yi Yongqiang1,Wang Tao2

(1.China Southern Power Grid Company Limited, Guangzhou 510530, China;2.IT system integration company, Nari Group Cooperation, Nanjing 210000, China)

As the supporting infrastructure of company information business, accurate estimation of information system hardware resources has very important significances for construction, operation and expansion of information system. At present, the major method of measuring the hardware resource capacity of information system includes TPC, SPEC, SAP benchmark, Linpack, RPE2, etc.. Our research shows that these methods have certain generality, but in response to the actual performance index system and other aspects exist some deficiencies, leading enterprises generally lack of suitable capacity of the hardware resource assessment and allocation method in the process of the construction of information system, resulting in information construction cost increase or waste of resources.To solve this problem, through the performance test of the actual information system, based on the measured data, the analysis of the key parameters by fitting method and grey correlation method on the hardware resources of the system capacity, capacity building hardware resources evaluation and calculation model to quantify the measurement more accurate demand for resources and performance index.In this way, the modeling is obtained.The example shows that the model is correct and effective and it has a certain value in engineering.Using the method combined with the actual situation of enterprise information system, to establish the standard for the enterprise's own characteristics.Help enterprises to determine the selection of hardware procurement, reduce procurement costs: that is not wasted and can meet business needs.

information system; hardware resources; capacity measure; gray correlation method; fitting method

2017-03-20;

2017-04-16。

胡俊杨(1984-),男,贵州贵阳人,硕士,工程师,主要从事电力信息化规划与计划管理方向的研究。

1671-4598(2017)10-0166-05

10.16526/j.cnki.11-4762/tp.2017.10.043

TP391

A

猜你喜欢
用户量数据量测算
基于大数据量的初至层析成像算法优化
高刷新率不容易显示器需求与接口标准带宽
宽带信号采集与大数据量传输系统设计与研究
汽车道路阻力测算方法研究
The Walking Dead :the Leading Man Will Be Killed off
为什么手机号是11位?到底该怎么读?
美国付费电视市场第一季度流失61.2万用户
城市创新指数设计与实证研究
MySpace宣布裁员30%
固定资产管理系统对物流管理的促进和发展