基于灰色理论的资源池削峰填谷优化方法研究

2018-03-28 06:01黎炜孟海军吴陶
电信工程技术与标准化 2018年3期
关键词:关联度利用率灰色

黎炜,孟海军,吴陶

(中国移动通信集团设计院有限公司重庆分公司, 重庆 401120)

1 引言

云计算技术的研究一直备受青睐,其通过硬件虚拟化按需分配资源池内资源,从而实现各业务的解耦,减少业务间的影响,增加各业务系统的安全性、运行稳定性,一定程度上提高资源的分配效率、利用率。

由于上述云计算技术的各种优异性能,电信运营商业务网络逐步改造、演进至成本低廉、开放程度高的x86分布式架构。但是,随着上层业务应用与底层基础资源的建设解耦,却没有一套行之有效的方法能够解决计算资源部署的削峰填谷问题,因此往往出现宿主机某时段CPU峰值告警,平时利用率又过低的情况。

基于此,提供弹性计算,实现系统之间的削峰填谷是优化业务部署的一个重要目标,关于此方面的研究有着重要意义。

2 系统现状

目前运营商均已建设了一定规模的云化资源池,计算资源能力主要通过虚拟机方式提供。在满足业务正常运行的前提下,通过计算资源的合理搭配部署,达到整体计算能力削峰填谷,实现资源效益的最大化,是衡量运营商云资源池建设水平的一个重要指标。目前,在虚拟化环境下,要实现计算资源错峰填谷,目前主要有两种选择:

(1)通过虚拟化软件的自动调度功能,如VMWare的DRS(分布式资源调度)功能,可以实现自动或基于简单规则的资源动态调度。缺点是:开源虚拟化产品通常不支持(如KVM),商用产品价格昂贵。

(2)人为预先判断业务属性、规划部署,人为了解业务系统运行特征,并人为优化部署。缺点是:工作量大,且人为了解业务特征较难。

通过分析,以上两种模式均能够实现资源优化部署,但无法低成本、简单、全面、智能地实现资源池计算能力的削峰填谷。

业务运行状态的多样化、差异化,是实现资源池错峰填谷的基础,而灰色关联分析算法正是研究系统间关联性的理论手段。

3 方案设计

3.1 灰色理论

灰色系统理论和方法是我国学者邓聚龙教授于20世纪80年代提出的用于控制和预测的理论技术,它通过对“部分”已知信息的生成、开发去了解、认识现实世界,实现对系统运行行为和演化规律的正确把握和描述[1-5]。

灰色关联理论中的关联度是指两个系统或两个因素之间关联性大小的量度,它描述系统发展过程中因素间相对变化的情况。如果两者在系统发展过程中相对变化基本一致,则认为两者关联度大;反之,两者关联度就小。可见,灰色关联度分析是对于一个系统发展变化态势的定量描述和比较[2-5]。

3.2 算法设计

现有的关联度模型有很多,例如:邓氏关联度、广义绝对关联度、T型关联度、灰色斜率关联度、B型关联度等[1]。其中,邓氏关联度利用位移差反映了两序列间发展过程或量级的相近性,且相对简单,故此本文采用此种模型。依据基本的灰色关联分析过程,针对本文要处理的问题进行改进,其步骤为如流程图1所示。

图1 流程图

3.2.1 数据收集

收集众多的计算单元的历史数据,比如:CPU利用率、磁盘IO、内存使用率等。假若系统只收集了CPU利用率,则其数据如下所述。

式中, n为CPU序列的长度(即历史数据长度),一般以时间作为排序依据;上述的m代表变量个数(即计算单元个数)。

3.2.2 原始数据变换

一般系统均会有众多的影响数据质量的因素,比如数据的量纲、数量级相差悬殊等。因此,需要对原始数据进行数据变换。传统的变换方式为:均值变换初始值变换、标准化变换等,而在本文中则采用标准化变换。标准化变换具有量纲为一,其均值为0,方差为1的特点[6]。

上述中Xi为第i行的平均值;δi为第i行的标准差; γi,j为Xi,j变换后的结果。于是,按上述要求变换后,数据矩阵变换为:

3.2.3 计算关联度

关联系数反映两个被比较序列的紧密(靠近)程度。关联度分析实质上是对时间序列数据进行几何关系比较,若两序列在各个时刻点都重合在一起,即关联系数均等于1,关联度也必等于1。比较序列往往不可垂直,所以关联系数均大于0,关联度也都大于0。于是,关联系数的范围为0<L≤1。

本文按照邓式关联模型,序列{X0(k)}与子序列 {Xi(k)}的关联系度r0,i可由下式计算:

式中, L0,i(k)为关联度系数;Δmax和Δmin分别表示所有比较序列各个时刻绝对差中的最大值与最小值,若序列相交,则一般取Δmin=0; ρ称为分辨系数,其意义是削弱最大绝对差数值太大引起的失真,提高关联系数之间的差异显著性,其范围为ρ∈(0,1),一般情况下可取0.1~0.5之间的值。

3.2.4 排列关联矩阵

按照上述的计算方法可以计算出所有序列之间的相关度,罗列程矩阵形式如下:

上述矩阵形式上为对称矩阵,不仅可以作为优势分析的基础,而且可作为决策的依据。

3.2.5 结果分析与决策

当获得上述的关联矩阵后,将某个序列(母序列)与其他序列(子序列)的相关度按大小顺序排列起来,便组成关联序,记为{rx},它直接反映各个子序列对于母序列的“优劣”关系。当然,实际工程中还要考虑各种工程要求。

(1) 存储方面的要求,考虑实际工程中的存储隔离,例如数据中心内部的业务网络和管理网络其访问的存储各自不同。

(2) 安全隔离需求,例如:私有云中互联网接入域的DMZ区,业务数据域的测试区、生产核心区需要通过防火墙隔离,则不能对此类业务进行整合编排。

(3) 网元隔离要求,上述所有的计算模型均要求设备处于同一网元,即设备处于相同的网络环境中,设备相互间可达。

统筹考虑上述要求后,对上述的关联度重排,把不符合存储、安全、网络方面的业务关联度设为最大值。

通过上述流程图循环迭代融合关联度最低的系统,即把最低关联度的业务部署在同一台设备中,最终会在满足工程要求的前提下最大化系统利用率,即达到了利用灰色关联理论最优化编排、部署业务的目的。

4 系统仿真分析

本文基于灰色关联分析算法,提出一种实现资源池错峰填谷的业务编排、部署方法。为了验证系统的有效性,此次对系统进行仿真验证,总体分为3个阶段。

4.1 获取历史运行数据

本文为方便验证可行性以及优越性,模拟构造一组简单的运行数据,其5个系统的历史数据如表1所示,数据的颗粒度为小时。

4.2 将历史数据进行灰色关联分建模并输出结果

目前能够实现灰色关联分析算法建模的分析工具有很多,包括:MATLAB、SPSS、SAS、R等。本文采用MATLAB平台自编程序完成建模验证,原始数据变换采用标准化变换,数据标准化结果如表2所示。

取分辨系数ρ为0.1,MATLAB建模并计算输出的关联矩阵结果如表3所示。

通过表3中,可以得知系统3与系统4的关联度最低,因此尝试将系统3与系统4进行合并部署,同时考虑同时部署时是否满足各种要求:安全、存储、网络。

本文假设只有一个要求,计算单元CPU利用率阀值80%,即合并的业务部署中不允许计算单元超过80%的CPU利用率,否则不允许业务融合。因此第一步合并部署系统3与4,进而再次循环,结果证明业务系统3与4合并后,并未使得系统超出CPU阈值,符合要求,进而计算其关联度如表4所示。

表1 CPU平均利用率历史数据

从表4中可以得知,业务系统1与2的关联度较低,因此可以合并。当再次迭代后发现系统的CPU均已接近80%,因此无法再次整合,结果以达到最优。

4.3 结果分析

在为进行灰色关联度理论进行业务重新编排、部署之前,其相应的CPU利用率情况如表5所示。

从上文的图1以及表5中可以得知,系统的整体利用率不高,而且随着时间的变动情况(标准差)颇大,而进行了业务编排后,其各个方面的性能展示如表6所示。

表2 数据标准化结果

表3 关联矩阵输出结果

表4 最终关联矩阵输出结果

表5 编排前利用率情况

表6 编排后利用率情况

从上文的对比中可以明显的发现,系统的CPU的利用率均值得到了很好的提升,而其系统的稳定性同样有了显著提高,而且可以省去两台计算单元,减少开支。

5 结论及未来工作

本文基于灰色关联分析算法理论,创新性提出一套资源池削峰填谷的优化部署策略,相比现有手段方法,一方面能够进一步优化资源利用率,同时满足业务平稳运行的要求,方法科学、简单、高效。

[1] 孙玉刚. 灰色关联分析及其应用的研究[D]. 南京:南京航空航天大学, 2007.

[2] 刘思峰, 蔡华, 杨英杰, 等. 灰色关联分析模型研究进展[J].系统工程理论与实践, 2013, 33(8):2041-2046.

[3] 张莎. 灰色关联分析新算法研究及其意义[D]. 沈阳:东北师范大学, 2012.

[4] 马苗, 田红鹏, 张艳宁. 灰色理论在图像工程中的应用研究进展[J]. 中国图象图形学报, 2007, 12(11):1943-1951.

[5] 孙晓东. 基于灰色关联分析的几种决策方法及其应用[D]. 青岛:青岛大学, 2006.

[6] 杨琦, 杨云峰, 冯忠祥, 等. 基于灰色理论和马尔科夫模型的城市公交客运量预测方法[J]. 中国公路学报, 2013,26(6):169-175.

猜你喜欢
关联度利用率灰色
浅灰色的小猪
2019年全国煤炭开采和洗选业产能利用率为70.6%
化肥利用率稳步增长
浅议如何提高涉烟信息的利用率
灰色时代
她、它的灰色时髦观
基于灰色关联度的水质评价分析
感觉
板材利用率提高之研究
基于灰关联度的锂电池组SOH评价方法研究