OpenStack环境下的资源动态调度研究

邓志龙, 段哲民, 李刘涛



OpenStack环境下的资源动态调度研究

邓志龙1,3, 段哲民1, 李刘涛2

摘要：针对云计算平台中资源调度问题,提出了基于OpenStack的虚拟机动态调度算法。算法主要采用了基于节点负载的上线和下线触发策略和以提高服务质量和减少迁移成本的待迁移虚拟机选择策略.为了避免群聚效应,维持系统的负载均衡,通过计算虚拟机对节点的需求度来衡量虚拟机与节点间的匹配度,利用匹配度制成概率轮盘的目的节点的选取策略。最后结合云计算仿真平台CloudSim对算法工作的情况进行模拟,验证了算法的调度质量。

关键词：云计算;资源调度;负载均衡

伴随着网格计算(grid computing)、面向服务(service-oriented)及虚拟化(virtualization)等技术的发展与进步,云计算在理论及技术上得到了强有力的支持和推进,逐渐成为人们关注的焦点和未来计算模式的发展趋势。

目前,越来越多的应用服务提供商和中小型企业把应用部署到云平台上,云平台数据中心的数据逐渐增多,需要的服务器也逐渐增多,但是资源利用率不高的现象却普遍存在于云数据中心。如何提高资源利用率、维持系统的负载均衡以及减少能量消耗,已逐渐成为各企业在搭建云平台时重点考虑的问题。本文结合当前流行的开源云平台OpenStack,对OpenStack中的资源调度算法进行了研究,在此基础上提出了基于OpenStack的虚拟机动态调度算法,来维持云平台系统运行过程中的负载均衡,同时减少能量消耗。

1OpenStack的调度策略分析

在基于OpenStack搭建的私有云或者公有云中,往往都支撑着一系列具体服务的运行。平台数据中心负载往往很高,所以需要加入许多物理服务器来组成资源池以满足上层的服务需求。如何分配和使用这些资源,涉及资源调度的问题,在OpenStack构架中scheduler模块负责解决该问题。图1为OpenStack中Nova compute的结构图。

图1　Nova compute结构图

在Nova中,scheduler的实现机制是:从AMQP(高级消息队列协议)队列中接收一个RPC消息,再根据调度策略将消息转发给其认为最合适的compute节点。Nova调度器支持多种可能的因素来决策,比如compute负载、内存使用率等,在Nova中使用比较多的是FilterScheduler调度器。FilterScheduler调度器的处理大致可以分为2个步骤:过滤(filtering)和权衡(weighting)。据指定的过滤方法(比如在指定的可用区域额内,CPU使用率小于5%,内存使用率小于20%等)对所有的可用计算节点进行过滤,得到满足这一条件的所有计算节点的集合。然后将请求消息中指定的要求与过滤后的所有计算节点的当前特征值进行逐一对比,根据请求和计算节点的匹配度得到相应成本值(costs),将所有成本值相加得到权重值,并按照权重值的大小将计算节点进行排序,最后为要处理的消息选择权重值最小的节点,在此节点上分配虚拟机。

OpenStack采用了快速租用的调度算法来满足虚拟机的初始分配,但是缺乏根据节点实际运行过程中的动态调度策略,比如通过虚拟机的动态迁移来满足系统的负载均衡,因此,OpenStack搭建的云平台在运行一段时间之后,可能出现某些节点的负载过高,提供的服务质量下降,而其他节点可能相对空闲,负载较少,而且长时间工作在低负载的情况下,这样不仅容易造成系统负载不均衡,而且浪费了大量的资源。所以,在OpenStack中需要一个动态的调度算法在运行过程中对资源进行合理调度,来补充原有算法的不足,维持系统的负载均衡。

2资源动态调度算法

如何平衡系统中各节点的负载,实现资源的动态调度,主要涉及以下3个问题:①虚拟机迁移的触发机制,即哪个节点需要进行虚拟机迁移;②源节点中待迁移虚拟机的选取,即这个节点中需要迁移哪些虚拟机;③目的节点的选取[1],即将这些虚拟机迁移到哪些节点上。三者之间关系可以用图2表示。

2.1迁移触发策略

定义1能耗(power consumption):节点运行时消耗的电量的总和。一般情况下,一个节点的电能消耗绝大部分来自于CPU的使用,与CPU的使用率近似成以下关系[2]

(1)

式中,P为电能消耗总和,Cusage为节点CPU使用率,Fmax为满负载情况下节点的电能消耗,k为空闲情况下节点电能消耗占满负载情况下电能消耗的比例。由公式可以看出当Fmax确定,且k值一定时,该节点的电能消耗P的大小只取决于该节点CPU的利用率Cusage,节点从空闲到满负载的电能消耗与CPU利用率近似成线性关系[2],如图3所示。

图3　节点能耗图

从图3可以看出,随着CPU利用率升高,节点的能耗增加并不大,但是CPU利用率为0%(即空闲节点)的能耗却很高,所以应在保持节点能正常运行的情况下,尽量提高节点的负载,并且将空闲出来的节点关掉,以此来有效减少电能消耗。

定义2工作负载(work load):一个节点的工作负载可以用节点的CPU使用率和内存使用率计算而得,采用加权因子W=[w1,w2]对2种资源的利用率进行加权计算,具体该节点的负载定义为WorkLoad[3]

WorkLoad=w1Cusage(t)+w2Memusage(t)

(2)

式中，Cusage为该节点在时刻t的CPU使用率,Memusage为该节点在时刻t的内存使用率,式中w1+w2=1。

定义3负载均衡度(loadbalance):用WorkLoadi表示节点i的负载,B表示系统负载均衡度,系统中有n个节点,则B可以用以下公式求得[3]

(3)

(4)

B越小,说明各节点间负载差值越小,系统负载越均衡。

定义4节点负载等级(nodeloadlevel):根据节点负载的大小,将各节点负载分为以下几个等级:

表1　节点负载状态分类

根据对节点负载定义,设定双阈值触发机制:基于节点负载的上线阈值触发迁移和下线阈值触发迁移,如图4和图5所示。采用双阈值触发主要是基于两方面的考虑,上线阈值的设定主要是为了避免节点负载过高,无法满足用户需求,或者因负载过高导致节点运行出现故障;下线阈值的设定主要是为了尽量减少运行节点的数量,达到节能的效果。节点的负载信息包括了CPU的利用率、内存的使用率,能更加准确地描述资源的使用情况,单一的CPU利用率或内存利用率无法真实反映资源的使用情况。

图4　上线阈值触发迁移模拟图

图5　下线阈值触发迁移模拟图

实时更新节点负载信息容易出现瞬时低谷或高峰现象,可能节点负载瞬间超出了设定阈值,但是能在短时间内迅速恢复下来。为了避免因瞬间的振荡而错误地迁移,在本文中,引入滑动窗口[4],定义滑动窗口的更新周期为W,W值也表征着窗口大小,是一个连续的时间单元。在该连续时间单元内,将节点负载值按照固定时间间隔进行采样,采用队列形式组织缓冲池来保存采样数据,当下一个更新周期到来时,当前缓冲区插入到队尾,头缓冲区将作为下一个窗口的接收数据。对于上线阈值触发,在窗口内,设定一个最大超出次数Mmax,当节点负载连续超出阈值的次数小于Mmax时,滑动窗口不会触发报警,当节点负载连续超出阈值的次数大于Mmax时,滑动窗口发生报警,利用时间序列预测法[5]的AR模型对节点负载的下一个值进行预测,当预测值仍然超出阈值时,触发迁移,否则,不触发迁移。对于下线阈值触发,在窗口内,同样设定一个最大低于次数Nmax,当节点负载连续低于阈值的次数小于Nmax时,滑动窗口不会触发报警,当节点负载连续低于阈值的次数大于Nmax时,滑动窗口发生报警,利用时间序列预测法的AR模型对节点负载的下一个值进行预测,当预测值仍然低于阈值时,触发迁移,否则,不触发迁移。

2.2待迁移虚拟机选取策略

虚拟机的选取策略就是决定从源节点上选取哪些虚拟机进行迁移。在选取虚拟机前,必须确保该虚拟机实例保存在NFS共享存储中,在此基础上才能实现在线迁移。

首先,进行虚拟机的迁移必须要考虑用户服务质量,而用户服务质量主要取决于服务器CPU使用率,尽量选择CPU使用率高的虚拟机进行迁移,剩下的用户才能享用更多的CPU资源。虚拟机CPU使用率是第一个考虑因素。其次,在选择虚拟机迁移的时候要考虑迁移成本,迁移成本主要由迁移时间决定。虚拟机在线迁移过程中,目的节点会根据共享存储里的待迁移虚拟机文件生成一个虚拟机,然后源节点将待迁移虚拟机的内存向目的节点拷贝,同时记录下内存脏页,内存拷贝结束后,开始拷贝内存脏页,直到大部分的内存同步后,暂停待迁移虚拟机,将该虚拟机未同步的内存及CPU状态同步到目的节点上,之后目的节点上的虚拟机开始运行。因此待迁移虚拟机的内存决定了迁移时间。在迁移过程中虚拟机内存的使用是第二个考虑因素。

定义一个节点上每个虚拟机CPU使用量占该节点CPU总量的百分比为Ci,虚拟机内存使用量占该节点内存总量的百分比为Mi,Ui为CPU使用率和内存使用率的比值,即

(5)

通过上面分析,在选取虚拟机时,该虚拟机的Ci越大越好,Mi越小越好,即Ui越大越好。在选取虚拟机前,先将该节点上虚拟机的Ui进行排序,选取Ui最大的虚拟机进行迁移。

2.3目的节点选取策略

在迁移策略中,目的节点的选取尤为重要,它直接影响系统数据中心运行节点的负载均衡情况。如果选取的目的节点不合理,可能导致不必要的迁移,或者二次迁移,从而增加系统运行负担及系统能耗。

经过虚拟机迁移触发以及待迁移虚拟机的选取,将待迁移的虚拟机构成集合V=(V1,V2,…,Vn),选择第二等级的节点构成资源池C=(C1,C2,…,Cn)。本文中用CPU使用率、内存、网络带宽的三维向量来描述虚拟机和目的节点的资源。定义迁移虚拟机i对目的节点j的资源需求向量Dijvm=(dijcpu,dijmem,dijnet),计算公式如下:

(6)

(7)

(8)

式中，i-need表示虚拟机i所需的CPU资源、内存资源、带宽资源,j-total表示节点j的CPU资源、内存资源、带宽资源的总量,j-use表示节点j的CPU资源、内存资源、带宽资源已使用量,j-reserve表示节点j的CPU资源、内存资源、带宽资源的预留量。只有dijcpu,dijmem,dijnet的值均在(0,1)时,才能满足迁移虚拟机对节点的资源需求。如果这3个值有1个大于1,则该节点不能作为该虚拟机的目的节点,将该节点从此虚拟机的迁移目的节点集合中删除,剩余的节点构成该虚拟机迁移的资源池。根据虚拟机对CPU、内存以及网络带宽的需求比例关系,设定权值向量W=(W1,W2,W3),对3种资源需求进行加权计算,得到虚拟机i对节点j的需求量Sij

(9)

显然,Sij在(0,1)内,Sij越大,将该虚拟机迁移至该节点后,该节点的状态越趋近于达到上限。这样的迁移,会导致其他虚拟机的Sij较小而无法找到合适的目的节点,拥有更多资源的节点却无法接收到迁移的虚拟机,无法满足负载均衡。在此,定义虚拟机i对节点j的匹配度Mij

(10)

同样,Mij也在(0,1)内,Mij越大,虚拟机i对该节点j的需求越高,虚拟机迁移到该节点的可能性越大,虚拟机i和节点j的匹配度越高。

资源多、性能好的节点能匹配到相对多的虚拟机,此时就容易引起群聚效应,为避免群聚效应的发生,采用概率轮盘来进行目的节点的选择。

定义虚拟机i最终选择目的节点j的概率为Pij

(11)

式中,Mij为虚拟机i对节点j的匹配度。共有n个目的节点可以选取。其中

(12)

虚拟机i可以根据选择节点j的概率制定概率轮盘,如图6所示。

图6　虚拟机1的选择概率轮盘

每个迁移的虚拟机都有1个选择概率轮盘。在实现过程中,可以通过1个(0,1)的随机数字来判断所在的区间,实现虚拟机目的节点的选取。

由图6可知,资源越多、性能越好的节点在轮盘上占用的空间越大,指针最后指向该区域的可能性也就越大,从而该节点被选为目的节点的概率较大。而资源少的节点在轮盘上占用的空间少,被选为目的节点的概率也就小。这样,很大程度上改善了系统负载均衡,也在一定程度上减少了群聚效应的发生。

3实验仿真

为验证本文提出的虚拟机动态迁移算法的性能,本文采用云计算仿真软件CloudSim[6]进行仿真验证。在实验中,配置了100个节点,为了更加真实模拟云平台中资源的异构性,将这100个节点分成4组,每组25个节点,组内节点的配置相同,不同组间的配置不同,具体配置情况如表2所示。

表2　实验节点配置

为所有节点提供300台虚拟机,每台虚拟机的CPU在100～200MIP中随机产生,内存在1～2G中随机产生,带宽在5～10Mbps中随机产生。将这300台虚拟机随机安置在这100个节点上,对500个相互独立的任务集进行处理,每个任务长度在150 000～200 000中随机产生。

在节点负载公式(2)中,设置w1=w2=0.5,监控节点负载,如有触发迁移,则动态地进行虚拟机迁移。每隔100s统计1次节点的资源利用情况和节点的负载及系统的负载均衡度。双阈值触发动态迁移策略与无迁移策略、上线触发动态迁移策略及下线触发动态迁移策略的实验对比如图7所示。

图7　负载均衡统计图

由于各节点分配的任务不同,各节点的负载也不同,迁移次数随系统运行时间的增加而增加,传统的无迁移策略的负载均衡度值要明显高于有迁移策略的负载均衡度值。负载均衡度值越大,系统负载越不均衡。上线触发策略和下线触发策略的值要高于双阈值迁移策略,说明减少低负载节点使用和高负载节点资源使用能有效改善系统的负载均衡。

节点能量消耗主要与CPU使用率有关,假设每个节点的CPU使用率为0%时,消耗电能175W,CPU使用率为100%时,消耗电能250W,忽略迁移过程中电能消耗,分别对无迁移策略、上线触发动态迁移发策略、下线触发动态迁移策略及双阈值动态迁移触发策略的系统仿真大约20min,结果对比如图8所示。

图8　能耗对比图

由图8看出,下线触发策略和双阈值触发策略消耗的电能要明显低于无迁移策略和上线触发策略;所以,减少低负载节点的使用和关闭空闲节点能很好地起到节能效果。同时,上线触发策略消耗的电能低于无迁移策略,说明平衡各节点的资源使用率也能达到一定的节能效果。

4结论

本文针对云平台中资源调度问题,结合开源云OpenStack,给出了在OpenStack下进行虚拟机动态调度算法的具体设计。算法主要解决了虚拟机动态调度过程中迁移的触发问题,源节点中待迁移虚拟机的选择问题以及目的节点的选择问题。最后结合云计算仿真平台CloudSim对算法工作的情况进行模拟,验证了算法的调度质量。

参考文献：

[1]李强,郝沁汾,肖利民,等. 云计算中虚拟机放置的自适应管理与多目标优化[J]. 计算机学报, 2011, 34(12): 2253-2264

LiQiang,HaoQinfen,XiaoLimin,etal.AdaptiveManagementandMulti-ObjectOptimizationforVirtualMachinePlacementinCloudCompution[J].ChineseJournalofComputer, 2011, 34(12): 2253-2264 (inChinese)

[2]HuL,JinH,LiaoX,etal.Magnet:ANovelSchedulingPolicyforPowerReductioninClusterwithVirtualMachines[C]∥Proceedingsofthe2008IEEEInternationalConferenceonClusterComputing, 2008: 13-22

[3]方义秋,唐道红,葛君伟. 云环境下基于虚拟机动态迁移的调度策略研究[J]. 微电子学与计算机,2012,29(4): 45-48

FangYiqiu,TangDaohong,GeJunwei.ResearchonScheduleStrategyBasedonDynamicMigrationofVirtualMachinesinCloudEnvironment[J].MicroelectronicsandComputer, 2012, 29(4): 45-48 (inChinese)

[4]闫朝升,张承江,马英. 基于滑动窗口的时间序列数据流分析与预测技术研究[J]. 黑龙江大学自然科学学报, 2006, 23(6): 863-867

YanZhaosheng,ZhangChengjiang,MaYing.StudyonRegressinAnalysisandPredictionofTime-SeriesDataStreamsUsingSlidingWindows[J].JournalofNaturalScienceofHeiLongJiangUniversity, 2006, 23(6): 863-867 (inChinese)

[5]徐慧娟,周世健,鲁铁定. 自回归AR模型整体最小二乘分析[J]. 江西科学, 2011,29(5): 543-545

XuHuijuan,ZhouShijian,LuTieding.ARModelofTotalLeastSquareEstimationofInstability[J].JiangxiScience, 2011, 29(5): 543-545 (inChinese)

[6]BuyyaR,RanjanR,CalheirosRN.ModelingandSimulationofScalableCloudComputingEnvironmentsandtheCloudSimToolkit:ChallengesandOpportunities[C]∥Proceedingsofthe7thHighPerformanceComputingandSimulationConference, 2009: 1-11

Research of Dynamic Scheduling of Resources under the Environment of OpenStack

Deng Zhilong1, 3, Duan Zhemin1, Li Liutao2

1.School of Electronics Information, Northwestern PolytechnicalUniversity Xi′an, 710072, China 2.School of Automation, Northwestern PolytechnicalUniversity Xi′an, 710072, China 3.Digtal Informetion Technlogy Department, Shanxi Yacnth Vocation, Coltege, Xi′an, 710068, China

Abstract:A new virtual machine dynamic resources scheduling algorithm based on OpenStack is proposed to optimize scheduling of resources problems under the cloudcomputing platforms. Algorithm mainly adopts the online and offline trigger strategy based on node load and the VM selection strategy to improve the quality of service and reduce the cost of migration. In order to avoid the cluster effect and maintain the balanced workload in the system, the paper evaluates the matched-degree by calculating the VM demand for the node, and then determines the final destination node by the roulette of probability which is made by matched-degree. Finally, the cloud computing simulation platform CloudSim is used to simulate the algorithm and verify the quality of scheduling algorithm.

Keywords:Cloud computing; Resource scheduling; Load balancing

收稿日期：2016-03-01

基金项目：国家自然科学基金(61471299)资助

作者简介：邓志龙(1976—),西北工业大学博士研究生，主要从事信息与信号检测、识别、处理及系统控制等方面的研究。

中图分类号：TP391.4

文献标志码：A

文章编号:1000-2758(2016)04-0650-06