基于李雅普诺夫优化的容器云队列在线任务和资源调度设计

李磊 薛洋 吕念玲 冯敏

摘 要：为在保证任务服务质量（QoS）的条件下提高容器云资源利用率，提出一种基于李雅普诺夫的容器云队列任务和资源调度优化策略。首先，在云计算服务排队模型的基础上，通过李雅普诺夫函数分析任务队列长度的变化;然后，在任务QoS的约束下，构建资源功耗的最小化目标函数;最后，利用李雅普诺夫优化方法求解最小资源功耗目标函数，获得在线的任务和容器资源的优化调度策略，实现对任务和资源调度进行整体优化，从而保证任务的QoS并提高资源利用率。CloudSim仿真结果表明，所提的任务和资源调度策略在保证任务QoS的条件下能获得高的资源利用率，实现容器云在线任务和资源优化调度，并且为基于排队模型的云计算任务和资源整体优化提供必要的参考。

关键词：云计算;资源调度;建模与分析;服务质量保证;功耗优化;李雅普诺夫优化

中图分类号： TP393.09

文献标志码：A

Abstract： To improve the resource utilization with Quality of Service （QoS） guarantee， a task and resource scheduling method under Lyapunov optimization for container cloud queue was proposed. Firstly， based on the queueing model of cloud computing， the Lyapunov function was used to analyze the variety of the task queue length. Secondly， the minimum energy consumption objective function was constructed under the task QoS guarantee. Finally， Lyapunov optimization method was used to solve the minimum cost objective function to obtain an optimization scheduling policy for the online tasks and container resources， improving the resource utilization and guaranteeing the QoS. The CloudSim simulation results show that， the proposed task and resource scheduling policy achieves high resource utilization under the QoS guarantee， which realizes the online task and resource optimization scheduling of container cloud and provides necessary reference for cloud computing task and resource overall optimization based on queuing model.

Key words： cloud computing; resource scheduling; modeling and analysis; Quality of Service （QoS） guarantee; energy consumption optimization; Lyapunov optimization

0 引言

2011年美国国家标准和技术研究院（National Institute of Standards and Technology， NIST）的Mell等[1]对云计算作出了如下定义：云计算能通过网络以随时随地、便利的、按需付费的方式提供高可用资源（包括网络、服务器、存储和应用服务等），这些资源来自一个共享的、可配置的资源池，同时可以自动地完成资源的启动和释放，节省了人力物力。该定义清晰地阐述了云计算特点，这些特点使得云计算成为了当前互联网的重要基础设施之一，通过云计算资源弹性构建和按需付费等特点，使用者和开发人员可以通过网络便利、按需地从一个共享的、可配置的资源池中获取包括计算、存储、网络等资源，节约了使用者和开发人员对于基础设施的资源投入，并实现了应用的快速部署和上线运行[2-4]。如文献[5]所述，在实际的使用过程中，大多数的云计算使用者和开发人会员为了满足不确定的网络任务需求，以超量资源（所提供的资源大于最大的实际资源需求）方式进行资源的规划，这种方式造成资源的大量浪费和资源功耗，同时降低了服务的收益。因此在面对不同时刻随机的网络任务负载需求时，如何发挥云计算的特点，按照负载任务需求进行资源的動态伸缩，使得资源能符合不同时刻网络负载任务需求，从而在保证任务的服务质量（Quality of Service， QoS）的前提下有效减少容器云冗余资源的功耗、提高资源利用率，已经成为了云计算技术领域的研究热点之一。

然而，资源动态调整技术研究不仅包括云计算的资源调度，也包括了任务调度和服务质量等问题，目前主要分为两种方式，即主动资源调整方式和被动资源调整方式。其中主动资源调整方式通过对负载和任务进行在线的预测，根据预测的结果对云计算的资源提前进行调度，实现资源和负载需求的动态匹配。如：Sladescu等[6]研究了常用的预测方法，包括自回归积分滑动平均模型（AutoRegressive Integrated Moving Average model， ARIMA）、人工神经网络（Artificial Neural Network， ANN）和支持向量回归 （Support Vector Regression， SVR），以及负载预测在服务质量方面的影响;Islam等[7]提出并研究了基于ANN的云计算负载研究技术;Calheiros等[8]在ARIMA基础上提出了任务负载预测和资源的主动调度策略;Pacheco-Sanchez等[9]研究了基于马尔可夫模型的云计算负载预测技术;徐达宇等[10]提出了一种改进灰狼搜索算法优化支持向量机的短期云计算资源负载预测模型;赵宏伟等[11]设计并实现了一种基于径向基函数（Radial Basis Function， RBF）神经网络和粒子群算法的云计算资源动态调度系统;李丹程等[12]基于OpenStack平台提出了资源动态调度算法，将计算任务迁移到更合适的服务器，达到提高集群计算能效的目的。而被动资源调度方式主要是通过当前时刻负载的信息完成对云计算资源的调度和调整。

如Zhu等[13]基于多输入多输出框架提出了一种自适应的云计算资源调度系统，在时间的限制下获得最大的服务质量;Bonvin等[14]以最大集中收益为目标提出了一种云计算的资源调度策略;Khazaei等[15]提出了一种基于排队论的云计算模型，并通过该模型分析云资源的扩展性。一些最优化计算方法也被用于云计算任务和资源调度的优化，例如李腾耀等[16]基于遗传算法提出了一种云任务调度算法;朱海等[17]提出一种能耗优化的资源分配调度体系架构，并基于此架构设计了一个满足实时用户服务保障（Service-Level Agreement， SLA）的能耗优化模型，该优化模型从系统级和部件级两个层次进行能耗优化。

上述两种资源调整方式有各自的优点和缺点：主动资源调整方式的优点是能够提前对云计算资源进行调整，避免了资源与负载需求之间的时间延迟;缺点是受限于预测或者回归模型的精度，当预测出现误差时会造成资源冗余或者不足，从而影响任务的服务质量。被动资源调整方式的优点是直接对当前的负载任务进行处理，能精确地分配资源;缺点是网络任务调度和资源调度相互独立，同时由于传统虚拟机，如内核虚拟机（Kernel-based Virtual Machine， KVM）启动速度的影响，资源的调度滞后于任务的负载变化。

如文献[18]所述，如图1所示，容器（Container）（如Docker软件服务）与传统的虚拟机（如KVM）采用了不同的资源虚拟化技术，通过直接在宿主操作系统中的资源隔离避免了虚拟软件层带来的性能损耗开销，同时不需要在容器中另外安装用户操作系统，可以看作是一个轻量级的虚拟化技术实现资源的隔离，使得容器在云计算平台的启动等待时间可以忽略不计。因此，采用容器云不仅避免了由虚拟机启动时间延迟造成的任务负载变化和资源调度延迟，同时进一步提高了云计算平台的性能。然而，目前的被动资源调整方式主要以单次或者静态的任务和资源调度为主要的研究对象，很少考虑任务到来的时间先后和队列的缓冲。因此，本文以动态任务到达为研究背景，并以实际的容器云架构为基础进行建模，通过理论分析并结合李雅普诺夫优化方法设计了一种在线的任务和资源调度算法，不需要提前获取网络任务的任何负载信息，以当前任务到达强度和容器的负载信息驱动任务和资源的调度，使得服务系统队列保持稳定，并在保证任务的服务质量的前提下，减少虚拟机的运行数量，从而提高资源的利用率。本文的主要工作包括：

1）以实际的容器云为基础进行建模，将容器云的资源和服务抽象为排队模型，展示了从实际工程到理论模型的转化过程。

2）基于排队模型分析，以任务的服务质量响应时间为约束条件，以最小能耗为目标，结合李雅普诺夫优化方法，获得在线任务和资源的优化调度策略。

3）将任务调度与资源调度融合到一个策略内，使得任务和资源调度紧密结合，提高了算法的效率。

4）通过对比Back-Pressure、Round Robin和随机调度策略，验证了本文提出的策略在保证任务QoS的条件下，能有效地提高资源的利用率。

1 容器云平台的结构和建模

1.1 容器云平台结构

容器云计算平台的结构与一般的云计算平台类似，包括一个管理中心（Management Center）和多台物理机（Physical Server）构成的计算资源池，如图2所示。其中管理中心负责接收平台使用者的请求，例如启动或者关闭容器，并采集和监控云计算平台内容器的运行信息，按照指定的任务和资源调度的策略分配任务和调整云计算平台中的容器（Container）资源。在网络服务接入端，一般由一个或者多个负载均衡分发服务（Load Balance Service， LBS）负责完成对网络任务的调度和分发。计算资源池负责提供容器运行所需要的资源，如CPU、内存、硬盘存储和网络带宽等。一般而言，一个默认配置的容器服务进程占据一个独立的CPU物理核心。按照冯诺依曼体系结构[19]，内存主要是作为处理数据的缓冲，在内存容量不足时可以通过和硬盘存储进行数据交换;硬盘容量相对于内存容量可以被认为是无限大容量;带宽影响数据的传输时间。本文仅考虑CPU物理核心资源的利用率。

容器云平台管理中心合理地分配容器数量，在保证任务服务质量的前提下，有效地降低资源的冗余度和功耗，从而提高资源的利用率，实现“绿色云”[20]。虽然负载均衡服务使用的网络任务调度策略无法直接影响资源调整，但任务调度策略决定了任务分发的方式，直接影响了任务的服务质量。因此，需要对资源调度和任务调度进行整体设计，使得任务调度和资源调度相互协调，从而在保证任务的服务质量的前提下，提高资源利用率。

1.2 基于容器云的任务排队模型

类似于文献[21]所述，由于容器是任务的处理单元，所以容器云中的每个容器都可以看作是一个排队模型。基于排队模型，容器云平台运行时间看作由多个连续的时间片（time slice）组成，每个时间片长度定义为τ。因此，在每个时间片内τ内，单个容器的排队模型描述如下：

2 在线任务和资源优化调度策略设计

2.1 资源功耗模型和目标优化函数

容器运行状态直接影响容器云的整体资源功耗。一般而言，容器运行状态可以分为两类：1）运行状态，指容器内的任务队列不为空，有任务等待需要处理，此状态的容器功耗大于0;2）停止或者空闲状态，指容器内部任务队列为空，此状态的容器被认为是一个休眠的进程，功耗非常低，一般认为该状态的功耗为0。容器云平台资源功耗模型被描述如下：

3 在线任务和资源优化调度策略设计

为了验证提出的在线任务和资源调度策略的效果，对比了以下几种传统的调度策略：

1）Back-Pressure策略[27]：该策略按照系统前一级节点和后一级节点的队列差值决定任务的分发调度，优先将任务调度到差值最大的后一级节点。在容器云中，该策略可等效为优先將任务调度到任务队列最短的容器内。

2）Round Robin策略[28]：该策略采用轮循的机制进行任务的调度。在容器云中，该算法等效于平均任务调度策略。

3）随机调度策略[29]：该策略按照概率随机选择容器进行任务的调度。

3.1 实验环境

实验物理机配置为：Intel E3-1505 4核心CPU，32GB DDR4内存，1TB SSD硬盘存储器。本文采用文献[30]介绍的CloudSim 4.0云仿真软件进行策略的仿真和对比。

为了获得在真实情况下算法的性能和效果，实验采用真实的维基媒体云计算服务网络任务负载数据（http：//dumps.wikimedia.org/other/pagecounts-raw）进行仿真，该数据实时记录了每个小时网络终端用户访问维基媒体云服务的任务数量。其中具体的实验参数设置如下：

1）随机选取了24个小时的维基媒体云计算服务网络任务负载数据作为仿真的任务输入数据（λ（τk））。

2）CloudSim设置为每台容器最大内存缓冲能力为50000，最大可分配100台容器;每台容器在单位时间（1s）内可处理100個网络任务（μi=100）。

3）任务服务质量的最大响应时间最大值为1s（Tmax=1s）。

3.2 实验结果与分析

实验通过以下4个主要的指标对不同策略的性能进行评估和分析：1）任务平均最大等待时间（Tmaxmean），代表整个运行时间任务的最长平均延迟时间，数值越大则越难以保证任务服务质量;2）任务最大响应时间（Tmaxresp），代表任务的最大响应时间，数值越低说明容器云越能保证任务服务;3）容器最大平均任务队列长度（Qmaxmean），代表集群内运行时间最长的容器负载情况，该指标越大说明在整个运行时间内容器的负载越大;4）容器在线运行的时间总数（NTotal），代表整个运行时间内容器运行时间的总和，数值越大资源利用率越低，资源功耗越高。实验结果如表1所示。

3.3 Tmaxmean和Tmaxresp分析

任务平均最大等待时间（Tmaxmean）指在运行的全部时间片内，容器云平台中各个容器任务队列的任务等待平均时间的最大值，该指标越大说明任务的排队的时间越长。由于Round Robin调度策略采用了轮询的调度机制，它会将任务平均地调度到全部容器内，因此从实验结果可知，该策略的任务平均最大等待时间指标最小（0.18s）。随机调度机制采用了平均概率分布将任务调度到容器云中的可启动和使用的容器，在一定的时间内会造成任务集中调度在少部分容器内的情况，因此任务平均最大等待时间为160s。而Back-Pressure调度策略在每个时间片重新对所有的容器负载进行排序，并优先将任务调度到负载最轻的容器内，因此，任务平均最大等待时间为342.71s，为所对比策略中最大的。随机调度和Back-Pressure调度策略使得容器云的任务平均最大响应时间大于其他策略，无法保证任务的服务质量。MaxWS-QoS和MinWS-QoS调度策略在最大响应时间的约束下，将任务调度集中到QoS保证条件下所允许的容器内，因此，任务平均最大等待时间被限制到一个可允许的范围内，分别为0.51s和0.51s，稍大于Round Robin调度策略的指标数值0.18s，远小于随机调度和Back-Pressure调度策略的任务平均最大等待时间。

类似，任务最大响应时间（Tmaxresp）指在运行的全部时间片内，容器云平台中各个容器任务队列的任务处理时间的最大值，该指标与任务平均最大等待时间成正比。随机调度和Back-Pressure调度策略使得容器云的任务最大响应时间高于其他策略。MaxWS-QoS和MinWS-QoS调度策略受限于最大响应时间限制，因此，该指标为1s，略大于Round Robin调度策略的0.35s，但小于随机调度策略和Back-Pressure调度策略的数值（319.99s， 685.41s）。但最大平均等待时间和响应时间仅考虑了任务的服务质量，负载和资源利用率也是容器云平台性能的一个重要指标。

3.4 Qmaxmean和NTotal分析

最大平均队列长度（Qmaxmean）指在运行的全部时间片内，容器云平台中各个容器任务队列的平均长度的最大值，该指标越大说明任务的排队的时间越长，单个容器的负载越大;该指标越小，说明容器资源分配越充分，但资源利用率越低。由于Round Robin调度策略采用了轮询的调度机制，该调度策略会将任务平均地调度到全部的容器内，因此，Round Robin调度策略的最大平均任务队列长度指标最小（30），该策略能使容器平台内容器的平均负载达到最低，但资源利用率也最低。随机调度机制采用了平均概率分布将任务调度到容器云中可启动和使用的容器，在一定时间内会造成任务集中调度在少部分容器内的情况，因此最大平均队列长度为14745;

Back-Pressure调度策略在每个时间片重新对所有的容器负载进行排序，并优先将任务调度到负载最轻的容器内，因此，最大平均队列长度为33866，为所对比策略中最大的。

随机调度和Back-Pressure调度策略使得容器云的负载高于其他策略。MaxWS-QoS和MinWS-QoS调度策略在最大等待时间的约束下，同时考虑了资源利用率，将任务调度集中到在任务服务质量保证条件下所允许的容器内，因此，最大平均队列长度被限制到一个可允许的范围内，分别为45和33。其中，MaxWS-QoS调度策略下的Qmaxmean比Back-Pressure调度策略下的Qmaxmean提高了（45-30）/30=50%，MinWS-QoS调度策略下的Qmaxmean比Back-Pressure调度策略的Qmaxmean提高了（33-30）/30=10%，但保证了任务的最大响应时间和最大平均响应时间均小于1s。

容器在線运行的时间总数（NTotal）指在运行时间内容器云平台在线运行容器资源的时间总和，该指标数值越大说明资源分配越多，资源利用率越低。由于Round Robin调度策略采用了轮询的调度机制，当任务数量大于容器云中可启动容器的最大数量上限时，每个容器都会被分配任务并启动运行，因此，Round Robin策略使得容器在线运行的时间总数最大（2400），资源利用率最低、功耗最大。Back-Pressure调度策略在每个时间片重新对所有的容器负载进行排序，并优先将任务调度到负载最轻的容器内，因此在整个运行时间内，Back-Pressure调度策略将任务分配到负载较轻的容器内，因此，容器在线运行的时间总数同样会达到最大（2400）。随机调度策略采用均匀分布的概率进行任务调度，在整个运行时间内，任务也会被调度到所有容器内，使得容器在线运行的时间总数（NTotal）也会达到最大（2400）。MaxWS-QoS和MinWS-QoS调度策略在最大等待时间的约束下，同时考虑了资源利用率，将任务调度集中到服务质量保证条件下所允许的容器内，因此，容器在线运行的时间总数（857，857）减小到约为原来的857/2400×100%≈36%，提高了容器云平台资源的利用率。另外，在相同容器在线运行时间总数（NTotal）情况下，MinWS-QoS调度策略有限考虑非空的低负载容器，因此，MinWS-QoS调度策略下的Qmaxmean比MaxWS-QoS调度策略下的Qmaxmean减小了（45-33）/45≈27%，从而进一步保证了容器运行的稳定性和任务的服务质量。

综上可知，本文提出的MaxWS-QoS和MinWS-QoS调度策略同时考虑到了服务质量保证和资源利用率，能在保证任务服务质量约束的条件下，有效地提高容器云平台的资源利用率。

4 结语

针对云计算技术领域的研究热点问题（任务和资源调度优化），以实际的容器云结构为基础进行建模，结合李雅普诺夫优化方法从理论上分析，提出了两种在线任务和资源调度策略，即任务服务质量保障最大负载排序资源调度策略和任务服务质量保障最小负载排序资源调度策略。实验结果表明，提出的调度策略可以在保证任务服务质量的条件下有效地降低容器云在冗余资源，提高资源的利用率，降低容器云的资源功耗。

然而本文提出的排队模型还需要完善，增加包括底层硬件资源的约束，实现容器的调度时对宿主选择的约束和优化，从而进一步提高资源的利用率，并使得模型能更加切合实际容器云的结构和特点。同时，我们将进一步结合李雅普诺夫优化方法构建以时间为单位的虚拟资源任务队列，考虑任务等待的延迟，实现调度策略在时间延迟方面的优化，提高任务的服务质量。

参考文献：

[1] MELL P M， GRANCE T. The NIST definition of cloud computing， SP 800-145 [R]. Gaithersburg， MD： National Institute of Standards & Technology， 2011： 2-4.

[2] SERRANO D， BOUCHENAK S， KOUKI Y， et al. SLA guarantees for cloud services [J]. Future Generation Computer Systems， 2016， 54： 233-246.

[3] RODRIGUES E， ASSUNCAO R， PAPPA G L， et al. Exploring multiple evidence to infer users location in Twitter [J]. Neurocomputing， 2016， 171： 30-38.

[4] CHEN T， GAO X， CHEN G. The features， hardware， and architectures of data center networks： a survey [J]. Journal of Parallel and Distributed Computing， 2016， 96： 45-74.

[5] CHIANG Y-J， OUYANG Y-C， HSU C-H. An optimal cost-efficient resource provisioning for multi-servers cloud computing [C]// Proceedings of the 2013 International Conference on Cloud Computing and Big Data. Washington， DC： IEEE Computer Society， 2013： 225-231.

[6] SLADESCU M， FEKETE A， LEE K， et al. Event aware workload prediction： a study using auction events [C]// WISE 2012： Proceedings of the 2012 International Conference on Web Information Systems Engineering. Berlin： Springer-Verlag， 2012： 368-381.

[7] ISLAM S， KEUNG J， LEE K， et al. Empirical prediction models for adaptive resource provisioning in the cloud [J]. Future Generation Computer Systems， 2012， 28（1）： 155-162.

[8] CALHEIROS R N， MASOUMI E， RANJAN R， et al. Workload prediction using ARIMA model and its impact on cloud applications QoS [J]. IEEE Transactions on Cloud Computing， 2015， 3（4）： 449-458.

[9] PACHECO-SANCHEZ S， CASALE G， SCOTNEY B， et al. Markovian workload characterization for QoS prediction in the cloud [C]// CLOUD 11： Proceedings of the 2011 IEEE International Conference on Cloud Computing. Washington， DC： IEEE Computer Society， 2011： 147-154.

[10] 徐达宇，丁帅.改进GWO优化SVM的云计算资源负载短期预测研究[J]. 计算机工程与应用， 2017， 53（7）： 68-73. （XU D Y， DING S. Research on improved GWO-optimized SVM-based short-term load prediction for cloud computing[J]. Computer Engineering and Applications， 2017， 53（7）： 68-73.）

[11] 赵宏伟，申德荣，田力威.云计算环境下资源需求预测与调度方法的研究[J]. 小型微型计算机系统，2016，37（4）：659-663. （ZHAO H W， SHEN D R， TIAN L W. Research on resources forecasting and scheduling method in cloud computing environment[J]. Journal of Chinese Computer Systems， 2016， 37（4）： 659-663.）

[12] 李丹程，王晓晨，宋晓雪，等.基于OpenStack的资源负载预测方法研究[J]. 计算机应用研究，2014，31（7）：2178-2182. （LI D C， WANG X C， SONG X X， et al. Study on load prediction method based on OpenStack[J]. Application Research of Computers， 2014， 31（7）：2178-2182.）

[13] ZHU Q， AGRAWAL G. Resource provisioning with budget constraints for adaptive applications in cloud environments [J]. IEEE Transactions on Services Computing， 2012， 5（4）： 497-511.

[14] BONVIN N， PAPAIOANNOU T G， ABERER K. Autonomic SLA-driven provisioning for cloud applications [C]// CCGRID 11： Proceedings of the 2011 IEEE/ACM International Symposium on Cluster， Cloud and Grid Computing. Washington， DC： IEEE Computer Society， 2011： 434-443.

[15] KHAZAEI H， MISIC J， MISIC V B. A fine-grained performance model of cloud computing centers [J]. IEEE Transactions on Parallel & Distributed Systems， 2013， 24（11）： 2138-2147.

[16] 李騰耀，张凤琴，王梦非.使用遗传算法改进的两阶段云任务调度算法研究[J].小型微型计算机系统，2017，38（6）：1305-1310. （LI T Y， ZHANG F Q， WANG M F. Improved two period cloud task scheduling algorithm with genetic algorithm [J]. Journal of Chinese Computer Systems， 2017， 38（6）： 1305-1310.）

[17] 朱海，王洪峰，廖貅武.云环境下能耗优化的任务调度模型及虚拟机部署算法[J]. 系统工程理论与实践，2016，36（3）：768-778. （ZHU H， WANG H F， LIAO X W. Task scheduling model and virtual machine deployment algorithm for energy consumption optimization in cloud computing [J]. Systems Engineering — Theory & Practice， 2016， 36（3）： 768-778.）

[18] ANDERSON C. Docker [Software engineering] [J]. IEEE Software， 2015， 32（3）： 102-c3.

[19] ENTICKNAP N. Von Neumann architecture [J]. Computer Jargon Explained， 1989 （Suppl 2）： 128-129.

[20] KUMAR S， BUYYA R. Green cloud computing and environmental sustainability [M]// Harnessing Green IT： Principles and Practices. Hoboken： John Wiley & Sons， 2012： 315-339.

[21] CHIANG Y-J， OUYANG Y-C， HSU C-H. An efficient green control algorithm in cloud computing for cost optimization [J]. IEEE Transactions on Cloud Computing， 2015， 3（2）： 145-155.

[22] CALHEIROS R N， RANJAN R， BUYYA R. Virtual machine provisioning based on analytical performance and QoS in cloud computing environments [C]// ICPP 11： Proceedings of the 2011 International Conference on Parallel Processing. Washington， DC： IEEE Computer Society， 2011： 295-304.

[23] LI S， ZHOU Y， JIAO L， et al. Towards operational cost minimization in hybrid clouds for dynamic resource provisioning with delay-aware optimization [J]. IEEE Transactions on Services Computing， 2015， 8（3）： 398-409.

[24] LU P， SUN Q， WU K， et al. Distributed online hybrid cloud management for profit-driven multimedia cloud computing [J]. IEEE Transactions on Multimedia， 2015， 17（8）： 1297-1308.

[25] KHAZAEI H， MISIC J， MISIC V B. Performance analysis of cloud computing centers using M/G/m/m+r queuing systems [J]. IEEE Transactions on Parallel and Distributed Systems， 2012， 23（5）： 936-943.

[26] NEELY M. Stochastic Network Optimization with Application to Communication and Queueing Systems [M]. Williston， VT： Morgan and Claypool Publishers， 2010： 15-16.

[27] LIU J， STOLYAR A L， CHIANG M， et al. Queue back-pressure random access in multihop wireless networks： optimality and stability [J]. IEEE Transactions on Information Theory， 2009， 55（9）： 4087-4098.

[28] RASMUSSEN R V， TRICK M A. Round robin scheduling — a survey [J]. European Journal of Operational Research， 2008， 188（3）： 617-636.

[29] ATIEWI S， YUSSOF S， RUSLI M E. A comparative analysis of task scheduling algorithms of virtual machines in cloud environment [J]. Journal of Computer Science， 2015， 11（6）： 804-812.

[30] CALHEIROS R N， RANJAN R， BELOGLAZOV A， et al. CloudSim： a toolkit for modeling and simulation of cloud computing environments and evaluation of resource provisioning algorithms [J]. Software Practice & Experience， 2011， 41（1）： 23-50.