基于PE方法的数据中心需量费用优化算法

黄焱，王鹏，谢高辉



基于PE方法的数据中心需量费用优化算法

黄焱1,2，王鹏3，谢高辉4

(1. 中国科学院成都计算机应用研究所，四川成都 610041；2. 中国科学院大学，北京 100049； 3. 西南民族大学计算机科学与技术学院，四川成都610041；4. 广州五舟科技股份有限公司，广东广州 510000)

数据中心的电费包含需量费用和用量费用2个部分，以往的数据中心电费优化研究通常未考虑需量费用。在满足服务质量和响应时间的约束条件下采用PE(partial execution)方法可以减少峰值功率，从而降低需量费用。通过对时间、外部负载、服务质量约束、响应时间约束进行建模，构建电费优化问题的模型，提出基于PE方法的需量费用优化算法PEDC（partial execution demand charge)，在高负载时间段执行PE方法减小峰值功率以降低需量费用并降低用量费用，从而降低数据中心的总电费。通过与4种算法进行比较，并构造准确预测的负载数据对PEDC算法性能进行测试，PEDC算法可以降低数据中心运营总电费5.9%~12.7%，提升集群使用率1.32倍。

PE方法; 需量费用; 用量费用; 能耗费用优化

1 引言

近年来，云计算、大数据、移动互联网等信息产业的前端领域高速发展，数据中心作为信息产业的后端基础设施在集群数量和集群规模上呈现出快速增长趋势。谷歌、微软公司的数据中心服务器数目均超过100万台，阿里的“飞天”集群规模超过5 000台[1]，全球TOP500超级计算机的CPU核数与计算性能的年增长率达53%[2]，IDC预测到2017年全球数据中心的数量将达到860万个[3]。

数据中心的能耗巨大，2010年美国数据中心消耗的电能占其全国总能耗的1.7%~2.2%，2012年其消耗的电能比2011年增长19%，2013年其数据中心每小时消耗910亿度电，预计到2020年，数据中心消耗的电能将占全球能耗的8%，碳排放量为全球碳排放量的2.6%[4]，电费成为数据中心最大的运营开支。假定数据中心基础设施的折旧期为15年，服务器的折旧期为3年，则数据中心的电费占运营成本的41.6%[5]，因此，数据中心功耗优化是研究的热门领域。文献[6]对数据中心能耗控制进行综述，将能耗控制方法划分为硬件和算法2个层级：在硬件层可通过低功耗多核处理器芯片[7]、直流电源、高效制冷设备等硬件技术降低数据中心的功耗[8]；在算法层可通过DVFS (dynamic voltage and frequency scaling)、DFS(dynamic frequency scaling)和动态节点控制技术等方法调节CPU的电压、频率从而对数据中心进行节点级功耗控制[9]，也可以通过动态调节数据中心的运行节点数目，提高服务器使用率、减少处于闲置状态的节点数量，从而降低数据中心的功耗[10]，进行数据中心级功耗控制。

目前相关研究多利用电价在时间和地理位置上的差异对电费进行优化。文献[11~13]利用电价在地理位置上的差异，将负载分配到价格较低的区域执行，对分布式数据中心的负载分配进行调控，从而对电费进行优化；文献[8, 14, 15]利用电价在时间上的波动对电费进行优化，将负载尽量安排在低电价时段执行，减少高电价时段的执行；在对电费进行优化的同时还可对服务质量(QoS, quality of service)[12, 13]、对智能电网的影响[16, 17]、碳排放量[18]、UPS的使用[19]、动态服务定价[20]等第二优化目标进行优化，文献[21]对其进行了详细综述。

上述研究中，电费均是根据数据中心消耗的电量(kWh)和电价求得，而其电价大多采用智能电网实时的零售价格，这与数据中心的实际情况不符。由于数据中心长期消耗巨大的电能[4]，一般都与电力运营商签署长期用电合同[22]，按照长期合同电价进行结算，而不是根据实时的零售电价进行结算，这样既可以使数据中心运营商合理地对业务运营进行优化，避免由于电价波动给数据中心增加电力成本，也可以使电力供应商有效掌握用电需求，合理规划电力的生产与分配，提高电网的稳定性。通过对多个地区大型用电单位的实际电力供应合同进行研究，发现电费由用量费用(EC, energy charge)和需量费用(DC, demand charge)构成。用量费用是用电单位为所消耗的电量(kWh)支付的费用，是大多数研究采用的常规电费计算方式；需量费用是用电单位为用电时间段中的峰值功率支付的费用(kW)。目前对于数据中心用量费用优化的研究已经很充分，但对其需用量费用优化的研究很少。本文基于此展开研究，使用PE(partial execution)方法减少数据中心的峰值用电量，从而降低用量费用。

本文首先对数据中心能耗费用优化的相关研究进行分析，介绍电价方案、PE方法、服务质量等背景知识，发现目前的研究大多只对数据中心的用量费用进行优化，没有考虑需量费用，而数据中心的需量费用一般比用量费用高得多，是电费的主要部分，因此提出使用PE方法降低数据中心的峰值用电量的核心思想；然后对系统的时间、外部负载、服务质量约束、响应时间约束等进行建模，构建电力费用优化问题模型，提出PEDC算法；最后将PEDC算法与4种算法进行比较，并通过构造准确预测的负载数据对PEDC算法的性能进行测试，实验结果表明PEDC算法可以有效降低数据中心的需量费用和用量费用，并提高集群使用率。

本文主要创新点如下。

1) 采用数据中心实际使用的电费合同，综合考虑需量费用和用量费用，计费模式符合数据中心的实际情况，将数据中心电费优化划分为降低峰值功率和降低用电量2个问题。

2) 使用//队列模型对等待执行的负载建模，运行节点处于满负载的状态，避免空闲节点的电量消耗，提高节点的利用率。

3) 在算法优化过程中，同时考虑服务质量约束和响应时间约束2个条件。

2 背景知识

本文的核心目标是根据外部负载的情况，在满足服务质量约束[24]和负载响应时间约束的条件下，确定执行PE方法的时间段，降低数据中心的峰值用电量，减少其需量费用。本节对文中涉及的电价方案、PE方法和服务质量等关键的背景知识进行讲解。

2.1 电价方案

零售电价是电力运营商按照单位时间用电量($kWh)的定价方案，为了保障电网中零售用电的负载均衡，保障电网安全，电力运营商会根据电力负载制定不同地区和不同时间段的零售电价。数据中心是长期、高负载用电单位，与电力运营商签订长期用电合同，不使用零售电价。通过对电力运营商的长期用电合同[25]的分析可以发现长期电力合同从用电总量、峰值功率2个方面与用户进行约定，以15 min作为单位时间段进行统计。用电总量是总计费时间内用户消耗的电量(kWh)，峰值功率是所有时间段(15min)中最大的平均功率(kW)，峰值功率越大，电力运营商需要为其投入更多的基础设施以保障稳定供电，用户因此需要支付越多的需量费用。需量费用可能比用量费用大很多，例如，在美国GA地区某用电单位的峰值功率为10 MW、平均功率为6 MW，根据如表1所示的电价可求得其月用量费用为$38 400，月需量费用为$147 312，需量费用是电费的主要支出。

因此，合同电价包含用量价格和需量价格2个部分，表1列出了6个区域的合同电价，从中可以发现这些区域的需/用数值比存在较大差异，GA区域需/用数值比最大，OR区域需/用数值比最小，5.4节对各个区域分别进行实验，研究区域电价差异对数据中心电费的影响。

表1 6个区域的合同电价

2.2 PE方法

Web搜索、金融服务、仿真模拟等类型业务的计算结果精度取决于计算任务量，计算时间越长，计算越充分，其计算结果越精确。PE方法正是这样一种通过对不完全执行任务来减少负载执行量的方法[23]，适用于可接受近似计算结果的交互式类型负载的计算。本文采用PE方法减少负载高峰期的运行负载数，从而降低需量费用。

以搜索引擎类任务为例，当搜索引擎接收到某个关键词的搜索任务时，会首先在缓存中进行检索，如果没有在缓存中检索到，则会将搜索任务发送到检索服务器集群，每台检索服务器对大量的文件进行并发的检索操作。搜索结果的精准度与检索的文档数量有关，对全部文件进行检索所得到的结果为最优结果，但花费的时间会超出响应时间的限制；如果采用PE方法对部分文件进行检索，会减少运行的负载数目，缩短运行时间，从而得到近似的搜索结果。

微软Bing搜索服务的质量与其后端计算执行率的关系如图1所示[23]，从图中可以发现，当负载执行率为50%时的搜索服务质量为0.82，当进一步提高负载执行率时，服务质量的提高速度变慢，无需将负载完全运行即可获得可接受的近似计算结果。因此在满足计算精度要求的前提下在高负载时间段使用PE方法可以降低数据中心的峰值用电量、降低用量费用。

2.3 服务质量

服务质量表示使用PE方法的交互式应用响应质量与完全执行的响应质量的比值，是此类应用最重要的执行评价指标之一。在如图1所示的Bing搜索服务中，每个负载执行比率对着相应的服务质量。为了对问题模型进行简化，可按照服务质量将服务分为高质量服务和低质量服务，这样可以使用二进制数0和1来表示服务质量。交互式应用对其高质量服务占比的要求为服务质量约束，搜索引擎服务一般要求其高质量服务占比超过95%[23]。

3 系统模型

本文采用非连续时间模型，根据数据中心电费合同以15 min为时间间隔将1天分为96个时间段，即，对时间段分别计算负载数量、平均功率、耗电量、电费等参数并设定运行节点数目。数据中心由同构节点组成，时间段的运行节点数目由负载大小以及能耗优化策略决定，节点一旦运行即处于满负荷运行状态，因此每个节点的功耗相同。本文假定数据中心的PUE值固定，当运行节点数增加或减小时，制冷设备的功耗相应地增加或减少。数据中心所处理的负载为交互式类型负载，有严格的响应时间要求。

3.1 服务质量约束

(2)

3.2 响应时间约束

本文用//排队模型来定义数据中心内等待处理的负载任务，设时间段的外部负载量为，运行节点数据数为，节点服务率为，负载在数据中心始终处于等待状态，则负载的平均等待时间。设定负载响应时间为，结合式(2)可得响应时间的约束条件为

3.3 电力费用模型

数据中心能耗费用优化问题P1表示如下

4 求解方法

(7)

4.1 求解需量费用()的最小值

由式(6)可得

(8)

4.2 求解用量费用()的最小值

由式(6)可得

(9)

4.3 PEDC算法流程

PEDC算法首先在满足服务质量约束(1)的条件下将负载最大时段的运行模式设置为低质量服务模式，再根据约束条件(8)求解运行节点数，从而根据决定变量的数值求解数据中心电费的最小值，PEDC算法基本流程如下：

if 满足服务质量约束条件(1) then

将()设置为1

else

将()设置为1

end if

end while

PEDC算法的计算时间和所需空间取决于2个部分：第1部分对已知负载使用PEDC算法阶段，与这个阶段所包含的时间段的个数有关；第2部分对未知负载使用PEDC算法阶段，与这个阶段所包含的时间段的个数有关，这2部分需要不断地确定峰值负载所在位置，其时间复杂度和空间复杂度都为。

5 实验验证

5.1 实验参数说明

本文设定数据中心由同构服务器组成，服务器处于空闲状态时的功率为400 W，处于满负荷状态时的功率为750 W，每个节点每秒可处理9个外部负载，负载的最大响应时间为0.01 s。外部负载采用某数据中心的真实访问数据集，该数据集包含2015年3月15日~4月11日共计28天的外部访问数据(DATA1)，如图2所示，可以看出外部负载的周期性较为规律。

5.2 对比算法

本文选取3月15日~3月21日共计7天的负载数据，使用PEDC算法计算数据中心28天的电费，对PEDC算法的性能进行评估，并分别与NOPE、RAND、BEST和CUPE算法的控制效果进行对比，这5种算法的说明如下。

PEDC：该算法使用本文构造的基于PE方法的数据中心电费优化算法，在已知7天外部负载数据的条件下计算数据中心28天的运行电费。

NOPE：该算法使用负载等待队列模型，但不使用PE方法，即所有时间段数据中心均运行于高质量服务模式。

RAND：该算法使用负载等待队列模型并使用PE方法，PE方法的执行时间从执行时间段中随机选取。

BEST：该算法在已知28天负载数据的情况下使用PEDC算法计算数据中心的运行电费，所得结果是PEDC算法最理想的优化结果。

由于根据7天负载数据预测28天的负载与真实数据存在偏差，将4组相同的7天真实负载数据生成一组28天的负载数据(DATA2)，来模拟完全准确预测负载的情况，对PEDC算法的性能进行测试。PEDC-1和BEST-1算法是使用负载数据DATA2的PEDC算法和BEST算法。

5.3 运行功率与运行电费分析

求解各算法在负载运行中的最大运行节点数和平均运行节点数，得到数据中心的峰值功率和平均功率，如图3所示。根据3.3节的电费模型，计算数据中心的需量费用、用量费用和总电费，如图4所示，本节使用表1中SC区域的电价进行实验分析。

5.3.1 运行功率分析

由于NOPE算法不使用PE方法对峰值功率进行调节，所有时间段数据中心均运行在高质量服务模式，所有负载均被完整地运行，本文将其峰值功率作为基准峰值功率，将其平均功率作为基准平均功率。由于RAND算法随机选取PE方法的执行时间段，没有抽取到峰值负载时间段运行PE方法，因此峰值功率等于基准峰值功率。CUPE算法模型中所有节点始终处于运行状态，存在空闲运行功率，当节点负载增加，运行功率随之增加，CUPE算法的峰值功率与PEDC算法的峰值功率相等，但平均功率是PEDC算法平均功率的1.7倍。PEDC算法的集群使用率为CUPE算法的2.32倍。

PEDC算法的峰值功率比基准峰值功率降低了13.57%，低于BEST算法19.43%的降低率，2个数值之间存在差距的原因是预测负载数据与实际负载数据之间存在一定的差异。PEDC-1算法和BEST-1算法使用负载数据DATA2来模拟完全准确预测负载数据的情况，数据显示PEDC-1算法和BEST-1算法的峰值功率相同，表明负载数据预测越准确，PEDC算法的能耗优化效果越好；当负载数据得到精确预测时，PEDC算法对峰值功率的优化可以达到理论最优值。

PEDC、BEST、RAND算法的平均功率均比基准平均功率降低约2.62%，降低比例与5%的负载运行于低质量服务模式所减少的平均功率相符。

5.3.2 运行电费分析

将NOPE算法的需量费用作为基准需量费用，用量费用作为基准用量费用，总电费作为基准总电费。数据中心的需量费用由峰值功率决定，用量费用由平均功率决定，PEDC、BEST、RAND、PEDC-1、BEST-1算法的需量费用与基准需量费用的关系以及用量费用与基准用量费用的关系与运行功率部分的分析相同。CUPE算法的需量费用等于基准需量费用，其用量费用是PEDC算法用量费用的1.7倍。

PEDC算法的总电费比基准总电费降低了8.45%，高于RAND算法1.23%的降低率，低于BEST算法11.57%的降低率。使用负载数据DATA2的PEDC-1算法和BEST-1算法的总电费降低率相等。CUPE算法的总电费是PEDC算法总电费的1.35倍。

5.4 区域电价对电费的影响

为了验证不同区域电价对数据中心总电费的影响，本节用表1中6个区域的合同电价对PEDC算法进行实验，并与NOPE、BEST算法进行比较。

图5所示为在相同的负载数据(DATA1)下，6个区域分别用PEDC、NOPE、BEST算法计算所得的总电费。设NOPE算法求得的总电费为基准总电费，使用PEDC算法总电费降低比率为5.9%~12.7%，使用BEST算法总电费降低比率为7.34%~18.1%。GA区域降低比率最高，OR区域降低比率最低，这是由于PEDC、BEST算法可大幅降低需量费用，对用量费用的降低率较为固定，因此需量费用/用量费用数值比越高，总电费降低比越高。

5.5 服务质量约束对电费的影响

本节使用PEDC算法通过调节服务质量约束和服务质量，研究其对数据中心电费的影响。首先，调节服务质量约束的数值，依次取0.95、0.9、0.85、0.8，需量费用、用量费用和总电价与的关系如图6所示。由于随着数值的减小，运行负载总数成比例减少，因此PEDC算法和BEST算法的用量费用与呈线性关系；由于预测负载数据与实际负载数据之间存在差异，PEDC算法的需量费用减少较BEST算法更为缓慢；需量费用和用量费用叠加即得总电费。

6 结束语

本文通过研究数据中心实际的电费合同，发现其电费包含需量费用和用量费用2个部分，在满足服务质量和响应时间的条件下，通过在负载高峰期使用PE方法，可以降低数据中心的峰值电量，在降低需量费用的同时降低用量费用，从而减少数据中心运行的总电费。本文提出基于PE方法的数据中心需量费用优化算法PEDC，并与4种算法进行实验比较，实验数据表明使用PEDC算法的总电费比使用NOPE算法降低5.9%~12.7%，集群使用率为使用CUPE算法的2.32倍，PEDC算法可用于对搜素引擎、金融计算等交互式应用领域的数据中心电费进行优化，可与数据中心负载分配方法[26]结合使用，进一步降低数据中心的能耗费用。

[1] [EB/OL]. http://www.csdn.net/article/2013-10-30/2817347-awdc2013- feitian5k.

[2] [EB/OL].http://www.top500.org/lists.

[3] [EB/OL].http://www.idc.com/getdoc.Jsp?containerid=prus25237514.

[4] GAO PX, CURTIS AR, WONG B, et al. It's not easy being green[J]. ACM SIGCOMM Computer Communication Review, 2012, 42(4): 211-222.

[5] HAMILTON J. Cooperative expendable micro-slice servers(CEMS): low cost, low power servers for internet-scale services[C]//CIDR’09. c2009.

[6] BELOGLAZOV A, BUYYA R, LEE YC, et al. A taxonomy and survey of energy-efficient data centers and cloud somputing systems[J]. Advances in Computers, 2011, 82(2): 47-111.

[7] BARROSO LA, HöLZLE U. The case for energy-proportional computing[J]. IEEE Computer, 2007, 40(12): 33-37.

[8] YAO Y, HUANG L, SHARMA A, et al. Data centers power reduction: a two time scale approach for delay tolerant workloads[C]//IEEE INFOCOM. c2012: 1431-1439.

[9] GANDHI A, HARCHOL M, DAS R, et al. Optimal power allocation in server farms[C]//ACM SIGMETRICS. c2009:157-168.

[10] LIN M, WIERMAN A, ANDREW LL, et al. Dynamic right-sizing for power-proportional data centers[J]. IEEE/ACM Transactions on Networking, 2013, 21(5): 1378-1391.

[11] RAO L, LIU X, XIE L, et al. Minimizing electricity cost: optimization of distributed internet data centers in a multi-electricity-market environment[C]//IEEE INFOCOM. c2010:1-9.

[12] RAO L, LIU X, ILIC MD, et al. Distributed coordination of internet data centers under multiregional electricity markets[J]. Proceedings of the IEEE, 2012, 100(1): 269-282.

[13] LI J, LI Z, REN K, et al. Towards optimal electric demand management for internet data centers[J]. IEEE Transactions on Smart Grid, 2012, 3(1): 183-192.

[14] LUO J, RAO L, LIU X. Temporal load balancing with service delay guarantees for data center energy cost optimization[J]. IEEE Transactions on Parallel and Distributed Systems, 2014, 25(3): 775-784.

[15] LUO J, RAO L, LIU X. Data center energy cost minimization: A spatio-temporal scheduling approach[C]//IEEE INFOCOM. c2013: 340-344.

[16] WANG H, HUANG J, LIN X, et al. Exploring smart grid and data center interactions for electric power load balancing[J]. Performance Evaluation Review, 2014, 41(3): 89-94.

[17] ZHOU Z, FANGMING L, ZONGPENG L, et al. When smart grid meets geo-distributed cloud: an auction approach to datacenter demand response[C]//IEEE INFOCOM. c2015.

[18] ZHANG Y, WANG Y, WANG X. Capping the electricity cost of cloud-scale data centers with impacts on power markets[C]//HPCD’11. c2011. 271-272.

[19] GUO Y, FANG Y. Electricity cost saving strategy in data centers by using energy storage[J]. IEEE Transactions on Parallel and Distributed Systems, 2013, 24(6): 1149-1160.

[20] 王巍, 罗军舟, 宋爱波. 基于动态定价策略的数据中心能耗成本优化[J]. 计算机学报, 2013, 36(3): 599-612.

WANG W, LUO J X, SONG A B. Dynamic pricing based energy cost optimization in data center enviroments[J]. Chinese Journal of Computers, 2013, 36(3): 599-612.

[21] RAHMAN A, LIU X, KONG F. A survey on geographic load balancing based data center power management in the smart grid environment[J]. IEEE Communications Surveys & Tutorials,2014, 16(1): 214-233.

[22] MALTZ DA. Challenges in cloud scale data centers[C]//ACM SIGMETRICS. c2013: 3-4.

[23] HE Y, ELNIKETY S, LARUS J, et al. Zeta: Scheduling interactive services with partial execution[C]//ACM SOCC.c 2012: 12-25.

[24] XU H, LI B. Reducing electricity demand charge for data centers with partial execution[C]// ACM e-Energy. c2014: 51-61.

[25] [EB/OL].http://www.cs.cityu.edu.hk/~hxu/share/Contracts.zip.

[26] 金嘉晖, 罗军舟, 宋爱波. 基于数据中心负载分析的自适应延迟调度算法[J]. 通信学报, 2011, 32(7): 47-56.

JIN J H, LUO J Z, SONG A B. Adaptive delay scheduling algorithm based on data center load analysis[J]. Journal on Communications, 2013, 32(7): 47-56.

Optimizing demand charge of data center base on PE method

HUANG Yan1,2, WANG Peng3, XIE Gao-hui4

(1. Chengdu Institute of Computer Application, Chinese Academy of Sciences, Chengdu 610041, China; 2. University of Chinese Academy of Sciences, Beijing 100049, China; 3. School of Computer Science and Technology, Southwest University for Nationalities, Chengdu 610041, China; 4. Guangzhou Wuzhou Technology Corporation, Guangzhou 510000, China)

Demand charge and energy charge are the two main components of data center electricity cost, previous researches have not take demand charge into consideration. PEDC algorithm was proposed by modeling time slot, workload, service quality constraint and response time constraint. With PEDC algorithm peak power was decreased by partial execution on the condition of service quality constraint and response time constraint. PE method was executed in the heavy loaded time slots to reduce peak power so as to optimize demand charge. Energy charge and total charge were also optimized. By comparing with four algorithms and with dataset accurately predicted, PEDC algorithm can reduce electricity cost by 5.9%~12.7% and improve cluster utilization 1.32 times.

PE method, demand charge, energy charge, energy cost optimization

TP393

A

10.11959/j.issn.1000-436x.2016056

2015-05-01；

2015-07-31

王鹏，wp002005@163.com

国家自然科学基金资助项目(No.60702075)；广东省科技厅高新技术产业化科技攻关基金资助项目(No.2011B010200007)；成都市创新发展战略研究基金资助项目(No.11RKYB016ZF)

The National Natural Science Foundation of China(No.60702075), Guangdong Science and Technology Plan of Industrial High-Technology(No.2011B010200007), Chengdu Innovation and Development Strategy Research Project (No.11RKYB016ZF)

黄焱（1982-），男，江苏泗阳人，中国科学院成都计算机应用研究所博士生，主要研究方向为智能算法、最优化理论等。

王鹏（1975-），男，四川犍为人，西南民族大学教授、博士生导师，主要研究方向为智能算法、高性能计算等。

谢高辉（1979-），男，湖南郴州人，广州五舟科技股份有限公司总经理，主要研究方向为高性能计算。