高效能数据中心全链路能耗管理技术研究

张春光，袁军宝，张金帅，梅玉娜

（北京中电普华信息技术有限公司，北京 100192）

0 引 言

作为企业数据与信息管理的核心和业务管理应用的处理中心，数据中心肩负海量的关键任务。同时，数据中心的能耗问题也因为数据中心的体量不断增加被提上议程，“高效能数据中心”的话题也被业界广泛关注[1]。

如图1所示，数据中心能耗中两大主要的能耗来源是IT设备能耗和制冷的能耗。由于存在地理环境等因素的影响，数据中心不同设备的能耗占比存在波动，但对于多数情况，IT设备和制冷设备的能耗都能占据到数据中心总能耗的80%以上，因此对其的能耗管理与优化对于企业来说至关重要[2]。

1 全链路能耗管理

对数据中心的能耗优化管理是实现高效能数据中心的必由之路。本文将分别从供电、制冷、IT设备及业务调度四个方面对数据中心的能耗进行管理优化，实现数据中心的全链路能耗管理[3]。

图1 数据中心能耗构成

1.1 供电系统能耗管理

数据中心能耗总量大主要是因为数据中心在工作时，大部分组件都将承受负载，这也是传统的动态电压调节方法只调节单一模块难以有效降低数据中心总能耗的主要原因。为了实现“高效能数据中心”，本文将采用基于位置的负载平衡策略来管理数据中心供电系统的能耗[4]。

基于地理位置的负载平衡（Geographic Load Balancing，GLB）是利用不同数据中心所在地区的电价、碳补偿系数等的差异进行相应的负载调度及路由。数据访问操作的流程为：首先用户发起访问请求，请求被前端服务器接收，然后服务器将请求重定向到相对最优的地区的数据中心进行处理，由多个互斥的优化目标决定请求流量的大小。GLB的结构如图2所示。

图2 GLB结构图

1.2 制冷系统能耗管理

气流循环的综合优化是数据中心制冷能耗优化的关键。对供气模式的选择，建筑结构和参数的选择以及制冷的布局等都是优化设计的一部分。通过优化设计，可以有效减低制冷系统的能耗。一方面，优化气流组织使得气流的循环稳定，大大减少冷热气流的相互作用，使得冷气流能够被充分利用，所以制冷设备能耗量能得到优化；另一方面，因为机房机柜布局合理，使得机房整体温度均匀，无局部热点，整体的工作温度可以维持在一个较高的值[5]。

（1）选择送回风的方式

一般数据中心机房送风方式分为两种，一种是上送风，另一种是下送风。送回风方式则分为开放式、局部管道式及全管道式。由不同的楼层设计模式和不同的送回风方式可以组合成多种送回风的模式。通过大量的实验对比，目前数据中心主要采取两种送回风模式，一种是硬地板结合开放式送回风，另一种是架空地板结合开放式送回风。前者形成了典型的上送风模式，如图3所示；后者是下送风模式，如图4所示。

图3 典型的上送风形式

图4 典型的下送风形式

（2）机柜布置优化

如图5所示，在早期的数据中心中，由于经验不足，没有考虑气流组织的因素，通常采用统一朝向的机柜排布。机柜排布经过优化设计后，如图6所示，一般采用面对面，背靠背的布置方式。

在这种布置模式中，机柜将冷热气流的通道隔离开，冷气流通过架空地板层从冷通道进入机柜，热气流通过热通道也就是机柜背部升至上方返回制冷单元。冷热通道的隔离意义重大，防止了冷热气流之间的相互作用，大大增加了冷气流冷却效率，节省了制冷系统的能耗。在采取这种布置模式时，还可以采用挡板将冷热通道更加彻底的隔离，进一步提高制冷效率，实现冷气流的高效利用。

图5 统一朝向的机柜排布

图6 面对面、背靠背的机柜排布

1.3 IT设备能耗管理

为了实现“高效能数据中心”，本文提出了基于数据中心节点重部署的能耗管理算法。该算法的基本思想就是将原本无规律的、随机部署的节点重部署，使得它们有序化聚集，从而使得数据中心一部分节点充分发挥自身的计算能力，另一部分节点采取深度休眠等措施，同时与节点相关联的制冷设备也可以进入休眠状态，使得数据中心在保障了QoS的同时，达到高效能的目标。

算法所基于的系统模型如图7所示。计算与存储设备上包含了节点资源管理模块、节点控制模块、数据迁移模块、访问记录管理模块和节点运行监测模块；温控系统包含了环境监测模块和温控设备控制模块。其中温控系统与计算设备协同工作，特别根据节点运行监测模块和环境监测模块感知的情况，再利用温控设备控制模块来决定温控设备是否开启以及开启的程度，使得温控系统可以实现数据中心各区域的精确温度控制[6]。

图7 系统模型

该策略具有如下优势。

（1）降低了数据中心总体的能耗。由于数据和节点聚集之后，部分区域节点的工作负载增加，使得功耗随之上升，但是部分区域的节点进入了休眠状态，同时制冷设备也无需运行，从而降低了总体能耗。

（2）提高了资源利用率。由于数据聚集之后，节点在开机运行时，都将处在高负载的状态，进而提高了资源的利用率。

（3）系统的QoS得到保障。得益于算法采用的运行规律相反，节点数据的相互备份实现服务的持续提供和数据的不间断访问，使得系统QoS也得到了保障。

（4）通过轮换运行延长了硬件设备的使用寿命以及提升硬件设备的稳定性。

1.4 业务调度能耗管理

当前数据中心亟需解决的问题是，如何在降低整体的能耗成本的情况下，满足用户的资源需求。因此，相应的数据调度算法对于当前的数据中心至关重要。本文将分别对在线和离线两种场景介绍适用的算法。

（1）在线迁移节能调度算法

该算法适用于在线请求分配场景。算法首先开启一台服务器接收虚拟机请求，当该服务器不能再接收请求分配时，则申请新的服务器进行分配。在设定的迁移时刻，将服务器队列中的所有服务器，按照服务器上的虚拟机数量进行排序，筛选出负载低于设定的最低阀值的服务器集合，依次将这些服务器上的虚拟机按照服务器负载由低到高依次迁移到服务器队列中剩余的服务器上。当服务器上的所有虚拟机迁移后，如果有空负载的服务器，则关闭该服务器，保证以较少数量的服务器满足所有的任务请求[7]。

算法流程如图8所示。

图8 在线迁移节能调度算法流程图

（2）离线负载跨度最大节能算法

该算法适用于离线请求分配场景。算法首先将相邻请求的开始时间和结束时间的间隔划分成时隙；然后依次计算每个时隙内所有虚拟机请求的CPU负载总和；根据负载计算出每个时隙所需的最大服务器数量，将服务器数量相同且相邻的时隙划分为一个个的连续区间；统计服务器数量最大的连续时隙构成的区间，考虑位于该区间里面的所有虚拟机请求，优先分配执行时间最长的虚拟机请求。

算法流程如图9所示。

图9 离线负载跨度最大节能算法流程图

2 整体架构

图10为高效能数据中心能耗管理及优化技术的运行模式示意图。

图10 运行模式示意图

如图10所示，该方案设计涵盖控制中心的调度策略以及基础环境数据的处理等。

控制中心是数据中心能耗管理方案的“大脑”，采集系统将所有的采集数据递交给控制中心，由控制中心对各类数据通过神经网络技术进行处理分析，采取最优措施，反馈给各个系统，以实现对整个系统的管理和控制。

采集系统由各类传感器所组成，遍布于整个数据中心，对数据中心IT基础设备全链路节点进行监控，并把相关信息传递给控制中心，由控制中心实现对IT基础设备全链路各个节点的控制。

在数据中心的能耗管理控制过程中，所有链路上的IT基础资源都将进行闭环控制，如图11所示。对于每个链路节点，都将由采集系统采集相应的能耗数据，递交给控制中心分析存储，再由控制中心依据相应的算法给出管理控制策略，反馈控制链路节点。

图11 闭环控制

3 结 论

随着新兴的技术理论不断突破[8]，数据中心在支撑经济社会发展的同时，其能耗管理将会更加精细，能源效率不断提高，数据中心会变得越来越高效，越来越环保。