侯晓雯,李程贵
(中国移动通信集团内蒙古有限公司,内蒙古 呼和浩特 010010)
大数据、云计算以及物联网等高新技术产业正在推动着全球网络流量飞速增长。信息化催生行业发展新需求,引领着大规模数据中心的建设。目前,全世界99%的网络流量与数据中心有关[1]。近10年,顺应云计算的发展趋势,数据中心进入快速发展阶段。然而,数据中心的能耗问题引起了各界的广泛关注。PUE(Power Usage Effectiveness,电源使用效率)作为数据中心电力使用效率的衡量指标,是指数据中心总能耗与IT负载总能耗之比[2]。据权威机构统计,数据中心运营成本中,电费成本占比约64%,PUE值每降低0.1,电费平均下降约7%。大型数据中心能耗高,需要行之有效的节能管理。
数据中心的能耗结构中,空调系统成为除IT设备功耗之外的第二大能耗系统。因此,降低空调系统能耗成为最有效的节能方案[3]。因此,将针对目前各大数据中心空调系统中存在的能耗浪费问题,提出充分利用自然冷源、提升制冷设备自身能效以及优化空调气流组织等方法降低系统能耗,实现真正意义上的绿色节能数据中心。
能耗管理对于数据中心而言,犹如一条呈正态分布的长尾曲线。曲线的头部由IT设备能耗、空调能耗、电源能耗、建筑、消防及智能化能耗等“大指标”组成,曲线的尾部则是由机柜位置部署、气流组织分布、机柜距离以及系统维护管理等无数“小指标”组成。数据中心能耗管理长尾曲线,如图1所示。
图1 数据中心能耗管理长尾曲线
数据中心既要满足高度集中的需求,又要承担绿色环保的义务。因此,如何提升能源使用效率,打造高效节能的数据中心,成为数据中心维护者的最终目标。
PUE作为数据中心能源使用效率的重要指标,计算公式如下:
PUE是一个趋向于1的值,越接近1,说明数据中心总电力能源几乎全部为IT设备提供电能,此时数据中心基础设施电能消耗最小[4]。由式(4)可知,要降低数据中心的PUE,可以通过降低电源能效因子、空调能效因子及其他系统能耗因子实现。
目前,数据中心的基础设施为一次性建设,而IT设备则依据客户规划实行分期部署,造成机架装机率低、负载率变化大。实际运用中,客户IT设备能耗由客户业务承载情况确定,不受基础设施维护管理。综上,要降低数据中心PUE,需要采取有效的节能措施降低基础设施的能耗。
数据中心空调系统主要由制冷系统、排热系统和降温辅助系统3部分组成[5]。
(1)制冷系统:冷水机组,利用与蒸发器中的冷媒热交换产生的冷冻水,吸收IT设备的热量,是空调系统的核心组成。
(2)排热系统:风机盘管、循环水泵,利用冷冻水将热量从机房运输到制冷系统,主要通过控制水流量来吸收IT设备的热量。
(3)降温辅助系统:冷却塔、湿式喷淋器,利用水的汽化相变将热量排散至大气,提高换热效率,使系统热量更快散失。
大型数据中心主要采用集中式水冷降温系统为数据中心提供制冷资源,由冷水机组+板式换热器+冷却塔+末端空调组成,分为内、外循环完成制冷。其中,内循环为冷冻水系统,即冷水机组(夏)/板式换热器(冬)制出12 ℃的冷冻水进入机房内的末端空调,末端空调吸收服务器的热量后升温至17 ℃,并返回冷水机组(夏)/板式换热器(冬);外循环为冷却水系统,即冷水机组(夏)/板式换热器(冬)运行产生37 ℃的冷却水,送入室外冷却塔利用外界空气进行散热,冷却至32 ℃后返回冷水机组(夏)/板式换热器(冬),如此循环。空调系统结构,如图2所示。
图2 水冷型制冷系统架构图
目前,大型数据中心多采用集中式水冷空调系统,设备体量大,影响因素多,在运行过程中往往会出现节能效果差的情况。
(1)数据中心初期运行过程中,机房装机率和负载率较低,而空调系统却大功率提供制冷,直接影响设备的能源转化效率,在提供相应保障时需耗费大量电力,致使PUE值居高不下。
(2)大多数据中心空调系统往往存在先冷机房环境再冷IT设备、冷热混风损失大等问题,造成制冷能效低,且存在严重的能耗浪费。
(3)部分数据中心空调设计存在气流组织不合理问题,造成制冷风量的利用率低,使得系统能耗浪费严重。
为实现数据中心降耗增效,关键要从空调系统能耗影响因素分析入手,从根源上解决空调系统存在的能耗浪费问题,在保证数据中心安全运行的前提下,最大程度地减少空调系统能耗,降低PUE。
通常,空调设备能耗比例为:冷水机组占55%~70%,循环水泵占15%~20%,冷却塔5%~10%,末端空调等动力设备占15%~25%。图3是典型数据中心设备能耗结构,以某数据中心为例,制冷系统能耗是数据中心的第二大能耗,约为24%,其次是电源系统,约为数据中心总能耗的10%,照明及智能化等能耗占比小于1%。可见,降低数据中心PUE最有效的方法是提高数据中心空调系统的能效。
数据中心制冷能效因子CLF(Cooling Load Factor)是在单位IT负载上消耗的制冷所用电能,计算公式如下:
图3 典型数据中心设备能耗结构
式中:Q冷机为冷水机组耗电,Q水泵为水泵耗电,Q冷塔为冷却塔耗电,Q末端为机房内空调设备末端耗电,Q新风为新风机组耗电,Q补水为补水设备耗电。
综上,影响空调系统能耗的因素包括冷水机组、循环水泵、冷却塔、末端空调、新风机组及补水泵等动力设备。其中,冷水机组能耗占比最高,是空调系统的能耗核心;其次是末端空调能耗,具有很大节能潜力。以下结合制冷系统的能效因子,提出多种优化方案提升空调设备的能效,降低数据中心PUE。
数据中心空调系统的规划中,应选择高能效的系统结构,充分利用外界自然冷源,结合最优的节能措施,实现降耗增效。
北方数据中心多采用开式板式换热器+冷却塔间接利用自然冷源的方式,在冬季和过渡季室外温度较低的时间段不开启冷水机组,利用板式换热器、冷却塔与室外冷空气换热获得冷量。
数据中心空调系统的制冷运行模式分为3种:
(1)当t>10 ℃时,空调系统采用水冷机组制冷模式;
(2)当6 ℃<t<10 ℃时,空调系统采用水冷机组+板式换热器制冷模式;
(3)当t<6 ℃时,空调系统采用自然冷却模式。
综上,有:
式中:ΣQt>10℃为制冷系统各设备总耗电量;Q制冷设备为冷机模式耗电量;h%(t>10℃)为冷机模式运行时间百分比;ΣQt<6℃为自然冷源模式耗电量;h%(t<6℃)为自然冷源模式运行时间百分比;ΣQ6℃<t<10℃为过渡模式耗电量;h%(6℃<t<10℃)为过渡模式运行时间百分比;Kt>10℃为冷机模式制冷能效因子;Kt<6℃为自然冷源模式制冷能效因子;K(6℃<t<10℃)为过渡模式制冷能效因子
由表1可知,呼和浩特地区的数据中心全年有46%的时间采用自然冷源模式,11%使用过渡模式,43%开启冷机模式。根据表2空调系统各部分能耗占比及能效因子,可知额定工况下制冷能效因子为:CLF=0.436×46%+0.297×11%+0.158×43%=0.301。
表1 呼和浩特地区2018年气温统计表
由此可知,充分利用自然冷源模式相比于冷机全年运行模式,空调系统节省能耗达27.3%。
如图4所示,在数据中心空调系统中,冷水机组冷冻水的设计供水温度为10~12 ℃。即使在数据中心负载量较低(30%~40%)的情况下,冷机的实际运行电流百分比达到50%~72%,此时冷机制冷能效比EER(Energy Efficiency Ratio)非常低,不仅能耗严重浪费,还造成了设备损耗。因此,冷水机组的功耗是节能的关键。
表2 空调系统各部分能耗占比及能效因子
图4 冷水机组制冷效率随供水温度变化
理论分析可知,冷机供水温度由冷机蒸发器中冷媒的蒸发温度和压力决定,两者成正比关系。冷机压缩机是冷机的耗能主体,蒸力与冷凝压力的差值决定着它做功的多少。蒸发压力提升发压,冷凝压力不变,两者的差值变小,压缩机做功也会减少。因此,提高冷机冷冻水出水温度,能有效降低冷机的工作能耗。
腾讯数据中心冷水机组实验研究表明:在冷机能耗相同的情况下,冷冻水供水温度每提高1 ℃,冷水机组产冷量增加3%[6]。同理,当制冷量一样时,冷冻水供水温度每提高1 ℃,冷机自身能耗将减少3%。呼和浩特地区冷机运行时间为5—9月,当制冷负荷为50%时,将冷冻水温度从12 ℃提升至15 ℃,以此比较对应温度下的耗电量。经测算,可得全年可节省电量约22%。可见,供水温度的提升,对冷机系统节能意义重大。
数据中心通常将机房环境控制在20 ℃,不仅会出现过度冷却产生冷凝水,而且造成能源浪费,因此合理设定机房空调的温度尤其重要。理论研究表明:末端空调的蒸发温度相应提高,制冷系数提高,机房回风温度每提高1 ℃,机房空调的耗电量能节约2%~5%[7]。
随着服务器功能的提升,IDC机房环境温度可以提升至28 ℃[8]。为验证该理论,中国移动(呼和浩特)数据中心自2018年2月起,以20 ℃为基准,每月将环境温度提升1 ℃,直至温度达到28 ℃,以此测试每月的耗电量变化趋势,如图5所示。分析耗电量数据可知:通过提高末端空调出风温度,将机房环境温度由20 ℃提升至28 ℃,能耗可降低21%。可见,提高末端空调送风温度可以有提升空调能效。
图5 空调耗电量随设定温度变化趋势
数据中心机房专用空调通常配置EC风机,可根据需要调节转速。节能型EC(变速)风机特性为:空调风量Q与风速V成正比,风机功耗W与风速V的立方成正比。
式中:n为风机台数,K1、K2为系数,Q为空调风量,W为风机功耗,V为风速,V0为风机额定转速,η%为风机转速百分比。
由式(12)可知,当风机转速降低到50%,功耗将降低为满频的1/8。为了达到原有的风量,只需加开2~3台风机,每台转速为50%,此时4台空调总功耗仅而原来1台满频运行的1/2。
为了验证该特性,中国移动(呼和浩特)数据中心对同一房间内的列间空调进行运行模式调整测试,启用不同的主备运行模式,实验测试数据见表3。
实验数据表明:n用0备的运行模式对于EC风机来说更节能;按照6+2冗余备份的空调配置,采用“冷备”转“热备”模式运行,风机的能耗下降了44%。可见,加开更多的备用空调,不仅不会带来能耗的增加,反而将促进末端空调能耗的降低。
针对数据中心存在局部热点、气流组织混乱等现象,中国移动(呼和浩特)数据中心数据中心引入3种新型空调末端:热管背板、水冷前门和列间空调,如图6所示。新型空调末端为IT设备提供机架级、列间级的就近制冷,冷源贴近热源,没有冷量散失,可适当提高冷冻水温度,提高冷机能效,降低冷源能耗,在寒冷地区还可以延长自然冷源利用时间[9]。使用新型空调末端比下送风机房专用空调降低能耗达63%。
针对数据中心的传统空调,采取封闭冷通道并加装盲板,实现冷热通道物理隔离,减少冷热混风损失,消除局部热点,达到提高制冷效率的目的。图7即采用CFD仿真对机房气流组织特性进行数值分析和模型实验时,对比分析机房内气体流向及温度的变化。
图6 热管背板、水冷前门、列间空调新型末端
表3 不同的主备运行模式耗能对比表
图7 5 kW机柜封闭冷通道前后气流对比图
如图7所示,单机柜功耗为5 kW时,采用封闭冷通道的机房内气流组织稳定有序,各机架内通风状况良好,冷通道封闭后冷空气流量比封闭前明显增多,说明冷通道封闭可以更有效地利用冷空气和冷量,减少通道上部的冷量散失,从而提高末端空调的制冷效果,同时降低末端空调能耗达18.7%。
经能效计算可知,通过利用自然冷源、提升空调系统设定温度以及气流组织优化等方法,全年可实现空调系统节能约42%,如表4所示。按照典型数据中心能耗分布,空调系统能耗占比24%,则数据中心总能耗降低10.08%,此时PUE下降0.1。
表4 空调系统节能优化能效统计表
近年来随着云计算技术的大发展,数据中心越来越多呈现出高度集成、高耗能的特点,需要行之有效的能耗管理。因此,将PUE作为数据中心的能耗标尺,通过分析数据中心空调系统能耗结构,研究数据中心制冷能效因子,并针对空调系统存在的能耗问题,提出了一系列优化措施,在保证空调系统高可用性的同时,提高了末端空调运行维护效率,对最终实现数据中心的节能运行具有重要的现实意义。