何智光,陈殿军,李震
(1.清华大学 航天航空学院,北京,100084;2.国网黑龙江省电力有限公司信息通信公司,哈尔滨,150090;3.河北清华发展研究院,廊坊,065000)
数据中心是信息技术产业重要的基础设施建筑,近年来,随着5G、工业互联网、物联网等新技术的飞速发展,数据中心的规模和数量不断增大,其能耗量也与日俱增。据统计,2018年我国数据中心年用电量已经超过上海市全社会用电量,占到全国总量的2.35 %。[1]并且数据中心还将持续保持高速发展,预计到2025年数据中心年耗电量将占全社会用电量的4.1 %。[2]在数据中心的能耗构成中,IT设备能耗占比最高,其次是冷却系统,可以占到数据中心总用电量的30 %以上,图1给出了典型数据中心的能耗构成。因此,对冷却系统进行节能研究对提高数据中心整体运行能效具有重要意义。
图1 典型数据中心能耗构成
目前大多数的数据中心均采用大型水冷系统为IT设备提供冷量,一般包括室内精密空调送风循环、冷冻水循环和冷却水循环三个环节。通常采用冷水机组与板换并联,通过切换实现冬季的自然冷源利用。这种冷却形式存在以下几个弊端:由于数据中心装机率不高导致冷却系统长期运行在低负载率情况,运行效率低下;管网系统各复杂,输配能耗较高;自然冷源利用不充分。针对当前冷却系统存在的一般问题,清华大学研发了一种全氟冷却技术,[3]它是一种模块化冷却技术,可有效解决数据中心装机率不高而导致的运行效率低下问题。该技术以分离式热管为基础,与蒸气压缩循环有机结合,可实现零输配能耗和自然冷源的充分利用,为数据中心冷却系统节能提供了新思路。
图2给出了全氟冷却技术的原理图,该系统由两个热管循环和一个蒸气压缩循环串并联组成,主要包含蒸发器、中间换热器、热管冷凝器和空调冷凝器四个换热部件以及蒸发器风机、冷凝器风机和压缩机三个动力部件。
图2 全氟冷却系统图
全氟冷却系统存在三种运行模式,根据室外环境温度的高低不同,分别有自然冷却、蒸气压缩以及复合制冷三种模型。全氟冷却技术将主动制冷与自然冷却相结合,当室外环境温度足够低时,仅启动外侧热管循环制冷;当室外环境温度升高,仅靠外侧热管循环制冷量不足时,启动蒸气压缩循环,依靠调节变频压缩机频率,实现主动制冷与自然冷却的无极切换,最大限度地利用自然能源。热量传输依靠重力式分离热管的自发循环,不消耗额外的输配能耗。该系统完全无水,杜绝水进入机房,对IT设备没有任何安全隐患。根据蒸发器形式不同,全氟冷却技术可以实现不同冷却尺度的机房冷却,且均可实现模块化配置,根据数据中心当前实际负载率逐步安装冷却设备,减少初投资,且保持冷却系统运行在较高负载率的工况下。
本文选取了我国北方某数据中心对全氟冷却系统进行了实际应用。该机房层高5.8 m,无架空地板,机房面积262 m2。该机房设计两种尺度的冷却形式,分别为机柜级和列间级,其中机柜级采用热管背板末端形式,将全氟冷却系统的蒸发器内置到机柜柜门上,形成热管背板,示意图如图3所示。列间级采用热管列间空调的末端形式,全氟冷却系统的蒸发器作为列间空调布置到机柜之间,在此基础上封闭热通道,让机房热环境与机柜级冷却系统保持一致,处于冷环境中,其示意图如图4所示。
图3 全氟冷却机柜级系统图
图4 全氟冷却列间级系统图
该机房设计机柜数62台,其中列间级冷却布置38台共4列,机柜级冷却布置24台共2列。列间级单机柜发热量为3 kW,机柜级单机柜发热量为6~12k W,总装机功率为290 kW。
为了验证全氟冷却技术的实际应用效果,分别选取了夏季、过渡季和冬季的典型气候日对机房进行了能效和热环境测试,分别对总能耗、负载和冷却系统的能耗进行了测量,电量测量采用三相多功能电能表,测量精度为0.2级,温度测量采用T型热电偶,精度为±0.1 ℃。对机柜级和列间级冷却的中间位置和边缘位置机柜进行了进出风温度测量,测点位置如图5所示,以此来观测全氟冷却技术的实际换热效果。
图5 热环境测点位置示意图
选取了夏季某典型工况日,测试时长为7.5小时,测试期间室外温度为21~26 ℃,测试期间机房满负载运行,所有冷却设备均处于开启状态。能耗测试结果如表1所示,测试期间机房PUE为1.29,其中冷却系统的能耗占比CLF为0.289。
表1 夏季能效测试结果
热环境测试期间室外温度约为26 ℃,各测点温度变化如图6所示。从测试结果可以看出,机房温度基本维持在25 ℃。列间级冷却机柜的进风温度与机柜级相当,表明机房整体冷环境较为均匀,机柜级冷柜却的服务器排风温度存在一定的波动性,这是由于压缩机间接性启停导致的。
图6 夏季热环境测试结果
选取了过渡季某个典型工况日,测试时长为24小时,测试期间室外环境温度为3~21 ℃,测试期间由于列间级机柜暂时无计算任务,只对机柜级冷却进行满负载测试。能耗测试结果如表2所示,测试期间机房PUE为1.18,其中冷却系统的能耗占比CLF为0.173。
表2 过渡季能效测试结果
热环境测试期间室外温度约为21 ℃,各测点温度变化如图7所示,从测试结果可以看出,服务器排风温度约为38 ℃,机房温度基本维持在23 ℃。进风温度与排风温度基本相当,但排风温度存在一定的波动性,这是由于压缩机间歇性启停造成的,但与夏季测试结果相比,波动明显减小,这是由于运行模式的改变造成的,过渡季即使压缩机停止运行,热管依然可以实现部分散热。
图7 过渡季热环境测试结果
选取了冬季某典型工况日,测试时长为24小时,测试期间室外环境温度为-16~-3 ℃,测试期间由于列间级机柜暂时无计算任务,只对机柜级冷却进行满负载测试。能耗测试结果如表3所示,测试期间机房PUE为1.03,其中冷却系统的能耗占比CLF为0.025。
表3 冬季能效测试结果
热环境测试期间室外温度约为-3 ℃,各测点温度变化如图8所示,从测试结果可以看出,服务器排风温度约为33~37 ℃,机房温度基本维持在16~18 ℃。机柜排风温度略低于机柜进风温度,且排风温度基本不存在波动现象,表明自然冷源冷却模式下,系统运行稳定。
图8 冬季热环境测试结果
随着信息技术的发展,数据中心的规模和能耗不断增加,寻求更高效的冷却技术成为数据中心节能的有效途径。传统数据中心大多采用水冷系统对IT设备进行冷却,存在运行能效低下、输配能耗高和自然冷源利用不充分等缺点,针对这些实际应用问题,本文介绍了一种全氟冷却技术,以分离式热管为基础,与蒸气压缩循环进行有机结合,可实现不同冷却尺度的机房冷却,并能进行模块化实施,降低初投资的同时提高冷却系统运行效率。
本文在我国北方某数据中心对全氟冷却系统进行了实际应用,并选取了夏季、过渡季和冬季的典型工况日对机房热环境和能效进行了测试分析。测试结果表明,全氟冷却技术可有效控制机房热环境稳定在25 ℃以下,且基本不存在局部热点,PUE值在不同季节存在差异,范围为1.03~1.29。