间接蒸发冷却技术在液/气双通道数据中心的应用

严家瑞，郭佳哲

（中国移动广东有限公司，广东 广州 510000）

0 引 言

随着云计算、人工智能、大数据等业务的高速发展以及新基建、碳中和、碳达峰政策的提出，数据中心业务呈指数型迅猛增长，设备发热量越来越大，亟需开展能效提升，减缓能耗增长。传统数据中心空调能耗约占总能耗的38%，是数据中心节能增效的重点环节，而传统空调系统耗能大的主要原因为采用压缩机制冷的方式，提高传热效率、引入自然冷却可以大大降低能耗。

1 技术原理

1.1 液/气双通道散热技术原理

数据中心散热技术可分为两种：一种是单通道散热技术，通过单一换热介质对IT设备进行冷却，包括单通道气冷和单通道液冷两种散热方式,单通道气冷散热一般为传统的风冷空调散热，目前存在能耗高、热岛现象突出、资源利用率低这3个难题；单通道液冷散热是一种芯片级冷却方式，通过制冷液体与服务器芯片直接或间接接触，代替空气作为末端换热介质，建立低热阻高效导热通道，实现整体系统的高效节能，然而单一地使用液冷技术需要考虑高成本、维护难度及冷却液泄露等问题;另一种是双通道散热技术，结合数据中心IT设备的热场特征，液冷通道对CPU等高热流密度元件进行精准散热，带走绝大部分热量；气冷通道对低热流密度元件进行散热，带走剩余热量[1]。双通道散热系统可以针对不同热流密度发热元器件进行精准散热，具有架构简单、安全可靠、运维便捷等特点。

1.2 间接蒸发冷却技术原理

间接蒸发冷却冷水机组是一种能够将被处理水冷却降温至工作空气的湿球温度的新型节能冷源设备。在间接蒸发冷却冷水机组制取冷水的过程中，工作空气与被处理水发生直接接触，促使被处理水表面的水分子蒸发进入工作空气流中而被不断带走，被处理水表面水分子蒸发过程中所吸收的汽化潜热，大部分或全部来源于被处理水内部所携带的热量，从而实现对被处理水进行冷却降温的效果。如图1所示，在间接蒸发冷却冷水机组中，外界环境空气首先经过间接预冷段的处理，使湿球温度和干球温度同时降低，此时外界环境空气所发生的热湿处理过程为等湿冷却过程；预冷后的环境空气进入淋水填料内与机组回水发生直接接触进行蒸发冷却热湿交换的过程，此时预冷空气所发生的热湿处理过程为增墒加湿过程[2]。对于间接蒸发冷却冷水机组的工程过程而言，机组间接预冷段能够使外界空气湿球温度降低达到的极限为其露点温度，从而机组淋水填料段能够使机组回水冷却降温达到的极限为环境空气的露点温度。

图1 间接蒸发冷却机组原理

1.3 小端差换热器原理

小端差换热器技术是指通过增加换热面积、提高冷媒流速的方式而缩小冷媒温度与出风温度之间的温差（称之为端差），冷媒温度与出风温度相差不超过3℃，其原理是让冷媒流过金属管道内腔，而要处理的空气流过金属管道外壁进行热交换来达到加热或冷却空气的目的[3]。

2 间接蒸发冷却在液/气双通道系统中的应用

2.1 技术方案

本方案将间接蒸发冷却技术与液/气双通道散热技术相结合，冷源侧采用间接蒸发冷却冷水机组提供更低的供水温度，机房侧采用液冷和气冷两种形式分别进行散热，其中液冷通道采用水做为冷却液（一般为去离子水），通过水冷型热管冷板散热器将CPU等高热流密度元器件的发热量高效地导出服务器外，再由水将热量带出机房；气冷通道采用高密度封闭机柜，通过小端差换热器对内存主板等低热流密度器件进行风冷散热[4]。测试系统中冷源侧配置一台设计最大制冷量为29 kW的间接蒸发冷却机组，末端配置两台高密度封闭机柜（含服务器），其中一台整机柜IT 功率约为15 kW（1#机柜），另一台机柜IT 功率约为10 kW（2#机柜），以及配套的自控系统、数据采集监测系统等。

2.2 系统整体设计

系统整体架构如图2所示。

图2 系统整体架构

通过采用间接蒸发冷却冷水机组提供更低的供水温度，采用水冷型热管冷板散热器对CPU等高热流密度器件进行精准散热，采用高密度封闭机柜及小端差换热器搭建气冷通道对内存主板等低热流密度器件进行散热，完全去压缩机，从而实现全自然冷却。

2.3 测试结果分析

采用间接蒸发冷却冷水机组做为自然冷源，可以使液/气双通道散热系统在国内夏热冬暖南方地区也能实现全年自然冷却[5]。下面以广州的气象数据为例进行分析，广州市全年干球温度、湿球温度的分布如表1及图3所示。

图3 广州市月平均干湿球温度分布图

表1 广州市全年干球温度分布表

根据广州市气候特点，得到极端湿球温度为30.6 ℃，其出现时长约为29 h且为不连续时间。在此极端气温状况，间接蒸发冷却冷水机组的极端工况如表2所示。

从表2可以看出，在广州地区的极端气温下，间接蒸发冷却冷水机组的出水温度不高于31 ℃,经过板式换热器的换热后一次侧供水温度为32 ℃，从而使高密度封闭机柜中液冷通道供水温度维持在32 ℃以下，气冷通道送风温度可维持在35 ℃以下，满足热管水冷服务器的进水、进风温度要求。

表2 间接蒸发冷却冷水机组极端工况计算

通过整理测试系统在湿球温度较高（27～30℃）工况下的液冷通道及气冷通道运行数据，并进行分析统计，反映整体的可用性、可靠性和节能效果，具体如下。

两个机柜液冷通道运行温度数据如图4所示，间接蒸发冷却塔满载运行下，冷却塔供水温度接近湿球温度，最低可比室外湿球温度低1～2 ℃，液冷通道供水温度比湿球温度高2-3 ℃，机组制冷能力在湿球温度为27～30 ℃工况下得到验证，各服务器CPU温度随供水温度波动变化，但均在正常范围内，服务器设备无告警。

图4 液冷通道运行数据

1#、2#机柜气冷通道运行温度数据如图5、图6所示，设定送风温度为32 ℃情况下，1#、2#机柜送风温度保持在设定值（32±2）℃范围内，两机柜各服务器器件温度随送风温度波动变化，但均在正常范围内，服务器设备无告警。

图5 1#机柜气冷数据

图6 2#机柜气冷数据

系统在湿球温度较高（27～30℃）工况下运行稳定，间接蒸发冷却冷水机组在无压缩机的条件下制冷可满足需求，各服务器稳定运行，无异常告警，系统运行总功率约为25 kW，IT设备实际运行功率约为21 kW，平均能源利用率（Power Usage Effectiveness，PUE）为1.2，如图7所示。

图7 能耗曲线

3 结 论

间接蒸发冷却技术与液/气双通道散热技术的结合能大大提高数据中心单机架的功率密度，能更好地应用于大规模、高密度的云数据中心，同时其模块化的设计，既能应用于微模块数据中心，也能应用于集装箱数据中心，符合小型边缘数据中心快速、灵活部署的要求。同时，该技术成果依赖其高效节能、完全去压缩机的特点，突破传统风冷散热数据中心选址对自然环境的高度依赖，即使在南方高温高湿地区，如粤港澳大湾区，海南自贸区、海峡西岸经济区等重点区域也能快速部署出节能的数据中心。