数据中心冷冻水系统高温供水调制方案探索

柳小明，岑泗府，俞柯丞

（中国移动宁波分公司，浙江 宁波 315000）

0 引 言

随着人工智能、云计算、Web3.0等技术快速发展，数据中心作为承载这些业务等物理基础，在近些年迎来了建设高峰，其数量和规模不断增长。与此同时，双碳目标的提出，使降低能耗成为贯穿数据中心全生命周期的重点，绿色低碳和可持续发展替代好用、可用成为了数据中心发展的新阶段[1,2]。

数据中心能耗由4大部分组成，即IT设备、制冷系统设备、供配电系统设备以及其他设备。其中，IT设备的能耗占比最大，其次为制冷系统设备。评价数据中心性能的指标有很多，目前被广泛采用的是电能利用效率（Power Usage Effectiveness，PUE），计算方法为

为了保证数据中心IT设备正常运行，国内外学者对机房环境控制方式进行了大量的研究，目前较为合适的方案是利用室外自然冷源进行免费冷却，又分为风冷自然冷却和水冷自然冷却。对于超大型的数据中心，水冷自然冷是更常见的系统[3]。

1 数据中心空调系统结构介绍

1.1 数据中心概况

中国移动长三角（宁波）数据中心位于浙江省宁波市前湾新区，设计标准为国标A级，属于中国移动钻石五星级机房，总规划2万架机柜，其中D03机楼交付1 500架机柜、上电1 100余架，如图1所示。

图1 中国移动长三角（宁波）数据中心示意图

1.2 数据中心空调系统概况

本数据中心机楼采用冷冻水型空调系统作为空调系统方案，共4组冷源单元，设计热负荷4 800 kW。图2为空调系统示意图，图中包括冷水机组、冷却塔、板式换热器、空调末端、管路系统等设备。服务器主设备的热量通过送回风通道进入末端空调回风口，与冷冻水进行热量交换以实现空气的温降，冷冻水回水水温上升，与冷却水进行热量交换，冷却水将热量送至室外冷却塔。冷冻水型空调系统运行模式与室外湿球温度有关，当湿球温度低于8 ℃时，采用全板换模式；湿球温度处于8～14 ℃这一区间时，采用冷机和板换混合制冷模式；湿球温度高于14 ℃时，采用全冷机模式。

图2 某数据中心冷冻水型空调系统示意图

2 冷冻水供水温度对空调系统的影响

2.1 冷冻水供水温度对冷水机组的影响

对冷水机组而言，改变冷冻水的供水温度，机组的效率就会发生改变，一般采用制冷系数（Coefficient Of Performance，COP）来表示机组的性能。影响COP的因素有蒸发温度、冷凝温度和机组负荷，计算公式为

如果增加冷冻水的供水温度（提升蒸发温度），会导致制冷剂的单位制冷量增加，单位质量压缩功下降，压缩机的COP值增大，制冷剂的排气温度随之下降。这在一定程度上能够避免由于排气温度过高所导致的润滑油黏度下降，影响机组正常运行。

综上所述，对于冷水机组而言，适当增加冷冻水供水温度可以提高机组的COP以及供冷量。在进行设备选型时，可以提高冷冻水供水温度以减小机组容量，降低成本。中国移动长三角（宁波）数据中心所采用的冷水机组型号为WSC160BCTR55，设计供水温度15 ℃，对应COP值为6.877，提升冷冻水供水温度能够提升其COP值，如表1所示。

表1 冷冻水供水温度对WSC160BCTR55型制冷机组运行性能的影响

2.2 冷冻水供水温度对机房空调的影响

机房空调工况与冷冻水供水温度、供水流量、换热效率、送回风温度等多个指标有关。对于传统工况，表冷器工况常用下列方法进行计算，即：

式中：Q为单位时间换热量，W；G为单位时间经过表冷器的空气质量，kg/s；i1为湿空气进入表冷器之前的焓值，kJ/kg；i2为湿空气离开表冷器之后的焓值，kJ/kg；Cp为空气的定压比热，kJ/(kg·℃)；ε为析湿系数；t1为空气进入表冷器前的温度，℃；t2为空气离开表冷器后的温度，℃；W为单位时间流过表冷器的冷冻水质量，kg/s；CW为冷冻水的比热，kJ/(kg·℃)；tW1为冷冻水进入表冷器前的温度，℃；tW2为冷冻水离开表冷器后的温度，℃；K为表冷器的传热系数，W/(m2·℃)；F为表冷器的传热面积，m2；Δtm为对数平均温差，℃；V为表冷器迎面风速，m/s；N为表冷器排数；CF为表冷器接触系数。

对于不同的表冷器，其接触系数CF可以通过查表获得，当满足一定条件时，可以利用经验公式计算接触系数为[4]

式中：ts1为空气进入表冷器前的湿球温度，℃；ts2为空气离开表冷器之后的湿球温度，℃。

对于固定型号的表冷器而言，其供水温度与全热供冷量分阶段呈线性关系，供冷量随着供水温度的上升而降低[5]。

3 冷冻水供水温度调制实例

3.1 冷冻水供水温度优化

针对数据中心能耗较高的问题，选择中国移动长三角（宁波）数据中心D03机房进行改造，机房默认冷冻水供回水温度为15/21 ℃，在室外湿球温度8 ℃以下用全板换模式制冷；8～14℃用板换冷机混合模式制冷；14 ℃以上，全冷机模式制冷。将冷冻水系统供回水温度设定为19/25 ℃，运行模式如表2所示。

表2 中国移动长三角（宁波）数据中心D03机房冷冻水系统运行模式

3.2 热通道优化

运维人员在维护过程中，发现D03机房存在热通道封闭不严的情况，如图3所示，这会导致气流组织混乱，冷空气利用效率降低，增大数据中心的能耗。

图3 D03机房热通道封闭不严实况

在新的运行模式下，冷冻水供回水温度提升，表冷器供冷量会线性减少，为提升冷空气利用效率，保证数据中心IT设备正常运行，需要对机柜热通道封闭优化。

主要采用下列3种方式：机柜顶部穿线孔用橡胶圈密封；机柜正面穿线用毛刷盲板封闭；端门底部、侧板之间的缝隙、机柜之间的缝隙、天窗缝隙采用密封条、玻璃胶等进行密封。

采用上述方法，成功改善了热通道封闭不严的问题，通道内外压差从2 Pa提升至5 Pa。

3.3 末端空调优化

为了提升冷冻水的利用效率，需要对末端空调进行优化，从4个维度进行调整。

（1）人工干预风机的转速，使通道内空调风机保持在较低转速，偏差在10%以内。

（2）调整背板空调的主路电动阀控制逻辑，从供回水温差3 ℃全开，优化至5 ℃全开。

（3）若长期处于待机状态，保持电动阀关闭。

（4）确定水阀开度控制送风温度，风机转速控制回风温度。

3.4 冷却塔和水泵优化

冷却塔和水泵的工作状态也会对整个系统产生影响，冷却塔需定期人工调节水力平衡，调整皮带的松紧度以保证冷却塔的利用率。分集水器的压差从0.9 bar降至0.6 bar，冷冻泵的工作频率尽量保证在低频率。

3.5 优化结果

对数据中心的PUE值进行了监测，结果如表3所示。

表3 中国移动长三角（宁波）数据中心D03机房PUE值

其中，2021年1月至5月冷冻水供回水温度为15/21℃，2022年1月至5日冷冻水供回水温度19/25℃，各月室外空气温湿度条件接近。从表3可以看到，较之2021年，2022机房的PUE值有明显下降，5月差值最大，下降了0.11，5个月内平均PUE值下降0.06。提升冷冻水供回水温度不仅降低了PUE值，而且使空调系统效率提升，用电量减少。

4 建 议

（1）提高冷冻水供回水温度的关键点是“末端通道密封性+末端空调的冗余性”，需要注意机柜以及密封通道的气密性，增加内外压差，提升换热效率。

（2）冷冻水供水温度并不是一成不变的，需要根据室外温度来调制，群控系统可以开放用户侧参数并显示COP值，以便维护人员根据冷源效率及时调整运行参数。

（3）绝大部分冷源群控是基于额定热负荷所设定的，但实际运行过程中负荷不会超过额定负荷的60%，这势必会造成大量能源被浪费，群控系统必须进行优化。

5 结 论

本文从提升数据中心冷冻水系统供回水温度出发，分析提升供水温度对冷水机组以及表机房空调的影响。供水温度升高，冷水机组效率提升，但是会导致机房空调制冷量下降。结合实例，提升冷冻水供水温度可以降低机房PUE值，从降低能耗角度分析，更加节能。提升冷冻水供水温度的方案适用于既有的机房运维，也可以给后续的设计提供参考依据。