大型数据中心空调系统后评估

杨 玲，桂智彪

（1.中通服咨询设计研究院有限公司，江苏 南京 210019；2.中国移动通信集团 贵州有限公司，贵州 贵阳 550004）

0 引 言

为了不断优化数据中心空调系统方案，节省数据中心能耗，本文对已竣工的某大型数据中心空调系统进行后评估，对比设计方案与现场实际得出此数据中心空调系统的后评估结论，并提出改进措施。

1 基本概况

该数据中心位于贵安新区马场镇川心村，包括数据中心机楼、制冷机房、仓储用房以及营销维护支撑用房4个单体。其中，数据中心机楼为两层建筑，建筑面积为24 500 m2，主要包括数据机房及其配套用房；制冷机房为单层建筑，建筑面积为2 214 m2，主要包括水冷机组机房及制冷专用高压配电室。

2 建设内容

2.1 方案设计

2.1.1 装机率和运行负载设计

该数据中心共32个数据机房，每个数据机房有110个机架，共计3 520个机架。其中，自有业务机架1 660个，外租IDC机架1 860个。设计IT用电负荷17 248 kW，单机架平均功耗4.9 kW。

2.1.2 空调冷源设计

该数据中心设计空调总制冷所需冷负荷为19 414 kW，共需配置4台2 000 RT离心式冷水机组，单台机组额定制冷量为7 032 kW，机组按照N+1的原则配置。配置流量1 440 m3/h且功率为60 kW的冷却塔4台。设计配置换热量为7 000 kW的板式换热器4台，一次侧8.5/14.5 ℃，二次侧10/16 ℃。为充分利用冬季或过渡季节的室外冷源，在室外低温时段（8.5 ℃以下），全部或部分冷水机组停止工作，利用自然冷源由水-水板式换热器替代其进行制冷，热量通过冷却塔散出[1]。为满足15 min应急蓄冷需求，设计应急蓄冷水量570 m3，采用高位开式蓄冷罐。为保证12 h冷却塔补水需求，设计蓄水量600 m3。此外，保证水处理装置的防垢率≥95%，抑制菌藻率≥90%。设计4台冷冻水泵，单台参数为流量1 400 m3/h，扬程40 m，功率200 kW。同时设计4台冷却水泵，单台参数为流量1 500 m3/h，扬程30 m，功率185 kW。

2.1.3 空调末端与管路设计

根据不同机房业务及客户需求，该数据中心空调末端配置制冷量90 kW冷冻水型空调160台（下送风112台，上送风48台）、制冷量30 kW冷冻水列间空调180台以及制冷量6.5 kW热管背板空调614台。其中，冷冻水型机房专用空调主要用于自有业务，相比于风冷空调，采用水作为散热介质，提高了能源使用效率，能更好地满足机柜的冷量需求。冷冻水列间空调主要用于IDC业务客户，其具有单机柜功耗高且送风温度/湿度精确的特点，能够满足高密度高功耗机柜冷量需求。而热管背板空调也主要用于IDC业务客户，其具有占地面积小和高效节能的优点，同样能够满足高密度高功耗机柜冷量需求。考虑到机房的安全要求，空调管路采用两套管路系统，管路的冷冻水系统均采用闭式循环系统，由立管和水平管组成，均采用同程式供回水方式。两套独立的冷却水系统采用开式循环系统，冷却塔与冷却水管并联，两路补水分别接入市政给水管网和冷却水蓄水池[2-5]。

2.1.4 空调群控与配电设计

采用中央空调管理系统及软件，通过模糊控制柜下达指令，由现场冷冻水循环泵智能控制柜、冷却水循环泵智能控制柜、冷却塔风机智能控制柜、阀门智能控制柜、温度传感器、流量传感器以及电力监测仪等实现空调系统的智能控制、一键启停及技术参数监测等。对于高压冷冻机组采用10 kV供电，对于水泵房和空调水泵及冷却塔等设备采用低压供电[6]。

2.1.5 PUE值设计

机房总用电负荷24 524 kW，其中IT负荷17 248 kW，空调设备（主机、水泵以及末端等）负荷约6 176kW，其他负荷1 100 kW。PUE=24 524 kW/17 248 kW≈1.42，故设计PUE值为1.42。

2.2 实际建成效果

2.2.1 装机率和运行负载

该数据中心实际已装机架2 172个，其中自有业务机架1 096个，外租IDC机架1 076个。IT实际用电负荷为5 552 kW，自有业务实际运行单机架平均功耗2.58 kW，外租IDC实际运行单机架平均功耗2.85 kW。

2.2.2 空调冷源

实际安装4台顿汉布什7 032 kW制冷量离心式高压冷水机组，目前运行2台，单台机组年平均用电量为1 250 kW（不含冬季板换运行），机组按照N+1原则配置。同时安装4台流量1 400 m3/h的马利冷却塔和4台艾克森板式换热器，换热器单台换热量为7 000 kW，一次侧10.5/15.5 ℃，二次侧12/17 ℃。为充分利用冬季以及过渡季节室外冷源，在室外低温时段（10.5 ℃以下），全部或部分冷水机组停止工作，利用自然冷源由水-水板式换热器替代其进行制冷，热量通过冷却塔散出。此外，实际安装1台体积573 m3的北京英沣特蓄冷罐、4台净元广谱电子水处理器、1套沛德全自动水处理器、4台格兰富冷冻水泵以及4台格兰富冷却水泵。其中，冷冻水泵流量1 400 m3/h、转速1 488 r/min且扬程为40 m，冷却水泵流量1 550 m3/h、转速1 488 r/min且扬程为30 m。

2.2.3 空调末端与管路

数据机房实际安装了制冷量90 kW的冷冻水型机房专用空调160台（下送风112台，上送风48台）、制冷量30 kW的冷冻水列间空调180台以及制冷量6.5 kW的热管背板空调614台，如图1所示。空调管路严格按照《通风与空调工程施工质量验收规范》（GB 50243—2016）进行施工。

图1 空调末端现场图

2.2.4 空调群控与配电

实际采用汇通华城BKS2008中央空调管理系统及软件，通过BKS2008模糊控制柜下达指令，由现场冷冻水循环泵智能控制柜、冷却水循环泵智能控制柜、冷却塔风机智能控制柜、阀门智能控制柜、温度传感器、流量传感器以及电力监测仪等实现空调系统的智能控制、一键启停及水温或流量等技术参数得监测等。水泵房、空调水泵及冷却塔等设备采用2台1 250 kVA的变压器供电（1+1系统）。冷冻水泵需要UPS保障，由UPS输出屏通过母线给冷冻水泵供电，冷却水泵和屋顶冷却塔风机采用市电保障。空调系统现场效果如图2所示。

图2 空调系统现场效果图

2.2.5 PUE实际值

根据数据中心监控，实际运行总负荷8 560 kW（不含充电），其中IT负荷5 552kW，PUE=8560 kW/5 552 kW≈1.5，即实际运行PUE值约为1.5。

3 效果评估

3.1 装机率和运行负载评估

目前业务部门机柜布局分散，机柜内服务器安装数量少，导致机房负载率较低，机柜功耗未达到设计的满配值。

3.2 空调冷源评估

现网运行两台水冷主机，单台主机负载率约55%，提供制冷量2 000 RT。经过计算，目前运行的两台空调机组已满足数据中心使用需求，故轮流运行2台机组可进一步降低PUE值。

3.2.1 冷水机组评估

抽检1#冷水机组，根据调研计算出空调系统正常运行状态下冷水机组的输入功率、输出冷量以及冷水机组的能效比，具体见表1。

表1 机组单独运行时性能测量数据表

目前冷机的额定能效比为6，由上表可知，50%负荷下的冷机能效比实测数据为11.06，属于正常运行范围，未出现喘振。

3.2.2 冷却水泵和冷冻水泵评估

测试1#冷却水泵和1#冷冻水泵的流量、扬程以及输入功率，具体结果见表2。

表2 测试工况下水泵工作参数表

由表2可知，冷冻水泵和冷却水泵的实测运行效率分别为41%和42%。一般水泵最佳节能运行效率为70%～80%，目前水泵运行效率低于70%，是造成PUE值偏高的原因之一。

3.2.3 冷却塔与蓄冷罐评估

冷却塔安装和调试都按照设计进行，冷却塔在冬季（11月中旬至次年2月中旬）使用自然冷源，没有除冰问题。蓄冷罐安装和调试都按照设计进行，初期采用冷水机组与蓄冷罐交替运行模式，使冷冻水温波动维持在一定范围（8～17 ℃)，蓄冷罐平时带载时未发现问题，模拟停电测试，已知最长测试时间为45 min，机房空调制冷无异常。

3.2.4 板式换热器

板式换热器一次侧及二次侧进水温度比设计值提高2℃，回水温度比设计值提高1℃。

3.2.5 水处理装置

未使用水冷机组加药装置，在线清洗装置使用效果一般，主机冷凝器有一定量水垢，定压补水装置效果良好。

3.2.6 其他

分集水器冷源配套设备运行良好。

3.2.7 空调管路

管路系统的安全性高。

3.3 空调末端与管路评估

针对不同的业务和单机架功耗需求，该数据中心机房采用了冷冻水型机房专用空调（地板下送风）、冷冻水列间空调以及热管背板空调，3种空调末端机房占比如图3所示，PUE能效因子及投资对比如图4所示。

图3 3种空调末端机房占比

图4 3种空调末端PUE能效因子及投资对比

这3种空调末端中，热管背板空调初期投资最高但节能效果最好，冷冻水列间空调效果与热管背板接近，冷冻水型机房专用空调初期投资最低但节能效果最差，此外空调群控运行良好。而空调管路冷却塔阀门过多，维护量较大，两台并联塔之间缺少平衡阀，冷却塔水位不易调节。

3.4 PUE评估

空调冷源采用高压水冷离心机组、板换、变频控制以及群控等节能技术，空调末端根据不同业务类型采取合适的节能技术，大楼空调系统运行效果良好，实际PUE值为1.5，接近设计值1.42。

4 改进措施及建议

4.1 机电方案研发设计阶段

方案规划阶段，合理规划机柜的安装，机房可分批并分区域启用，根据不同送风方式等将不同功率密度的机柜分区域规划，分区域供冷，提高冷量利用率，从而增加机柜的可装机率。

该数据中心采用的水冷冷冻水系统高效节能且稳定性高，但需要设置室内制冷站，耗水量大。与传统水冷冷冻水系统相比，蒸发冷却冷冻水系统无需冷却水泵及冷却塔，系统配置简单，可节省室内制冷站面积，增加机架数量，且利用自然冷源的时间更长，节水效果较好。除此之外，其在低温季节可以充分利用室外低温空气对空调冷冻水进行自然冷却，减少压缩机机械制冷的运行时间，节能的同时提高运行可靠性，延长设备寿命，因此建议后期将其作为数据中心空调冷源系统的优化方案。根据工艺方案规划、建设规模和进度计划，合理分期建设空调冷水系统。针对分期建设的空调系统，可采用冷源设备分批建设+冷水主管路系统一次性建设+预留空调设备接管阀门的方式。空调管路应采用1+1冗余备份，确保高可用性。空调配电应考虑后续扩容，预留接口。合理部署服务器，减少物理服务器，减少存储设备和相关基础设施。提高UPS及变压器的负载率，使其工作在最佳负载率状态，机房冷热通道分离，根据实际热负荷调节空调数量，提高空调送风温度。

针对高热密度机柜则充分利用自然冷源，采用高效制冷设备和新型空调末端解决高热密度等大型服务器散热问题，同时提高机房利用率，降低空调系统的运行能耗，进一步提升空调冷水循环水温至15/21 ℃。此外，建议在后期项目建设和运行中选用高效经济的空调系统设备，提高能源利用率。

4.2 施工阶段

考虑分期建设情况，为了利于后期扩容，将支路管路和最远末端管路短接或旁通。对管路水流方向有明显标识，阀门建设时应有明确编号标识。对于空调群控，建议分期分区域建设群控系统，不同期或区域的群控系统之间应具备互相通信和读取数据的功能。

4.3 运行维护阶段

尽可能提高空调冷源温度，延长自然冷却时间，并提高制冷机的COP值。末端空调维护量大，热管背板空调风扇故障率高，没有过滤网，进水阀建议改为根据供回水温度自动调节。此外，需定期检查管路密封性和保温性能，定期校验采集数据的准确性，保障控制系统的稳定运行，对于缺少的测点要尽快补全。按照配电设备维护规程，定期检查空调配电设备并进行高压预防性试验。根据实际热负荷调节空调数量，提高空调送风温度，机柜和服务器合理摆放，调节送风速度与地板出风速度，同时规划好回风路径，防止热风回流，冬季根据天气情况及时将冷源切换至板换工作。除此之外，还应系统且全面对维护人员进行培训，使其掌握设备的日常操作、常见维护处置方法以及应急处理等技能或知识。

5 结 论

本系统空调冷源采用10 kV高压水冷离心机组，冷却水系统配置水-水节能板换，冬季或过渡季节利用冷却塔免费制冷，减少了空调运行功耗，延长了制冷主机的使用寿命，降低噪声。冷却塔风机、水泵以及末端精密空调的EC风机采用变频技术，实现部分负荷时的高效运行。配置冷源系统群控，可实时读取当前机楼冷源设备运行工况，能够实现主机系统加减机运行策略。自然冷却或机械制冷等不同制冷模式的切换运行，使整个系统在任何负荷情况下能达到优化效果，保证各设备协调可靠运行。系统建设效果良好，与设计相符，能满足业务发展需求，值得在后期项目中继续借鉴。