数据中心供电制冷等关键设施技术浅析

安 真， 周德文， 钱 斌

(华为技术有限公司，北京 100001)

0 引言

2020年03月04日，中央政治局常委会提出“要加大公共卫生服务、应急物资保障领域投入，加快5G网络、数据中心等新型基础设施建设进度”。数据中心作为新基建的核心内容，成为整个行业的关注焦点。

数据中心发展进入新的时期，其发展也面临各方面的趋势和挑战。这些挑战需要新的技术和方案来应对和解决，比较显著的有以下几个方面。

首先是高密化。来自数据中心通用计算的电子信息系统发展带来数据中心发展新需求。众所周知，随着芯片工艺快速发展，当前的芯片加工工艺水平已经逼近可加工的理论极限，芯片级的摩尔定律逐渐失去作用，但是各行业数字化的发展速度并没减慢，系统或产品的性能提升，需要更多物理芯片的堆积，这就带来了服务器功耗随算力的线性提升。另外，AI(人工智能)计算的兴起，会导致数据中心单机柜功率密度的快速提升，据华为云与计算部预测，到2025年，数据中心80%的负载运行AI计算。而运行AI计算的GPU芯片功耗大于通用计算的CPU若干倍。

高密度和大型化带来数据中心的高能耗问题。2018年我国数据中心用电总量为1 609亿kWh，占全社会总用电量的2.35%。2020年用电总量将达2 023亿kWh，占全社会用电总量的2.7%；2030年将突破4 000亿kWh，占全社会用电总量的3.7%。

其次是系统更大型化和复杂化，数据中心规模集中效应可以有效降低建设和运营成本，云数据中心体量越来越大，万柜级多地多中心成为云计算企业的主流需求，市电引入从10kV专线提升到110kV专用变电站，能耗倍增、管理复杂度倍增。

数据中心最关键的系统是支持IT设施运行的供配电系统和空调系统，前者在很大程度上决定了数据中心运行水平的可靠性，后者还对数据中心的节能发挥了至关重要的作用。本文试图对此二系统的关键创新技术进行概述和辨析。

1 供配电系统架构及新技术辨析

按照功能组成,供配电系统主要由10kV配电、柴油发电机组、变压器、低压配电、UPS电源及其配电、电池、列头柜等部分组成，其基本原理如图1所示。

从供配电系统架构可以看出，2N系统因其运维简单、可靠性高，被行业广泛采用，是数据中心供配电主流解决方案。美国、英国、荷兰、新加坡、迪拜等国家或地区的个别企业也会采用RR、DR等容错架构。可靠性无法满足容错功能的架构在大型数据中心的应用并不多见。

图1 数据中心供配电系统原理示意图

过去十年，供配电系统创新的焦点是电源形式，除UPS(交流不间断电源)之外，互联网还出现了HVDC(高压直流)、OCP(开源服务器)电源等多种电源并存的形式，其中UPS又分为工频塔式、高频塔式、高频模块化等形式。

(1)UPS各种形式的优劣分析和发展趋势分析

UPS本身的技术发展路径相对清晰，高频技术全面取代工频技术已成为定局，高频在效率、成本、占地、谐波等各方面均具备领先一代的优势。主要指标分析如表1。

主流厂商UPS主要指标分析 表1

在高频技术下，模块化和塔式两种形式竞争激烈，业界通常的认知是，模块化UPS在用户侧的自主运维难度降低，在安装维护、后期扩容方面具备塔式UPS无法替代的优势，这也是模块化UPS被IDC、运营商行业用户广泛应用的原因。当然，行业内也有少量用户认为多个模块并机可能会有风险。其实，就可靠性而言，两者基本持平，某些维度模块化UPS还会略优，可靠性的详细对比分析如表2所示。

近年来，绝大多数新上市的塔式UPS也采用了模块化架构，可见，模块化UPS是交流UPS的发展方向。

除了交流UPS，高压直流系统(HVDC)在数据中心领域也有一定的应用。HVDC并不是一个新生事物，其发展已经超过20年历史，美国、日本、欧洲、中国均有长时间的研究。目前，美国、日本、欧洲仅限于局部实验，因为没有明显优势，未能扩大到主流数据中心领域。在中国，“一路HVDC+一路市电直供”的架构在节能和成本上的优势，吸引了一些头部互联网和运营商在自用机房应用。

塔式UPS与模块化UPS的可靠性对比 表2

但“HVDC+路市电直供”不属于容错架构，在HVDC检修时，市电闪断导致服务宕机事件已经多次发生，鉴此，部分用户已经放弃此种架构，重新回到2N的容错系统。随着主流UPS厂商对研发的不断投入，UPS的效率在不断提升，价格不断下降，HVDC已经不再具备效率、成本优势，加之部分服务器并不兼容HVDC电源制式，HVDC在行业的应用正在收缩。

UPS、HVDC等电源的创新都只是部件层面的，对供电链路影响有限，未来一定是供电链路端到端的创新，随着第三代半导体技术的成熟，10kV级的电力电子电源将成为可能，铜质变压器被电力电子变压器取代，其新链路如图2所示。

图2 下一代供配电系统原理示意图

(2)储能的发展趋势

电池是数据中心供配电系统的重要组成。其中铅酸电池在数据中心行业长期占据主导地位，但铅酸电池循环寿命短、占地大、对机房承重要求高，且容易造成铅铬重金属环境污染，这些问题一直是数据中心建设和运维的痛点。锂电池具有能量密度高、占地小、循环寿命长等优势，几乎可以弥补铅酸电池的所有缺点，但因其价格高昂，在以往的数据中心并没有太多的应用。

随着锂电池在汽车、5G等行业更为广泛的应用，成本降幅持续增大，国外一些大型数据中心已经开始大规模使用锂电。相信随着锂电应用规模的扩大，其成本还会进一步下降，未来锂电池必将取代铅酸电池，占据数据中心储能主导市场。

2 数据中心制冷系统架构及新技术辨析

过去十年，大型数据中心空调基本上从DX(直接膨胀式)定频空调走向了冷冻水系统。近年来，随着变频技术在空调行业的普遍应用，DX空调能耗高且无法解决连续制冷的缺陷已经成为历史，制冷系统正处于多种形式并存的百花齐放局面。

数据中心能耗巨大，节能正在成为数据中心建设的普遍诉求。节能创新主要聚焦在制冷系统的创新。而制冷系统的创新，主要聚焦在自然冷源的有效利用方面。此外，AI等新技术的加持也发挥出了新的价值。

(1)直流变频DX技术

DX空调是传统的制冷方式，随着直流变频技术向数据中心机房精密空调的引入，机房精密空调的效率大幅提升，成为了新型、广普适用的节能技术。采用直流变频技术的DX空调，除能效大幅提高外，还具有室内占地面积小、控制简单、气候适宜范围广、无须依赖水资源等优点。

鉴于冷媒管不能过长，高差不能过大，建筑设计时，需要提前留出室外机的部署空间。此外，夏天最高温时，峰值PUE也会较差。当前，中等规模的数据中心大多都是采用了这种技术路线。

(2)空-空换热技术/间接蒸发冷却

换热采用空气-空气换热器，换热器由若干板片构成完全隔离的通道，室外空气经蒸发冷却后和机房空气在各自通道内通过膜片进行换热。升温后的室外空气再送回室外，降温后的机房空气重新送回机房。该方案具有的优点主要包括：1)自然冷源利用率高，容易获得较低的PUE；2)室外空气质量对机房环境没有影响；3)设备控制和维护也相对简单，对运维团队的专业要求较低；4)采用间接蒸发冷却机组，即使发生故障，也只会影响到局部机房，故障影响面不会太大；5)工程因素对项目影响小，分期建设更容易。

目前，长江以北地区的新建数据中心已经有了规模应用，华南地区也有一些案例。但是，该方案的建筑适应性相对较差，需要在建筑结构设计时匹配机组的安装和风道。此外，夏天最高温时，需要启动压缩机进行补冷，峰值PUE可能会高于冷冻水系统。

随着服务器耐热能力的提升，间接蒸发冷却的应用范围会更加宽泛，未来将成为数据中心冷却的首选方案。

(3)冷水机组水侧自然冷

在水冷冷冻水系统中，可以利用冷却塔+板换或干冷器，通过在常规空调系统基础上增设部分管路和设备，实现自然冷却，达到节能的目的。风冷冷水机组也可以增加内置或外置的干冷器实现自然冷却。冷冻水系统属于集中冷源，应用范围宽、建筑适应能力强、制冷效率较高，具有一定水平的节电降耗价值，在各行各业都有普遍应用。在中、大型数据中心里，是最常见的制冷方式。

但是，冷冻水系统对设计和运维的专业性要求较高，控制相对复杂，很多项目由于缺乏相关的专业指导和运维管理经验，各种模式切换存在风险，导致实际节能效果参差不齐，特别是前期低负荷运行期间。此外，由于多种事故都有可能导致集中式冷冻水系统出现制冷中断，行业内因为冷冻水系统导致整个数据中心出现宕机的案例也有发生。

以上海某项目为例，几种方案对比如表3所示。

方案对比详表 表3

(4)直接新风冷却

除了DX空调、冷冻水和间接蒸发冷却机组之外，行业内还有少量客户已经或正在尝试直接新风冷却。直接新风冷却即直通风方式，利用低温自然冷空气或与部分回风热空气混合，经过滤、净化处理后，直接送入机房实现冷却。该方案没有中间换热过程，自然冷源利用热效率高，如果辅之以蒸发冷却装置，可以更长时间利用自然冷源。

但直接新风冷却方案存在以下问题。

1)换热的同时伴随着物质的交换。任何一个环境，空气质量都是难以保持稳定的，有时甚至会受到周边事故的影响。空气污染较重时，必须对冷空气进行过滤处理，维护成本高，特别是需要采用化学过滤器时，成本支出较大。

2)室内外空气不隔离，导致湿度处理复杂，存在频繁的加湿除湿过程，耗水、耗电量巨大。

3)室外温度过低时，冷空气需进行再加热和加湿或与排风充分混合，否则容易导致凝露。这种温湿度的控制通常很难做到绝对可靠。

4)需要提前和建筑设计配合，避免送排风短路，避免送风距离过长引起的风机功耗较大。实际项目中，为了实现该目标，设计和安装都有难度。

正是因为直接新风方案室外空气处理流程复杂，且存在众多的不确定性，在行业内应用不多，难以成为未来的发展方向。

除了制冷系统自身的特点之外，随着AI技术在各行各业的应用普及，空调辅以AI调优在数据中心行业也崭露头角，并取得了相对较为理想的效果。相信未来，对专业要求低、运维简单的DX空调或间接蒸发冷却机组，辅以AI技术，将成为数据中心制冷方向的主流解决方案。

3 结束语