高密度数据中心制冷空调系统设计

王丽欣，常琳

（1-施耐德电气信息技术（中国）有限公司，北京 100102；2-中国制冷学会，北京 100142）

高密度数据中心制冷空调系统设计

王丽欣*1，常琳2

（1-施耐德电气信息技术（中国）有限公司，北京 100102；2-中国制冷学会，北京 100142）

结合北京某数据中心的工程实例，介绍了高密度数据中心制冷空调系统设计的思路和方法，对高密度数据中心的空调水平送风、节能、自然冷却和连续制冷等问题进行了探讨。研究结果表明：对于高密度数据中心，建议采用紧靠热源的水平送风制冷形式、辅助冷热通道布置、采用水泵接不间断电源（UPS）和设置蓄冷罐等方式来保障数据中心全年不间断制冷。

空调系统；制冷；数据中心；高密度

0 引言

近年来，随着IT技术的高速发展，对数据的处理速度和处理能力要求越来越高。大量体积小、处理能力快、功能强的高密度机架服务器和存储服务器应运而生。单个机柜的功率由1 kW、3 kW提高至5 kW以上，刀片式服务器甚至单机柜功率可达30 kW。随着机柜功率密度的提高，数据中心对制冷的可靠性和可用性的要求也越来越高。传统的低功率密度的数据中心可采用集中制冷的形式对服务器进行冷却，但是当机柜的功率超过5 kW时，采用传统的集中式制冷会出现很多弊端，例如在实际运行时机柜顶部存在局部热点和地板下送风不足等问题，这些都将导致设备过热保护引发宕机。因此合理设计高密度数据中心的制冷系统尤为重要。本文以北京某新建的数据中心为例，介绍高密度数据中心的制冷空调系统的设计思路及方法。

1 数据中心概况

该项目地址位于北京市朝阳区，是将现有办公楼的一部分改造成数据中心。改造前的办公楼总建筑面积约为12,000 m2，建筑高度24 m，地上五层、地下两层，主要包括高密度数据中心、辅助用房和办公室。其中本文研究的高密度数据中心位于该大楼二层北侧，主机房建筑面积280 m2，层高4 m。服务器机柜110台，网络机柜6台，单台服务器机柜功率8.8 kW，机房内设置防静电高架地板。主要工程内容包括数据中心制冷空调系统、新风系统和排风系统的设计。

2 制冷空调及通风系统设计

2.1 设计参数

2.1.1 室外气象参数

根据《实用供热空调设计手册》[1]，参照北京地区的气象参数选取室外气象参数，结果见表1。

表1 室外气象参数

2.1.2 室内气象参数

《数据处理环境热工指南》列出了数据中心1～4级所对应的环境要求。我国按照使用性质、管理要求及重要数据丢失或网络中断造成的损失或影响程度，将数据机房分为A、B和C三级[2]。数据中心机房的设计与建设以保证所有IT设备的不间断运行为首要任务。同时，针对本项目制冷系统解决方案的设计，需要达到GB 50174-2008[3]的A级设计标准。因此，本文中的数据中心属于A级机房，机房内的温度(23±1) ℃，相对湿度40%～55%，每小时温度变化率小于5 ℃/h，且室内不得结露。

2.1.3 通风换气次数

为保证机房内的正压及人员新风量的要求，机房内新风量按照每人40 m3/h选取，同时要维持机房与相邻房间5 Pa的正压，与外界房间10 Pa的正压要求，二者取最大值。该项目中数据中心的通风换气次数参见表2。

表2 换气次数

2.2 负荷计算

机房的热负荷主要来自以下两个方面：

a) 机房内——计算机设备、照明灯具、辅助设施及工作人员所产生的热；

b) 机房外——外部进入的热（如：从墙壁、屋顶、隔断和地面传入机房的热；透过玻璃窗射入的太阳辐射热；从窗户及门的缝隙渗入的风而侵入的热；新风机补充新风带进来的热等）。

其中机房内的计算机设备的发热量占的比重最大[4]，约占机房总发热量的60%～70%。总散热中数据中心内各项负荷所占的百分比如图1所示。

图1 数据中心各项负荷占总热负荷的百分比

为了确定在该机房内主要设备所需恒温、恒湿环境下的机房空调设备的总负荷，本文根据计算机房系统内设备特点和环境情况，采用精确计算法来确定各区域热容量。经过计算，确定机房总制冷负荷为1,020 kW。数据中心单位面积能耗可由机房总能耗除以机房面积得到[5]。

2.3 制冷系统的确定

该数据中心单台机柜功率密度为8.8 kW，属于高密度数据中心，制冷空调通风系统的设计原则为：在满足设备温湿度要求的基础上，采用节能的手段确保数据中心制冷系统的稳定性和连续性，实现不间断制冷。

另外由于风冷和水冷的制冷效率很相近，选择哪种形式主要考虑使用地区的现场条件。该项目在北京地区使用，现场水资源不多，而且北京地区昼夜温差大，适合采用风冷的冷水机组。如果采用水冷冷水机组的话，还需要在设计过程中

单独增加一套冷却水的循环系统，包括冷却水泵、冷却塔和电子水处理仪等设备，这样会增加项目初期的设备投资成本，因此基于以上设计原则，确定该数据中心采用风冷冷冻水型机房空调系统。选用风冷冷冻水机组，干冷器（干式冷却器，主要用于乙二醇溶液散热，由换热盘管和风扇组成；乙二醇溶液在管内流动，通过风扇强化乙二醇与外界环境的散热，达到冷却的目的）和一级泵变流量系统。该系统夏季通过冷冻水机组制取7 ℃的冷冻水，送到室内的冷冻水型精密空调内，从而给房间的IT设备制冷；冷冻水回水温度为12 ℃，经循环水泵返回冷冻水机组。冬季充分利用室外的低温空气冷却循环冷冻水，可以实现压缩机停机制冷，大大减少耗电量。过渡季节主要采用自然冷却，冷量不足的部分由压缩机制冷补充。当数据中心的空调系统断电后，由ATS（转换开关）主电路切换到另一路备用市政供电，冷冻水机组从通电后到正常运行需要10 min，为了保证系统的连续制冷，设计了蓄冷罐，储存的冷水能满足数据中心空调系统断电后至机组重新启动10 min间隔的制冷需要。

2.3.1 空调系统冷源设计

数据中心是耗能大户，空调系统在能够保证IT设备正常运转的条件下，将在冷源的选择上尽量选择节能的方式。本项目充分利用北方气候的特点，在冬季使用自然冷却技术，降低系统的电源使用效率（Power usage effectiveness，PUE）值。PUE目前已经成为国际上比较通行的数据中心电力使用效率的衡量指标，是数据中心消耗的所有能源与IT负载使用的能源之比。PUE值越小，说明数据中心用于通信设备以外的能耗越小、系统越节能。全球数据中心的平均PUE是2.0[6]，发达国家数据中心的PUE约为1.8，日本部分数据中心的PUE为1.5，Google的数据中心PUE低至1.2[7]。

为了实现数据中心的节能运行，获得更少的PUE（PUE=数据中心的总能耗/IT设备能耗），因此应该充分利用免费的自然冷源。在春秋季节的晚上或者在冬季，充分利用室外的低温空气来对系统中的冷媒水进行自然冷却，这样可以大大减少压缩机的功耗，从而降低系统的PUE值。

根据北京地区全年室外气温的分布（见图2）可以计算出，全年可实现全部自然冷却的时间占全年总运行时间的24%，部分自然冷却的时间约占全年运行总时间的27%，全部机械制冷的时间约占全年总运行时间的49%。计算依据是北京市全年的室外气象温度。对配有自然冷却的机组，当室外温度低于10 ℃时，可以启动部分自然冷却；当室外温度低于5 ℃时，可以启动全部自然冷却。百分比根据室外温度所保持的时间占全年的运行时间之比计算所得。

图2 北京全年不同室外温度所占时间曲线图

因此该系统采用3台风冷螺杆式冷冻水机组（2用1备），每台冷水机组制冷量为520 kW。2台制冷量为500 kW的干冷器，冷冻水进口、出口温度12 ℃～7 ℃。冷水机组和干冷器布置在1层室外平台。每台螺杆式冷冻水机组可以根据负荷实现25%～100%的调节。空调制冷系统原理图见图3。

为了实现节能和充分利用冬季的自然冷却，采用干冷器与冷冻水机组串联的形式，这样可以实现以下三种工作模式。

1) 夏季，风冷冷冻水机组开启，高温的乙二醇溶液经过冷冻水机组的蒸发器释放热量。

2) 冬季，充分利用室外低温的空气冷却干冷器中的乙二醇溶液，冷冻水机组停机，实现无压缩机运行制冷的自然冷却模式。

3) 过渡季节，当外界环境温度比冷冻水的回水温度低3 ℃时，可以开启干冷器进行自然冷却，不足的冷量通过风冷冷水机组补充；当外界环境温度比冷冻水回水温度低10 ℃时，可以完全实现自然冷却，冷冻水机组停机。

2.3.2 冷冻水系统设计

图3为空调制冷系统原理图。空调系统采用7 ℃的冷冻水供水，12 ℃冷冻水回水的冷冻水循环系统。系统中采用1次泵变流量设计，可以满足随着数据中心中IT负载的变化而自动调节流量。每个空调的支管上设置平衡阀，方便调试时调节系统管路上的水压平衡。

为了实现数据中心的安全和连续制冷，在数据中心中，IT设备都有不间断电源（UPS）来保证供电，UPS将在市政用电断电后为IT设备供电直到发电机启动。但是空调系统的部件往往都不接UPS，甚至不接备用发电机。而高密度机房设备发热量巨大，当断电时，机房温度会在(30～120) s内迅速上升至使数据设备停机的温度，导致数据设备停机或损坏。

为了保证系统的稳定性，避免系统电源故障停电后至冷冻水机组启动前的过热现象，系统中必须设有安全装置。结合本项目，水系统的水泵连接了UPS可以保证冷媒水持续循环，当市政用电断电后，冷水机组通电重启需要10 min，因此系统设计了能提供10 min时间内数据中心所需冷量的蓄冷水罐。蓄冷罐的容积为32 m3，蓄冷罐与整个水系统串联连接。蓄冷罐在系统正常运行时将7 ℃的冷水储存在罐体中，当系统断电，冷水机组停止运行时，蓄冷罐的进水阀关闭，旁通阀门打开，将原存储的低温冷水注入到行级空调中，保证制冷温度。

图3 空调制冷系统原理图

2.3.3 室内精密空调的设计

目前室内的冷冻水型精密空调主要有两种形式，一种是传统的地板下送风的房间级空调，另外一种是水平送风的行级制冷空调。空调对温度和湿度的测量和控制比较精密。空调器在正常使用条件下，通过空调控制逻辑检测回风温度，调节冷冻水调节阀，控制送风温度。温度波动超限将发出远程报警信号。当温度设定在15 ℃～30 ℃范围时，机组温度控制精度为±1 ℃；温度变化率应小于5 ℃/h。湿度的控制有两种形式；当湿度低于设定值时，启动机组自带的电极式加湿罐进行加湿；当湿度达到设定值时，加湿罐停止工作。如果检测湿度大于设定值，则采用制冷除湿，或者电加热补偿除湿。

房间级空调具有市场占有率高，公众认知度高等优点。但是房间级空调地板下送风的风量受到限制，一台1 kW的IT负载机柜所需的送风量计算如下：

式中：

Q ——制冷量，kW；

ρ ——空气密度，1.2 kg/m3；

cp——1.01 kJ/( kg·k)；

G ——风量，m3/h；

t2——服务器出口温度，℃；

t1——服务器进口温度，℃。

经过计算，当服务器的进出口温差为11 ℃时，

Design of Refrigeration and Air Conditioning System for High Density Data Center

WANG Li-xin*1, CHANG Lin2
(1-Schneider Electric IT (China) Co., LTD, Beijing 100102, China; 2-Chinese Association of Refrigeration, Beijing 100142, China)

Based on a data center project in Beijing, the design idea and method of high density data center were introduced, and the problems on the horizontal air supply, energy saving, natural cooling and continuous cooling for the air conditioning system in high density data center were discussed. The results show that, the methods by using the cooling form with horizontal air supply close to the heat source assisted cooling and hot channel layout, water pump connecting with uninterruptible power supply (UPS) and cold storage tank were suggested to ensure the annual uninterrupted refrigeration for the high density data center.

Air conditioning system; Refrigeration; Data center; High density

3 结论

10.3969/j.issn.2095-4468.2015.01.202

*王丽欣（1980-）女，工程师，硕士。研究方向：机房精密空调系统，船舶空调通风系统。联系地址：北京市朝阳区望京东路6号施耐德电气大厦，邮编：100102。联系电话：010-84346699。E-mail：wanglixin04@126.com。