冷却装置嵌入式数据中心机柜供冷效果研究

孙晓晴 韩宗伟 付 琪 纪 强 薛 达

(东北大学冶金学院 沈阳 110819)

随着数据中心建设的快速发展，数据中心能耗问题日益显著，预计在2023年全国数据中心的总耗电量将突破2667.9 亿kW·h[1]，而其中用于数据中心冷却的空调能耗约占数据中心总能耗的40%[2]。由于数据中心装载大量的IT设备，对机房内的温度要求较高[3-4]，在保证机柜冷却效果的前提下，降低空调系统能耗是整个数据中心节能的关键[5]。

合理的气流组织对提高机房冷却效果和节约空调系统能耗都有着积极的影响[6-8]。传统数据中心一般都采用房间级制冷，机房中普遍存在局部过热及冷热气流混合的问题。陈杰[9]提出了一种冷通道封闭技术，该方法能有效地将冷热气流隔离开来，提高冷量的利用效率。但只有当数据中心的平均功率密度为每台机柜1～2 kW时，房间级制冷才有效[10]。机柜级空调系统因靠近负荷中心，缩短了送风距离，不易出现局部热点，最大程度地减少冷量损失，可实现更高的负载密度[11-13]。K. Nemati等[14]研究发现水冷背板换热器可以有效带走服务器的热量，降低机柜的排风温度。但水冷技术存在漏液的安全隐患，还不能作为一种成熟的应用。目前风冷依然是广泛应用的冷却方式，罗浩文等[15]通过模拟得到的常规机柜内服务器风机吸风量相对标准差达到了26%，存在送风不均的现象。因此，具有良好气流组织的机柜级冷却末端是解决数据中心冷却高能耗、精确供冷难题的有效途径。

基于上述背景，本文提出一种冷却装置嵌入式数据中心机柜[16]，该机柜将服务器竖直放置，减少了气流的沿程阻力，并利用热气上升原理，增强了散热效率，同时将冷却装置融入机柜内部，实现按需供冷。针对该机柜的内部结构形式，本文通过CFD软件模拟机柜内的气流组织，研究冷却装置排布和运行参数对冷却效果的影响，以确定合理的冷却装置排布及运行参数范围。

1 机柜工作原理

相比于传统的大空间送风，冷却装置嵌入式机柜因为单独配备了风机和冷却装置，所以在冷量供应方面具有更好的节能性和可靠性，图1所示为机柜结构示意图。

图1 机柜结构示意图

在节能性方面，机柜能从三方面大幅降低能耗：1)冷却装置置于机柜内部，使冷量全部用于冷却服务器，减少了冷量损失，提高了制冷效率；2)机柜因自带风机而缩短了送风路程，输配能耗大幅降低；3)机柜因独立配备冷却装置，可根据机柜不同的负荷状态独立、灵活调节制冷量，避免出现冷量过剩现象，减少冷量浪费。

在可靠性方面，机柜内部结构设计对气流组织的合理优化，不仅增强了冷空气与服务器之间的换热效果，也减少了冷热气流掺混、局部出现热点等现象，同时制冷量的独立调节还避免了冷量供应不足的现象，保证了机柜的整体冷却效果。

2 仿真模型

2.1 物理模型

本文利用Airpak软件建立了机柜的物理模型，如图2所示。只考虑垂直于壁面方向上的热量传递，机柜壁面采用薄壁。真实的服务器内部结构复杂，除了CPU芯片外，还有电池、风扇等其他部件，为了计算简单，服务器简化为发热均匀的长方体。冷却装置设置为无厚度的薄片，风机设为与冷却装置形状一致的矩形平面。

图2 机柜物理模型

机柜进口空气特性遵循理想气体定律，工作压力设为101.325 kPa。边界条件主要包括以下三种：

1)壁面边界条件

机柜壁面会与机房内空气进行热量交换，故所有壁面设为定壁温边界条件，边界温度即为房间温度。

2)入口边界条件

机柜进风口的送风温度为房间温度，送风方式为风机送风，可根据具体工况设定风机的额定风压和额定风量，进风方向为垂直于水平壁面向上。

3)出口边界条件

出风口为自由出口、单层格栅形式，出口压力为101.325 kPa，热空气自由流出，且流动方向为单向，无回流。

机柜的参数：机柜尺寸为700 mm×700 mm×1 200 mm，进出风口尺寸均为700 mm×700 mm；服务器尺寸为600 mm×450 mm×44.45 mm，发热功率为200 W，共10个，5服务器/排×2排，两排之间预留100 mm，服务器的水平间距为120 mm；冷却装置尺寸为700 mm×700 mm，功率为2 kW。

2.2 实验验证

为验证上述仿真平台的准确性，建立与仿真模型参数一致的实验装置如图3所示，实验中采用T型热电偶对服务器表面的温度测点进行测量，测量精度为±0.1 ℃，利用热线风速仪测量机柜内各测点的风速，测量精度为±0.03 m/s，以上测量装置具有较好的精度，同时通过多次测量取平均值的方法来减小实验数据的不确定度。

图3 实验装置

图4 测点布置

由于机柜的冷却对象是服务器，同时在综合考虑现场实验条件基础上，选取服务器表面的温度作为温度测点以表征机柜的冷却效果。在测量温度时，从机柜的上下两排分别选取两个服务器作为测量对象，其中测量对象1和3为最外侧服务器，测量对象2和4为内侧服务器，4个测量对象可较好地体现机柜内服务器的温度分布。为使测量结果更准确，服务器划分为6个等面积的矩形，如图4(a)所示，将每个矩形的中心作为温度测点，取6个测点的平均值作为服务器测量温度，以减少空间上的测量不确定度。在测量风速时，从上下两排分别选取3个测点，测点1和6代表服务器和壁面之间的风速，其余测点代表相邻服务器之间的风速，多区域的测点位置可较好地表征机柜内的速度场。考虑空气流动的多变性和不均匀性，在如图4(b)所示的每个测点将风速测试仪的探头伸进距壁面12 cm处，并每隔10 s记一次读数，取3次测量值的平均值作为该点的风速值以减少时间上的测量不确定度。

模拟工况与实验工况保持一致，风机额定风量为1 600 m3/h，额定风压为300 Pa，进风温度为26.3 ℃。得到的模拟结果和实验结果的相对误差如表1所示。

表1 模拟结果和实验结果的相对误差

由表1可知，风速的相对误差较大，最大误差达到17.31%，服务器温度的相对误差较小，最大误差为5.35%，均在允许范围内，因此可认为上述机柜仿真模型的精度可满足计算要求。

3 冷却装置排布对冷却效果的影响

3.1 工况及芯片的选定

在机柜的模拟计算中，进风温度设为27 ℃，相对湿度为55%[17]，对应的空气露点温度为17.2 ℃，因此冷却装置内制冷剂的蒸发温度设定为19 ℃，以确保空气不会在冷却装置进风侧发生结露现象。同时为防止空气经冷却装置冷却后的出风温度低于露点温度，在冷却装置出风侧发生结露现象，在机柜额定制冷量为2 kW时，由机柜进风焓值与相应露点焓值之差可以计算得出最小进风量为566 m3/h。机柜进风量既要大于最小进风量566 m3/h，以避免出现结露现象，又要保证换热均匀性，因此风机额定风量先定为1 200 m3/h，额定风压定为200 Pa。并且机柜的服务器芯片选取Intel系列的Cel-1.0APGA(T)芯片，该芯片的正常工作范围为45～50 ℃，极限温度为60 ℃。

3.2 评价指标的确定

本文以服务器的温度为研究对象，从热安全性、均匀性两方面对机柜冷却效果进行评估，以此来分析机柜内的热环境。

在热安全性方面，除了服务器的平均温度和最高温度等基本评价指标外，本文还提出了新的评价指标——温度合格系数RCIH。具体定义式如下：

(1)

式中：n为服务器的个数；Tx为某个服务器的温度，℃；Tmax-rec为服务器正常工作温度范围的上限，℃；Tmax-all为服务器的极限温度值，℃。RCIH=100%时，说明所有服务器的温度均没有超过正常温度范围的上限；RCIH<100%时，说明有服务器因冷却不充分而存在过热现象。

在均匀性方面，当冷量一定时，服务器的温度分布越均匀，机柜的整体冷却效果越好。因此本文提出了服务器温度的标准差σT用于评价服务器温度的均匀性。

(2)

考虑到不同机柜、不同工况时，服务器的温度可能相差较大，因此，本文结合服务器温度值的标准差和平均值提出了评价指标——温度均匀系数μ，具体定义式如下：

(3)

式中：σT为所有服务器温度值的标准差，℃。μ的值越小，说明服务器的温度分布越均匀。

3.3 机柜冷却效果分析

从机柜的结构设计可知，每一排的服务器均呈等间距排列，所以风速分布情况即风量分布情况。为研究机柜的具体冷却效果，本文将先从速度场和温度场两方面进行分析。

图5所示为机柜中心截面上的速度分布，每个间隙中的平均风速和最大风速在数值上均相差较小，分别约为2 m/s和4 m/s。由此说明整个机柜中的气流组织较好，风速大小分布均匀，也即风量分布均匀。

图5 机柜中心截面上的速度分布

图6 机柜中心截面上的温度分布

图6所示为机柜中心截面上的温度分布，同一排服务器的温度几乎一致，但上下两排之间的服务器存在一定温差，上排服务器的温度比下排服务器高约3 ℃。

从机柜的结构设计和空气流动方向可以看出，导致上排服务器整体温度高于下排服务器的原因是冷却装置置于机柜底部，冷风先冷却下排服务器，再冷却上排服务器，为此需要对机柜中冷却装置的布置方式进行改进，以减少上下两排服务器的温差。

3.4 冷却装置布置方式的确定

本文提出4种改进冷却装置布置方式的方案，方案1将原来位于下部的2 kW冷却装置置于上下两排服务器之间(中部)，方案2、3、4将两个功率总和2 kW的冷却装置分别置于下部和中部。不同方案中冷却装置的具体分布情况如表2所示。

表2 冷却装置的布置方式

为了全面对比不同方案冷却效果的优劣，确定最佳的冷却装置布置方式，本文将以各项评价指标为基础，从热安全性和均匀性两方面进行分析。

图7所示为不同方案的热安全性。由图7可知，4种方案中的温度合格系数RCIH均为100%，由上述关于RCIH的定义可知，当RCIH=100%时，说明机柜中的服务器不存在过热现象。此外，4种方案的平均温度和最高温度均相差较小，最高温度均低于45 ℃。

图7 不同方案的热安全性

图8所示为不同方案的温度均匀性。由图8可知，相比于初始结构，这4种方案的标准差和均匀系数均大幅降低，其中方案1下降最明显，降幅达到了66.67%，此时具有最佳的冷却装置布置方式。

图8 不同方案的温度均匀性

4 运行参数对冷却效果的影响

除了机柜结构，运行参数也会影响机柜内部的冷却效果，因此，为保证机柜的节能性和可靠性，本文以上述最优机柜结构为研究对象，研究风机额定参数和进风温度对机柜冷却效果的影响。

4.1 风机额定风量对冷却效果的影响

采用控制变量法，使除风机额定风量外的其他参数相同(额定风压为200 Pa，进风温度为27 ℃)，在保证冷却装置不结露(进风量大于最小进风量566 m3/h)的情况下，改变风机额定风量大小，进行模拟计算。

图9所示为风机额定风量对热安全性的影响，当额定风量处于800～2 400 m3/h范围时，机柜中服务器的温度合格系数始终为100%，不存在过热现象。同时随着风机额定风量的增大，服务器的平均温度和最高温度降低，冷却效果提升，且温降幅度随额定风量的增加而减少。当额定风量由800 m3/h增至1 200 m3/h时，平均温度和最高温度的下降率分别为2.1%和2.3%。当额定风量由2 000 m3/h增至2 400 m3/h时，平均温度和最高温度的下降率均低于0.4%。

图9 额定风量对热安全性的影响

图10 额定风量对温度均匀性的影响

图10所示为风机额定风量对温度均匀性的影响，在额定风量小于2 000 m3/h时，额定风量越大，标准差和均匀系数越小，服务器的温度均匀性越高。风机额定风量由800 m3/h增至2 000 m3/h时，标准差和均匀系数分别下降了0.2 ℃和0.004。在额定风量达到2 000 m3/h后，增加额定风量对标准差和均匀系数几乎没有影响，额定风量由2 000 m3/h增至2 400 m3/h时，标准差和均匀系数分别只变化了0.004 ℃和2×10-5。

4.2 风机额定风压对冷却效果的影响

根据上述风机额定风量对冷却效果的影响分析，综合考虑冷却效果和风机能耗，确定风机的额定风量为1 600 m3/h。下面控制风机额定风量和入口风温不变(额定风量为1 600 m3/h，进风温度为27 ℃)，研究风机额定风压变化对冷却效果的影响。

风机额定风压对热安全性的影响如图11所示，额定风压在100～300 Pa的范围内变化时，机柜中服务器的温度合格系数均为100%，说明在这几种工况下，服务器冷却效果良好。同时由于机柜内部阻力特性保持不变，风机的额定风压越高，风机运行工况点对应的风量越大，机柜内服务器的冷却效果越好，服务器最高温度和平均温度均不断下降，但降幅逐渐减小。当额定风压由100 Pa增至150 Pa时，服务器的平均温度和最高温度分别下降了2.98 ℃和2.94 ℃。当额定风压由200 Pa增至250 Pa时，平均温度和最高温度分别下降0.97 ℃和1.08 ℃。

图11 额定风压对热安全性的影响

风机额定风压对温度均匀性的影响如图12所示，当额定风压较小，由100 Pa增至150 Pa时，标准差下降了0.88%，此时的平均温度显著下降，由式(3)可知，均匀系数将增大，其值增加了5.88%。从150至250 Pa，标准差和均匀系数的降幅均较大，分别下降了15.38%和11.11%。到250 Pa之后，过大的额定风压使标准差增大，平均温度小幅下降，均匀系数明显增大，由此可见，当额定风压为250 Pa时，机柜中的服务器温度分布最均匀。

图12 额定风压对温度均匀性的影响

4.3 进风温度对冷却效果的影响

为研究进风温度对机柜冷却效果的影响，控制风机参数不变(额定风量为1 600 m3/h，额定风压为200 Pa)，改变机柜的进风温度，并进行模拟计算，结果如图13和图14所示。

图13 进风温度对热安全性的影响

由图13可知，进风温度在25～29 ℃范围内时，服务器的温度合格系数均为100%，服务器均不存在过热现象。服务器的平均温度和最高温度均随着进风温度的升高而呈直线上升，且进风温度每增加1 ℃，平均温度和最高温度均上升约1 ℃。当进风温度由25 ℃升至29 ℃，服务器的平均温度和最高温度分别升高了4.23 ℃和4.19 ℃，冷却效果变差。

图14 进风温度对温度均匀性的影响

由图14可知，标准差和均匀系数的波动均受风温影响较小。当进风温度为25 ℃时，标准差和均匀系数最大，当进风温度为28 ℃时，标准差和均匀系数最小，但这两种工况下的标准差和均匀系数分别只相差0.05 ℃和0.002，这种微小的波动极有可能是取样点温度场的波动导致。

5 结论

本文以冷却装置嵌入式机柜为研究对象，利用Airpak软件分析了冷却装置排布方式和运行参数对机柜供冷效果的影响，根据经过实验验证的模拟结果，得到如下结论：

1)改变冷却装置分布的4种方案均能有效减小上下两排服务器的温差，其中方案1(冷却装置位于两排服务器中间)的温度分布最均匀，标准差、均匀系数和初始结构(冷却装置位于两排服务器之下)相比均下降了66.67%。

2)在风机额定风量处于800～2 400 m3/h，额定风压处于100～300 Pa，进口风温处于25～29 ℃时，方案1中服务器的温度合格系数一直保持在100%，无过热现象，并且随着风机额定风量的增加，整体温度和均匀性指标逐渐减小，当风机额定风量达到2 000 m3/h后，两者几乎不受风机额定风量影响。

3)随着风机额定风压的增加，整体温度逐渐下降，且降幅逐渐减小，均匀性指标出现了明显的波动，当额定风压为250 Pa时，服务器温度分布最均匀。

4)随着风机进风温度的增加，整体温度直线上升，同时标准差和均匀系数的变化幅度最大值分别仅为0.05 ℃和0.002，温度均匀性受进风温度的影响可以忽略。