基于仿真的小型数据中心气流组织研究

周成龙， 杨春信， 王超， 张兴娟

(北京航空航天大学 航空科学与工程学院, 北京 100083)

具备高性能计算能力的数据中心在各行业中得到广泛应用，而基于计算需求的不同，数据中心的规模大小也存在差异。对于电信运行商、银行或者市场交易，其数据中心通常由上百个机架中的数千台服务器组成，而对于小的企业或个人用户，仅包含数个服务器的小型数据中心便可满足设计需求。无论何种规模的数据中心，其热管理始终是一项严峻的挑战。合理的热管理应该能降低能耗并实现均匀的温度分布。

相对液冷，风冷是更常用制冷措施。对于大型数据中心，需要建立标准化的空调房来为其提供独立可控的工作环境[1-2]。机房空调单元通过地板上的通风孔砖为服务器机架进行制冷。但是针对小型数据中心，相比其较低的购买成本，为其提供一个单独的放置空间将大大提高其运行成本。而如果与人员同处一个环境中工作，服务器运行时产生大量的噪声和热量又会对该环境中的人员产生严重的影响。流行病学研究表明，当办公室的噪声高于55 dB时，办公人员会表现出明显的烦躁不安[3]。

当前商用的服务器封装系统有HP C-Class、IBM BladeCenter和Dell PowerEdge等。其中IBM BladeCenter是广泛应用的一种高密度的机架式封装结构，能为服务器提供冗余的电力和冷量。典型的IBM BladeCenter eServer 包含14个刀片服务器，2个可变速的反向叶轮风扇满速运转可为服务器提供0.215 m3/s的制冷风量，如此高的流量产生高达74 dB的气动噪声。虽然在支架的风道末端添加消音组件可以使噪声降低5 dB，但是由于增加了流动阻力也会使制冷量降低5%。从热控的角度考虑，消音组件通常不建议使用[4-5]。

很明显，BladeCenter的设计概念不能有效处理制冷和降噪的矛盾，其噪声水平也达不到办公室噪声标准。因此，针对办公室使用环境下的小型数据中心有必要开展降噪与制冷一体化设计的研究。

相比试验研究的信息有限性和高成本的特点，数值仿真是研究数据中心热管理的有效措施。针对大型数据中心空调房气流组织的仿真研究较多[6-9]，而对小型数据中心的研究比较少。数据中心通常包含许多部件，像服务器、风扇以及换热器等。对于大型数据中心，由于机房与部件级的尺度差异较大，在仿真时对部件进行了极大地简化。如对于服务器和风扇都在机架水平上进行简化，将机架处理为具有一定通风量和发热量的立方体[6-8]。此外，制冷单元内部的流动与换热细节通常也不考虑。但是对于小型数据中心，由于部件和整个封装结构的尺度差异较小，部件的细节对于结果的影响也比较明显，像轴流风扇来风的旋流特性以及换热器中流动和换热的不均匀性等都要在仿真时考虑在内。

多重参考系(Multiple Reference Frame, MRF)模型是模拟轴流风扇的一种有效方法。其对扇叶进行真实建模，流动区域内的网格可以被赋予不同的转速[10]。Zhou和Yang[11-12]采用MRF对CPU热沉系统进行了仿真研究，仿真得到的风扇流量曲线同标准风洞试验结果吻合良好。对于换热器，由于翅片尺度过小，无法详细建模仿真。多孔介质模型假设可以基于廉价的计算成本模拟换热器宏观的流动和换热特征[13]。该假设将换热器视作具有相同外形和尺寸的但有特定压降特性的流动区域，基于Darcy-forchiheimer压降理论的源项添加到控制方程中以模拟流体在翅片中的流动。多孔介质模型被用于分析航空发动机中的椭圆管交错换热器，试验与仿真结果的偏差小于5%[14-15]。

温度场均匀性也是衡量数据中心热管理系统气流组织好坏的一个指标。方差是用于评价不均匀性的传统方法，而信息熵也在多个领域用于评估分布的均匀性。Dionisio等[16]研究了方差和信息熵在金融市场风险和不确定性评估中的应用，认为信息熵相对方差是一种更为普遍的评估不确定性的方法，但由于信息熵评价未引入所研究变量的真实值，而是基于分布概率的一种操作，因此在使用时需要额外的注意。Pandey[17]研究表明信息熵与方差之间不存在确定的关联，但是其熵值与最大值的偏差则与方差呈现紧密的关联。结合方差和信息熵，可以对数据中心温度场均匀性进行更加全面的评价。

本文针对包含5个刀片服务器的小型数据中心提出了降噪与制冷的一体化设计方案，并采用数值模拟对服务器与制冷单元的流动与换热进行了定量分析。为了确保仿真的正确性，对于关键部件——轴流风扇和蒸发器的仿真方法分别进行了验证，并开展制冷试验验证了集成后的系统模型的有效性。以信息熵和方差作为温度均匀性的定量评价依据，对比了4种风扇排布方式，并讨论了发热密度增大时系统的应对策略。

1 蒸汽压缩制冷系统

本文所针对的小型数据中心参数如表 1所示，数据中心运行时的噪声通过GM1358噪声计测得，发热量则通过测量单个刀片服务器进出风口的流量和温度利用热量平衡分析求得。

为了降低占地成本，实现小型数据中心能在办公室环境中运行这一实际需求，必须提出有效的降噪和热控方案。由BladeCenter的降噪能力可以发现，开放式结构通过改造风道来降低噪声的方案效果并不显著，且会导致制冷量的减少。从噪声的传播上分析，封闭式的设计更便于进行针对性的隔音和吸音处理；而从热控角度讲，流动的强度越大越有利于散热。因此，如何在封闭空间内实现有效的热交换是方案设计的关键。

针对该小型数据中心提出了如图1所示的降噪制冷箱集成设计方案，服务器侧为全封闭箱体，箱体壁面设置吸音与隔音材料，同时设计一套蒸汽压缩制冷系统为服务器提供单独的冷源，轴流风扇驱动内部空气实现对流换热。为了节省占地面积，蒸发器与服务器采用了融合换热设计，省略了中间换热环节。

表1 小型数据中心的性能参数

降噪制冷箱的具体结构如图2所示，分为2个箱体——蒸发器侧和冷凝器侧，为了降低噪声，整个系统尽量地采用闭合式设计，所设计的蒸汽压缩制冷系统为服务器提供唯一冷源，整套系统可以独立运行。蒸发器侧(图2(b))是一个全密闭空间，包含服务器支架、蒸发器和轴流风扇，为服务器提供一个隔音绝热的独立空间。蒸发器上安装有2排制冷风扇来强化换热，而在上方则装有一排导流风扇增强气流组织。冷凝器侧则是一个半封闭的空间，包含压缩机、膨胀阀、冷凝器和风扇。压缩机是主要的低频噪声源且不与外界传质传热，因此对其密闭隔离；冷凝器由于需要同外界进行换热，在箱壁上安装百叶窗以利于空气流通。

噪声测试表明降噪制冷箱可以将噪声由75dB降到53dB，这表明系统的降噪能力达到了办公室环境使用要求。对于蒸发器侧，如何在密闭空间内实现有效的气流组织是系统设计关键。本文采用CFD手段分析蒸发器侧箱体流动和换热特征，并讨论了最优的风扇排布方式及更高发热密度的改进措施。

2 气流组织仿真方法

蒸发器侧是一个密闭的箱体，气流组织主要靠轴流风扇实现。良好的气流组织应能充分利用蒸发器的冷量，降低服务器的排风温度，同时确保箱内温度场均匀性，避免流动死区和热点。本文采用商业软件Fluent针对蒸发器侧箱体流动开展数值仿真[10]，研究不同气流组织方案的制冷效果和温度均匀性。

蒸发器侧箱体中的轴流风扇、蒸发器分别是流动控制和散热的关键部件，这2个关键部件的数值模拟的难度较大，而模型的准确性又直接影响了系统仿真的准确度。因此本文在关键部件仿真策略得到验证的前提下，建立了箱体气流组织的系统仿真模型并进行了实验验证。

2.1 轴流风扇

采用的轴流风扇为FP-108EX-S1-B，其性能参数如表 2所示，风扇的仿真参考了文献[11-12]的相关工作。为了准确模拟风扇对气流的输运作用，尤其是旋转的涡流效应，对风扇叶片进行了真实建模。基于产品图纸和手动测量对叶片进行了详细的参数提取，并采用多截面扫掠的方式建立了风扇叶片的三维结构(见图3)。采用四面体结构网格建立风扇仿真模型，近壁面网格y+值控制在30～60之间。风扇区域采用MRF系模型施加旋转运动。通过设置多组风扇的背压值获得风扇的流量特性曲线，并同产品图纸提供的流量特性曲线进行对比以验证仿真策略。表3对比了3套网格在背压为20 Pa时计算得到的流量，在该背压下网格数量越大，数值仿真与实验的相对偏差越小，但考虑到系统仿真时较多的网格数量带来的计算成本，选取数量为171 015的网格模型进行后续仿真。图4展示了数值仿真得到的流量曲线，可以发现数值仿真的结果同产品流量特性吻合得较好，在所研究的流量范围内大部分的误差都在15%以内。

表2 轴流风扇性能参数

表3 网格无关性验证

2.2 蒸 发 器

降噪制冷系统所采用的蒸发器是一个平直管翅式换热器，尺寸为720 mm×500 mm×70 mm，其管路和翅片结构参数如图5所示。蒸发器翅片与整个箱体特征尺度跨度高达104，在计算成本有限的情况下，多孔介质模型能以较低的计算成本描述紧凑型换热器的特征。

用于描述多孔介质压降特性的Darcy-Forchheimer压降定律如下：

(1)

换热器的换热特性则通过在多孔介质模型的基础上添加内热源的形式模拟。蒸发器的平均传热系数h可以表示为

(2)

通过CFD仿真或实验测量获得的换热器的换热特性可以处理成如式(3)形式的关联式：

Nu=aPrbRec

(3)

式中：Nu为蒸发器的努赛尔数；Pr为平均普朗特数；a、b和c为常数。

(4)

(5)

其中：U∞为入口处平均速度；Dt为蒸发器管壁的外径；λ为导热系数。

对于多孔介质区域的每个计算网格，当地换热系数hlocal可由当地速度和温度T下的Nulocal得到

(6)

则在该网格处的能量源项可以表示为

qlocal=hlocal(T-Tw)Sex

(7)

式中：Sex为蒸发器单位体积下的换热面积。

在使用多孔介质描述蒸发器的特征时，流动和换热特性应通过实验或仿真的手段获得。在本文中，由于缺少试验数据以及相应的产品说明书，通过设计CFD实验来获取其流动和换热特性，所采用的仿真策略如表 4所示。以Kang和Kim[18]的平直管翅式换热器的实验研究验证本文所采用的CFD仿真策略的有效性；Qu等[19]也针对该换热器进行了仿真研究，三者流量特性对比结果如图6(a)所示。结果表明，使用本文仿真策略获得的压力特性同实验结果吻合得较好，而换热特性则呈现出大约10%左右的偏差，无论是流动特性还是换热特性，本文的结果均优于Qu等[19]的仿真研究。值得注意的是，Kang和Kim[18]在进行实验研究时，通过在换热器管壁外缠绕电加热丝的方式来控制管壁温度，加热功率是由手动控制以维持各个管壁的温度一致，在实际操作中各个管壁的温度不会完全一致必然存在误差。而在进行数值仿真时，各个管壁的温度可以设置为绝对一致，因此仿真和实验在边界条件上的差异会引入误差。但是总体而言，所采用的仿真策略依然可以认为是有效的，可以用于本制冷箱中蒸发器流阻和换热特性的研究。

提取图5所示的蒸发器的翅片单元作为研究对象，通过添加出口延长段以排除气体流经出口附近排管出现涡脱落导致的回流的影响。仿真采用的结构化网格数量为78 148，贴近管壁附近区域划分边界层网格。翅片单元的入口和出口设置为速度入口和压力出口，其余边界条件则设置为周期性边界。入口速度研究范围为0.1～10 m/s，相应的雷诺数分布为13～7 000，所获得的流量特性结果如图6(a)所示。在进行仿真实验时，对比了3×4的翅片单元矩阵与1个翅片单元在x方向的流量特性，二者高度一致，这表明，对于结构规则的平直管翅式换热器，采用最基本的单元得到的特征可以表征宏观换热器的特征。图7中：Δp为翅片单元进出口的压降，L为流动长度。

表4 蒸发器仿真策略

x方向流动特征可以拟合为

Δp/L=83.18u+65.35u2

(8)

y方向流动特征可以拟合为

Δp/L=67.05v+27.51v2

(9)

为了获得蒸发器的换热特性，管壁温度设置为5℃，入口温度范围为6～50℃，采用超立方抽样方法生成了20个计算点，鉴于温度变化范围较大，考虑了温度对空气物性的影响，拟合得到的Nu关联式：

Nu=8.354 76Pr4.946 7Re0.407 61

(10)

2.3 刀片服务器

本研究中的刀片服务器有2个CPU、1个进风口和2个排风口，内部安装的风扇驱动外界气流进入服务器冷却电子元件。由于刀片服务器内部的结构是未知的，无法进行准确的建模，而即便结构已知，考虑到多尺度带来的计算量也无法完全复现其内部流动细节。相对于整个系统的外部气流组织，刀片服务器的主要影响为发热量和其自身内循环的风量，因此在数据中心的仿真研究中，大多将服务器处理为具有一定通风量和发热量的立方体[6-8]。基于如上考虑，在系统仿真时对刀片服务器进行了如下处理：

1) 将2个排风口合并为具有相同平均流速的一个排风口，处理前后刀片服务器的体积不变。

2) 刀片服务器的发热量以均匀内热源的形式添加。

3) 刀片服务器内部设置压力跳跃边界，以模拟风扇对气流的驱动作用，选取合适的压力跳跃数值确保进出口风量同实验测量的一致。

虽然压力跳跃边界可以模拟刀片服务器内部风扇的对气流的驱动作用，但其对流场压力的变化非常敏感，在计算时会导致服务器通风量振荡无法收敛，利用多孔介质模型为刀片服务器内部气体流动设置一定的阻尼可以减弱对压力波动的敏感性，有效解决仿真振荡的问题。

2.4 系统仿真实验验证

基于上述部件仿真策略，进行了蒸发器侧箱体整体集成仿真，经过网格独立性验证，最终采用586万个网格的模型进行计算。所采用的湍流模型设置与轴流风扇的仿真策略一致，而能量项则采用QUICK离散模式。蒸发器的管壁温度则通过实验测得，实验台与测点分布如图8所示。其中测点1和测点2测量蒸发器进出口管壁温度，结果测得温度分别为6.8℃和7.2℃，由于制冷剂在系统内存在一定的过冷度和过热度，因此在仿真时设定管壁温度为7℃。测点3～10测量箱体内部多点温度验证仿真模型准确性。仿真与实验结果对比如图9所示，由于上述部件仿真中存在的一些假设与误差，在系统集成仿真中各测点的温度同实验测得值存在一定的误差，而从工程应用的角度分析，误差在允许范围之内，因此认为本文仿真方法是可行的。

3 CFD结果分析

3.1 流动特征分析

图10为待分析的截面分布，图11为截面y1～y6上的流线与温度云图。从服务器内部循环来看，在内部风扇的驱动作用下，低温空气由吸风口进入服务器以冷却其内部元件，升温后的空气则由排风口排向箱体空间。而从蒸发器侧箱体内的气流组织来看，服务器排出的高温射流同来自服务器上方导流风扇的气流汇合后向下流动。部分气流在服务器排风口下方即受到蒸发器制冷风扇的卷吸作用由上方穿越蒸发器，其余气流到达箱体底部沿底部向后流动。大部分气流自下而上进入蒸发器进行换热，但也有一些贴壁流动的气流未被蒸发器冷却直接到达箱体后方。在蒸发器内的气流由于受到翅片的阻碍，沿z方向的流动受限，只存在x与y方向上的速度分量。安装在服务器上方的轴流风扇搅动箱体上方气流汇入箱体循环，其对前半部的气流抽吸作用较为明显，而在箱体后上方的空间，由于空间有限未设置风扇进行主动的气流组织，加上服务器吸风口的流量较小，导致该区域的流动较为无序，在后上方的夹角处由于壁面对流动的限制作用而出现了漩涡。

本文所使用的风扇由于未进行整流设计，风扇排出的气流速度是不均匀的，图12表明在扇叶处存在环形高速区，而在环形中心则出现低速回流现象，这也造成箱体内不均匀的流动与换热。图11中不同服务器的排风射流是不一致的，正对风扇中心区的射流扩散明显(如截面y1与y3)，而正对环形高速区的射流则存在明显的向下偏转(如截面y2与y4)。图13为蒸发器上表面的速度分布，可见在风扇正对区域有明显的环形高速区，而其他区域的速度均比较低。

图14展示了截面y3上蒸发器中线上不均匀的速度分布对换热的影响，可见速度与温度场有较强的耦合。正对风扇的区域流速出现双峰状走势，峰值对应风扇的环形高速区，峰值之间的下凹则对应中心处的低速回流区。在高速区域换热强度较大，较高的气流温度表明在该区域有来自蒸发器之外的箱体的高温气流在进行换热，而在流速较低的滞止区，由于此处气流得不到补充，达到换热平衡后空气温度与蒸发器表面温度达到一致。图14表明在蒸发器内换热程度分布是不均匀的，在高速区换热剧烈，而在低速区由于流速较弱以及较低的换热温差导致换热不足，未能开发蒸发器的制冷能力。

3.2 风扇排布方式优化及高发热密度的改进

为了研究气流组织的影响，设计了图15所示的4种气流组织方案，方案1～3均使用2排制冷风扇，而方案4则使用了3排制冷风扇以强化换热。图16为4种方案截面y3处温度云图和速度矢量图，同样可以发现蒸发器中的速度和温度分布是不均匀的。蒸发器中线上的速度和换热强度如图17所示，正对风扇的位置流动和换热均比较旺盛，值得注意的是，方案3和方案4在蒸发器前端也具有较明显的自上而下的流动，而方案1和方案2该处流动较弱。这是由于相比方案1，方案3的导流风扇下移其旺盛的抽吸力可以改善蒸发器前端气流驱动力不足的现象，而方案1中驱动的气流在到达蒸发器时经历了动量损耗；方案4增加了换热风扇，整体改善了蒸发器内的流动和换热，在蒸发器前端换热风扇的抽吸作用配合导流风扇的推送使前端流动相较方案1更为剧烈。

对服务器而言，服务器出口气流温度是衡量制冷效果的重要指标，图18显示了各个方案中5个服务器排风口的温度，可以发现不同服务器的排风温度是不同的，这说明了流场的不均匀分布。排风温度未出现极大值，说明当前的气流组织避免了热点的出现。在4种风扇排布方式中，方案4的服务器排风温度最低，而方案2的排风温度最高，说明方案4的制冷效果最好。4种方案的服务器进风和排风温度达到了美国采暖、制冷与空调工程师学会(ASHRAE)数据中心热管理白皮书建议的A3级环境设备要求[20]。

本文采用信息熵与方差综合评估气流组织的温度场不均匀性，方差和信息熵分别为

(11)

(12)

式中：xi为箱内各点的温度值；p(xi)为温度的概率分布；E(X)为温度的数学期望。

图19展示了4种气流组织方案的温度场不均匀性，表明在本文信息熵与方差方法呈现大致的正相关关系，2种评价方式都表明方案2的温度场不均匀性最差，而方案4的温度分布更为均匀。

为了应对更高发热密度的挑战，进一步研究系统的可调参数对制冷效果的影响。从理论上讲，系统可调参数有气流组织方式、蒸发器温度、服务器内循环通风量，分别可以通过改变风扇排布、调节制冷系统膨胀阀以及采取辅助通风措施来实现。图20表现了服务器发热量为300 W时，不同调节方案的排风温度。以方案1作为对比，可以发现发热量升高后，排风温度也明显升高，而采用方案4、降低蒸发器表面温度至4.3℃或增大通风量至0.008 m3/s均可以改善制冷效果，相比之下，增大通风量是降低排风温度的最有效的手段。

除了服务器的热环境温度，热管理系统的能源效率(Power Usage Effectiveness, PUE)也是评价数据中心设计好坏的一个重要指标。PUE为数据中心总设备能耗与服务器能耗之比，可以表示数据中心的绿色化程度，其值越接近于1表示能效水平越好，热管理系统的绿色化程度越高。由图20可知，当前的降噪制冷箱在服务器发热量为1.5 kW时的热环境仅能达到ASHRAE数据中心热管理白皮书的A4级要求，所以如果发热量继续增加，当前降噪制冷箱无法为服务器提供适合的温度环境。虽然所设计的制冷系统的理论制冷量为2 kW，但在进行PUE评价时，以1.5 kW作为该小型数据中心的功耗。压缩机、轴流风扇的功率共计为1.092 kW，因此相应的PUE指标为1.73。通过本节分析，可以发现增加制冷风扇个数和服务器通风量可以改善服务器的工作环境，但是也会导致制冷系统能耗的增加，使PUE变大，在未来的设计中需要权衡。

4 结 论

本文针对小型数据中心提出了降噪与制冷的一体化设计方案，并针对气流组织进行了仿真研究，得出：

1) 轴流风扇不均匀的动量驱动导致箱内不均匀的流场与温度场分布。蒸发器内存在流动滞止区，制冷量开发并不完全，存在进一步提高的空间。

2) 由方案2较差的温度均匀性和制冷效果可知，换热风扇吸风方向制冷好于排风方向制冷。

3) 增加制冷风扇的数量可以直接改善制冷效果和温度场均匀性；在发热量增大时，进行辅助通风设计以增大服务器通风量是降低排风温度的最有效的手段。

本文所设计的降噪制冷箱能够满足小型数据中心热控的需求，但气流组织存在优化的空间，包括对风扇出流的整流设计以及蒸发器散热制冷能力的开发。