数据机房机架式服务器空气流动的数值模拟

朱鑫姝，殷 勇，邓佩刚

武汉工程大学光电信息与能源工程学院，湖北 武汉 430205

在信息发展迅速的时代，需要利用信息设备来储存及处理信息，而数据中心则是用来存放成百上千台信息设备的场所，人们日常生活或国家经济发展都离不开数据的储存。但数据中心内存放和管理着大量的信息设备以及一些其他的设备，且这些设备为了保证正常处理信息，需要一直运行，甚至在信息量大的时候需要超负荷运转，这不仅带来了大量的电力消耗，还会产生很大的热量，需要空调系统帮助散热。目前1台1U服务器额定功率大约400 W，单个机架的发热量约4 kW以上，整个机房的发热量可达上百千瓦以上［1-2］。要想对数据中心提出合理化的节能建议，需要对数据机房进行合理建模，以便更好地模拟机房内部的流场和温度场。

为了解决这一问题，前人做了许多研究。马欣宇等［3］以南京某数据机房为模型，分析了几种变工况情况下数据机房内热环境的瞬态变化的过程，研究发现当服务器发热量增加后，机架的平均出口温度随时间呈指数增长，在空调停止制冷时，机架的平均出口温度随时间线性增长。Cho等［4］以某高热流密度数据机房为研究对象，研究了安装简单挡板是否能改善冷热气流的混合情况，研究表明未安装隔断墙时，IT服务器所在高度的高低温差最大可达15℃，安装通道隔断墙时，高、低温差小于10℃，且防止气流再循环使IT服务器室回风格栅所在位置的平均温度降低约1.4℃［5］。逢书帆［6］以上海某数据中心为模型，针对机房内出现的气流分布不均等问题提出建议，结果表明当静压箱的高度为0.8～0.9 m，地板开孔率为40%～50%时，气流组织效果最好，机房内热环境也能被有效改善。张振国等［7］以北京某数据机房为例，研究了静压箱的不同高度对机房环境的影响，结果表明当静压箱的高度选择为0.4 m时，静压箱内的电缆和横梁对机房内整体的气流组织影响不大。李俊［8］等针对重庆某数据中心园区进行研究，结果发现采用冷冻水回水余热利用方案可减少38.5%的能源消耗，且投资成本更小，经济效益也更显著。Fulpagare等［9］主要研究了静压箱内的障碍物对机房热环境的影响，对7种不同布局的模型进行计算流体力学（computational fluid dynamics，CFD）仿真模拟，研究发现静压箱内的障碍物会影响机房内空气流量的下降，最高可达80%，而空气流量下降则会导致机房内出现更多的局部热点。Nada等［10］对不同配置的CRAC机组和冷热通道分离情况下的数据中心进行CFD仿真模拟，研究发现机房空调（computer room air conditioners，CRACs）机组的布局对两侧和中间机架的热环境影响很大，且采用冷通道封闭的方法能有效改善机房内的热环境。Ling等［11］采用CFD方法研究了气流通过一个具有矩形圆柱阵列的孔板，并给出一个压力损失系数的拟合计算公式，该公式通过验证对数据中心中最常用的孔板进行压力损失系数的计算效果更好。樊亚男［12］对3种不同的地板送风方式进行CFD仿真模拟，研究发现从地板出风是否均匀和冷量利用的效率两方面来判断，地板双侧送风并在静压箱内加竖直挡板比地板单、双侧送风效果更好。

通过对前人研究成果的总结，发现人们对机房的节能研究主要侧重于服务器排列方式、机架布局的优化、静压箱内的送风方式优化和格栅开孔率对气流组织的影响等方面，但对机柜内服务器的优化模拟方法的研究还相对较少。针对该问题，课题组针对实际运营的多个机房展开了应用研究。现在的大部分数据机房都包含上百个机柜，其中每个机柜又包含不同数量的服务器，且服务器摆放位置也不一致，如果在前期建模过程中将每个机柜内的服务器都还原出来的话，将会导致巨大的工作量和计算量，因此课题组对机柜内服务器的简化做了一些研究［13-14］，由于服务器的尺寸相较于整个机房来说较小，所以前期建模时对服务器设置的节点较少，在以整体机房为研究对象时，这种处理方法是可行的，计算得到冷热通道送回风处的温度、风速等也与实验测量数据吻合。之后课题组研究发现，当需要研究服务器进出口处的流场而对服务器进行节点加密时，服务器进入的气流会产生回流，从而导致服务器出口气流温度差距过大，这与实际运行情况不符。通过文献调研，为了避免回流，人们会尽可能还原机架式服务器的物理模型［15］，但这样处理会像上述所说带来巨大的计算量，并且对机架式服务器进行处理是为了得到更准确的数据机房内部的气流组织及热环境情况，而非关心服务器内部情况，后者属于服务器级的模拟而非机房级的模拟。为解决这一问题，本文提出一种优化模型，用多孔介质区域模型模拟服务器内部流场情况，这一改进将更加符合服务器内部流动规律，使模拟结果更贴近实际运行情况，而又不会增加太大的计算开销。在本课题组前期的精密空调模型研究中，多孔介质区域模型已经成功应用［16］。

本文以单块孔板上方的冷通道区域及其相邻机柜内的服务器作为研究对象，建立3种CFD计算模型：一是能还原出该机柜内每台服务器的实体模型（real geometrical model），该模型能体现空气流过该机柜每个服务器的真实情况；二是原始模型（original model），按照实体模型将服务器简化成上、中、下3个高度为8U的区域，出口面设置多孔阶跃模型模拟气流通过服务器产生的压力损失；三是优化模型（optimal model），即在保持原始模型几何简单的优势下，采用多孔介质加风扇模型的方法避免了回流情况的出现。为了对比3种模型的准确性和高效性，即对比模拟得到的各模型中的流场温度场与实验测量数据是否吻合，以及对比各模型计算的开销，对3种模型进行实验和模拟研究。研究中采用在该机房实地测量的实验数据作为上述3种模型的边界条件进行模拟计算及结果分析，并将冷热通道内的空气流速与温度的模拟结果与测量值进行了比较。

1 模型计算

1.1 机房及模型概述

该机房的冷通道内部分布如图1（a）所示，冷通道左右两列的机柜内部IT设备的分布如图1（b）所示，冷通道内热成像仪图如图1（c）所示。机房其围护结构均具有良好的隔热措施，内部使用架空地板送风、无管道自由回风的气流组织形式。单个机柜深1 m，宽0.6 m，高2.2 m。

截取图1（a）中单个孔板上方冷通道及其相邻机柜内服务器的区域，如图2（a）所示，作为建模对象示意图，考虑到该机柜内部的服务器是沿着高度方向两两相邻，不相邻的服务器之间在进风口侧存在挡板，流体只会从服务器的进风口进入内部，且本文关注的研究范围是送风地板以上的流场和温度场，所以在CFD模拟时省去静压箱和挡板后面空气无法流过的部分。由于选取的机架的布置具有对称性，利用其对称面，设置空气进口面和上顶面为wall，其余3个侧面为对称面。

图1 机房内部：（a）冷通道，（b）服务器，（c）冷通道热成像仪图Fig.1 Images of data center room：（a）cold aisle，（b）IT equipment，（c）thermal infrared image of cold aisle

本文将比较研究3种不同建模方法的计算结果，图2（b）是完全还原服务器的布置方式的实体模型图。图2（c）是原始模型和优化模型的计算模型图，这两种模型对机柜内的服务器做了不同的简化。3种模型冷通道进风口的边界条件和服务器发热功率相同，因此使用测量值作为它们的边界条件。研究中采用Testo400多功能测量仪来测量风速及其温度，其测量精度分别为±0.1 m/s和±0.1 K；采用Fluke TiX640红外热成像仪获取通道内的温度场及机柜表面温度，其测量精度为±1.5 K。在该机柜相邻的孔板上方10 cm区域内任取3点分别测3组速度值和温度值，得到平均速度1.33 m/s，温度293.35 K；另根据所测电流计算出单个机柜发热量为4 857 W，该机柜内的服务器运行中已做负载均衡处理，各服务器运行电流差别不大，本研究中设置服务器的体积热源为7 580 W/m3。

1.2 模型的建立与处理

1.2.1 实体模型根据选取的机柜内服务器摆放的真实情况绘制CFD计算模型［图2（b）］。另外在服务器进口设置平面风扇模型；将服务器简化为体积热源，服务器出口设置成压力出口，其压力为0 Pa。

图2 研究对象模型图：（a）机房送风通道，（b）实体模型，（c）原始模型和优化模型Fig.2 Models of research objects：（a）air supply channel，（b）real geometrical model，（c）original/optimal model

1.2.2 原始模型在节点取的比较少的情况下建立原始模型如图2（c）所示，即将3个8U的服务器布置在机架上、中、下3个区域。另外服务器进口设置为平面线形风扇模型，将服务器简化为体体积热源，服务器出口设置多孔阶跃模型模拟气体流经服务器产生的压降，具体参数如下：α为1.76×106m2，阻力系数为9 865 m-1，孔板厚度为3 mm。

1.2.3 优化模型本文提出的优化模型是对原始模型［图2（c）］的改进，依然采用3个8 U的服务器布置在机架上、中、下3个区域的模型，但采用多孔介质方法和体积热源来模拟服务器内部的流动和换热情况。服务器进口设置为平面线形风扇模型，出口面设置成压力出口，出口压力为0 Pa。采用多孔区域模型设置X、Y、Z3个方向上的阻力，保证与实际流场情况一致，避免产生回流。

多孔区域内流场分析所需的粘性阻力系数和惯性阻力系数可由下列公式得到：

其中，μ是空气的层流黏度，α是介质的渗透率，u是空气的速度，ρ是流体的密度，Du取值为212 154。多孔区域内能量方程采用平衡态进行计算：

其中，Ef是总流体能量，Es是固体介质总能量，ρf是流体密度，ρs是固体介质密度，γ是介质孔隙率，Keff是介质的有效导热系数，Shf是流体焓源项。介质的有效导热系数由公式（4）得出：

其中，Kf是流体导热率，Ks是固体导热率。本模拟计算中γ取值为0.5。

2 CFD模拟计算结果

以1.1中Testo400多功能测量仪所测出的进口处气流速度和温度的平均值作为模拟边界条件，通过软件FLUENT仿真得到3种模型的计算结果。因机柜摆放具有对称性，在Y轴上的不同截面速度和温度分布比较相似。为了便于比较，根据图2（b）中的坐标轴，截取3种模型在Y=0.3 m平面上的速度矢量图如图3所示，温度云图如图4所示。

图3 速度矢量图：（a）实体模型，（b）原始模型，（c）优化模型Fig.3 Vector graphs of velocities：（a）real geometrical model，（b）original model，（c）optimal model

图4 温度云图：（a）实体模型，（b）原始模型，（c）优化模型Fig.4 Temperature contours plots：（a）real geometrical model，（b）original model，（c）optimal model

原始模型和优化模型对机架里的服务器进行了不同方法的简化处理，3个模型的速度矢量图如图3所示。可以看出实体模型在每个服务器内的气流分布都比较均匀平稳，能够与每个服务器都进行良好的换热。原始模型中最上方的服务器区域比较符合现实情况，但最下面服务器内部的气流会产生回流，从而导致服务器区域部分温度过高，出口温度差距过大，这与实体模型中对应的服务器内部流动情况差别太大。图3（c）为优化模型的计算结果，其整体的速度分布相较于原始模型更加均匀平稳，符合现实情况中服务器内部气体流动情况，也更贴近实体模型的速度分布。

图4为3种模型的温度云图，可以看到优化模型的温度变化趋势与实体模型非常接近，原始模型与实体模型存在很大的差异。在实体模型和优化模型的温度云图中，每台服务器内部温度变化趋势都比较一致，是因为该机柜中12台服务器的负载均衡的原因，在现实情况中每台服务器发热量相差不大时，内部风扇会根据该服务器自身散热情况调整转速，以便更好散热。由于模拟中进口面的气流方向垂直向上，所以大部分冷空气进入靠近上方的服务器，因此利用风扇模型调整每台服务器内部进风量的大小，保证每台服务器的散热情况相对一致。原始模型和优化模型中关于风扇模型的设置是一样的，但由于原始模型中的服务器内部会产生回流，其温度云图与实体模型差别较大。且实体模型与优化模型的温度云图中可以看到在冷通道内的气流温度在293.3 K，出口温度在303.3 K左右，与图1（c）冷通道热成像仪图中展示的温度接近。

为了更好的定量比较，在沿着服务器深度的方向即沿着X轴方向选取A、B、C、D共4个点（见图4），在这4个点的垂直方向上即Y轴方向选取12个服务器对应的高度中心点，读取3种模型在各个点对应的温度值，绘制成图5。可以看到实体模型中12个服务器在同一位置的温度几乎保持一致［图5（a）中，温度都在295 K左右］，与上面分析的情况一致。通过对比，发现优化模型的曲线与实体模型的曲线非常吻合，温差最大相差1 K，误差在0.3%以内，而原始模型的曲线则与另外两条曲线差距较大，尤其在图5（c）和图5（d）中，原始模型的最高和最低温度都偏离另外两种模型的温度，出现这种情况的原因是原始模型中的气流产生了回流，大部分的冷空气集中在服务器上方区域，所以导致在接近出口的位置中下方的气流温度过高，而上方的气流温度却很低。

图5 四点温度对比：（a）A点，（b）B点，（c）C点，（d）D点Fig.5 Temperature comparisons of four points：（a）point A，（b）point B，（c）point C，（d）point D

在从下往上第1、4、7、10个服务器的高度中心点位置分别沿着气流流动即X轴方向选取若干个点，读取3种模型在各个点对应的温度值绘制成图6。可以看到实体模型和优化模型中空气的温度沿着X轴方向而逐渐升高，这符合冷空气在服务器内部进行换热的情况。并且通过图6的对比，可以看出优化模型的曲线与实体模型的曲线非常吻合，温差最大只有0.8 K，误差在0.3%以内，而原始模型在有些区域的温度变化比较贴合实体模型，但在大部分区域，原始模型的曲线与另外两条曲线差距较大。

图6 沿气流方向服务器内部温度对比：（a）服务器1，（b）服务器4，（c）服务器7，（d）服务器10Fig.6 Air temperatures along flow direction in servers：（a）server 1，（b）server 4，（c）server 7，（d）server 10

最后为了验证3种模型的结果是否正确，将3种模型的模拟结果与实验测量数据进行对比，本研究中冷通道内的实验测量数据包括在地板正中间（X=0.3 m、Y=0.3 m）的位置上，高度每隔0.3 m测一组速度值和温度值，总共测6组。每组数据测3次后取其平均值作为实验测量数据，并与差值最大的数据相比算出实验测量数据的误差值。在模拟结果中同样选取冷通道内X=0.3 m、Y=0.3 m的位置，在该点的高度上每隔0.3 m读取一次速度值和温度值，由于实测中在高度为1.5 m和1.8 m处的流速已经很低，超过了所用测量仪器的范围，所以这2个点没有计算在内。

将所测4个高度点的测量值进行对比并绘制图7（a）和图7（b），结果显示在这3种模型中，冷通道内沿着高度方向的速度和温度与实验测量数据相吻合，速度最大误差为4%，温度最大误差为0.03%，其中优化模型的冷通道内速度和温度与实验测量数据的最大误差分别为3.7%和0.03%。除了冷通道的数据测量，还进行了热通道内的温度测量，即在热通道内沿高度每隔0.3 m测一次温度值，总共测6组，每组数据也同样测3次后算出其平均值作为实验测量数据。在模拟结果中读取服务器出口面上各个高度点的温度值，由于高度为0.3 m的点在模拟结果中无法测得（第一台服务器高度为0.35 m），所以能够使用的实验测量数据只有5组，这些点的相对位置见图2（b）和图2（c）中P1-P5所示。将计算模拟温度值与实测值进行比较绘制成图7（c）。结果可以看出优化模型的出口温度与实验测量数据最为接近，温度最大相差为2 K，误差在0.6%以内；实体模型与实验测量数据最大温差为2.5 K，误差在0.8%以内；而原始模型的温度值出现较大跳跃，这是因为原始模型中产生了回流情况，导致出口面上各点的温度值差距过大，这也与现实情况不符。

图7 模拟结果对比：（a）冷通道内速度，（b）冷通道内温度，（c）服务器出口面温度Fig.7 Comparisons of simulated and measured results：（a）air velocities in cold aisle，（b）air temperatures in cold aisle，（c）air temperatures at outlet surface of server

最后对3种模型的计算成本进行比较，发现相比于实体模型，原始模型和优化模型均能节约计算时间，分别节省了20%和58%。在同样的CFD计算模型的条件下，原始模型的时间成本更高，是由于模型内部产生气体回流导致计算更复杂，时间也更长。

3 结论

本文针对机架式服务器的数值模拟提出了一种优化模型的计算方法，该模型利用多孔介质的方法模拟了气流均匀通过服务器的过程，防止服务器内部产生回流导致出口温度差距过大。在模拟过程中建立了3种模型进行对比研究，计算结果表明：相比于能还原出服务器摆放实况的实体模型，原始模型和优化模型不同的处理方法能够分别减少20%和58%的计算时间，但对比3种模型的温度云图，发现原始模型与实体模型的温度场最大误差高达6.6%，而优化模型与实体模型的温度场最大误差为0.3%，且优化模型与实验测量数据相比，其速度场和温度场的最大误差分别为3.7%和0.6%，因此优化模型是一种计算开销小的数据机房的优化计算模型。