小型数据中心气流组织及能耗优化

张 杰，周 浩，冯壮波，孙 超，金 舟，龙正伟

(1. 天津大学环境科学与工程学院，天津300072，2. 天津大学超算中心，天津300072)

小型数据中心气流组织及能耗优化

张 杰1，周 浩1，冯壮波1，孙 超2，金 舟2，龙正伟1

(1. 天津大学环境科学与工程学院，天津300072，2. 天津大学超算中心，天津300072)

数据中心空调系统的首要任务是保证服务器的安全可靠运行. 为了达到这个目标，很多数据中心的空调系统在欠负荷下运行，造成能源的浪费. 这主要是因为气流组织的不合理造成局部区域报警从而启动了多余的制冷设备. 为了节省能源和研究合理的气流组织，以一个存在上述问题的小型数据中心为例进行了研究. 首先用数值分析的方法建立了数学模型，然后用实测数据提供了模拟中需要的边界条件，模拟得到其速度场和温度场情况，再用实测数据验证了模型模拟结果，然后根据实测和模拟结果用评价参数评价其能耗水平，最后提出改造方案. 结果表明，在热扩散不好的区域增加智能风扇系统有效地改善了气流组织的情况，与一般的通风系统相比，这种系统每年可以降低38%的能耗.

数据中心；气流组织；能耗；CFD模拟；局部通风

随着计算机技术的飞速发展，现代数据中心的电子设备越来越集成化，功能越来越丰富化，处理速度越来越迅捷化，但是这样的发展却可能使数据中心的能耗进一步增加[1]．有数据显示，2011年数据中心消耗掉了全国总电耗的2.5%左右，而在这些电耗中，有将近40%则是用于空调系统，也就是说在2011年数据中心消耗的10×108,kW·h电中有4×108,kW·h是消耗在机房空调上的[2]．美国的具有代s表性的EPY公司也有统计数据表明，数据中心消耗的电量中空调系统消耗的能耗占将近1/2[3]，这说明数据中心空调系统能耗过高是一个普遍性的问题，也是一个亟待解决的问题．

造成计算机中心空调能耗系统过高的原因有很多，但是其中的一个重要原因是机房中不合理的气流组织，由于送风的不均匀造成局部区域温度过高，为了保证这些区域的温度达到设计要求，就要降低整体的空调送风温度，启动更多的空调机组，使得空调机组的供冷能力远远大于实际的供冷需求，从而造成了能源的浪费，由此可见，合理的气流组织对于空调系统的节能性能有很大的影响．国内外有很多学者应用数值计算的方法来研究室内的空气流动情况，并分析其节能效果．刘成等[4]用CFD模拟了数据机房的两种送风形式，得出了机架下送风形式的气流组织和节能效果都要好于机架上送风的结论；简弃非等[5]和宾亮雄等[6]则对机房内的温度场做了模拟分析，并提出了优化方案；Cho等[7]用CFD建立了数学模型模拟了一个高密度的数据中心的空气分布情况，并用实验数据进行了验证；Lu等[8]则以芬兰的一个数据中心为例评价了该中心的气流组织和能耗情况.

笔者借鉴国内外的一些研究经验，对一小型数据中心由于气流组织不佳造成的能耗过高问题做了以下研究：

(1) 应用计算流体力学软件Fluent 12.1对数据中心建立数学模型；

(2) 对该数据中心进行实际测量，得到用于计算速度场和温度场的边界条件，并用实验数据验证模拟的速度分布和温度分布的准确性；

(3) 根据实测和模拟结果，用能耗评估参数对数据中心的能耗水平进行计算；

(4) 根据数据中心存在的问题，提出优化方案，并结合能耗情况分析得到最佳方案．

1 数值模型

1.1 几何结构

本文选取的数据中心位于天津，机房位于建筑的1层，长6.6,m，宽6.5,m，高2.7,m，如图1所示．西墙上有一个大门，但是密封性很好，可以认为没有渗透风通过．数据中心内有2组机柜，每组5个，每一个机柜的尺寸为1.2,m×0.6,m×2.0,m；北侧一组中的第1、3、5号机柜内服务器较多，由于风扇的抽吸作用，使得在这些机柜两侧有较强的吹风感，出风口处温度较高；而南侧一组中只有第1、2号机柜处有较多的服务器，吹风感较强．数据中心内采用地板送风的形式，送风口形式如图1所示，送风口布置在玻璃罩内，紧靠2组机架，尺寸为0.7,m×0.6,m，共10个，回风口在数据中心空调处理单元处，尺寸为0.9,m×0.97,m，共2个．空调机组全天运行．数据中心内，在墙的四周还摆放有一些柜子，柜子内不具有散热设备，在东南角处有一个电池，有冷气散出，但是由于影响较小，所以可以忽略．

图1 数据中心布局Fig.1 Layout of the data center

1.2 计算模型

首先根据几何结构，采用Gambit 6.2.3建立模型，为了提高计算准确性，采用结构化网格，进出口处网格加密处理，分别实验了5×104网格、11×104网格和24×104网格，从而对网格的独立性进行了检查，最后考虑到计算资源以及计算准确性要求，采用了11×104的网格．采用Fluent 12.1计算温度场和速度场，由于RNG k-ε模型已经被验证在计算各种类型的室内空气流动方面有较高的准确度[5-7,9-11]，所以本文采用RNG k-ε模型，但是由于RNG k-ε模型更适用于高雷诺数的湍流流动，所以在近壁面处要采用壁面函数，对于本模型，由于y+＞10，所以采用标准壁面函数，压力速度耦合方式采用SIMPLE算法，收敛标准控制在连续性、3个方向的速度和能量，湍动能和湍流扩散系统的残差都达到10-3以下．

1.3 边界条件

空调进风口设为速度入口，速度和温度大小可以通过实际测量得到，回风口设为压力出口，回风量由实测速度乘以面积得到．机架的进风口在玻璃罩内，设为压力出口，机架的出风口在外面的房子内，为了使质量平衡，设为压力入口，进口温度取该面上的平均值．围护结构的温度取一个平面的平均值得到．

2 实验测量

为了提供模拟时的边界条件，验证模拟结果的准确性以及计算能耗，实验测量可分为3组进行．

第1组的测量内容包括送风口温度、送风口风速、回风口温度和风速、机柜的出入口风速和温度，以及围护结构表面温度．空调送风口的风速和温度的测量是在每个送风地砖上取3个点测量得到30个数据后，取其平均值，如图2(a)所示；空调回风口的风速和温度是在回风口上方多点测量取其平均值；机柜的出入口风速和温度是根据服务器上风扇的位置分别测量后按照机柜门的面积平均后所得值；典型机柜出入口风速和温度的测量如图2(b)所示，测量风口参数的仪器是多功能风速仪8386，速度测量范围是0～50,m/s，测量最大误差为±0.015,m/s，温度测量范围是-10～60,℃，测量误差是±0.3,℃；围护结构表面温度则是用红外成像仪测量，其测量范围是-40～1,200,℃，测量误差是±1.5,℃(0～100,℃)．另外，用红外成像仪拍照机架出入口的固体表面温度分布也可以反映出机架出入口的温度分布情况，从侧面验证多功能风速仪测量的准确性，也可以验证模拟结果，图3给出了散热情况最差的北侧机柜出口处的温度分布．

图2 风口测量实验点布置示意Fig.2 Layout of measurement points on the inlets and outlets

图3 北侧机柜出口处温度分布情况Fig.3 Temperature distribution at the outlets of north cabinets

第2组测量内容为走道内速度和温度．沿着服务器组周边布置了16个测点，如图4所示．每个测点在1.5,m高度处多次测量后取平均值，测量仪器为多功能风速仪．

图4 实验点布置Fig.4 Layout of the monitor points

第3组数据则是用来计算能耗的．首先，由于数据中心没有分项电计量设备，所以采取连续读取3,d电表读数，取平均值作为标准天的数据中心设备的总用电量．然后，可计算得到空调系统用电，计算所需参数在第2组数据中已经测得．

3 结果及验证

测量的第1组数据为计算提供了边界条件，由于篇幅所限，仅将一些主要的边界条件列于表1中．

表1 主要边界条件Tab.1 Main boundary conditions

在设定边界条件时，由于各机架的进出口设为压力进口和压力出口，所以提供用来计算的边界条件仅是温度数据，而各出入口的速度是由软件根据压力条件计算出来的，表中所列出来的数据仅供与从Fluent中读取出来数据对比，以验证模型应用的边界条件是否正确．本文通过对比发现计算结果基本和实验结果相吻合，在此不再赘述．

为了进一步验证模型的正确性，可以用软件计算数据中心内的速度分布和温度分布，然后把模拟结果和第2组实验提供的16个点的速度值和温度值做对比，如图5和图6所示．

图5 1.5 m高处实验和模拟速度对比Fig.5 Velocity comparison between measurement and simulation results at 1.5 m above the floor

图6 1.5 m高处实验和模拟温度对比Fig.6 Temperature comparison between measurement and simulation results at 1.5 m above the floor

由图5可以看出，模拟值除了第8点以外，整体偏高一些，但是整体趋势和实测值相同，模型可靠．另外，图5也表明在有回风口(点11、12)或者进风口(点6～8和点14～16)的地方空气流速较大，而在其他地方则速度较小，这说明场内流动情况不佳，不利于热量的排出．

由图6可以看出，实验值和模拟值各点的温度值基本吻合，仅在点13处误差较大，这是由于点13靠近电池，而电池本身有冷量散出，在模拟中忽略了这部分冷量，所以模拟结果跟实测相差较大，但是就整体而言，模拟结果可以接受，模型可靠．另外，从图中也可以看出，在北侧机柜的出口处温度较高(点6～8)，散热情况不佳，这很容易造成这组机柜里的服务器过热，影响正常使用．实际的情况在开一台制冷机组的情况下，其他地方的服务器温度都满足设定要求，但是这里的机组由于温度过高，所以使得监测器报警，从而启动了第2台制冷机组，才可以控制到现在的这个温度值．但是事实上，没有必要启动2台空调来维持服务器的温度，因为第2台机柜的启动完全是气流组织不合理造成的，所以必须提出解决方案优化这里的气流组织，节省能源．

4 能耗分析

为了定量地评估系统的能耗表现，本文采用能耗评估参数的方法来计算数据中心的能耗水平．

机房用电效率(power usage effectiveness，PUE)参数首先是由the Green Grid[12]引入，用来计算数据中心能源利用效率．PUE的定义为

式中：PIT为IT设备耗电量，kW； Pe为空调设备耗电量，kW．

本文中PIT+Pe表示数据中心的总耗电量，电灯和其他设备耗电量相对IT及空调设备忽略不计．

PUE在理论上讲可以从1到无穷大，越接近1表示能源利用效率越高，现在数据中心的水平一般在1.3～3.0之间[12]．

本文中数据中心的用电并没有安装分项计量装置，所以对于被空调系统用掉的一部分电量无法直接测得，但是可以计算出空调设备耗电量，其计算式为

式中：Q为空调系统风量，m3/s；ρ为空气密度，kg/m3；c为空气比热容，J/(kg·℃)；Δt为供回风温度差，℃．

本文中总的用电量已经根据电表读数读出，平均一天为3,600,kW·h，所以一年用电为131.4×104kW·h；而空调系统用电，可以根据实测的供回风温度差及空调空气流量计算出来，经计算可得空调设备一年的用电量为101.8×104,kW·h；所以PUE的值为4.4，说明此数据中心的空调系统电耗超出一般水平，有待改进．

5 优化方案及能耗分析

为了解决上述问题，需要对数据中心内的气流组织进行优化．本论文中提出两种优化方案：① 采用风管回风的系统形式，把回风口直接布置于北侧机柜出口上方，并减少1台空调机组的运行；② 在北侧机柜处增加智能排风扇系统，加大这部分区域的气流流动，同时减少1台机组的运行．下面就这两种方案的改善效果及能耗水平做了分析．

5.1 排风管系统

由于回风口离北侧机柜出口较远，回风风机的风压不足以使气流顺畅地流入回风口，所以改用直接将回风口布置于散热不佳的机柜出风口上方，风直接回到排风管，减少阻力．另外应用这种方式，同时考虑减少1台空调机组的运行，其布置形式如图7所示．

图7 上部排风管系统布置Fig.7 Layout of overhead duct system

改用这种形式以后，再用上述模型模拟其温度场，结果如图8所示．

图8 1.5 m高处温度分布对比Fig.8 Comparison of the temperature distributionsat 1.5 m above the floor

从图8可以看出，把回风口布置于北侧机柜出口处使得从机柜出来的热空气不易扩散，而是直接由回风口回风到空调机组中，所以走廊内的空气普遍低了2～3,℃，但是由于空调机组只有1台运行，风压大小不够，所以在近机柜出口处虽然情况略有好转，但是温度仍然偏高，中间部位达到29,℃，所以有待于进一步改善．

在能耗方面，假设IT设备用电量不变，空调设备用电量减少1/2，则PUE的值为2.72左右，1年则可以节省50.9×104,kW·h，从而节约了能耗．

5.2 智能排风扇系统

因为上述方式的改善效果并不是特别理想，所以可以考虑在北侧机柜处直接添加智能排风扇系统，同时减少1台空调机组的运行．风扇选择排风量为3,000,m³/h，排风速度为12,m/s，风机功率为0.55,kW，其布置如图9所示，其中智能排风扇被简化为一个正方体．用该模型计算，另外赋给排风扇1个动量源，可以得到如图10的模拟结果．

图9 排风扇系统布置Fig.9 Layout of exhaust fan system

图10 1.5 m高处排风扇系统温度分布对比Fig.10Comparison of temperature distributionsof fan system at 1.5 m above the floor

对比图8(b)和图10可以发现，加入排风扇使得空气的扰动量加大，整个流场内空气混合更加均匀，对于北部机柜出口的散热不佳的地区，情况有所改善，最高温度降低到26,℃左右，基本解决了局部过热的问题，相比于上部排风管的系统效果更加明显．3个系统能耗情况如图2所示．

从表2可以看出，3个系统中，排风扇系统的能耗水平和上部排风管系统相当，都比原系统能源利用效率高，排风扇系统的总电耗降低到80.9×104kW·h，相对原系统节省38%左右，而排风扇系统和上部排风管系统相比则是在能耗增加不多的情况下，使气流组织问题得到了很好的解决．

表2 3个系统能耗对比Tab.2 Comparison of energy consumption of the three systems

6 结 论

(1) 在原有系统下，北侧机柜处出口处散热效果不佳，造成局部区域过热，系统报警，从而启动更多的制冷设备，使得数据中心的空调在欠负荷下运行，PUE值达到了4.4，能源浪费情况严重．

(2) 改用上部排风管系统，并关闭1台制冷机组，整体效果有所改进，能耗水平降低，但是由于回风机的风压不够，使得过热地区的改善效果仍然不够理想．

(3) 改用增加1台局部排风扇的系统以后，气流组织得到了很好的改善，消除过热区域，能耗相对原系统也减少了38%，可见这是一个安全、可靠、低能耗运行的系统．

［1］ Karlsson J F，Moshfegh B. Investigation of indoor climate and power usage in a data center[J]. Energy and Buildings，2005，37(10)：1075-1083.

［2］ 程 辉. 机房节能潜力巨大[N]. 中国经济导报，2011-12-24.

Cheng Hui. Huge Potential of Energy Saving in Data Centers[N]. China Economic Herald，2011-12-24(in Chinese).

［3］ 王玉成. IDC机房空调系统优化配置方法及综合节电分析[D]. 北京：北京邮电大学电信学院，2009.

Wang Yucheng. Optimization and Integrated Energy-Saving Analysis on IDC Room Air Conditioning System[D]. Beijing：School of Telecommunications，Beijing University of Posts and Telecommunications，2009(in Chinese).

［4］ 刘 成，陈乐天，王 颖. 通信机房空调气流组织合理化研究[J]. 建筑热能通风空调，2010，29(5)：80-84.

Liu Cheng，Chen Letian，Wang Ying. Study of rational air distribution on the air conditioning system for telecom rooms [J]. Building Energy and Environment，2010，29(5)：80-84(in Chinese).

［5］ 简弃非，魏 蕤，颜永明，等. 通信机房气流组织的模拟与分析[J]. 节能技术，2009，27(1)：35-39.

Jian Qifei，Wei Rui，Yan Yongming，et al. Analysis and simulation of air distribution in a data center [J]. Energy Conservation Technology，2009，27(1)：35-39 (in Chinese).

［6］ 宾亮雄，谢顶良. 钦州电厂通讯机房气流组织数值模拟研究[J]. 制冷与空调，2009，23(5)：49-52.

Bin Liangxiong，Xie Dingliang. Numerical simulation study on air distribution of the communication equipment room in Qinzhou thermal power plant[J]. Refrigeration and Air Conditioning，2009，23(5)：49-52(in Chinese).

［7］ Cho J，Lim T，Kim B S. Measurements and predictions of the air distribution systems in high compute density(internet)data centers[J]. Energy and Buildings，2009，41(10)：1107-1115.

［8］ Lu Tao，Lü Xiaoshu，Remes M，et al. Investigation of air management and energy performance in a data center in Finland：Case study[J]. Energy and Buildings，2011，43(12)：3360-3372.

［9］ Chen Qingyan. Comparison of different k-ε models for indoor air flow computations[J]. Numerical Heat Transfer，1995，28(3)：353-369.

［10］ 孙贺江，吴 尘. 基于正交试验法的大型客机座舱气流组织优化及热舒适性分析[J]. 天津大学学报：自然科学与工程技术版，2013，46(5)：415-422.

Sun Hejiang，Wu Chen. Optimization of air distribution with orthogonal test and thermal comfort analysis in commercial aircraft cabin[J]. Journal of Tianjin University：Science and Technology，2013，46(5)：415-422(in Chinese)．

［11］ 刘俊杰，刘素梅，孙贺江，等. 大型客机座舱合理排数的数值模拟[J]. 天津大学学报：自然科学与工程技术版，2013，46(1)：8-15.

Liu Junjie，Liu Sumei，Sun Hejiang，et al. Numerical simulation of the reasonable row number for commercial aircraft cabins[J]. Journal of Tianjin University：Science and Technology，2013，46(1)：8-15(in Chinese)．

［12］ The Green Grid. The Green Grid data Center Power Efficiency Metrics：PUE and DCiE[R]．The Green Grid，2007.

（责任编辑：田 军）

Optimization on Air Distribution and Energy Consumption of a Small Data Center

Zhang Jie1，Zhou Hao1，Feng Zhuangbo1，Sun Chao2，Jin Zhou2，Long Zhengwei1
(1. School of Environmental Science and Engineering，Tianjin University，Tianjin 300072，China；2. High Performance Computing Center，Tianjin University，Tianjin 300072，China)

The air conditioning system of data centers gives priority to the normal operation of the servers. However, in many data centers, the air conditioning system runs in the under-load state which is significantly energy-consuming. The main reason for it is that additional equipments are started up because the unreasonable air distributions result in alarms of the monitors. In the paper, a typical data center was selected as an example to investigate the optimal air distributions to save energy. Numerical models were established with the input data obtained from on-site measurements. The measured profiles were also used to validate the air velocity and temperature distributions of simulation results. Then, the energy consumptions were evaluated by indexes based on the measurement and simulation results. Finally，the modification plan was presented．The results show that the air distribution was improved by adding intelligent fan system to the regions with excessive heat. The energy consumption could be reduced by 38% annually compared to normal ventilation systems.

data center；air distribution；energy consumption；CFD simulation；local ventilation

TU834.3

A

0493-2137(2014)07-0647-06

10.11784/tdxbz201306035

2013-06-17；

2013-07-13.

国家重点基础研究发展计划(973计划)资助项目(2012CB720100)．

张 杰（1987— ），女，博士研究生，jiezhang25@tju.edu.cn.

龙正伟，longzw@tju.edu.cn.

时间：2014-04-01.

http：//www.cnki.net/kcms/doi/10.11784/tdxbz201306035.html.