高密度存储服务器热设计*



高密度存储服务器热设计*

通信地址：100193 北京市海淀区东北旺西路8号中关村软件园36号曙光信息产业(北京)有限公司Address:Dawning Information Industry Co.,Ltd.,36 Zhongguancun Software Park,8 Dongbeiwang Rd West,Haidian District,Beijing 100193,P.R.China

沙超群1，尤扬2，胡长军1，郑臣明1，刘兴奎3

(1.北京科技大学计算机与通信工程学院，北京 100083；

2.解放军信息工程大学国家数字交换系统工程技术研究中心，河南 郑州 450002；

3.曙光信息产业(北京)有限公司，北京 100193)

摘要：云计算和大数据时代对高密度存储服务器的需求越来越大。由于温度对电子元器件的性能和寿命有很大的影响，而高密度存储服务器的功率密度更大，故必须对其进行合理的热设计，以确保服务器工作时的温度在合理可控范围内。介绍了高密度存储服务器的结构，以及散热风道、散热器、风扇等关键散热部件的热设计方法。热设计整体方案采用吸风式的强迫风冷散热方式；基于Flotherm热仿真软件对整机系统进行了仿真优化；在35℃实际应用环境下对产品样机进行了热测试。测试结果表明，该热设计方案满足热设计要求。

关键词：高密度；强迫风冷；热设计；热仿真；热测试

1引言

人类已经步入数字化的信息时代。随着科技的进步，越来越多的数据采集、移动设备、社交多媒体等使得近几年数据存储量几乎呈几何级增加，尤其是非结构化数据(音频、视频、电子邮件等)占了存储总量的80%，数据存储已经渗透到社会生活中的各个方面[1]。而云计算和大数据时代的到来，对存储提出了更高的要求：高性能、高吞吐率、大容量、高安全性，这使得市场对高密度存储服务器需求越来越大[2]。

电子元器件工作温度对其性能和寿命有很大的影响，随着温度的增加，元器件的失效率呈指数关系增长[3]。所以，要提高电子设备的可靠性，必须使电子元器件工作在规定温度范围内[4]。高密度存储服务器意味着功率密度大，且温度偏高会严重影响硬盘的读写性能和寿命，所以必须对其进行合理的热设计，保证服务器在要求的环境下能正常工作。

2服务器结构组成

本文中高密度存储服务器由4U硬盘仓和1U计算节点仓组成，总高度为5U。4U硬盘仓主要组成：80块3.5寸硬盘，2块Expander卡[5]，2块SAS卡，4块电源。1U计算节点仓主要组成：1块主板，2块2.5寸硬盘，6块SSD固态硬盘，2块标准PCIE卡，1块10 G网卡。4U硬盘仓和1U计算节点仓结构模型如图1和图2所示。

Figure 1　Structure model of the 4U HDD storage图1　4U硬盘仓结构模型

Figure 2　Structure model of the 1U computing node图2　1U计算节点仓结构模型

3热设计目标

该服务器要求使用环境温度为35 ℃。各主要功率元器件的功耗及热设计目标见表1。本文通过制定热设计方案、热仿真优化、测试验证来实现热设计目标。为提高设备的可靠性，各元器件的热设计要求采用降额设计，降额系数为0.9，则本文中热设计温度目标为元器件允许的最高温度Tmax乘以降额系数0.9。

系统散热方式选择应充分考虑系统的功耗、温度、体积、价格等要求，最终选择适合自己产品的有效散热方式。目前常见的散热方式主要有自然散热、强迫风冷、液体冷却等。

自然散热是利用空气的对流将热量带到周围空间，这种散热方式的优点是结构简单、无噪音、价格低廉，但散热效果较差，一般用于发热功率不大、温度要求不高的场合。

强迫风冷是利用风机加速空气流动，从而带走更多热量。强迫风冷方式热交换效率高，一般是自然散热方式的数倍，在需要散热的电子设备冷却系统中被广泛采用[6]。但是，设计确定强迫风冷参数的计算相对复杂，管壳温度、散热器和风机之间的相关关系较为复杂。

液体冷却是利用液体将热量带走从而降低温度的散热方式。由于液体的比热容大大超过空气，其散热效率也比上述两种方式高。液体冷却噪音低，在噪音控制要求高的场合有无可比拟的优势。但是，液体冷却成本高，且一旦液体漏液，可能造成电子元器件损坏。

综合考虑各种散热方式，本系统采用强迫风冷方式。

4散热风道设计

4U硬盘仓采用分布式电源系统供电：4块电源分别位于机箱的两侧。各个电源相对独立，局部电源功率较小，减少了大电流传输线路，有利于提高可靠性和电磁兼容性。此外，由于单个电源的功率较小，散热要求相对较低，采用分布式电源有利于系统散热设计。

强迫风冷系统风道的设计很关键，风道一般分为送风和吸风两种方式。送风方式风扇出口附近局部换热强烈，宜用于发热器件较集中的情况，一般是将风扇出风口直接对准发热器件。送风时设备内形成正压，可有效防止灰尘进入设备；风扇工作在较低温度下，寿命较长。吸风方式空气流动均匀，只用于发热器件分布较均匀、风道较复杂的情况。吸风时在设备内形成负压，灰尘容易进入设备；由于工作在较高温度下，风扇寿命受影响。

4.1　4U硬盘仓散热风道设计

由图1可见，硬盘仓中的发热部件是均匀分布在整个结构内的，适合采用吸风方式。4U硬盘仓分为硬盘散热风道和电源散热风道2个独立散热风道，如图3所示。位于右侧中间位置的风扇为硬盘提供吸风式散热。硬盘在仓中的分布使得风流均匀通过各硬盘，从而保证各个硬盘的散热较为均衡。

机箱两侧为电源设计的散热风道，为电源单独送风。原因是如果电源风道和硬盘风道相通，硬盘散热的系统风扇风压较大，而电源的散热风扇风压较小，这样电源会倒吸风而导致电源过热，本文中设计独立风道可解决此问题。

4.2　1U计算节点仓风道设计

1U计算节点仓也采用吸风式散热风道。设计了3个独立散热风道区：PCIE卡散热风道、CPU散热风道、10 G网卡散热风道。每个风道都有风扇对相应的功率元器件进行有效冷却，风道设计如图4所示。

Figure 3　Diagram of air duct in the 4U HDD storage图3　4U硬盘仓风道设计示意图

Figure 4　Diagram of air duct in the 1U computing node图4　1U计算节点仓风道设计示意图

5散热器设计

从上述表1可知，SAS Expander芯片和SAS 3108芯片的功耗都比较大，所以需要设计散热器，使芯片的工作温度满足热设计要求。散热器的设计要综合考虑设备的结构需求、散热效率、加工工艺等约束条件[6]。散热器肋片越薄越好，但越薄加工越困难。在散热器的外形尺寸确定的情况下，肋片间距越小则热阻越小，但过小的间距会增大风阻，反而影响散热。肋片高度越大则散热面积越大，散热效果越好，但肋片达到一定高度后，散热量就趋于恒定。

综合考虑以上各因素，本文中这两个芯片都采用铝挤散热器，通过仿真优化，确定散热器尺寸70*70*20 mm，肋片厚度1 mm，肋片数量17，可以满足热设计要求。

由于1U计算节点仓主板上的两颗CPU功耗达到120 W且是前后布局，冷却空气吹过上游CPU后会被加热，再次吹过下游CPU会导致下游CPU的温度很高。本文通过降低上游CPU散热器的高度，并通过仿真优化使两颗CPU的温度值接近一致，仿真结果为：上游散热器的尺寸90*90*18 mm，下游散热器的尺寸90*90*25 mm。肋片厚度为0.3 mm，肋片数量为47。散热器基板采用铝基板中埋热管的工艺，肋片采用铜材料，可以满足热设计要求。

6冷却风扇选择

假设所选散热器是合理的，散热器可以将各发热部件发出的热量传递到散热空间。由于采用强迫风冷散热方式，系统发热量应全部由风扇输送的风带走，热量平衡方程[7]为：

(1)

其中，Q为总发热量(W)，Cp为空气的比热容(J/(kg·K)),ρ为空气的密度(kg/m3)，Δt为进出风口的空气的温度差(℃)，V为带走热量需要的风量(m3/s)。

硬盘总发热量为1 060 W，进出风口温差取12 ℃，Cp取值为1 005 J/(kg·K)，空气的密度为1.14 kg/m3，根据公式(1)计算得到4U硬盘仓所需要的总风量为0.077 m3/s，平均每个风扇工作点风量需达到0.009 96 m3/s。

1U计算节点仓的总发热量为600 W，进出风口温差取12 ℃，则根据公式(1)计算得到1U计算仓所需的总风量为0.043 6 m3/s，平均每个风扇工作点的风量需达到0.007 27 m3/s。

上述计算出的风量为带走发热量所需的最小值。考虑到风量的泄漏损失，同时为了提高散热的可靠性，选用的风扇要留有一定的裕量。

由于整个系统风阻很大，所以要选择高静压的风扇才能满足散热要求，且要避开风扇的不稳定工作区，所选风扇的P-Q特性曲线如图5和图6所示。图中纵坐标Static Pressure即为风阻。

Figure 6　Fan P-Q curves applied in the 1U computing nodes图6　1U计算仓所选风扇P-Q曲线

7仿真结果分析

本文利用Flotherm热仿真软件对该服务器进行了仿真模拟。根据服务器的架构建立了详细的散热仿真模型，设定环境温度为35 ℃，并进行仿真计算。仿真结果可为风扇选型、散热器优化设计提供依据，也可为实际散热效果提供较为直观的分析。

7.1　仿真云图分析

从如图7和图8所示的仿真结果可以直观看到机箱内部温度分布和局部过热区域，从而为散热优化提供依据。从图7可以看出，第6排的硬盘的温度最高，这个结果符合理论预期。因为空气从左向右流动，从第1排硬盘到第6排硬盘被逐渐加热，吹到第6排的空气温度达到最高，因此第6排硬盘的温度也最高。冷风经机箱两侧设计的风道供给了电源，不受系统风扇的影响。从图8可以看出，1U机箱内不存在局部过热区或回流，符合风道设计要求。

Figure 7　Temperature nephogram of the 4U HDD storage图7　4U硬盘仓温度云图

Figure 8　Temperature nephogram of 1U computing nodes图8　1U计算节点仓温度云图

7.2　仿真结果分析

4U硬盘仓风扇工作点风量为0.012 m3/s，而根据理论计算每个风扇工作点需达到的风量需达到0.009 96 m3/s,4U硬盘仓所选风扇性能满足散热设计要求，且留有20%以上的裕量。

1U计算节点仓风扇工作点风量为0.008 7 m3/s，而根据理论计算每个风扇工作点需达到的风量为0.007 27 m3/s，裕量接近20%，1U计算节点仓所选风扇性能也满足散热设计要求。

主要发热元器件的温度仿真结果如表2所示。从表2可知，两颗CPU的温差仅为2.2 ℃，这得益于为两颗处理器分别设计了高度不同的散热器，仿真结果符合预期。各元器件的温度都满足热设计要求，且有一定的温度余量。

Table 2　Simulation resluts of key components’ temperature

8热测试

按照此设计方案加工制作了工程样机，在35℃的实际应用环境下，对该样机进行了散热测试，各元器件的温度的测试结果如表3所示。从实际测试结果与仿真结果对比可知，最大误差为3.3 ℃，说明散热仿真可以较准确地估算热设计方案的结果。

Table 3　Test and simulation results comparison

9结束语

本文中高密度存储服务器采用强迫风冷的散热方式，通过风道设计使空气有效冷却主要功率元器件，从而提高了冷却效率。具有散热器的强迫风冷散热设计比较复杂，需要根据系统的结构以及发热部件的热功耗计算发热量，从而选择合适的散热器和风扇。热设计过程是一个不断设计优化的过程，在这过程中热仿真软件可比较准确地模拟散热方案的效果，可为散热方案不断优化提供依据。在实际环境下对样机进行了散热测试，结果表明此高密度存储服务器的散热设计方案可行，且工作温度满足降额设计要求，提高了设备的工作可靠度。

参考文献:附中文

[1]Large capacity data storage solutions [EB/OL]. [2014- 10-18].http://www.nexsan.com.cn/chinese/DataBase/Up loadFile/20 130401142251669.pdf．

[2]Chen Jie.Cloud storage technology and application in big data [J].ZTE Technology Journal,2012,18(6):47-51.(in Chinese)

[3]Xu Wei-xin.Design guide for electronic equipment reliability thermal[M].Beijing:Publishing House of Electronics Industry,1995.(in Chinese)

[4]GJB/Z 35-93[S].Derating criteria for electrical,electronic and electromechanical parts:National Military Standard of the People’s Repulic of China,1993.(in Chinese)

[5]LSI SAS3X48 expander datasheet[EB/OL].[2014-10-18] http://www.lsi.com/products/sas-expanders/page s/lsi-sas-3x48.aspx#tab/tab3.

[6]Zhang Zhong-hai. Thermal design of forced air cooling of high-power components in electronic equipments [J].Electro-Mechanical Engineering,2005,21(3):18-21.(in Chinese)

[7]Wang Jian-shi,Zhu Bing-lin.Manual for structural design of electronic equipment [M].Beijing:China Zhijian Publishing House,2011.(in Chinese)

[2]陈杰.大数据场景下的云存储技术与应用[J].中兴通讯技术,2012,18(6):47-51．

[3]徐维新.电子设备可靠性热设计指南[M].北京:电子工业出版社,1995．

[4]GJB/Z 35-93,元器件降额准则[S].北京：中华人民共和国国家军用标准,1993.

[6]张忠海.电子设备中高功率器件的强迫风冷散热设计[J].电子机械工程,2005,21(3):18-21．

[7]王健时,朱炳林.电子设备结构设计标准手册[M].第三版.北京:中国质检出版社,2011．

沙超群(1977-),男，江苏邳州人，博士生，高级工程师，研究方向为计算机体系结构。E-mail:scq@sugon.com

SHA Chao-qun,born in 1977,PhD candidate,senior engineer,his research interest includes computer architecture.

A thermal design for high density storage servers

SHA Chao-qun1,YOU Yang2,HU Chang-jun1,ZHENG Chen-ming1,LIU Xing-kui3

(1.School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083；

2.National Digital Switching System Engineering & Technological Research Center,

PLA Information Engineering University，Zhengzhou 450002；

3.Dawning Information Industry Co.,Ltd.,Beijing 100193,China)

Abstract:Big data and cloud computing applications have a booming demand for high density storage servers by in recent years. Since temperature has a great influence on the performance and lifecycle of electronic components, and high density storage servers have higher power density, desired cooling solution design is in great need, so the servers can work at a proper temperature. We introduce a thermal design method for high density storage servers, in which the forced air cooling method is adopted. The thermal simulation software Flotherm is used to guarantee the cooling effect. We construct an engineering project and test the proposal under 35℃ ambient temperature. The results show that this solution can meet the thermal design requirements.

Key words:high density;forced air cooling;thermal design;thermal simulation;thermal test

作者简介:

doi:10.3969/j.issn.1007-130X.2015.12.006

中图分类号：TP302

文献标志码：A

基金项目：国家863高技术研究发展计划资助项目(2013AA01A209)；北京市科委计划资助项目(D141100003414001)

收稿日期：修回日期：2015-10-21

文章编号：1007-130X(2015)12-2228-05