周锦鹏 黄臻成 王直鑫 佟贵年 刁向红 孙西辉 何振辉
(1 中山大学空间技术中心 珠海 519082;2 中山大学物理科学与工程技术学院 广州 510275)
电子设备的散热方式从热管理的层面上划分,可以分为器件级、系统级(或机柜级)的散热以及数据中心和机房级别的散热三大类。其中系统级(或机柜级)散热是指针对服务器机柜整体的散热方式。该级别常见的散热方式包括:空气冷却(风冷)技术[1]、空气-水混合冷却技术[2-4]、液体冷却技术[5]、相变冷却技术等。目前,机柜级的冷却主要还是以强制风冷辅助以液冷或相变冷却的方式为主,这一类冷却方式对机房布局、机房空调冷却能力依赖性比较大[2-4]。
另一方面,两相回路换热技术在电子设备冷却方面有其显著的优势,然而,目前两相回路散热技术的应用研究主要集中在器件级的冷却上[6-7],机柜级的冷却尚不多见。
为解决未来高密度、高集成的需求,设计并研制了一种应用在通讯机柜上,具有可热插拔模块的两相回路散热系统(图1)。该系统利用两相自然循环的原理工作,无额外的动力来源。另外,针对实际应用中竖直式8U电子模块,设计了一套热插拔模块。该模块不仅可以通过底端装有支持电热插拔的50针SCSI接口实现电信号的热插拔,也可以通过与冷板蒸发器的大面积接触传热,利用预埋在冷板蒸发器中的散热管路传热,而实现散热系统的热插拔,可以满足现在对机柜的高密度设备使用,灵活配置,可维护性高的应用要求。
对于这种新型的通讯机柜,最关心的问题是系统的实际散热能力。另外,在实际应用中,由于机柜中各个模块并不是总工作在满负荷状态的,存在各通道的散热量需求不一致的情况,以及,由于维护和更新等需要,机柜需要在保证其他模块正常工作的情况下进行热插拔操作。这些状态和操作都以不影响系统正常工作为前提。因此,亟需通过实验考察各通道热载荷非平衡时系统启动和运行的稳定性能否达到工作的要求。
图1 可热插拔式两相回路散热通讯机柜及可插拔模块Fig.1 The hot-swappable two phase natural convection communication cabinet and the hot-swappable module
实验系统在一个19寸42U(1U=44.45mm)的网络通讯机柜(2000mm×600mm×600mm)里搭建,主要包括12个冷板蒸发器、储液器、板式换热器等部分,如图2所示。系统运行时12个冷板蒸发器各自从与其接触的模块中吸收热量,蒸发器管内工质沸腾蒸发变成两相状态,由于蒸发器位于冷凝器和储液器的下方,在重力的驱动下,蒸发器管内工质以两相状态向上流动,经过储液器换热管与储液器交换热量,再经过最上方的板式换热器将热量释放到冷水中,冷凝成液态后流回储液器。蒸发器管内持续发生流动沸腾,储液器不断有液态工质流出和流进,工质在垂直回路中循环不断地将模块的热量带走。
实验回路系统的蒸发段由并联的6个通道组成,每一个通道进口都有独立的阀门控制通断(图2中蒸发段从左至右依次为通道1、2、3、4、5、6,对应于阀门1、2、3、4、5、6),每个通道串联有上、下两个冷板蒸发器。冷板蒸发器是一块内部铸着“双U型”弯管的ZL105铝板,上下冷板蒸发器由弯管露在铝板外面的部分首尾相接串联在一起。连接上下冷板蒸发器间的直管长170mm,埋藏在铝板内部的弯管总长为1040mm,材料为铜或不锈钢,冷板高8U,深283mm,厚17mm。
实验系统所使用的储液器是一个圆柱形的不锈钢容器,内部有一根内径为10mm的不锈钢管作为工质从蒸发器出来后进入换热器之前的换热管。储液器在回路中的位置如图2所示,水平放置于换热器出口和蒸发器进口之间,出液口离下冷板蒸发器进口和上蒸发器冷板出口的相对高度约分别为115cm和26cm。储液器的测定容积为1.039L。为监控储液器的压力变化,在储液器的中部放置了型号为Druck PTX7517的绝压变送器(APS)。另外,通过充灌量的设计,保证储液器为两相状态,因此可以通过储液器来获得系统的两相压力情况。
图2 实验系统回路管路示意图Fig.2 The schematic of the system piping
系统所用的工质为R22,充灌量为1775g/3.33 L。模块侧是考察的主要目标,因此温度点主要均匀布置在模块内部。图2给出了相关的测温点所在的位置,由于图中没有画出模块,因此图中的三角符号代表的是模块侧上所对应的测温点位置。
另外,系统运行时,冷却水由室外冷却机组提供,进口温度接近室温且低于28℃,可提供的最大流量约为48g/s。
散热能力是实验系统的一个重要考察对象。根据目前一般电子器件设计,正常工作温度范围为-5~65℃[1],因此实验设定电子元件的最高工作环境温度,即模块基板内壁的上限温度为65℃时,考察系统的在冷却水流量为28℃时的所能达到的最大散热量。
模块的非平衡热载荷是另一个实验测试的对象。模块非平衡热载荷可以分为两类:通道之间的非平衡和上下蒸发段的非平衡。其中,通道之间的非平衡模拟了通讯机柜中部分模块出现故障被拔出维修和非满载机柜在不中断运行的情况下增加通讯模块的过程。上下蒸发段非平衡实验是为了模拟不同位置通讯模块不工作时,系统仍可以正常工作。在上下蒸发器非平衡的情况中,上蒸发段工作、下蒸发段不工作的情况为条件最苛刻的情况,因此只需给出这种情况下的实验结果即可。另外,选取了两组典型的工况,分别代表通道之间和蒸发段之间非平衡,表1给出了散热能力测试以及两种非平衡工况的热载荷设置变化情况。
表1 不同工况各模块标称加热功率表(单位:W)Tab.1 The power pro fi le of the module in all cases (Unit: W)
图3为所有通道各模块全功率加热200W系统稳定运行后,先后关掉上蒸发段模块加热和下蒸发段模块加热这一过程的温度变化。
实验结果表明,系统采取储液器并联接入回路结构时,全部模块满功率运行平稳,预设散热量2400W(实际散热功率超过3000W),系统工作两相温度不超过35℃。
图3 所有模块全功率加热时的温度分布Fig.3 The temperature distribution of all the modules with full power
另一方面,由于机械加工与硅脂涂胶等原因,造成各通道的模块与冷板之间的热阻不完全一致,同时由于接触面积比较大,也会造成局部温度的不均匀,因此造成模块侧个别测温点(如EVAP_12D)的温度较高。即使如此,模块侧的温度仍可以满足低于65℃的设计要求。
图4给出了系统非平衡热载荷的实验结果,各通道热载荷变化情况参考表1。
阶段一:15:36至16:20,系统非满载荷启动,如图所示,系统运行稳定,各模块内部温度不超过44℃
阶段二:16:20至16:55,通道间载荷发生调整,用于模拟通讯机柜中部分模块出现故障被拔出维修和非满载机柜在不中断运行的情况下增加通讯模块的过程。从图中结果可以看出该过程通道2和通道5的模块内部温度几乎不受影响,系统运行稳定,各模块内部温度不超过45℃。
图4 系统非平衡热载荷运行的一个完整过程Fig.4 A detail process of the unbalance heat load
图5 只开上蒸发段加热,不断提高加热功率的系统启动和运行情况Fig.5 The result of increasing heat load in top evaporators during start-up and normal operation
阶段三:16:55以后,各模块载荷发生调整,模拟实际中通讯机柜各通道热载荷发生变化的情况。实验结果可以看出系统各通道模块运行稳定,各模块内部温度不超过45℃。
综合可得,系统在各通道间热载荷非平衡时启动正常,载荷发生调节后仍可保持运行稳定。
图5为不开下蒸发段加热,只开上蒸发段加热,不断提高加热功率时系统的启动和运行情况。热载荷变化参考表1。
可以看到,上蒸发段各模块加热从25W开始,逐渐增加值200W全功率时,系统可正常启动,模块的最高温度上限从32℃逐渐升至44℃。当系统在上蒸发段各模块全功率运行稳定时,通道4,5,6上蒸发段加热功率被关闭,系统转变为一个通道间热载荷非平衡同时部分通道内上下蒸发器热载荷非平衡的状态,通道1,2,3上蒸发段各模块温度下降约3℃后平稳,系统再次稳定运行。最后,当所有模块的加热都关闭时,系统各点温度回到启动前的状态。整个过程中,系统正常稳定工作,模块的工作温度满足设计要求(65℃以下)。
在冷却水进口温度Twater-in<28℃,冷却水流量达48g/s时,基于自然循环系统的通讯机柜可实现散热能力达到3000W,同时,所有模块的内部温度均可满足电子元件(65℃以下)的正常工作温度范围,且系统两相工作温度不超过35℃。此外,在各通道热载荷非平衡和上下蒸发段热载荷非平衡的情况下,系统启动和变功率工作状态运行稳定,可以满足实际应用中面对的多通道非平衡工作、不同功率启动、需要热插拔更换等特殊情况下工作需求,该机柜已经具有现实的应用能力。
[1]SCHMIDT R R, CRUZ E E, IYENGAR M K. Challenges of data center thermal management[J].IBM Journal of Research and Development,2005, 49(4/5): 709-723.
[2]ANTONETTI V W,CHU R C, SEELY J H. Thermal design for IBM system/360 model 91[C]// The 8th Int.Electronic Circuit Packaging Symp., San Fransico, CA,1967.
[3]IBM Systems and Technology Group. Keeping your data center cool: there is another way[G]. IBM Corporation,2005.
[4]Friedhelm LOH Group. Rittal liquid cooling package standard[R]. Rittal GmbH & Co. KG, July 2006.
[5]Chandrakant D Patel, Cullen E Bash, Ratnesh Sharma,et al. Smart chip, system and data center enabled by advanced flexible cooling resources[C]// Semiconductor Thermal Measurement and Management Symposium,2005 IEEE Twenty First Annual IEEE , San Jose, CA,2005: 78-85.
[6]G M Grover. Vaporation-Condensation Heat. Transfer Device:US,NO.3229759[P]. 1963.
[7]O'NEILL P S, GOTTZMAN C F, TERBOT J W. Novel heat exchanger increases cascade cycle efficiency for natural gas liquefaction[R]. Union Carbide Corp., Linde Div, 1971.