5G微中心浸没式液冷方案研究

周 平，程 雷，胡振鑫

（1.中国移动江苏公司苏州分公司，江苏 苏州 215028；2.中国移动江苏公司，江苏 苏州 210000）

1 背 景

5G基站设备主要包括 AAU和BBU（AAU=RRU+天 线；BBU=CU+DU或BBU=DU （CU在 中 心 机房）），5G设备功耗如表1所示。

表1 各类5G设备典型功率表

（1）AAU=900～1 100 W 业务高峰时发射最大，耗电功率也大。

（2）BBU=800～1 100 W 业务高峰时流量最大，耗电功率也大（4G时代BBU功耗只有400～500 W，5G时代BBU是其翻倍水平）。

1.1 5G需要的BBU数量多、功耗大

5G基站密度远比3G/4G大，一个BBU池化机房可能要集中放置20～40台BBU，但一个机柜15台BBU则总功耗近15 kW,在接入网机房空调能力是难以承受。即使按每个机柜10台BBU计算，机柜内功耗也达7～10 kW以上，可见5G BBU机柜发热功率比4G时代的BBU池化机柜功率大2～3倍，相应地需要空调冷量比4G时代的BBU池化机柜大得多[1]。

5G时代覆盖同样片区，BBU数量较4G时代布置的BBU增加多少，从连续覆盖角度来看，5G的基站数量可能是4G的1.5～2倍。

1.2 基站空间紧张、电力扩容难

将BBU进一步分散确实可以把机柜散热难题降低，但5G时代同一地域需要集中池化的BBU比4G时代还要多，在一个面积紧张、空间狭小的接入网机房内摆很多BBU机柜（比如大于4个）必然要挤占大量机房空间，无疑是不大现实，因此一个5G BBU机柜放10个BBU应该是比较合理、可行的[2]。

部分基站内设备较多，BBU及空调设备的安装空间有限（常规基站为15～20 m2，安装6～8个机架（传输/开关电源/ODF/无线），部署的BBU及边缘计算设备需要电力容量大，电力扩容需与供电局协商、手续多、周期长、成本高，（申请18 kW，从申请到查勘到通电约3个月），尽量采用节能效果好的空调，相同的用电容量支持更多的设备。

1.3 BBU 池化布置

鉴于配置的BBU数量多，基站空间紧张，BBU设备需池化布置，多个BBU放置在同一机柜，一个标准高度机柜（2.2 m，47U）可以放15台BBU（BBU高度2U，间距1U），单机柜总功耗近15 kW导致单机柜功耗大，传统的基站空调很难解决。把BBU进一步分散降低机柜散热，但5G时代同一地域需要的BBU比4G要多，由于基站面积紧张、空间狭小即使少放几个，单机柜也需放10台左右，功耗也要7～10 kW。传统的基站空调仍然很难解决[3]。

1.4 BBU气流组织与机柜不匹配

BBU设备气流组织不合理：BBU产品采用左进右出或右进左出气流组织，与机柜前进后出的气流组织不匹配，当前BBU池大都由横放改为竖放，部分缓解了散热困难，但仍不能根本解决。

总结：5G总体功耗是4G的2.5～3.5倍以上，5G基站选址难、5G BBU池普遍采用集中池化部署方案、BBU设备气流组织不合理。造成BBU池化机柜散热面临挑战，亟需考虑创新优化方案，满足使用需求。本研究试点应用浸没式液冷技术解决5G BBU池散热[4]。

2 浸没式液冷研究试点概况

针对目前5G建设中存在CRAN基带池机房市电需增容和空调能耗大的难题，在不具备机房改造和订制无线网硬件的环境下，积极探索通过使用液冷技术，来攻克机房用电以及机房环境这一难题，并完成国内首个液冷5G基带池站点开通。

目前5G无线设备为BBU集中放置和AAU拉远形式，在室内部分的BBU基带池采用液冷实验：站点选用三庄节点，机柜选用微型浸没式液冷机柜，外机自然冷却。此机柜最大支持冷却功率5 kW，可用空间21U； PUE可低至1.3左右，相比PUE约2.25的传统基站，节能率达40%。

采用浸没式液冷技术，可消除空气中的灰尘、湿度、静电的影响；保持温场稳定，消除热点。同时IT设备无风扇，静音、无震动。

2.1 基站现状

基站内装有3套开关电源，其中一套传输电源，负载主要是城域网以及OLT设备，发热量较大；另外两套为无线电源，负载主要为BBU设备，以CRAN模式为主导的BBU的集中放置导致发热量巨大；站内两台5P空调，基站总体环境温度没有过高现象，但是存在局部过热的问题，尤其是BBU设备的出风口温度较高，难以得到有效控制。

2.2 5G BBU池

测试负载设备其中BBU功率0.54 kW（安装了3块接口板，每块接口板功率0.18 kW），另增加模拟负载，总负载整体功率约2.7 kW（相当于15块BBU）。在测试前拆除设备上风扇，并将设备完全浸泡在液冷机柜的冷却液中，冷却液能将热量快速有效地带到室外，并隔绝空气中的灰尘、湿度、腐蚀性气体、静电的影响。

（1）应用液冷技术的C-RAN单节点BBU池预计30个BBU，合计功率5.4 kW，预计PUE可低至1.3左右。

（2）5G节点用电容量大部分在15～60 kW，市电扩容困难。液冷基站能效利用更高，用电总容量更低，市电引入难度大大降低。

（3）采用浸没式液冷技术，可消除空气中的灰尘、湿度、静电的影响；温场更稳定，基本消除热点；单机柜功率密度大大提升。

2.3 浸没式液冷方案原理及系统图

液冷机柜与空调外机系统图如图1所示：液冷机柜有一个可容纳服务器的箱体，箱体中装满冷却液，服务器完全浸没在冷却液中，当服务器运行时产生的热量传递给冷却液，温度逐步升高的冷却液被机柜中油泵抽走并由管路输送到板式换热器，经过换热器的冷却液被降温，最终由管路输送回到机柜，如此周而复始。板式换热器中的冷量是由空调外机提供的[5]。

图1 液冷方案原理及系统图

冷却液采用聚硅氧烷，是一种具有不同聚合度链状结构的有机硅氧烷混合物，其端基和侧基全为烃基（如甲基、乙基、苯基等）。液态时的聚硅氧烷为一黏稠液体。称做硅油，一般的硅油为无色、无味、无毒、不易挥发的液体，具有以下特性：无色或浅黄色液体，无味，透明度高，好的柔软特性及抗静电性能，良好的降黏及流平性。具有耐热性、耐寒性、黏度随温度变化小、防水性、表面张力小、具有导热性，导热系数为0.134～0.159 W/M*K，透光率100%，二甲基硅油无毒无味，具有生理惰性、良好的化学稳定性。电绝缘性和耐候性、疏水性好，并具有很高的抗剪切能力，可在-50～200℃下长期使用。

每个微型液冷数据中心都由液冷机柜+空调室外机+服务器吊装组件（吊机）这3部分构成。

（1）液冷机柜：液冷机柜包括机柜内胆、内机换热模块及液冷监控系统，如图2所示。机柜内胆：承载服务器和冷却液，为服务器提供安全冷却环境；内机换热模块：包含冷却液循环泵、蒸发器（板式换热器）等，属于室内冷却液和室外冷却介质进行热交换的换热系统；液冷监控系统：包括系统控制板、采集单元、电子膨胀阀、低压压力传感器、吸气温度传感器、进液温度传感器、出液温度传感器、供液压力传感器、低液位开关等，对系统设备运行进行在线监测和智能控制。

图2 液冷机柜实物图

（2）空调室外机：空调外机包括变频压缩机、轴流风机、冷凝盘管、高压压力传感器、排气温度传感器、高压开关、低压开关、风机转速控制器等。

（3）吊机：为方便微型液冷数据中心内提取或放置服务器，设计了一款简易的服务器吊机。该吊机需要与机柜结构配合使用。

3 试点研究分析

3.1 5G BBU池分析

测试负载设备，其中BBU功率0.54 kW（安装了3块接口板，每块接口板功率0.18 kW），另增加模拟负载，总负载整体功率约2.7 kW（相当于15块BBU）。在测试前拆除设备上风扇，并将设备完全浸泡在液冷机柜的冷却液中，冷却液能将热量快速有效地带到室外，并隔绝空气中的灰尘、湿度、腐蚀性气体、静电的影响。

测试时间为2019年3月—2020年5月，液冷机柜内冷却液温度基本稳定在30 ℃以下，CPU表面温度稳定在60 ℃以下（CPU正常工作温度上限为72 ℃，极限工作温度为85 ℃ ）。测试结果如图3所示。

图3 测试结果

运行至今，未出现设备故障，整体设备运用比较平稳。

3.2 液冷设备

运行至今，冷却液循环泵、室外机等未出现设备故障，机柜内温场稳定，基本消除热点。

3.3 维护性

5G微中心浸没式液冷试点运行具有如下可维护性特点。

（1）高效节能：采用直接浸没式液冷技术，PUE低至1.3，节约运营成本。

（2）高效运维：可以7×24小时服务维护，也可以远程请求专业的远程及现场维护服务，使用无忧。

（3）简单：系统预制化生产，现场快速部署，3天即可交付使用，美观大方，完全静音，完美融入办公环境；彩色大屏，机柜状态一目了然。

（4）可靠：温度场稳定，杜绝局部热点，全浸没设计，完全隔绝空气，有效避免灰尘、氧化、腐蚀、静电，降低设备故障率，可靠的文件系统提供多层高可用机制，可应对在磁盘故障、存储控制虚拟机故障、服务器故障等多种问题导致的系统宕机问题。基于分布式架构，数据2～3个副本随机分散在节点中，并且支持多副本自动修复技术，实现虚拟机、硬盘、节点等多维度高可用。

（5）开放的平台全面兼容：VMware、kVM、Op enstack、Hyper-V，Docker，K8S，支持物理主机混合组网，帮助企业轻松实现基础设施即服务/IaaS。服务器节点可以随业务部署量的增加而逐次购买，并且可以无缝的扩展到集群系统中，可有效地减少初次部署成本和运维成本。

3.4 运行PUE

从2019年12月至2020年5月试点期至今，系统已运行两年半，实测PUE在1.19～1.29，如图4所示。

图4 PUE变化曲线

4 试点总结

4.1 试点目的

BBU散热问题得到有效解决，较低的PUE达到了节能效果。

4.2 经济性分析

制冷量为12 kW节电专用空调大约5 kW耗电，属于空间风冷式，实际机架获得制冷量约4 kW，单机12 000（含安装、铜管等），平均5 kW造价15 000元。液冷机柜现场实测综合PUE在1.3以下，2.7 kW造价约49 500元（含安装、铜管等），平均5 kW造价91 600元。按单机架5kW的平均功率计算为：

基站专用空调电费=5 kW功率×365天×24小时×0.8元平均度电电费×1.8=63 072元；

液冷机柜电费=5 kW功率×365天×24小时×0.8元平均度电电费×1.3=45552元。

结论：液冷比基站专用空调投资多76 600元，每年电费少17 520元，4.37年收回投资。

4.3 适用性及推广性

表2为推广推荐条件。

表2 推荐条件