模块化DC舱在老旧数据中心改造项目中的应用研究

杨子靖，林武隽，张 渊，刘永彬

（中国电信股份有限公司北京分公司，北京 100032）

0 引 言

近日，北京市经信局正式发布《北京市数据中心统筹发展实施方案（2021-2023年）》。今后3年，北京将按照“四个一批”总体思路，以集约化、绿色化、智能化为目标，打造世界领先的高端数据中心发展集群。方案要求，积极推进绿色数据中心建设。强化绿色设计，鼓励采用氢能源、液冷、分布式供电、模块化机房等高效系统设计方案，实现节能、节水、节地、节材和环境保护[1]。

作为方案中推荐的绿色技术产品，如何科学合理地选择模块化机房方案，实现数据中心的绿色建设，广受关注。本文针对老旧数据中心机房改造项目中使用的模块化DC舱建设方案进行分析，为类似项目提供参考。

1 模块化DC舱介绍

在中国电信企业标准《中国电信模块化DC舱技术要求》中定义模块化DC舱是按照机房条件和业务需求定制的，由网络机柜、配电系统、监控系统、供电系统（可选）、空调系统（可选）以及综合布线、消安防系统等辅助设施组成的封闭冷（热）通道的IT设备舱。模块化DC舱为舱内各类通信网络设备提供高质量的供电、温度和湿度环境保障，如图1所示。

图1 典型DC舱结构

一般来说，模块化DC舱多采用密闭冷通道设计，冷热气流隔离，防止冷热气流组织混合，形成良好的气流组织，从而提高机房制冷效果。模块化DC舱供冷方式灵活，除了可以采用机房级精密空调，还可采用列间空调，实现近端制冷，大大节约能源[2]。

相对于传统数据中心建设，模块化DC舱采用模块化、标准化和高整合设计，使得整个系统稳定度高。舱内各子系统、组件均可根据设计目标批量生产、调试，现场快速组装后即可投入使用。传统数据中心实施阶段需要7～8月，而采用模块化DC舱2～3个月即可建设完成。

模块化DC舱之间极少或者没有物理关联，可实现大规模数据中心的模块化分步部署和按需建设，显著降低了数据中心在使用寿命期间的成本，同时降低运营压力[3]。

另外，模块化DC舱一般配置有智能管理系统，实现DC舱内多层级、精细化的安全和能耗管理，通过多种报表精确定位故障点以及能源使用情况。同时还可以制定设备的日常维护计划，努力实现主动预警，同时可通过与DCIM等系统的对接，构建最佳的设备维护管理功能。

2 机房情况

2.1 机房现状

北京电信某数据中心为全国较早建设的大型数据中心，建筑面积约20 000㎡，共32间IDC机房和3间网络，可装机架超过4 500架。该数据中心利用原有厂房建设，已经开通运行超过15年。现有6路10 kV高压外市电，总容量为30 800 kVA，制冷系统主要采用风冷精密空调系统，部分机房采用水冷精密空调制冷。

2.2 存在问题

该数据中心由于建设时间早，存在设备、管线老旧，气流组织混乱等问题，造成能耗利用效率低下，实际使用空调制冷能力远大于计算冷负荷[4]。同时机房现场条件复杂，存在大量托盘式机架，机房内冷冻水机房空调、风冷机房空调并存，是较难改造的老旧大型数据中心的典型代表，如图2所示。

图2 改造前机房内部

目前主要存在的问题如下文所述。

（1）机架资源闲置：机架设备老旧，机房整体环境较差，部分机架设计容量仅为10 A，无法适应业务发展和新客户需求，机架利用率为61.63%。

（2）空调设备容量配置不合理：末端空调设备总冷量冗余过大，部分热量集中区域空调冷量不足，末端空调制冷效率低。室外机平台和空调槽道已基本占满，多数室外机分布于楼侧，维护难度大，无新增扩容空调室外机摆放位置。

（3）气流组织混乱：机房内气流组织混乱、送回风不平衡；风冷精密空调室外机过度集中，散热气流组织不畅。

3 机房建设方案及分析

为盘活该数据中心资源，增加公司IDC收入，按照市场需求并结合公司中长期规划，采用模块化DC舱结合集中式冷凝器等相关技术对该数据中心闲置的IDC机房和网络机房进行整体改造。

3.1 机房建设方案

本次改造在保证机房安全的前提下,综合评估论证改造需求和改造成本后，确定具体方案如下文所述。

（1）用模块化DC舱的方式对现有7个IDC机房进行改造，共建设32套双排模块化DC舱。将原有10 A机柜改造成20 A及25 A机柜，改造后共设计机柜数量为751个，机柜总耗电量为3 380.3 kW，空调数量为135台（新增列间空调131台, 利旧4台水冷空调），空调耗电量为1 521.14 kW，总耗电量为4 901.4 kW。其2-3机房的设计图如图3所示。

图3 2-3机房模块化DC舱设计图纸

（2）模块化DC舱采用前送风背回风的方式封闭冷通道，实现冷热气流隔离，防止冷热气流组织混合，并且采用列间空调，近端制冷按需供冷，避免了气流远距离送风中的损耗，提升制冷效率，如图4所示。

图4 模块化DC舱气流组织示意

（3）采用集中式冷凝器技术改造优化楼顶室外机平台的C区、D区、F区、G区，并将部分楼侧的室外机移至楼顶，腾出来的空间供列间空调的室外机使用，如图5所示。根据设计图纸，改造后楼顶平面F区将足够容纳新增列间空调的室外机，同时C区、D区和G区占地面积将减少50%。

图5 室外机改造后楼顶平面设计

通过计算机CFD散热仿真分析，总结气流组织及温度分布规律，建立了室外机平台气流组织3D模型进而得到集中式冷凝器在平台不同位置下的气流组织及温度分布情况，从而确定了相对最优的平台改造方案。通过图6可以看出，进风环境温度为35 ℃，冷凝器排风区域温度为47 ℃，进风和排风气流组织良好，没有出现气流短路现象，集中式冷凝器布局合理、占地面积小，满足散热要求。

图6 气流组织模拟

3.2 建设方案效果测试分析

在项目改造完成整体验收前，由第三方检测机构针对项目特点，配置满负荷的机架式假负载，模拟数据中心机房未来运行的情况，按照相关国家标准和设计要求进行全面的验证测试，以此发现系统中可能存在的故障和隐患。测试验证不同于传统的机房验收，是模拟数据中心真实带载运行状况下对数中心的功能、性能、压力等多方面加以测试验证，预先暴露可能存在的风险，为以后的运行维护提供较好的基础[5]。

3.2.1 改造建成完工图

本次共建设32套双排模块化DC舱，机架功率密度从2.2 kW提升至4.4 kW和5.5 kW，并根据需求设置了少量7 kW机柜。机房采用模块化DC舱技术改造后，效果如图7所示。

图7 模块化DC舱建成完工

室外机平台改造共涉及11间机房，涉及改造的空调室外机63台，替换老旧的空调内机和新增的空调内机数量总计21台，如图8所示。

图8 集中式冷凝器改造后的室外机平台D区

3.2.2 DC舱温湿度及极限温升测试

测试时，将温湿度测量模块记录仪平均分配安装在模块化DC舱的冷热通道内（机房冷通道前、中、后均匀选取3个机柜作为测量点；热通道均匀布置 3个记录仪），按照测试步骤记录机房稳定运行状态下各点位的温度变化及变化曲线并查看温度曲线是否正常，根据设计说明查看温度值是否在合格范围内。

以2-3机房为例，测试步骤见表1。

表1 测试方法

改造后，DC舱冷通道的空调稳态及极限温升的测试结果见图9。

图9 冷通道温湿度及极限温升测试结果

由图9可见，机房满载条件下，DC舱内的空调在设计冗余条件下，冷通道温度满足设计要求（18～27 ℃）冷通道相对湿度满足要求（20%～80%），无局部热点。所有列间空调均断电的极限条件下，冷通道在4 min内将由25 ℃上升至30℃。

3.2.3 改造后机房PUE测试

根据第三方测试结果，在100%负载情况下，改造前后机房PUE变化对比如表2所示。

由表2可看出,在模块化DC舱改造后，机房的PUE水平得到明显的提升,由改造前的平均值1.614降低为改造后的1.27。

表2 改造前后机房PUE变化

同时,改造机房所承载的IT设备用电将由2 365 kW提升至3 380.3 kW,提升了42.93%，有效支撑了公司业务发展。同时,通过列间空调近端制冷，空调系统的能耗由1 361.34 kW降低至893.09 kW，空调用电负荷降低了52.43%,显著地提高了能源利用效率。

4 结 论

针对当前通信运营商老旧数据中心机楼面临资源无法有效利用、能效水平低下等困局。本文分析了北京电信某老旧数据中心存在的问题，介绍了该数据中心通过模块化DC舱和集中式冷凝器等技术的综合应用，提升了机房的基础设施水平，使机楼资源得以盘活，并实现绿色高效和节能减排。

目前，北京电信在现有技术应用的基础上做了进一步的推广，针对尚具有节能潜力的局所进行现场勘查论证，同样以节能技术创新的模式进行节能减排，在降低公司运营成本的同时，积极响应国家“碳中和”的号召，支撑公司的高质量发展。