陈 郁,潘江林,金立标,曹 灿,万 恺
(1.中国联通苏州市分公司,江苏 苏州 215021;2.中国联通江苏省分公司,江苏 南京 210019;3.中国联通南京市分公司,江苏 南京 210029)
新技术的发展会直接或间接影响到传统运营商业务,由通信技术(Communication Technology,CT)业务逐渐转变为信息通信技术(Intermation Communication Technology,ICT)业务,推动传统通信机房在建造模式、设计规格、空调技术、机房环境与安全控制等方面产生了革命性的变化。传统分散的整体布局设计在接地性、节能性、智能控制以及灵活扩容等方面表现不足,由模块化概念所衍生出的数据中心(Data Center,DC)化建设方案得到越来越多业界专家和从业人员的青睐。将传统通信机房与机房基础设施集中部署、热冷气流隔离的模块化架构规避了通信机房对部署现场的依赖,并且在灵活扩容、智能化运维等方面得到大幅提升。根据国家“双碳”政策和“十四五”规划中关于基础设施建设的要求,对于新建机房和改造机房都需要重点降低能耗,提升能效水平(Power Usage Effectiveness,PUE)。
目前,运营商的传统核心机楼与通信机楼建设年份都比较久远,基础设施建设老旧,现网通信机楼普遍存在以下问题。
传统机房因早期布局规划的局限性,机柜间距较小,随着5G等高功耗设备的不断上线,导致机房内出现局部散热问题,部分机房传统送风方式已经无法满足制冷要求。此外,部分传统机楼配电室空间不足,需要统筹规划机楼、机房用途,核实空间、承重等条件,为网络重构及数据中心DC化改造的电源扩容需求预留足够的空间。
部分机楼柴油机组配置较早,容量无法满足DC化重构需求。机房现有空闲空间比较零散,用于DC化设备安装的机房空间不足,难以满足网络重构演进的需求。随着通信设备机架密度越来越大,机楼建设时间较长,建设时未规划空调平台和空调管道专用空洞,对空调的扩展存在一定影响。
合理设置功能分区,充分考虑空间弹性利用,并预留适当的空间、层高、荷载、通道、容量以及配套设施管线,分步实施,减少未来改造投入。随着DC化演进,逐步过渡至数据中心。
为了提高机房的密封性及墙身的保温性,同时屏蔽一定数量的电磁波及无线电波干扰,一般要求墙身材料为金属饰面板内衬具有保温隔热功能的底板。这样不但满足A级机房的要求,同时机房的整体装饰效果也高档、豪华。
依据《数据中心设计规范》(GB 50174—2017)要求,活动地板下的空间既作为电缆布线、又作为空调静压箱时,地板高度不宜小于400 mm;活动地板下的空间仅作为电缆布线时,地板高度不宜小于250 mm[1]。活动地板下的地面和四壁装饰应采用不起尘、不易积灰、易于清洁的材料,楼板或地面应采取保温、防潮措施,维护结构应采取防结露措施。
主机房净高应根据机柜高度、管线安装及通风要求确定。新建数据中心时,主机房净高不宜小于3.0 m,同时不宜设置外窗。当主机房设有外窗时,外窗的气密性不应低于《建筑外门窗气密、水密、抗风压性能分级及检测方法》(GB/T 7106—2008)规定的8级要求或采用双层固定式玻璃窗。此外,外窗应设置外部遮阳,遮阳系数按《公共建筑节能设计标准》(GB 50189—2015)确定。当不间断电源系统的电池室设有外窗时,应避免阳光直射。
主机房和辅助区内的主要照明光源宜采用高效节能荧光灯,也可采用LED灯。荧光灯镇流器的谐波限值应符合《电磁兼容限值谐波电流发射限值》(GB 17625.1—2016)的有关规定,灯具采取分区、分组的控制措施。对于主机房内有可能发生水患的部位,应设置漏水检测和报警装置,强制排水设备的运行状态应纳入监控系统[2]。
3.1.1 预制化UPS供配电动力模组
在“东数西算”的发展背景下,预制化供配电模组的诞生是必然的。预制化供配电模组是将数据中心的高压10 kV交流引入电源直接输出为380 V交流电源,它将传统的供配电系统中的变压器、电容补偿柜、低压配电柜、不间断电源输入输出柜以及不间断电源融合成一个整体的供配电系统单元。
预制化供配电模组具备超高效率、低损耗、低建设成本、安全可靠、易安装维护以及节约空间等显著优势,可以满足DC化重构等各种业务场景的需求。相较于传统的供配电建设系统,预制化供配电模组可以提高30%的空间利用率。与此同时,预制化供配电模组系统优化了供配电链路,整个系统上变压器和整流设备的损耗占比较大[3]。
传统供配电系统的运维工作过于依赖有经验的运维人员,而绝大多数的数据中心现场都缺少有经验且技术底蕴扎实的现场维护人员。传统供配电系统设备繁多,导致其系统复杂、故障种类多、问题排查难度加大,在故障恢复消耗的主要时间花费在故障点定位上。预制化供配电模组可以将关键部位的器件模块化,同时支持热插拔功能,其故障定位耗时短、故障排查难度小,维护相对简单,对运维人员的技能要求低。
3.1.2 预制化HVDC动力模组
对于供电链路而言,高压直流系统(High Voltage Direct Current,HVDC)相较于传统不间断电源(Uninterruptible Power System,UPS)最大的特点是电源转换过程中没有逆变环节,电池直连母线。整个HVDC系统结构简单、元器件减少,电源采用模块化设计,支持在线更换模块。
HVDC在供电连续性和可靠性方面优于UPS,电池直接向负载放电,中间环节少、距离近,整个过程无能量损耗,也不用担心逆变器故障导致断电。HVDC无同步问题,在扩容、并机方面具有优势,而UPS需要考虑幅度、频率、相位同步问题,同时对于模块化UPS还需要考虑环流等细节问题[4]。
一般而言,HVDC整流模块的功率小于UPS模块,单个UPS模块故障对于系统负载率跃迁影响较大,严重的情况下甚至直接切换到旁路供电。对于直流供电系统的负载而言,由于HVDC使用悬浮供电,负载处无零地电压问题、无三相不平衡问题、无谐波治理问题,因此直接从原理层面规避了引发UPS常见供电故障的因素,降低了设备的故障率,提高了系统的可用性。
通常情况下,电力负荷包括暖通空调、机房动力配套设施以及电气照明等。在具体计算电力负荷时,通常按照负荷的额定功耗和不同设备的冗余度选取不同的同时系数来计算整体机房的负荷值,这样可以有效保证计算结果的准确性,确保供配电设计能够有效满足机房的用电负荷需求。
通信机房DC化重构后,后续会逐步向数据中心演进。对于已定的DC机楼,按照DC机房业务需求等级搭建供配电系统。对于等级设置较高的DC节点,优选2路市电引入,高低压配电按照2N系统建设,高压侧和低压侧均为母联联接。不间断电源配电系统也按照2N方式配置,后端设备负载均衡分布在两个系统上,每个系统带载率不高于40%。对于等级设置较低的DC节点,优先保证有一路可靠的市电输入,不间断电源配电系统按照N+1(N≤4)方式配置,后端设备负载的用电需求不高于N系统的总容量。对于不同等级的DC节点,所需求的供配电建设等级也不同,从设计阶段就开始优化供配电系统容量尤为重要,可以减少系统容量配置过大而造成的资源浪费[5]。除此之外,不同电源设备的带载率不同,其效率值也不同,UPS与HVDC模块的效率与带载率曲线如图1、图2所示。
图1 UPS模块的效率与带载率曲线
图2 HVDC模块的效率与带载率曲线
每种电源设备均有高效带载区间,使其运行在高效率区间,尽量减少因电源设备无功功率造成的能量损失。现阶段市场上主流的不间断电源品牌中,效率值均已实现不低于94%。在20%~60%的带载区间内,UPS和HVDC的效率可高达96%。根据DC节点的建设等级,无论是2N系统配置还是N+1系统配置,其均可以实现处于20%~60%的带载区间。在DC机房不间断电源系统建设时,对于后端负荷明确的场景,合理控制建设容量;对于后端负荷不明确的场景,建议采用模块机,按照设备负荷需求分阶段配置电源模块。
供配电系统的设计具有复杂性、系统性以及可扩展性,在具体设计和建设过程中需要根据实际情况确定负荷等级,合理配置电力设备,优化高、低压供配电系统的设计容量,以此来提高供配电系统设计的科学性和合理性,实现电力资源的有效利用,更好地满足DC化机房的用电需求。
UPS的双变换功能可以为负载提供高质量电能,但是由于功率变换有整流(AC/DC)和逆变(DC/AC)两个环节,因此这也是消耗能量最大的运行模式。此外,不同类型UPS的双变换效率也存在显著差异,特别是传统工频UPS在双变换模式下的运行效率普遍较低。
如果运行在节能模式,即在静态旁路的基础上增加有源滤波器,该模式下逆变器作为有源滤波器实时动态在线,配合静态旁路上的电能调制单元,使系统能够满足相当大范围内的电网和负载电能调节需求。当无功负载或非线性负载连接到UPS且存在谐波或无功电流时,UPS中的逆变器能够起到有源滤波器的作用来进行补偿,并且仅消耗部分电能来补偿电路干扰,效率较高。
巴拿马系统也是基于减少整流环节和功率因数校正(Power Factor Correction,PFC)升压电路来进一步提高系统效率,通过减少这些环节,巴拿马系统的效率比高压直流系统提高1%。
传统通信机房中,高低压配电室一般设置在机楼一层或独立建设的辅楼内,后备电源常选用低压柴油发电机组。由于负载设备在不同的楼层,因此设备供电需要通过长距离的线缆传送,线路损耗大,不满足DC重构的节能建设需求。基于此,合理安排变电站和配电站的位置、缩短管网、减少线路损耗、降低运行成本是DC化重构供配电系统构建的一种趋势,也是未来通信机房供配电系统建设演进的一种趋势。
为了降低线路损耗,可以提升供电电压等级,将变压器就近设置在负荷层。根据功率公式P=UI,同等功率的电力传输中,电压越大则线路上的电流越小,线路上的发热就越少,线路上的电力损耗也就越少。与此同时,合理选用设备系统,提高其负荷率,使设备处于经济运行状态,降低其无功功耗。在变配电房的低压侧安装电容器进行无功补偿,以此提高变压器利用率,降低无功损耗。合理选用变压器,提高其负荷率,使变压器处于经济运行状态[6]。
空调系统是数据中心中的能耗大户,只有从空调系统入手才能从根本上解决通信机房或数据中心的高能耗问题。根据多年工作经验,优化气流组织往往是最简单有效且容易实现闭环的措施。根据《数据中心设计规范》(GB 50174—2017),对于单台机柜发热量大于4 kW的主机房,宜采用活动地板下送风/上回风、行间制冷空调前送风/后回风等方式,同时采取冷热通道隔离措施。
数据中心运营中,IT设备的发热量受业务变化的影响会有很大起伏,定频空调压缩机,只能通过启/停来调节冷量输出,造成数据中心运行环境出现较大的温度波动,而且全年平均能效水平也很低。而全变频氟泵空调采用变频压缩机,可以根据室内负载变化、室外温度变化调节冷量输出,完全匹配制冷需求,温度控制也更精确。
变频压缩机支持高送回风温度,可以提高空调能效比,实现高显热比运行。在机房发热量未达到设计负荷时,可以实现降频输出,降低空调机组功率,相比定频空调系统更加节能。由于变频空调在满负荷运行时增加了变频器的损耗,耗电量大于定频机组,因此机房负载率较高的情况下,建议使用定频空调。
除此之外,变频技术也存在一定的缺点,例如电路控制板的复杂设计导致控制电路故障频发、复杂的配管设计导致配管回路故障等,对此需要采取切实可行的解决方案。
在合理范围内提高机柜的送风温度,一般为18~27 ℃,进一步降低空调核心系统的压力功耗,从而提高空调的能效比,降低系统整体PUE指标。实际DC化重构中当然不能完全照搬理论数据,需要切实考虑项目中存在的具体问题,如DC化重构后的使用目的、日常运维对于环境的要求等。
空调系统集成智能电表,可以方便日常运维中随时查看空调系统的用电量,减少后期工程难度。在空调系统中集成无线连接模块,支持无线通信,减少了空调设备接入动环监控系统的布线、调试等安装调试时间和人力成本。根据调研,在某联通机房中已率先开展试点工作,招标规范要求设备厂家空调产品具备无线连接和智能电表计量,并且支持在后期的升级改造中进行人工智能控制。
传统通信机房为分布式部署模式,不仅依赖于机房所在楼宇,而且对于业务变化后的机房扩容也极不友好。DC化重构中标志性的动作便是部署封闭通道样式的微模块方案,解决了其分散式、尺寸不统一、对现场依赖高等缺点,极大地提高了方案的灵活性。在此基础上,要考虑满足PUE降低、智能化管理所带来的新需求。通信机柜重构为DC化服务器机柜后,机柜的可用空间增大,可以利用这部分空间部署智能传感器,集成在机柜内部。与此同时,在工程前期利用计算流体动力学(Computational Fluid Dynamics,CFD)仿真等手段测算出项目实际运行所需的冷量曲线、地板开孔面积等。
对于系统级管理问题,同样也可以下沉到机柜内部的U位级管理,能效监控的颗粒度可以得到显著降低。除此之外,DC化服务器机柜的承重问题、DC化服务器机柜前后门开孔率等问题也不容忽视,需要强化对于系统细节的管理和认识,杜绝盲目追求参数极限,结合实际需求保证功能落地。
运营商现网存在大量需要DC化重构的通信机房,对于DC重构方案要有较好的建设周期来满足业务需求。在行业常用微模块方案中,集成到DC化服务器内部的智能母线系统可以极大地缩短交付周期,同时提高系统出柜率。良好的客户化定制能力同样非常关键,面对DC化重构非常复杂的应用场景,微模块的框架结构提出了更高的要求。对于机柜子系统、布线结构、防雷接地以及封闭通道内部的动环系统,应该做到即插即用、平滑扩容。
微模块作为DC化重构的核心系统,要符合高可用性要求。机柜系统应考虑覆盖全场景的附件系统,例如可支持刀片高密设备的承重附件、支持上下进线封堵的板件、支持多种颜色告警联通的照明系统以及提高运维效率的本地化可视化监控系统等。
通信机房DC化重构涉及不同场景和业务需求,需要针对机房的实际情况确定优化重构方案。结合小母线、智能双循环空调、冷热通道分离以及AI节能等新技术的应用,提升机房空间利用率、降低机房PUE、降低机房能耗,在满足机房机架资源需求的同时,实现降本增效。