数据中心的供配电设计与施工探讨

张一凡, 滑 祥

(万国数据服务有限公司, 上海 200131)

0 引 言

数据中心供配电系统是为机房内所有需要电源的设备提供稳定、可靠的动力电源支持的系统。一旦供配电系统出现故障,轻则降低IT或辅助设备的冗余度,重则会导致IT设备断电宕机,造成经济损失和社会影响。本文结合项目中的实际设备故障案例和运行数据,对A级数据中心的供配电系统设计、施工方面进行分析,供相关技术人员参考。

1 数据中心的规范要求

1.1 ANSI标准TIA-942

美国国家标准学会(ANSI)于2005批准颁布的TIA-942(ANSI/TIA/EIA-942 Telecommunications Infrastructure Standard for Data Centers《数据中心通信基础设施标准》),该标准针对数据中心基础设施的可用性定义了4种不同等级,作为数据中心基础设施分级认证的标准。4种不同等级认证分别被命名为Tier 1、Tier 2、Tier 3、Tier 4等级,分别对应数据中心的可用性指标及年平均故障时间。其中Tier 4级可用性99.995%、年平均故障时间0.4 h。

1.2 国标GB 50174

依据GB 50174—2017《数据中心设计规范》规定,数据中心设计时应根据机房的使用性质,管理要求及其在经济社会中的重要性确认机房级别,划分为A、B、C 3种级别。A级数据中心的基础设施宜按照容错系统配置,基础设施应在一次意外事故后或单系统设备维护、检修时仍能保证电子信息系统正常运行[1]。A级数据中心应由双重电源供电,并应设置备用电源。

2 数据中心的现状

大型园区型数据中心通常配置独立的220 kV或110 kV变电站,由变电站馈送10 kV电源至数据楼;中型数据中心往往采用2回110 kV或35 kV的线变组接入后,通过10 kV母线馈送各配电变;小型数据中心基本上用2回10 kV市电电源通过电缆送往数据中心高压10 kV配电系统。

独立的数据楼通常是2路10 kV电缆电源进线,10 kV电气主接线为单母线分段,并配置能承担数据机房满载正常运行的柴油发电机组作为备用电源。配电变压器常采用2N系统设置,后端不间断电源系统通常采用2N的UPS并机系统供电,也有部分采用2N的高压直流配电或1路高压直流配电、1路市电直供方式。标准2N系统A级数据中心供配电系统示意图如图1所示。

图1 标准2N系统A级数据中心供配电系统示意图

2.1 0.4 kV联络母线

2N系统设计的低压配电系统,考虑10 kV馈线电缆、配电变压器在运行中的故障场景,通常设计有0.4 kV联络母线[1]。低压密集绝缘母线由于其造价、体积等优点,数据中心项目上基本上采用此类母线。

按照建设方对降低数据中心建设成本的要求,部分项目在0.4 kV优化联络母线。某项目低压配电一次图如图2所示。图中,原本低压联络开关、隔离开关的标准配置省去了额定电流3 200 A或4 000 A的隔离开关。

图2 某项目低压配电一次图

在实际运维现场中,0.4 kV联络母线空载带电时发生过数起短路故障,造成配电变低压总进线开关保护分闸,单边母线停电。人工应急检查,对联络母线段隔离后,恢复2N低压配电。与母线厂商一起对事故原因进行分析,结论为:母线连接处安装不到位,一侧连接侧板压在连接器异型材,接触不紧密,存在间隙;另一侧未插接到位,母线铜排相间裸露,电气间隙不满足设计要求。某品牌低压密集绝缘母线接头连接器安装异常如图3所示。在灰尘、湿度变化时易引起击穿空气造成短路,瞬间高温造成铜排熔化。

图3 某品牌低压密集绝缘母线接头连接器安装异常

2.2 UPS并机系统外部维修旁路母线

项目中UPS通常采用2～4台并机系统,通过UPS的并列运行,提高UPS供电系统的可靠性、增加UPS系统的冗余度。UPS并机系统均配置外部维修旁路,用于UPS的整组维修、维护等场景。根据并机系统容量的大小,外部维修旁路常采用额定电流3 200 A、2 500 A、2 000 A的低压密集绝缘母线。

为降低数据中心的建设成本,新设计的项目在外部维修旁路电源侧设置框架式断路器,后端通过母线直接转接至UPS输出并机柜的母线,省去了1个框架式隔离开关及其盘柜。早期项目配电情况如图1所示,外部维修旁路的电源侧配置断路器、负载侧配置断路器或隔离开关,其优势在于密集绝缘母线故障时隔离、日常维护隔离用。

2.3 园区型中心用户变电站的电气主接线

随着“东数西算”项目的推进,在大型、超大型、园区型数据中心项目中,独立变电站往往配置不小于4台电力变压器,此时其电气主接线在设计报审阶段前就需要和外电部门沟通。目前部分110/10 kV的变电站,110 kV采用单母线分段,设置联络开关;部分变电站,采用两套一进多出的单母线,无联络开关。

以江苏某园区型数据中心为例,某园区型数据中心配套变电站一次图如图4所示。因电网侧的原因,近年上级电网多次要求用户站配合倒闸,设置联络开关,在电网调度指令下,利用110 kV联络开关短时合环运行,实施不停电倒负荷,避免下挂5栋数据楼的10条线路停电操作,实现后端负载无感知。

图4 某园区型数据中心配套变电站一次图

2.4 用户变电站的无功补偿配置

数据中心设置的变电站电压等级分为35 kV、110 kV及220 kV,国网单位往往凭借原来应用于工业企业或者电网变电站的设计经验,在10 kV母线段上挂大量电容器,作为感性无功功率的补偿。

数据中心行业设备以不间断电源UPS设备为主,其设备技术参数要求功率因素不低于0.95,电源端内部配置PFC等类似设备。因此在后端服务器负载投入时,用户站进线侧功率因素为0.95以上,且偏容性。用户站配置的高压电容器除变电站起动时,整个数据中心生命周期,电容器补偿装置均闲置,造成设备投资浪费。

电网电费计量点根据所在区域、项目也不一样。上海区域电费计量点均在用户侧进线计量;河北等地电费计量点在电网变电站出线侧;江苏区域依据不同项目,有的计量点在用户侧,有的在电网侧,根据供用电合同的约定。当计量点在电网侧时,通过较长的电缆输送至用户站,因电缆的电容效应,会消耗大量的容性无功功率。数据中心后端负载一般都是随客户服务器上架而缓慢升高,在投用的1～3年内,有功功率不高时,易造成计量点处功率因素偏低,每个月都会因电网考核指标而罚款,造成用户不必要的经济损失。用户站因前期按照工业企业变电站配置,未配置高压电抗器类负载而面临无法进行容性无功功率过剩的补偿尴尬。

3 设计与施工

3.1 低压密集绝缘母线应用时的设计

设计配置时需要注意:① 0.4 kV配电系统,采用单母线分段接线形式,新建工程必须设置低压联络开关、隔离开关柜,用于低压联络用密集绝缘母线的故障隔离、日常检修场景。② IT用UPS外部维修旁路采用低压密集绝缘母线时,维修旁路的电源侧、负载侧宜分别装断路器、隔离开关,用于应对密集绝缘母线的故障隔离、日常检修场景。

由于低压密集绝缘母线的安装工艺要求较空气绝缘母线高,如果没有设置隔离开关,一旦发生故障会造成低压母线一段时间单边不可用,单边UPS的蓄电池放电耗尽,后端负载单边供电中断,IT设备冗余降低。并机UPS系统的输出柜亦需要考虑上述接头故障场景,如果没有设置隔离开关,一旦发生故障,会造成UPS输出中断,多个列头柜单边供电中断。隔离故障部位的时间视抢修人员能力而定,易造成下端模块机房IT设备长时间单边供电。数据机房目前都是靠2N服务器电源PSU来保证高可靠性,隔离故障所需时间内,多个列头柜的单路供电存在较大风险。

3.2 用户变电站的设计

设计优化点一:大型园区型数据中心项目中,其往往配置不小于4台电力变压器,其高压电气主接线宜按照设计联络开关报批。

项目中,GIS设备在上述设计时,除了增加1个间隔的成本外,必然会布置在同一个防火分区内,有人会提出疑问:按照GB 50174—2017的要求A级数据中心,容错配置的变配电设备应分别布置在不同的物理隔间内[1]。数据楼内配电设施按照此要求执行,而独立变电站可以参考电网的变电站设计。

设计优化点二:设计高电压等级变电站的项目,当计量点在电网侧,通过较长的电缆、架空/电缆混合线路输送至用户站,需要设计单位考虑电缆的电容效应的影响,结合数据中心生产负载增长速度,适当设置电抗器类补偿设备,减少电容设备的配置。

3.3 低压密集绝缘母线的施工

低压联络母线施工中需要注意:① 低压密集绝缘母线(大母线、机房配电母线)的安装需要确保施工遵循厂家的《作业施工、安装维护手册》技术点实施。重点关注段间连接器的安装质量。在专人检查连接器内部母排和铜片的搭接状态无误后,统一进行连接器外防护盖板的安装。母线接头连接器结构示意图如图5所示。具体执行参考《低压母线槽应用技术规程》的安装、验收章节[2]。② 运维前带载测试期间,红外成像检查母线槽的连接器等是否满足厂家标称温升要求。

图5 母线接头连接器结构示意图

低压密集绝缘母线的设计说明、施工交底中需明确:① 联络母线额定电流不小于3 200 A,单节母线长度不小于2 m的,每一单元母线支架应不少于2个;② 水平母线槽的安装方面:立式、卧式均需要使用压板将母线槽外壳固定在支架上;③ 支架的高低应一致,支架设置的位置应避开母线槽接头,位于连接器两端[2]。

在实际故障、施工中,单节密集绝缘母线较长时,其重量较大,施工人员对母线进行安装时如果吊架过少,其安装难度较大,难以确保施工质量(接头);吊杆、支架等辅材其价格便宜,不会影响工程成本。用母线槽压板防止安装中母线左右晃动,造成安装好的连接器又出现移位。

3.4 10 kV电缆头的施工

电力电缆终端的施工注意事项:① 施工人员具备施工资质,按照附件厂商施工说明书施工;② 电缆的外屏蔽层与电缆终端内的屏蔽层搭接良好;③ 电缆终端的应力锥部位不允许承受弯曲应力,尽量保持直线[3]。

电缆终端往往是高压电缆相对薄弱的地方,其制作质量决定了电缆的运行可靠性。事故案例一:10 kV电缆使用冷缩终端时,可以采用冷缩直管、冷缩终端、三支套结构,也可以采用冷缩终端、冷缩直管、三支套结构。采用第一种结构相对来说安装后,局部放电风险较大。某数据中心项目中干式配电变的高压侧电缆采用上进线,10 kV电缆采用第一种方式制作终端,由于冷缩终端处于分叉处,长期导致喇叭口处电场应力集中,最终导致电缆的主绝缘单相对地绝缘击穿事故发生。事故案例二:某施工单位为降低成本,临时聘请1人实施10 kV电缆头的施工作业,施工单位未能识别出该人员不具备电缆头制作能力。造成多个新建项目电缆头制作不合格,耐压试验时发现异常,解剖发现挤包绝缘电缆的半导电层没有按照要求与应力锥的半导电层均匀不间断地过渡,中间有一段仅用冷缩直管包裹剥去半导电层的电缆主绝缘。

4 结 语

一座高可靠性、经济运行的数据中心与开始的设计到设备制造、施工安装、后期运行维护等都密切相关,任何一个环节的不足都会给后期设备运维带来潜在风险或增加运维成本。