超级计算中心供配电系统探讨

浦廷民

中国中元国际工程有限公司 北京 100089

高性能计算技术是当今国家发展的战略性制高点，正越来越成为一个国家科技创新核心竞争力的重要体现，是推动国家安全与创新发展的核心引擎，在国家安全、科技创新、经济发展和社会进步等各方面都发挥着重要作用。超级计算中心与普通数据中心的用电设备、运行模式及保障等级均有差异，国家并无相应设计规范及标准，设计人员需对项目进行综合分析，制定合理的供配电系统方案。

1 超级计算中心发展现状

科学技术是第一生产力，是先进生产力的集中体现和主要标志。2016年，我国发布《国家创新驱动发展战略纲要》，将“推动高性能计算技术的研发和综合应用”作为“推动产业技术体系创新，创造发展新优势”的战略任务之一，科技部明确提出要“重点加强超级计算等技术研发及应用”，并部署了系列国际领先的超级计算机研制。

图1 大数据基因工程分析示意图

图2 气象大数据展示图

随着云计算、大数据、人工智能、区块链和边缘计算等高新技术的快速推广和普及，以超级计算为核心的算力经济越来越成为衡量一个地方数字经济发展程度的代表性指标。超算在智慧城市、防灾减灾、资源勘探、气象预测、地震勘探、生物模拟、材料设计、天体研究、航空航天、药物研究、动漫渲染、金融风险分析等各方面发挥的作用越来越大。

自1964年第一台高性能计算机CDC6600诞生，到最新一期TOP500排行榜占据首位、理论峰值达514PFlops的Fugaku（富岳），高性能计算机的计算能力已经有了11个数量级的提升，用电量也是大幅提升至28MW。

表1 2020年6月HPC TOP500前十排名

2 超级计算中心用电设备特点

超级计算中心的组成应根据系统运行特点及设备具体要求确定，应由超级计算机房、辅助区、支持区和运营管理区等功能区域组成[2]。

超级计算中心一般按运算能力（Linpack持续计算性能）进行等级分类，一般运算速度大于100PFlop/s 便可称为大型超级计算中心，下一代世界最快的超级计算中心运算速度已能达到1-2EFlops。

超级计算机主要特点是极大的数据存储量和极快速的数据处理速度，大型超级计算中心总用电负荷由几兆瓦到几十兆瓦，新一代E级超级计算机用电负荷将会达到50MW以上，随着芯片技术发展及制冷技术提高，单个计算机柜的功率也由几十千瓦提升至四五百千瓦，超高功率的计算机柜也更多采用高温液冷技术进行制冷，其配电及制冷相比于普通数据中心存在很大差异。

超级计算中心用电负荷一般会分为HPL工况负荷和日常工况负荷。HPL工况负荷主要是全球超级计算机大会打榜时使用的负荷，其计算机柜几乎满负荷运行，负荷功率最大；日常工况计算机柜几乎半载运行，与HPL工况的负荷相差较大。

3 超级计算中心供配电系统架构及液冷控制系统

超级计算中心主要由计算机柜、高速网络柜、存储机柜、管理机柜以及其相对应的配电及制冷系统组成，其供配电架构各不相同。

3.1 计算机柜

计算机柜主要用于部署液冷计算节点，同时内部配置配电模块及分页单元等组件，为计算节点提供物理空间、配电和制冷的基础保障。

根据超级计算中心的业务需求，其计算机柜供电保障等级相比传统数据中心IT机柜的用电保证等级略低，变压器可按N架构配置，为计算机柜供电的线路可自低压母线段采用一路市电放射式供电，提供单电源保障。

为保障计算机柜的电源质量，计算机柜会考虑配置HVDC或UPS供电，根据重要程度及客户需要，可不配置蓄电池或配置3-7min电池。

因大型超级计算中心计算机柜用电负荷超大，且负荷等级要求不高，根据客户需求及经济利益考虑，计算机柜一般不考虑柴油发电机组作为备用电源进行供电。

3.2 高速网络、存储及管理机柜

高速网络主要是超级计算机房内计算节点间和计算节点与高速存储节点联络用的内部网络。

高速网络、存储及管理机柜等设备一般按A级数据中心标准进行供电，根据客户需求可采用2N UPS供电或一路市电+一路UPS电源进行双电源供电，当采用一路市电+一路UPS电源供电时，UPS按N+1标准进行配置，UPS蓄电池按单机满载15min考虑。

高速网络、存储及管理机柜等设备用的变压器按2N架构配置，当一台变压器故障，另一台变压器能带全部负荷，同时配置N+1冗余柴油发电机组作为备用电源。

3.3 冷源设备

计算机柜和高速网络一般采用高温冷源系统制冷，高温冷源系统设备同样属于比较关键的动力设备，供电系统可靠性要求较高，一、二次高温循环水泵、冷却塔及冷源控制等冷源动力负荷建议采用双路供电。采用浸没式液冷系统时，系统有一定的热惰性，关机或断电后相变换热过程仍会持续一段时间，存在短暂超压的风险，一般会考虑不少于一组对应的一、二次泵及监控模块采用2N变压器+不间断电源的架构提供高可靠性供电， 以保证市电断电后维持部分冷夜的循环。

存储及管理机柜的制冷同样需要高可靠性电源保障，参考《数据中心设计规范》GB50174-2017中A级数据中心对IT设备的供电要求，采用一路市电和一路UPS电源双路供电， UPS可按N配置，蓄电池后备时间一般按单机满载15min考虑[1]。

冷源设备的变压器配置可均按2N容错配置，并采用柴油发电机组作为备用电源。

3.4 液冷智能化系统

液冷智能化系统实时在线监测参数及状态偏离系统正常运行的设定范围，系统即时产生报警，并记录详细的信息。系统液位保持在其预设安全范围内波动，如超过其预设安全范围，系统产生报警，并自动开启供、排液系统（泵、阀），保证液位处于预设安全范围内，如出现冷媒泄漏，系统通过液位、压力等参数检测或漏液传感器的反馈信号，及时产生报警和准确定位。系统内冷媒流量及温度异常，具备及时调节组件运行参数（如阀门开度，泵的转速等）功能，保证冷媒流量及温度处于正常范围内。

4 电力复用方案研究

因计算机柜HPL工况负荷和日常工况负荷用电负荷差异很大，如考虑计算机柜HPL工况负荷及项目总体负荷，会导致外电源回路增加，高低压柜及变压器数量增多，为节省投资并避免电力资源浪费，需结合项目情况对供配电系统进行整体规划。

超级计算机柜最大负荷发生在HPL测试工况的负荷和打榜时的负荷，测试工况一般需要调试几个月时间，全球超级计算机大会打榜时间一般几个小时。为保障HPL工况的总用电负荷，可综合分析对比HPL工况最大负荷及日常工况下所有用电负荷（包括日常工况计算机柜及制冷负荷、其它通用机柜及制冷负荷、建筑用电负荷等）的情况，组建供配电系统架构，主要是将除HPL工况负荷以外的其他用电负荷（如：其它通用机柜用电及制冷负荷、建筑用电负荷等）与HPL工况负荷错峰用电，不同时使用，这样可有效降低变配电设备投资，节省外电源等电力资源[2]。

针对以上情况，一般会考虑以下两种供配电形式：

当超级计算中心为中小规模时，变压器装机容量大约不超过20MVA时，其总用电负荷并不是太大，这种情况下可将计算机柜及其制冷系统等HPL工况下的用电负荷与其他用电负荷（如：其他通用机柜用电及制冷负荷、建筑用电负荷等）设置在同一台变压器上，多台变压器均匀配置，按两者最大负荷设置变压器容量，HPL工况下将其它用电负荷切除掉，当打榜完成后保证日常工况负荷及其它用电负荷的运行。

当超级计算中心为中大规模时，变压器装机容量可达到几十甚至上百兆伏安，此情况下HPL工况负荷本身就很大，且用电负荷集中，针对计算机柜一般会设置多台专用变压器甚至专用外电源回路，以满足HPL工况的用电保障，当打榜完成后，需对供配电系统进行改造，将约50%计算机柜专用变压器调整至其他负荷使用，同时将此部分计算机柜用电调整至另外约50%计算机柜专用变压器供电，最简单改动最小的方式就是将为计算机柜供电的互为备用的两台变压器拆除掉其中一台，将联络母线投切，可将计算机柜专用变压器装机容量减少一半，为此需协调相关供电部门提供临时供电方案，此方式可节省项目总用电量的申请，减少外电源回路数量，从而达到节省项目投资的目的。

图3 变压器数量减半之前和减半之后，变压器与计算机柜HVDC连接关系示意图

5 新技术应用

5.1 HVDC高压直流电源

数据中心传统的供电方式为交流供电，通过UPS实现不间断供电。然而计算单元是直流用电设备，末端仍要配置开关电源将交流电进行整流和DC/DC变换，才可供计算机主板上各类元件使用。

采用高压直流供电的超级计算中心，10kV或20kV电源经过配电变压器、低压配电柜、高压直流电源，最终为服务器提供240V或380V直流电源，高压直流电源输出的直流母线可以直接挂接电池，实现与交流UPS类似的不间断供电。

数据中心交流供电与直流供电的供电原理图如下所示。从图中可以看出，由于高压直流供电相比交流UPS供电少了两个交直流变换环节，因此可以节约4%左右的损耗。

高压直流电源的直流母线如果不接入电池，则每个整流模块的输出均应设置防反灌电流二极管，保证当单一模块供电时，不会因为瞬时的电压跌落引起服务器工作异常。如果接入电池，则应采取适当的技术手段，保证在电池供电模式下，电池从开始放电到放电截止的整个过程中，高压直流电源的直流输出电压满足对前一级电源直流输出的要求。

图4 数据中心交流供电与直流供电的供电原理图

5.2 飞轮储能技术解决电压闪变问题

飞轮储能设备是一种机电能量转换和储存装置，属于物理电池范畴，利用飞轮的转动惯量实现对电能的储存和释放。飞轮储能工作原理图如下。

磁悬浮飞轮储能设备是最新一代的飞轮储能装置，通过对磁悬浮轴承和高速电机的主动精密控制，使飞轮在真空腔体内以悬浮状态高速旋转存储能量，设备功率密度大，广泛应用于医院，数据中心等领域，可根据应用需要组成飞轮储能阵列系统，实现兆瓦级的功率需求。

图5 飞轮储能技术原理图

飞轮储能具有高安全、低要求、长寿命、低成本、高功率、快充放、无污染、易回收的显著特点。

电压闪变持续时间一般为3-5秒。当计算机柜所用UPS或HVDC不配置电池时，电压暂降、闪变、电源切换等原因会导致计算机柜短时供电中断，此时飞轮储能方案可以持续保证负荷的供电稳定性及供电质量。飞轮和市电可实现无缝接力供电，充放电相对独立，各回路间不会形成环流，稳定可靠。

6 结束语

超级计算中心的设计是个复杂工程，需要在设计中切实做到从设备特性、业务需求及工艺角度出发，满足系统需求，优化系统方案，为项目提供安全、可靠、经济、合理、节能、高效的供配电系统设计方案。