（2020年江苏省通信学会“华苏杯”论文征集三等奖）新型电冷量弹性应用的数据中心建设方案的研究与实践

李坤明 张 江 范晨静 游 海 陈语霄 黎春鹏

1.中国电信股份有限公司苏州分公司；2.中通服节能技术服务有限公司

0 引言

近年来，国家陆续出台了多项政策，加快推动以数据中心为代表的新型基础设施建设，各行业数字化转型升级带来的数据中心需求也在持续增长，数据中心正发挥其“一行带百业”的特有作用。2022年3月，国家层面启动“东数西算”工程，建设8个国家算力枢纽节点，规划10个国家数据中心集群。2021年，中国电信明确了天翼云业务“2+4+31+X”云网融合资源布局，建设集团、区域、省级数据中心园区。集群化建设数据中心，有利于实现算力集约化发展，有利于持续优化数据中心能源使用效率，已成为业内共识。

数据中心的发展已有20余年的历史，1996年，美国Exodus公司最早提出IDC的理念和服务，同年度，中国电信开始提供最初的服务器托管业务。2004年以后，国内基础电信运营商相继加大IDC的投入，利用机楼面积、电力、冷量等设备环境资源，建设单机柜功耗3KW的中小型数据中心，国内数据中心发展进入快车道。在需求侧的激励下，单机柜电功率持续增长。持续增长的算力需求、更低的PUE、越发紧张的机房面积资源等因素，共同推动数据中心单机柜电功耗从3-6kW，普遍增长到6kW以上，数据中心建设逐渐走向高密度、客户定制化、绿色化。

数据中心属于重资产。数据中心投资密度大、定制化设计、建设周期较长，导致当下的建设需求和长期的经济效益之间匹配的风险越来越高。本文着力于降低数据中心建设运营过程中，现状与未来不确定性之间的矛盾，兼顾双碳时代绿色节能的需求，提出了一种新型电冷量弹性应用的数据中心建设方案，并结合实践案例，为数据中心建设提供参考和依据。

1 数据中心建设方案的现状

安全、节能，已成为数据中心全生命周期内关注的核心要点，在基础设施层面，关键在于供配电、制冷方案的选择应用。近年来，数据中心电、冷技术不断迭代，包括240V直流供电技术、水冷机组、列间空调（含氟泵）等试点推广应用。数据中心整体机房建设方案也在推陈出新，目前业内广泛使用的方案包括：运营商DC化的微模块（DC舱）、腾讯的T-block、百度的蜂巢系统、机柜级制冷方案、其他第三方数据中心的建设方案。

方案之间存在共同点。供配电部分采用传统的“电源列柜+电缆布放+PDU”模式，单机柜电功率设计与当前需求精确匹配；制冷部分采用“列间空调+冷热通道封闭”或者“背板空调”、“机柜级空调”模式，核心思路均是缩短空调送回风距离，提高空调工作能效，降低PUE值。当前单机柜电功率需求对应的数据中心机房建设方案，详见表1。

表1 当前数据机房建设方案

为提高资金使用效率，建设方在数据中心机房内部建设时，基于当前单机柜电功率需求，综合考虑已有电力、空调资源，进行机房的供配电、制冷方案的定制化规划设计并实施，为保证节能效果，后期运营时的单机柜功耗，需尽量贴近设计负荷，“需求-设计-运营”之间是点对点的强耦合关系。

2 数据中心建设方案遇到的问题

随着运营商、第三方数据中心等服务商IDC租赁业务的发展，经过对多个数据中心实地走访及调研，当前问题可总结为以下3个方面。

2.1 单机柜电功率难以根据需求动态调整

业内数据中心的建设，分为可行性研究、设计、招标、施工、调测5个阶段，按照业内平均建设速度，机电立项到投产需9个月，土建立项到投产需24个月，构成详见图1。一般情况下，大客户定制IDC租期6年，普通客户租期2年，行业内对于数据中心的静态投资回收期的测算，一般不超过5年。

图1 数据中心建设工期构成

随着5G、人工智能、云计算等技术的发展，我国各行各业都在加速数字化转型，对于算力的需求逐渐变高，回顾2016、2017年，业内还在试点建设4-5kW/柜的数据中心，现已迭代为建设7KW/柜的数据中心。展望6-7年后，客户对于单机柜电功率的需求更高，存量数据中心难以直接匹配客户的需求，业主需在机房闲置或者投资改造之间做出选择。

2.2 设备环境电冷量资源池较浅

参考中国电信〔2017〕319号文件《关于印发中国电信通信机房基础设施DC化重构指导意见的通知》，变配电系统、不间断电源系统容量测算时，网络/IT设备负荷计算考虑0.80-0.95的综合系数（同时系数和需要系数），制冷系统也逐渐开展冷冻（却）水型空调系统的应用。为保证数据中心的安全性，在规划设计阶段会留有一定的冗余或者扩容空间，就数据机楼级而言，已经形成初步电源池、冷量池，能高效响应新建机房类需求。

而对于存量机房层面，未建立机房级的电源池、冷量池。目前的电、冷设计方案，单机柜电功率在设计功率下运营，PUE贴近设计值，低于设计功率使用，会出现PUE高于建设预期、资源浪费；高于设计功率使用，需要综合考虑电冷系统扩容安装条件、工程实施风险、功能让步接受等因素，重新评估、设计改造方案。一般情况下，工程实施耗时耗力、经济性不佳。

2.3 机房运营时的技术问题

包括机房局部热点，单机柜内部温度分层明显，电冷量冗余配置在经济性、安全性之间的平衡等。

3 电冷量弹性应用的数据中心建设方案的研究及实践

3.1 方案思路

实现DC基础设施灵活匹配需求，关键在于电、冷资源配套灵活、可靠响应。本方案创新性地提出弹性DC整体机房建设方案，构建机房级保障电源池、冷量池，实现单机柜电功率按需“弹性”分配。设定边界范围内，不损失当前节能效果的前提下，根据负载需求，单机柜电、冷资源的实时调整。有效地减少了当下的建设需求和长期的经济效益之间匹配的风险。

方案设计了电力负荷弹性分配系统、冷量弹性分配系统，两者整体承载于金属框架结构件上，综合考虑机房层高、综合布线、管路走向等，进行整体机房工艺结构设计，构建“两池”，电和冷是数据中心设备环境的核心要素，建设方案将颗粒度细化到每一列机柜，实现了电冷最末端池化的构思（见图2）。简述如下：

图2 弹性DC机房方案示意图

电力负荷弹性分配系统，应用列间配电母线技术，代替传统的电源列柜、电力电缆布放的实施方式。列间配电母线由始端箱、直线段、插接箱构成，详见图3列间配电母线示意图。机柜电源从插接箱内引出，单个插接箱的负载取决于插接箱和直线段之间的导电材料接触面积、插接箱内的空气断路器和连接电缆的额定电流，对这两个关键点合理设计冗余，极少的造价成本，可以实现电功率的动态实时调整。

图3 列间配电母线示意图

冷量弹性分配系统，应用热管背板+风墙技术，以列为单位，构建冷量池。在每列机柜的背后，用金属框架结构件构建混风墙，一侧是机柜，一侧是热管背板，实现静压箱的效果，机柜无需购置后门。基于重力型热管背板的工作原理，工质的蒸发量取决于服务器产生的热量，即使同一列机柜之间电功率有差异，仍能精确制冷，实现冷量的按需实时调整，具有良好的节能效果。采用这样的设计，一方面，每台机柜可以获得均匀的静压出风，消除柜内不同高度局部热点效果良好；另一方面，实现物理上的柜间冷源备份。

机房的消防、动环、安防、能耗、设备监控等系统的设置，仍采用原有建设思路即可。

以某运营商的数据中心整体机房建设项目为例，涉及机房空调末端、机房配电、机柜配套工程，对比弹性DC方案与微模块方案指标，同等面积的机房建设方案指标对比如表2所示。

弹性DC方案与微模块方案相比，弹性DC方案采用背板空调替代微模块的列间空调，且在背板空调与机柜之间，利用金属框架构建300mm混合风墙，实现背板空调之间互为备用；另外，弹性DC方案用列间配电母线取消了电源列柜。从机房工艺角度分析，空调方案的变化，导致弹性DC单机柜深度高于微模块，可能导致机柜列数量变少，同时，微模块列间空调位置可用于部署机柜；电源方案的变化，列柜占用的空间从平面变成了立面，微模块电源列柜位置可用于部署机柜。

综上所述，由表2的实际案例分析可知，同等机房面积资源下，弹性DC方案可建设标准服务器机柜数量更多、单机柜电功率更高、单位功率造价更低、单位功率/单机柜面积占比更低。方案有着更优的节能性、维护性和实用性。

表2 同等面积的机房建设方案指标对比

3.2 方案的边界点

建立机房级的电源池、冷量池，在边界范围内提供一定的使用弹性，可显著降低工程运营风险。方案边界范围的确定，仍从电、冷系统的上下限着手。考虑数据中心末端2N冗余设计，单机柜电功率最大值受限于以下两个因素：（1）配电母线插接箱内的微型断路器、接插件的截面积，单机柜额定电流最大值为62.5A（AC220V测算）；（2）背板空调的制冷量最大值12KW；最小值据相关模型分析，5KW以下并不具备技术、造价竞争力。综上，弹性DC整体机房建设方案单机柜电功率的边界区间，为5-12KW。

3.3 实践情况

该项目位于某运营商数据园区中，规划单机柜电功率7KW，共1024台标准服务器机柜，综合评估单机柜功耗需求，构建保障电源池、保障冷量池。效果图如图4、图5所示。

图4 整体建设效果图

图5 单列机柜顶部管线图

经测算，弹性DC方案将单机柜基础功耗设定为7KW，最高可支持9kW，实际使用功耗向下兼容，实测PUE值1.13，低于国家工业和信息化部、国家机关事务管理局、国家能源局关于加强绿色数据中心建设的指导意见中，新建大型数据中心PUE 要达到1.4以下的要求。同比同一园区内的微模块数据中心，水冷空调模式，实测PUE值1.42；同一地区其他园区微模块数据中心，风冷空调模式，实测PUE值1.62，弹性DC方案有着显著的优势。

在工程实践中，践行了模块化、工程产品化的思路，取得了良好的效果。经过整合设计，工厂预制结构件；优化现有工序，部分关键线路上的工作由串联改为并联，金属框架结构件7天内进场定位快速搭建，预制并先于设备到货安排空调管路、综合布线等分项工程进场。本项目一期工程754台机柜位，从签订合同到工程竣工，共用时40天，优于行业平均水平。

4 结束语

数据中心建设的“多快好省”是从业者不断追求的过程，也是一个不断迭代的过程。笔者通过调研分析当前数据中心建设过程中的痛点，综合评估弹性使用、优化工序、节约投资等方面，提出一种实用可行的弹性DC建设方案，分析对比目前主流方案并阐述实践结果，功能、投资、工期、节能均满足并优于项目预期和行业平均水平，为行业内数据中心基础设施的建设提供参考和依据。