大型数据中心低碳解决方案的现状、趋势和对策建议

许幸荣 刘 琪 夏俊杰 梁 鹏 王铁敬

1 中国联通智能城市研究院 北京 100048

2 重庆大学能源与动力工程学院 重庆 400044

3 北京信息科技大学 北京 100101

引言

2022年2月，我国“东数西算”工程正式启动[1]。“东数西算”工程将促进东西部数据流动和价值转移，促进数据中心相关产业逐步向西部地区转移，降低数据绕转时延和长距离传输成本，提供可靠的数据中心能源供给，调整能耗指标。大型数据中心低碳解决方案也需要根据东数西算工程的部署进行逐步优化。本文主要对现有大型数据中心低碳解决方案进行分析,并根据低碳技术发展趋势,结合“东数西算”工程特有的布局特色，为大型数据中心低碳建设提供对策建议。

1 大型数据中心低碳主要技术趋势

近年来在国内外相关政策的引导下,数据中心渐渐从传统的小型数据中心转变成大型超大型数据中心。国家“东数西算”工程的推进和地方枢纽节点的部署，实现算力资源配比的最优化，推进了大型数据中心绿色低碳发展，减少设施运营成本。大型数据中心低碳技术主要在空调系统、电气系统和运维管理等方面进行创新应用来减少产生的能耗，降低PUE，同时注重对能源的回收利用和存储，提高资源的利用率。

1.1 优化空调系统架构

空调系统在大型数据中心的能耗中占比最大，因此优化空调系统架构是降低能耗的关键。水冷系统技术发展成熟，被广泛应用，但是随着能耗的不断增大，这种技术难以满足新的降耗需求且施工周期较长。

为了解决空调系统能耗问题，近年来发展了许多新型制冷技术，有节能节水效果好且施工时间短的间接蒸发冷却技术，但是该技术对建筑布局有一定要求，而且在连续制冷上效果不明显。液冷技术逐渐成为大型数据中心的解决方案。液冷技术有两种方式：一种是直接液冷技术，主要为浸没式液冷技术，原理是让冷却液与电子元器件充分接触，在发热时完成热交换和制冷，特点是散热快、噪音小；另一种是间接液冷技术，主要分为冷板式和热管式，目前应用常见的是单相冷板式液冷技术方案，间接液冷技术的原理是让热源不直接接触冷却液，但是存在通用性低、安装难度大的问题。以上两种方式对提升数据中心制冷效率、节能降碳都有极大的促进作用。

1.2 挖掘电气系统潜力

经过多年的发展，数据中心的电气系统已经很成熟，但仍有潜在的节能空间。电气系统在供配电方面的节能技术也在不断创新，目前新型供配电技术主要为模块化UPS设计、锂离子电池技术和高压直流技术。UPS系统的模块化设计具有设计灵活的优点，这种设计可以使输入输出的主机实现一体化，在设备配置过程中投入的成本少，可塑性高。锂离子电池技术的发展不断提高能量密度和安全性能，成本不断降低，使得锂电池在数据中心的需求量逐渐增多，锂电池正朝着成为下一代主流能源的方向发展。数据中心IT设备常使用高压直流(HVDC)技术，HVDC是将整流的配电前端的输出电流进行转换，得到的直流电源为服务器供电。服务器电源不需要再进行电流转换，直接使用DC-DC，这样减少了转换中的能量损失，提高配电质量，使电流更加稳定[2]。

1.3 绿色智能运维管理

传统大型数据中心往往使用人工运维的方式，随着物联网和人工智能技术的持续改进和广泛应用，智能化运维管理避免了运维效率低的重复人为劳动。智能管理技术向运维全生命周期数字化，实现运维的自动驾驶方向上不断演进。智能管理技术提高了大型数据中心的运维管理效率。

智能管理技术以高效算法为基础，对数据的收集进行准确控制，进行建模分析，智能化的流程提高了大型数据中心的能效。主要利用人工智能算法结合用户设置计算的利用率分析设备的功耗，评价设备的承载水平，得到实时反馈，对出现的问题进行实时分析并处理，提高准确性及安全性。

1.4 回收利用剩余热能

大型数据中心有大量余热通过空调系统散出，这些热能约有九成来自消耗的电能，但是现在很多大型数据中心没有利用这种多余热能，充分利用余热不仅节省了资源还可以显着减少碳排放。

国内的大型数据中心正在研发余热回收技术，主要将机房回收冷冻水的余热通过热泵机组二次升温，转为周围社区或单位的供暖热源，同时余热回收也可以结合燃气发电技术为数据中心供电，这样既提高机房冷却效果也减少了能耗。余热回收技术也可以利用内外循环的冷热空气做冷热交换，使用磁悬浮热泵使余热制冷等为大型数据中心降温。国外对余热的回收利用也进行了各种试验，如加热游泳池的池水、为植物园提供室内供暖、锅炉给水预热等。但总体来看，热回收技术还需进一步改进，进而提升数据中心余热回收效率。

1.5 助力数据中心储能

国家政策鼓励大型数据中心部署储能设施，储能技术成为大型数据中心低碳技术发展的重要方向。在储能技术选择上通常选用电化学储能和机械储能，过去电化学储能通常使用铅酸和铅碳电池，而最新储能技术研发的锂离子电池可以代替这种电池并广泛应用。转换效率更高的燃料电池有望替代锂离子电池，但成本过高。全钒液流电池也是一种新型环保储能电源，在能量效率、使用寿命和充放电性能上表现优秀。机械储能目前也是受关注的储能方式，例如常用的飞轮储能技术，该技术是一种无电池技术，利用高速旋转的磁悬浮飞轮铁芯作为储能介质，具有使用周期长、高效率、无污染等优点。飞轮储能技术也可以与不间断电源设备结合成动态不间断电源设备，降低运维成本。

我国大型数据中心市场正在上升阶段，随着相关政策的提出和低碳绿色的要求，大型数据中心低碳技术将在低成本、高效率、高性能、智能化的方向上不断创新。

2 大型数据中心低碳解决方案分析

2.1 大型互联网公司数据中心整体方案

以京东云为代表的大型互联网公司，在廊坊数据中心实施低碳节能战略。从规划期开始，数据中心关注自然冷源和清洁能源的使用，对旧设备回收利用，注重低碳建筑设施布局，本着环保、可持续发展的原则，对数据中心整个系统进行调整和升级。同时利用当地生产和可回收材料，完成工厂订单的低碳交付。

为了实现基础设施的节能减排，在空调系统节能方面，大范围使用液冷技术和废热回收技术加强冷却，并使用高温水系统对CPU降温，全年碳排放量减少10%以上，PUE小于1.1，节省了30%的能耗[3]。在电气系统节能方面，新一代数据中心使用了低碳安全的能源回收系统和清洁高效的分布式光伏发电系统。在绿色IT设备方面，京东云自研究软硬一体虚拟化架构“京刚”，这种架构在完成虚拟化工作时，可以用硬件代替软件，提高更多自研的可能性，这使得服务器的总体性能比原来提高了30%。在智能化运维方面，京东云建立运维管理平台，通过物联网和人工智能技术实现动态可控的运维管理，提升数据中心效率，监控废弃物回收和设备维护状态。应用智能巡检机器人，实现自动巡检功能，发现故障点进行识别后发送定位并自动修复，可在全天无人条件下完成智能巡检，减少人工成本。

2.2 运营商数据中心基础设施低碳解决方案

在技术和管理的双重支撑下，中国联通重庆市水土数据中心落实“东数西算”工程基础设施战略，支持成渝枢纽经济地区健康稳定发展。

在空调系统节能和绿色IT设备方面，数据中心的IT机房使用基于EC风扇的精密空调系统。这种空调系统可以在数据中心机房内实现气流的良性循环，设备在运行时都能达到稳定的冷却值。数据中心配备蓄冷罐，在发生电网故障或冷水机组故障时，蓄冷罐可以不间断地冷却服务器。这使制冷系统保持稳定状态，防止冷水机在低负载条件下跳变难以运行。为了着重降温机房服务器分布的地方，水土数据中心运用了封闭冷通道技术，在符合温度标准的同时，又能节省电力。经过一段时间使用后，2021年全年水土数据中心2号楼的PUE下降到平均1.35，节约60%以上的能耗，节约380万度电量，节约3405吨水。后续数据中心可以采用封闭热通道技术来加大节能，通过提高回风温度、增大送回风温差、贴近热源制冷降低末端风机的输送能耗。

在智能化运维方面，数据中心中控室的云端能效分析系统对能效、能耗率、温湿度变化等进行智能对比，工作人员可以实时集中监控数据中心冷源系统、机房环境系统和电力系统等。该系统保证能效分析的指导性、实时性和可操作性，实时协调运维策略，减少能源浪费。

2.3 ICT供应商下一代数据中心低碳解决方案

以华为为代表的ICT供应商对下一代数据中心[4]推出多个低碳解决方案。在建设期间采用预制模块化技术完成全生命周期低碳环保。在建筑过程中，现场施工与工厂模块制造协同工作，显着提高效率，杜绝“三废”。减少施工中碳排放，也减少垃圾和施工用水。在空调系统节能方面，使用间接蒸发冷却系统，借助自然冷源，全面贯彻降低PUE的理念，节省了超过40%的水电。

在电气系统节能和绿色IT设备方面，改造供配电系统架构，使用全链融合电力模块和智能锂电池，从分布式部件到融合供电，提高供电效率并节省供电面积。在智能化运维方面，华为提出智能运维iCooling解决方案，并应用在华为廊坊云数据中心的制冷优化。这种能效优化技术与大数据和人工智能相结合，可以找出使能效最优的方式，针对不同区域需求自动调节参数使制冷更精准。该方案致力无人调节并可持续优化，每年节省近3000万度电量，将PUE降至1.26，实现碳排放减少1.3万吨。

2.4 电力或其他数据密集型数据中心整体方案

电力系统也在全国各地部署了大量的数据中心，甘肃国网云数据中心是西北地区的国家电网公司中第一个获得碳中和证书[5]的大型数据中心。甘肃国网云数据中心建设在兰州新区，拥有海拔高气温低的优势。在空调系统节能方面，使用风冷与水冷技术共同制冷，同时应用冷源自控技术和热管背板技术，达到全年有一半的自然冷却时间。在电气系统节能方面，使用三路市电结合UPS(ECO)模式的电力系统。数据中心进行绿色电力的市场交易，100%使用可再生清洁能源，其中80%的清洁能源为光伏、风电能源，剩余为水电能源。在智能化运维方面，甘肃国网云数据中心在“国网云”的架构基础上对IT设备实施分布式和云化方式部署，实现智能数字化运维管理，节省超过35%的成本。

甘肃国网云数据中心为其他大型数据中心的低碳化建设提供经验，推进东数西算工程在甘肃枢纽甚至全国大型数据中心共同实现碳中和目标。

随着数据中心机柜功率密度的增加，能耗也逐渐增多。表1是四种类型大型数据中心的解决方案，可以看出目前大型数据中心的解决方案主要集中在选址建设、空调系统节能、电气系统节能、绿色IT设备使用和智能化运维几个方面。在选址建设上大多数据中心采用绿色的建筑标准，在建设时就地减少碳排放。ICT供应商提供的预制模块化技术目前运用在许多新建设的大型数据中心上。运营商的大型数据中心和电力或其他数据密集型数据中心近几年根据“东数西算”工程布局在西部枢纽和集群地区发展建设。在空调系统节能方面，液冷技术是数据中心制冷节能领域的发展方向。电气系统节能上注重更改供配电架构、能源回收以及新能源使用。绿色IT设备使用可以有效减少数据中心耗电，使得服务器等设备冷却效果更好。智能化运维可以在满足用户需求和不同业务场景同时管理，有效降低数据中心的运维成本，安全有效低碳地为企业产生更多的经济效益。

表1 大型数据中心低碳解决方案案例

3 大型数据中心低碳解决方案发展趋势

在政策方面，我国对数据中心政策在能效的评估指标上越来越严格，过去PUE是唯一的评价指标，而现在增加CUE、WUE和绿色低碳等各种新指标进行综合评估。在未来更多新的能效指标也将被考虑在内，越来越多样化的考核政策使行业全方面进步，促进低碳发展。大型数据中心是各行业数字化快速发展的重要支柱，绿色算力推动数字化转型中的高效高质量生产和低碳发展。2020年“可再生能源消费保障机制”的发布为可再生能源保障加入省级能源市场提供机会。广东、山东、京津冀等地方政府在收购绿色风电上出台了相关政策，鼓励利用数据中心屋顶和设施的开放空间建设互补的太阳能和风力发电系统，使太阳能及时发电可以被直接使用[6]。同时，内蒙古、贵州等地在能源、土地和税收等方面出台了优惠政策，这使得数据中心的建设和运营成本减少，有助于扩大数据中心建设规模。特别是“东数西算”工程开始全面建设情况下，大型数据中心的布局可以根据工程的导向建设在相关算力枢纽和算力集群地区。

在技术方面，节能减排技术研发不断创新，以致力于低碳优化数据中心系统体系。具体低碳解决方案集中在模块化建筑组装、使用绿色IT设备、智能化管理平台、供配电简洁化技术和低碳制冷技术等。采用智能化管理系统和平台可以不断减少数据中心PUE和WUE，也省去人工管理的成本，信息反馈更及时可靠。数据中心供配电系统在设计上可以减少一些不实用能耗高占地面积大的元件，或因尺寸小容易发生能源限制的元件。改进制冷技术，可在数据中心建立自然冷源和余热回收利用系统。自然冷源系统将外部冷空气当作冷源使用，机房中的服务器可以使用多次过滤后的冷源，减少风冷服务器的使用能耗。

在行业实践方面，数据中心低碳供应商持续提供冷却新方案，氟化物泵、液体冷却、间接蒸发等冷却技术的发展使冷却效率显著提高，冷却低碳解决方案仍是关注焦点。我国在绿色能源的研发与应用上仍在初步阶段，目前多将研发基于光伏、风电、锂电池等绿色电力的供配电技术，使绿色电力的应用达到最佳低碳效果。在推进数据中心部署和匹配上进行模块化、专业化、装配化，减少配电设施建设的复杂度，机房机电按照不同等级差异化建设[7]。同时大型数据中心在新建和改建的过程中要确保质量和安全的基本要求，倡导绿色施工，除了节约建设能源和资源，还有注意减少建筑垃圾影响周围环境，加大施工中环境保护监管力度[8]，积极承担低碳发展的责任。

4 大型数据中心低碳解决方案相关建议

4.1 加速低碳算力网络建设

在“东数西算”工程的背景下，大型数据中心建设规模不断扩大，用户对高质量低时延的算力服务需求的增加使大型数据中心产生极大的能耗。运营商在大型数据中心的建设上应该推动低碳算力网络建设，提高网络能力的同时降低大型数据中心的单位算力能耗。算力网络技术需要不断创新，在算力基础设施上加快老旧高能耗设备退网并进行低碳化改造，发展算网融合服务。构建新型网络调度和算力相匹配的算力调度体系实现云网一体和云边协同。在算力测量上从单一节点度量用户的算力转为集成协同度量，满足用户的业务需求。

4.2 人工智能推动低碳发展

大型数据中心在存储信息、安全保证、分析预测等多个方面可以加快智能化建设。随着人工智能技术的算法不断更新迭代，在基础设备、多种传感器和强大算力的支持下，收集负载、能耗、温度等相关参数，利用深度学习神经网络生成模型，在算法学习过程中更新升级，达到超越人工管理运维的效果。特别是冷却系统在长时间的参数调试和模型学习优化中[9]，成本和耗能都有所减少。在网络层面，人工智能算法可以预测数据中心的流量趋势，多维度寻找最优部分可关断器件，降低网络闲时能耗。

4.3 使用低碳节能新技术产品

在绿色低碳科技产品应用方面，大型数据中心应使用先进合理的创新低碳技术和相关节能产品。从绿色IT设备来看，各种绿色服务器如新型液冷服务器和新能源电源模块的应用比较受欢迎。从空调系统节能技术来看，将间接蒸发式冷却技术或者直流变频空调等科技应用在制冷系统中有着很好的节能效果。从电力系统节能技术来看，目前大型数据中心采用HVDC技术或模块化不间断电源等技术，未来可以融合新能源电力的配电转换系统架构进行升级。从智能化运维来看，可以应用智能检测管理平台[10]、自动照明系统等技术减少运维成本。

4.4 落实大型数据中心低碳相关标准

碳达峰和碳中和工作的相关标准已经出台并持续完善，大型数据中心的低碳检测标准严格执行有关政策，助力实现“双碳”目标[11]。随着科技高速发展，大型数据中心低碳相关标准应与时俱进，大型数据中心也要结合自身设施状态和条件制定自己的低碳解决方案，明确低碳目标，分步骤完成低碳计划，做到精细化准确化记录碳排放情况，并系统地排查碳排放不合格项目，及时处理推进低碳中发现的问题。国家可以推广符合低碳标准和通过测试的节能减排技术，对于条件困难的大型数据中心地区给予技术资助，对于绿色低碳符合标准的大型数据中心单位给予表扬，树立行业模范和标杆，支持大型数据中心高质量全面发展。

5 结束语

大型数据中心低碳解决方案将在绿色IT基础设备和低碳技术上持续创新，我国大型数据中心产业正在加快节能减排的步伐。大型数据中心作为算力服务中心，不仅是数字经济的支柱，也是数字化技术创新应用的实验基地。新一代信息技术创新持续活跃，大型数据中心也将打破传统机房运行模式的局限，未来产业发展正逐渐从资本主导转向为创新主导。大型数据中心成功的低碳解决方案可以横向迁移到其他产业应用，推动社会低碳发展。