面向绿色数据中心创建的节能技术和能源管理集成应用

卜 震 王安光 沈 佳 孙海峰

上海市建筑科学研究院

周俊茂

中国移动通信集团上海有限公司

面向绿色数据中心创建的节能技术和能源管理集成应用

卜 震 王安光 沈 佳 孙海峰

上海市建筑科学研究院

周俊茂

中国移动通信集团上海有限公司

从提升数据中心能效水平的目标出发，介绍了国家绿色数据中心试点项目的创建思路和原则，通过上海地区某电信类IDC机房的创建案例，详述了在上海地区绿色数据中心建设和运营的节能技术和能源管理措施的集成应用情况，分析了几项节能创新技术的应用技术要点，为绿色数据中心推广提供了参考。

互联网数据中心；高压直流电源；光纤测温技术；能源管理措施

Fund Item: Shanghai Municipal Scientific Technology Committee Science Research Plan Topic（16DZ1202401）

统计数据显示全球数据中心总量已超过300万个，耗电量约占全球总耗电量的1.5%，数据中心的高能耗问题已经引起全球关注。近年来，我国城市数据中心建设进入了快速发展期，总量已超过50万，年耗电量超过全国总耗电量的1.5%[1]。特别是随着全球信息化飞速发展，互联网数据中心（IDC）建设步伐更是明显加快。根据上海统计局统计，至2013年末，上海已建成700处宏基站和300处室内分布系统，覆盖中心城区190 m2，各类互联网数据中心（IDC）机架总量达3.4万个，增加4 000个；至2014年末，IDC机架数总量达3.8万个。

国际发达国家普遍重视数据中心节能，通过采用节能低碳产品和技术以及先进的管理方法优化数据中心运营能效，降低其环境影响。美国环保署（EPA）在2010年提出并实施了“数据中心能源之星计划”，节能效率在行业内排名前25的才有资格获得能源之星标签；美国政府还积极推进“联邦数据中心整合计划”，关闭小型数据中心，取而代之的是集中式的数据中心，目前，美国数据中心平均电能使用效率（PUE）已达1.9，先进数据中心PUE已达到1.2以下。2008年，欧盟发布了《数据中心能效行为准则》，提供了减少数据中心整体能耗和碳排放的解决方案，引导数据中心节能环保水平的提升。我国大多数数据中心的PUE普遍大于2.2，与国际先进水平相比有较大差距，节能需求及潜力巨大。近年来，我国从政府层面重视绿色数据中心的示范建设，2015年制定了《国家绿色数据中心试点工作方案》，提出创建百个绿色数据中心试点，能效平均提高8%以上的目标。

绿色数据中心的建设应与数据中心类型、当地气候条件、节能技术利用水平和使用情况等相适应，我国绿色数据中心的设计、建设、运营、监管、评价、改造等诸多环节还存在不少问题有待开展专项技术研究和技术集成研究。本文首先简要介绍绿色数据中心的创建思路和原则，然后以上海地区某电信类IDC为例，重点分析绿色数据中心创建中的节能技术措施，阐述实施过程中的技术要点及问题，为该地区绿色数据中心适宜性节能技术的应用和推广提供依据和参考。

1 绿色数据中心创建思路和原则

根据工信部的《国家绿色数据中心试点工作方案》，在分析我国数据中心节能环保水平现状基础上，提出了绿色数据中心试点创建的思路和原则。其中，创建总体思路是以建立数据中心的推进机制，引导数据中心节能环保水平全面提升为目标，围绕互联网、电信、公共机构、能源、金融、生产等六大应用领域，在数据中心建设规模大、总能耗高的省市选择数据中心，开展绿色数据中心创建，探索和引导数据中心绿色低碳发展途径。创建原则一是坚持能效提升与低碳环保并重：在提升能效同时，降低碳排放和资源消耗，控制有毒有害物质使用并加强回收；二是分类实施和指导：根据应用领域特点和规模，因地制宜进行创建，分类指导规划、建设和运营；三是技术和管理并重：在开展绿色数据中心节能新技术创新和推广应用的同时，提高管理水平，建立运维管理体系。

2 创建案例

2.1 工程概况

以上海地区电信类IDC为例，该IDC位于所在园区1号楼，共有机房模块6个，机房制冷采用业内领先的水冷主机结合板式热交换技术。其中，位于1号楼四层的2、3号机房是为客户量身定制、定向租用的IDC机房，机房面积680 m2，安装业务机柜340个，IT设备负载近910 kW，机房设备使用率达90%以上。该IDC自2014年10月后开始稳定运行后，在原设计基础上综合利用十余项节能技术，并不断完善用能监测和运维管理体系。

2.2 节能技术

该IDC分别在冷源系统、建筑围护结构、机房气流组织、电源设备、照明系统等几个方面采取了节能技术措施。

1）冷源选择

项目根据上海地区的气候条件与总制冷量需求，选择了离心式冷水机组作为主用冷源。同时，考虑到大型数据中心往往需要一个较长的时间周期才能逐步装机达到设计负荷，为了提高在部分负荷状态下的冷机COP值，选择了变频式机组。同时，还采用了低温冷却水利用和优化冷冻水供回水温度等细节措施实现运营节能。

此外，根据上海年气候变化特点，项目设计了冷却塔“自由冷却”系统。自由冷却系统与常规制冷系统并联，便于控制、维修、切换，且功能划分清晰。按照冷却塔供冷与制冷主机供冷比例关系，新增3套与主机相同容量的冷却塔（共计6套冷却塔）、3套板式换热器（见图1）及与其配套的3台冷却水泵。在冬季，仅开启1台变频主机使其负荷维持在30%以上，冷却水温度维持在15℃以上，其余供冷量由冷却塔供给，节能减排效果明显。过渡季，开启自然冷却系统预冷冷冻水。在不使用该系统的季节，该系统的冷却塔可与常规制冷系统的冷却塔一并使用，以此降低冷却水温，提高主机效率。

图1 自由冷却系统板换照片

2）建筑围护结构

该数据中心是由老厂房改建而成，因此在建筑热工性能方面不满足最新设计要求，因此在改造过程中对原厂房大多数外窗进行了封闭处理，最终窗墙比控制在15%以下。同时在内部装修时，充分注意弥补热工缺陷，在机房内墙设置了保温墙体，避免冷量散失；在分隔墙体内均设置保温岩棉，达到节能隔音的效果。由于机房内采用了地板送风方式，采用800 mm高防静电架空地板，地板下铺设导热系数＜0.036 W/(m·K)的橡塑保温层，形成保温效果良好的送风风道，有效防止了不同楼层房间之间的温差产生的结露效应。

3）机房气流组织

IDC内部合理的气流组织形式与设备稳定安全运行以及节能效果息息相关[2]。近年来，大型IDC机房通常采用冷热通道隔离方式，这种方式既能有效避免冷热空气混合，也利用了热空气自然上浮的物理特性，形成了合理的气流分布，有利于提高冷却效率。该项目数据中心的机架排列采用了冷热通道隔离方案，即相邻两排设备机架的摆放方向为“面对面、背靠背”，自然形成相互间隔的冷热通道（见图2）。冷空气从开孔地板进入冷通道，设备采用“正面进背面出”的方式通风，热空气再从热通道回到空调回风口。在冷热通道隔离的基础上，该项目进一步采用了封闭冷通道的节能方案（见图3）。有关研究表明封闭冷通道后室内风机送风量可减少30%，封闭热通道后室内风机送风量可减少12.5%。

图2 冷热通道隔离示意图

图3 封闭冷通道示意图和现场照片

在应用冷热通道隔离或封闭方案时，挡风盲板的安装至关重要。因为项目机房内服务器一半是逐步安装的，在架内服务器的间隙上加装挡风盲板，能够保证空调送来的冷风流经服务器散热以后才回到空调，避免了局部气流组织短路的情况（见图4）。安装挡风盲板是一个动态的过程，由于客户经常会对服务器进行装、拆、移等动作，挡风盲板的部署位置也需要相应的随之调整，这要求机房维护人员与租赁客户建立有序的沟通协调机制和合作管理模式。

图4 挡风盲板作用示意图和加装盲板后的现场照片

此外，为进一步优化气流组织形式，提高冷却效果，项目对冷通道送风地板的形式进行了优化。如图5所示，采用了气流导向地板，提高了地板开孔率，从而使地板送风阻力大大降低，送风效率明显提高，单机柜冷却能力也得到提升，另外有助于解决传统空调系统送风量有限所引起的冷却能力不足问题，突破了地板风口的送风瓶颈，提高了IT设备的机柜容积率和出租率，使机房空间资源能够得到充分利用。

图5 冷通道送风口改造前后对比照片

4）电源设备

通信用高压直流电源（HVDC）是一种新型的直流不间断供电系统，与传统的2N UPS系统相比，直流供电减少了电源转换时的电能损耗，提高了电源的使用效率和系统安全性。通常UPS效率随着负载率的降低而降低，为保障系统安全，UPS供电系统大多采用备份形式，导致单台UPS通常工作在较低负载率区间，系统效率较低，通常低于80%，而240 V直流系统效率一般都在95%以上，直流供电技术应用于电信IDC机房的节能优势明显[3]。

该项目设计采用了一路240 V直流和一路市电电源为IT服务器供电的方案（见图6），数据中心内配置的通信电源设备系统，可在满足IT设备负荷的前提下，尽量贴近其负荷值，以提高主机的负载率，从而提高主机的效率，降低能源损耗。

图6 240 V直流和市电供电系统示意图

由于在规格一定的情况下，电缆长度越长，电阻越大，电能损耗越大，项目通过优化数据中心的总体布局，缩短供电路由，节省了初次投资的同时，降低了线损。采用的具体措施为：油机房与变配电机房左右紧靠相邻，变配电机房与电力电池室上下紧靠相邻，电力室与主机房左右紧靠相邻，同时，电力室内输入、输出屏分开合理摆放，尽量减少线路的迂回。

5）照明系统

该项目采用了三项绿色照明设计措施。首先，采用高效照明产品。用T5型（荧光灯+镇流器）替换T8型（荧光灯+电感镇流器），节电率达到30%以上，同时大大降低了频闪，改善了照明环境，提高了工作效率。其次，采用合理照明控制方式。照明控制应能满足机房和其他辅助区域的视觉需要，在此条件下，节约照明用电。同时还需要兼顾操作性和经济性。机房走廊、楼梯厅和门厅等公共区域的照明，应该采用集中控制方式，并按建筑使用条件和天然采光状况采取分区、分组控制。一般，可以按有无天然采光进行分组，按不同使用条件进行分区，以利于节约电能。另外，充分利用自然采光。在部分室内区域，如大厅、走廊、监控室等，可以充分利用自然采光，不仅可以节能，而且能够提高工作人员的视觉舒适度。

2.3 能源管理

数据中心的节能管理应贯彻数据中心整个生命周期。本项目自立项起，在规划、设计、建设、验证和运营等各个阶段均有针对性的部署了相关节能管理工作，自始至终开展节能优化，最能实现了比较理想的节能运行效果。

1）测试与验证环节

项目参照国外成功工程项目经验，在建设过程中特别加入了测试与验证环节。不仅是对IDC机房节能设计效果进行测试验证，还对机房容量能力、各个子系统安全性、联动性进行系统测试和验证，具体工作内容见图7。通过测试和调适验证，可将符合建设要求和设计技术标准的工程项目无缝交付给运维团队。

图7 IDC机房测试与验证环节工作内容

2）基于光纤测温的机柜级温控系统

IDC机房的传统空调设计通常采用机房级温控技术，即空调系统配合一些分布在机房内的点式温度传感器，来实现整个空间的温度控制。点式温控技术只能反映数据中心机房的局部点的空气温度，无法再现机柜内部IT设备的实际散热效果和机柜内微环境温度场，导致传统IDC机房普遍存在局部机柜过热以及整体空调系统效率不高的问题。

针对上述问题，需要从机房级到机柜级进行温度监测和控制的转变。机柜级微环境温度监测信息更可用于空调系统的精细化运行管理。本项目在IDC机房的机柜内布置了基于光纤测温的机柜级温控系统，通过光传感技术对机柜级微环境进行感知，采集分析每个机柜的进出风温度场（见图8）。光纤测温系统使运维人员能够对机房制冷效果进行实时监测和管理，及时发现并更解决局部过热点的问题[4]。该系统还能够根据分析结果（见图9）自动反馈数据控制空调系统运行，使其能够及时根据负荷变化情况调整设置空调温度、风速以及出风口方向，从而使空调系统的制冷更有针对性，在提高制冷效率的同时，降低了运行能耗。

图8 基于光纤测温的温控布线示意图和现场照片

图9 基于光纤测温的温控系统测量结果显示云图

3）监控和能耗系统

IDC机房一般均设置有集中监控系统，一般以提高运行维护质量、降低运行成本等为目标，包括视频监控、环境监控、能耗监控等功能。集中监控系统可根据机房运行特点和监控要求，实现集中管理、统一监控并迅速反应。

本项目在一般监控系统基础上，进一步布置了可视化机房监控系统，与传统监控系统不同，该系统在具有数据中心级PUE算法的基础上，集成了基于流量统计的机房模块级PUE算法，能够实时直观显示每一个机房模块的动态PUE数值，为PUE优化提供了精确的计量手段。针对机柜的功耗监测，该IDC机房率先采用3D建模（见图10），将机房内每个机柜功耗情况用不同颜色进行区分、展示，并设有警示值，使机房内机柜用电情况一目了然，便于实时监控管理，如发现异常，立即会通知专业人员进行处理。

图10 机柜功耗的3D实时显示效果图

4）IDC运维能源管理体系

IDC机房的规划、设计、建设及运营是一个有机的系统过程，特别是运营阶段，需要建立有效的管理体系来实现节能和安全运行的目的。本IDC项目在用能管理方面，按照能源管理体系的要求，建立了较为完善的运维能源管理体系。

首先明确节能运行目标，通过引入“PUE运营”概念，即在数据中心正式启用、IT设备完成部署后，在保持现有基础设施架构不变的基础上，以降低PUE为技术和管理导向，不断对各系统配置进行优化，对运行参数进行调整。具体通过建立以周为单位的运营日志管理方式，一方面根据机房运营状况进行优化调整，另一方面根据每周数据分析差异以及能耗变化原因，实施节能改进措施，并及时对实施效果进行验证和总结，确保PUE持续下降。同时，为落实能源管理体系的实施，项目运营单位建立了节能减排定期报表制度、年度节能目标责任评价考核制度和监督实施制度，对节能指标进行了有效分解。

通过持续深化节能管理与PUE运营，运营团队结合机房负载分布及变化情况，动态实施机柜侧盲板拆装、HVDC系统模块策略调整、精密空调运行参数调整等具体措施，部分机房的年平均PUE已由最初投入运行的2.6降低至1.5，冬季采用纯自由冷却时的机房PUE仅约为1.4，效果十分显著。

3 结语

1）IDC数据中心为实现节能运营，需要技术和管理并重，从技术角度，需要根据运营特点，采用适宜节能技术；从管理角度，强调整体生命周期的节能管理，建立管理体系对节能目标的实现至关重要；

2）IDC空调能耗占比和节能潜力均较大，影响空调能耗的因素也非常多，需要从围护结构、冷源系统、气流组织等多方面综合考虑，系统性开展节能优化；

3）IDC节能管理应注重细节，细节处理不好可能会影响适宜节能技术的效果发挥。对采用冷热通道隔离和关闭方式的情况，需动态实施机柜侧盲板拆装，本文案例中的气流导向地板等节能优化措施有助于提高冷却效果，但具体节能量化效果还有待后续测试验证；

4）高压直流供电作为一项新技术，应用于IDC机房节能潜力显著，但目前仍处于起步应用阶段，其局限性和适用性尚有待验证和改善；

5）本文案例采用的基于光纤测温的机柜级温控系统，能够对机房制冷效果进行实时监测和管理，及时发现并更解决局部过热点的问题，实现IDC安全运行和节能减排，具有广阔应用前景。

[1] 王浩然. 绿色数据中心节能技术研究[D]. 成都:电子科技大学, 2014: 5–6

[2] 田浩，李震. 数据中心分布式冷却系统研究[J].暖通空调, 2014, 45(9) : 42–48

[3] 张剑铭. 高压直流系统在中国电信IDC机房的创新应用[J].电信技术，2014(8) : 45–47

[4] 黄毅，杨军志，张文利. 光纤测温技术在IDC机房的应用研究[J].智能建筑与城市信息，2015(2) : 90–96

Energy Conservation Technologies and Energy Management Integrated Application for Building Green Data Center

Bo Zhen, Wang Anguang, Shen Jia, Sun Haifeng
Shanghai Architecture Science and Research Institute Zhou Junmao
China Mobile Shanghai Branch

In order to improve data center energy efficiency, the author introduces creating ideas and principles of national green data center trial project through collecting telecommunication internet data center construction cases in Shanghai. The author also describes construction and operation energy conservation technologies and integrated application of energy management measures for data center in Shanghai, analyzes several cutting edge energy saving technologies and application key points, which gives reference to green data center promotion.

Internet Data Center, High Voltage Direct Current, Optical Fiber Temperature Measuring Technology, Energy Management Measures

上海市科学技术委员会科研计划课题（16DZ1202401）

10.13770/j.cnki.issn2095-705x.2017.06.005

卜震：男，工学博士，高级工程师