浅议提供高密度数据中心的制冷效率

沈嘉琪，黄 赟

（中国移动通信集团上海有限公司）

1 制冷系统的系统性检查

数据中心设计必须保证高效的操作维护业务流程以及杜绝可能的问题隐患。在建设初期的高昂的通信设备投资阶段，就应进行制冷系统的基础设施系统性检查以确定潜在的设计缺陷。这些系统性检查将明确数据中心的健康程度，以避免发生与温度有关的通信设备故障，同时也可以用来评估未来数据中心扩容的制冷能力。

1.1 最大制冷量

全面检查系统制冷量，1瓦的设备功率消耗1瓦的制冷量，确保数据中心的设备功耗不超过了制冷量最大范围。一旦供过于求，将需要重新设计选型或采用独立的高密度散热解决方案。

1.2 数据中心的专用空调CRAC

检查送、回风的温度和湿度读数必须与设计值相一致。检查单台专用空调CRAC送风温度设置点。当回风温度低于室内环境温度，可能存在气流短路，即送风绕过IT设备，并直接返回到空调机组。

检查风机正常运作，检查中效过滤器的压差。

1.3 冷冻水和冷却水循环系统

检查冷凝器，泵输送系统，及冷却回路的状况。确保所有阀门是否运行正常。

1.4 室内温度

检查在数据中心的过道关键位置的温度（测量位置一般位于通信设备行内每四个机架位置的中心）。

1.5 通信机架的温度

检查温度点应位于每个通信机架底部、中部、顶部的进气口的中心。记录这些温度和IT设备制造商推荐的进风温度并且对比。

1.6 地板下气流速度

如果活动地板作为送风层，空气流速应均匀穿过所有地板格栅。

1.7 活动地板的设置

检查活动地板下的障碍物（网络和电力电缆）是否阻碍送风气流，是否对机架的冷却效果产生不利影响。

1.8 机架内的气流组织

检查机架内间隙（未使用的机架有无安装盲板，空的插槽有无覆盖，电缆开口封闭）或多余的布线是否影响冷却性能。

1.9 机房过道和活动地板布置

活动地板作为有效的冷却送风层取决于地板通风网孔数量和机房专用空调的位置。

2 检查与维修制冷设备

定期检查和预防性制冷设备维护对数据中心高效运行是必不可少的。定期保养制度应达到制冷设备厂家建议指导要求。数据中心主要冷源来自于机房专用空调，维护工作应针对机房专用空调的各组冷却元件，通过以下维护实施提高空调制冷效率。

（1）空气过滤网是否堵塞：必须定期更换过滤网，保持额定压差，保证空调所需的循环风量。

（2）干燥过滤器是否堵塞：为保证制冷剂的正常循环，制冷系统必须保持清洁、干燥，如果系统有杂质，就会造成干燥过滤器堵塞，系统供液困难，影响制冷效果。

（3）定期测量膨胀阀过热度，调整膨胀阀开启度。

（4）机房空调一般采用风冷式冷凝器，结合空调使用环境，根据结灰情况，定期对空调室外机进行冲洗。

3 实施机架和电缆管理制度

由于机架垂直空间未封闭，设备的热量通过旁路回到设备通风口，这种无限制的热循环导致设备温度持续上升。在一些厂方服务器安装说明上有一条建议，将盲板挡住机架空余的前面板。机架如果没有使用盲板可以导致不适当的冷却，可以导致热损伤。这个建议是往往被忽视，是过热的主要原因。安装盲板防止冷却空气通过绕过服务器的通风口和防止热空气循环。图1为盲板使用前后效果图。

气流还受机架内杂乱布线的影响。当一个单一机架增加的设备越来越多时，线缆布置的问题将变多。杂乱的布线会影响设备的热量释放。除去不必要的或不应有电缆。数据电缆应该削减到正确的长度和适当放入线槽内。同样设备电源的电缆也要减少到适当的长度。

图1 盲板使用前后效果图

4 清除地板下的堵塞和密封地板

数据中心地板底层为冷风从机房空调达到机架提供了一条路径。地板底层往往还有其他设备如电力电缆、冷却管、网络布线，以及水和／或火灾探测和灭火系统。

在数据中心的设计阶段，设计工程师会指定楼层深度来满足地板下空气流量的要求随着机架和服务器的增加导致更多的电力和网络布线。通常，当服务器和机架移动或更换，旧电缆被遗弃在地板下方。架空电缆可以保证这个问题不会发生。如果电缆在地板下方，需要合适的冷量，则需有足够的空间来满足空气的流动。理想情况下，架空地板电缆桥架应该是架空地板的“上层”，让架空地板的更下面的空间形成送风层。同时，缺失的地板应该补上，活动地板应重新调整消除空隙，特别是机架移走后应用全板补上防止漏风。

5 建立冷热通道

除了少数例外，大多数的机架式服务器的设计都是前面吸气和后面排气。图2显示的一个房间所有行面对同一个方向。使用此设置，热空气混合了送风空气从排1排到相邻的过道，然后进入排2机架。当空气通过每个连续行，服务器通风口将吸入较热空气。如果所有的行服务器的通风口以此排列，通信设备故障是不可避免的。通常这种情况发生在架空地板和硬地板的环境。

图2 冷热气体混合

最好的做法是设备配置为交替的“热”与“冷”的过道，如图3所示。冷通道包含通风地板，机架服务器通风口被安排朝向冷通道。热空气向没有通风地板的热通道排出。

图3 冷热通道

6 专用机组与热通道之间的布置关系

机房专用空调机组必须对准热通道提高冷却效率。图4（a）显示了典型机房的布局，机房空调机组已均匀地放置在房间的热通道冷通道周边。在这个例子中，沿两侧壁的机房空调太靠近冷通道，使气流绕过近端通道通风口。专用空调机组应沿墙顶部和底部更好的放置从而使通道获得更好的气流。

图4 专用机组与热通道之间的布置关系

图4 （b）机房空调单位已移到顶部和底部的墙壁对准热通道。传统经验表明，专用机组应对准冷通道产生的气流达到地板通风口。然而，CFD流体动力学分析表明，专用机组对准热通道，当空气回到机组时，热空气从热通道穿过机架进入冷通道，会造成部分冷热空气混合，即机架前端的送风温度升高。

总之，在架空地板制冷系统实践中，专用空调对准热通道比冷通道更有效。

7 管理地板通风口

机架气流和机架布局是最大限度地提高制冷性能的关键因素。然而，不合适的地板通风口位置可导致送风冷空气与热空气混合，再达到负载设备，将引起前面描述一连串的设备性能下降和运行成本升高的问题。不良气流传递或回风口错误布置是很常见的，几乎可以让热通道和冷通道设计无效。

空气送风口的关键是尽可能靠近设备通风口，把冷风最大限度的送到冷通道。由于是下送风，这意味着在冷通道有通风地板。上送风同样有效，但是，关键是送风口只位于冷通道，而且风口目标气流直接向下到冷通道（没有横向使用扩散通风）。在上送风和下送风系统，任何位于设备不运行的风口应该被关闭，因为这些回风以较低的温度最终回归到机房空调机组，造成机房湿度减少和降低机房空调性能。

图6 地板下负压的形成

地板风口太接近机房空调机组会使地板下产生负压，如图6所示。一个简单的空气流速测量装置可以安装在送风口，保证正确的静态压力。

小结：近年来，随着数据业务高速发展，数据中心内高密度设备密集安装，对于制冷系统的要求日益提高。为了保证数据中心的安全性、可靠性、节能性，本文针对数据中心机房制冷系统常见问题进行分析研究，提出相关各项建议措施，下一步需要设计和运维人员因地制宜结合不同场景的具体情况，提出合理的最佳解决方案。

［1］ APC－ten－cooling－solutions white paper 42［Z］.

［2］ 新一代绿色数据中心方案建议书［Z］.