关于模块化数据中心发展的思考

胡 燕

（中国电信股份有限公司上海分公司 上海 200120）

1 引言

模块化数据中心是一种新兴的数据中心建设模式，将整个数据中心分为若干个独立区域，各区域的规模、功率负载、配置等均按照统一标准进行设计，随着业务需求的变化，不断增加独立模块，从而实现快速建设。

伴随全球超大型IT数据中心的出现，模块化数据中心的建设理念在微软芝加哥数据中心、谷歌比利时数据中心、Facebook俄勒冈州数据中心得以具体实践，有效地降低了数据中心的建设周期及运营成本。

从技术发展看，数据中心基础设施的关键设备逐步趋向模块化与小型化，尤其是精密空调CRAC（computer room air conditioning）和 UPS（uninterruptible power system，不间断电源系统）技术，完全可集成到机柜中，从而在技术上为实现真正完全独立的模块化数据中心提供了可能。

2 传统数据中心面临的主要问题

对于传统的数据中心，模块化的特征并不明显，仅在物理基础架构上将空调、UPS、机柜进行组合配置，而且需要共用架空地板下的空间，共用UPS，因此在兼容性、扩展性及建设周期等方面存在诸多问题，主要表现为以下3个方面。

2.1 空调系统

传统数据中心的气流组织设计采用地板下送风的方案，机柜采用冷热通道摆放设计，以形成合理的气流组织路径，从而可以大大提高整个机房的气流循环效率，有效减少热死点出现。该方案工程初期投资较低，噪音较小，整个机房的美观性较好。

但随着云计算、高热密度的发展，单机柜发热量不断增大，为了提高出风量，必须不断提高地板下静压，因此地板高度需要抬升。而空气也是一种流体，其本身存在黏度，当地板下的气流增大到一定量之后，表征其黏度的无量纲数——雷诺数会超过某一限值，因此其气流紊流会呈几何性增大，此时地板下送风方案的效率会大大下降。

在功率密度为10 kW/机柜的送风制冷实验中，为了有效带走热量，每台机柜需要1600～1800 m3/h风量（进出风温差为15℃），而远程的地板下送风空调则需要达到2900～3000 m3/h风量，此时风机系统能量损失高达40%。这些能量损失又会引起自身的冷量消耗，从而使效率进一步下降。在数据中心机房中，由于机组数量较多，风机系统能耗能达到上百千瓦，而风机系统是24 h全年不停歇运转的，因此一年中无谓的能量消耗会达到几十万千瓦·时，在15年的机组设计寿命内则会多耗能上百万千瓦·时，而且由于其从地板下送风供冷，机柜中下方的服务器得到的冷量较多，而上部的服务器容易运行在高温环境，从而发生故障。这种设计方案只适合单机柜发热量不超过5 kW的应用场景。当机柜发热量继续增大时，除了需要加大地板的架空高度和机柜间的间距外，整个制冷系统的效率也会显著下降。

2.2 UPS

在机房建成初期，传统的UPS设计往往出现由于系统容量配置过大而处于低负载率情况，低载运行则导致UPS效率低下。而如果UPS配置容量过小，又不能满足业务发展的需求，将导致后期扩容困难，尤其当前IT需求正处于上升期，数据中心业务发展增速飞快，但又具有不确定性，故在UPS方面重复建设和投资的浪费较大。另外单独建设UPS房、电池房，并设置相应的空调制冷，也是一笔不小的投资。

因此，UPS建设需求逐渐向模块化、可热插拔的方向发展，在中小型数据中心中，尤其成为首选的解决方案。模块化的UPS产品，尺寸和标准服务器机架一致，可放在机柜行间，又集成了多路智能配电，可满足单个模块内的供电、监控电量等需求。目前市场上主流的模块化UPS，不但可灵活扩容，而且效率高达95%，在低负载率情况下，节能更加显著，真正实现了UPS的高效性、节能性和可靠性。

2.3 机柜系统

传统机柜系统的设计只关注其承重、供电性能，而忽略了其他机柜应该具有的性能，如通孔率、接地、美观、线缆管理、能耗管理等。

为了提高制冷效率，机柜的通孔率要求尽可能高，以减小气流阻碍作用，提高散热能力，从空调系统利用上来说，机柜系统有更高的设计和工艺要求。

机柜接地也是非常值得注意却容易被忽略的问题，机房由于发热量很大，靠近服务器的机柜区域温度较高，其相对湿度较低，从而可能会形成较高的静电电压，如果不能通过有效途径接地，会造成静电危险。因此现在的机柜必须配置接地线缆或者接地铜排。

在中小型数据中心中，往往不会配置完备的监控设备。要实现机柜内的供电管理，可通过在机柜内配备智能的PDU（power distribution unit，电源分配单元）实现。对机柜内的各路配电进行监控，获知机柜负载的分配平衡度，预知过热机柜、过载点，并可实施远程关控设备。这也是智能机柜需要具备的功能。

对于机柜的兼容性，机柜不但需要考虑自身的兼容性，还需要考虑诸如并柜、封闭冷通道、行间空调等的外观、尺寸匹配问题，这对厂商的要求非常高，只有熟悉数据中心基础设施全产品的供应商，才能从全局出发，设计出对各个系统的兼容性都很高的产品。

3 模块化数据中心实施的关键技术

模块化数据中心主要包括采用模块化设计的四大部分:不间断电源系统、制冷系统、机架和远程监测系统，通过简单的接口将相关模块进行组合，从而形成一个完整的数据中心。无论是电信运营商还是互联网企业，都可以按照自己的需求定制模块化数据中心，并可伴随业务发展需求，逐步扩张数据中心规模，以应对更多的IT需求。这意味着企业可以在未来拥有数倍计算能力，而不会对现有数据中心的功能或者设计带来任何影响。

相对于传统的数据中心，模块化数据中心使用如下关键技术。

（1）统一的基础架构设计

模块化数据中心的构思精巧，但在实施过程中会遇到很多意想不到的问题，如各个部件的尺寸不完全协调一致、各部件的供配电需求不能匹配、颜色无法协调一致、走线孔未预留充足等，因此要避免多种产品拼接的模块化数据中心出现漏风、配电不足、颜色参差不齐、无处走线等尴尬问题，需要厂商具有多产品线统一开发、统一销售、统一安装、统一调试、统一服务的能力，从而为用户提供模块化数据中心基础架构的完美解决方案。

（2）封闭冷通道

封闭冷通道可有效规范气流组织，减少对整个房间的无谓制冷，从而降低对建筑热负荷的制冷压力；同时可有效隔绝冷热风交叉混合，提高空调回风温度，从而提高其蒸发器温度，进而提高制冷效率。经测试，采用封闭冷通道解决方案可节约机房4%的耗电量。在封闭冷通道这件貌似技术含量不高的产品上，实际有很多工艺方面的要求，真正实现细节上的大成，无论是材料的隔热性、强度、顶板透光率，还是走线孔的设计、缝隙的保密性，都需要十分到位。

（3）定制化的电池机架

定制化的电池机架主要配合模块化UPS使用，为模块化UPS提供更长时延、后备时间的选择，承重能力强、外观协调、安装维护简便，可实现电池的模块化安装及电池监控。

（4）模块化 UPS

安装在标准机柜中的模块化UPS，其功率单模块可随负载增减实现热插拔，并可大幅度减少UPS的占用空间及共用制冷需求，大大降低传统UPS需求的占地面积及额外的空调能耗。

（5）环境控制系统

通常选用精密空调对数据中心的每个模块进行环境调节，确保服务器等IT设备的运行环境。对于发热量大的服务器等IT设备，通常选用高通孔率（一般大于70%）网孔门的机柜，以提高机柜进出风量；将机柜面对面、背对背布置，在机房内形成冷热隔离的风道，以提高制冷效率。在某些功率密度特别高的场合（发热量超过5 kW/机柜），往往容易产生局部热点，形成故障隐患。为消除局部热点，需要采用相应的高热密度解决方案，如在局部热点发生处加装制冷终端，加强局部制冷能力；也可将特高功率密度设备放置在封闭机柜内，通过机柜内制冷循环，实现高效率制冷散热。

（6）智能监控系统

监控系统是机房安全运行的重要保障，智能监控系统可对数据中心模块内的配电、环境、安防、消防等设备进行全方位监控，完成对设备数据的采集、分析、告警、展示甚至自动控制。由于云计算的高热密度、虚拟化需求，可变冷量、UPS模块休眠等功能需要更高效的控制，因此模块内的制冷控制、电能分析成为模块化运营的关键点。

另一方面，为了适应模块化数据中心快速建设、快速复制的特点，监控系统方案也需要能够快速建设，并且以模块为单位独立运转，互不影响。

4 推广模块化数据中心的举措与建议

（1）产品的标准化和系列化

工业革命成功的最重要因素，就是将生产流水制度、标准化部件制度推广开来，从而大大提高了生产效率，开创了人类新的高峰。在当今社会，不管是企业管理还是生产、建设等环节，都要求实现标准化、规范化，而传统数据中心建设由于对现场的设计施工依赖度高，建设周期缓慢、建设难度大，建设效果无法预期，后期扩容无法适应。

因此，需要进一步完善模块化数据中心的系列标准，并形成相应的系列产品，根据客户的IT需求、建筑空间，为客户提供模块化的建设方案，保证数据中心的高可靠性、灵活性、可维护性及高效节能，并能够最大化地提高交付速度。

（2）设计的前瞻性和可复制性

模块化数据中心的设计必须具有一定的前瞻性，充分考虑企业数据中心长期发展的影响因素，并兼顾机械和电气系统等，避免造成数据中心运营管理的不可控。

为了实现真正的分批建设，模块化数据中心的设计方案应该是可复制的，而且不单是方案上的复制，还可以延展到采购流程、安装流程、维护流程等，既可以减少用户的初期投资，也便于后续数据中心的运营管理。

（3）方案的灵活简便性及整体性

模块化数据中心之所以能够实现快速建设，空调系统的革命性设计起了主导作用。传统的数据中心采用静压箱送风，需要专业的设计单位根据建筑结构进行相应的设计，再经过和各个厂商的研讨及分析，设计周期往往需要3个月甚至半年以上，时间浪费严重，超大型的数据中心甚至需要1年以上，后期的安装需要配合土建、装修等系统，协调、互相配合等工作也需要浪费大量的时间，这在IT系统每3年运算速度翻新一倍的高速时代，建设完成时数据中心的指标可能已经落伍了，经济效果严重滞后。

模块化数据中心设立以机柜为中心的行间制冷系统，缩短了气流组织路径，取消了对静压箱、风管的依赖，减少了工程量，从而可直接减少甚至取消设计环节，由用户到厂商直接获取端到端服务，从而大大缩短建设周期；同时由于是同一厂商提供整体解决方案，其工程安装、后期服务都可实现最大化的提速。

（4）运行的安全性及高效化

传统的数据中心空调系统采用静压箱设计，气流循环路径长达几十米，气流阻力很大，风机能耗浪费严重，需要额外冷却整个数据中心的空气，能量浪费严重。后期扩容时，由于后期增加的空调改变了整个静压箱的气流、冷量等参数，从而会直接影响数据中心的制冷效果，反而会起到反作用。

模块化数据中心建设实际上是一个不断成长的过程，其设计思路保证了制冷、供电都以区域机柜为中心，其气流组织、供电配置都以区域为中心，对其余区域毫无影响，因此可最大化地解决扩容互相影响的问题。在逐步扩展的模块化数据中心中，各模块的独立安全高效运行成为必然。

（5）运营的简便与低成本

标准化的模块化数据中心，由于采用端到端服务，可为用户节省可观的设计费，可以缩短资金的占用周期，可提高运营效率，减少日常运行费用，缩短投资回报期，最大化地提高用户的资金使用率。

在工程环节，由于采用模块化设计思路，其发货、安装都由同一厂商实施，而且由于减少了对静压箱、风管的依赖，可直接进场，减少了对装修、建筑的特殊要求，不但可以节省费用，而且可以减少和土建等部门的配合施工，从而大幅度减少工程成本。

在后期的维护方面，由同一厂商统一维护，不管是备件还是服务，都可以得到原厂最优的保障，机房维护人员可最大化地精简，维护界面清晰，最大化地减少用户的负担。

5 结束语

模块化数据中心是新兴的数据中心建设理念，也是数据中心的必然发展方向，具有建设快速、易复制、高效等特点，目前在我国已广泛应用于集装箱、电信、医疗、科研机构、广电等行业，并呈现出快速增长的趋势。在不久的将来，将带来数据中心行业的巨大变革，不仅将制冷、配电集中到行间级，同时也能将电池、配电柜集成到一体，甚至将整个模块按照用户需求做成一个整体，不再区分机柜、空调、供电系统。客户只需将模块运抵现场，配电配水，按指导接管即可，无需做静电地板、无需专业设计、无需专业规划，甚至无需机房装修，从而将机房模块化的优势扩大到极致。

从更远的发展方向看，未来融合服务器、交换机、基础架构的整体模块也是发展的趋势，用户使用数据中心模块只需要按照说明书接入宽带、电源和水源，即可得到高效的信息服务，从而更加有利于用户业务的快速发展。相信在不远的未来，模块化数据中心将在IT、动力环境基础架构上下游厂商的合作推动下获得长足的发展，为人类的信息化进程提供更加绿色低碳、可靠的支持。