从基础设施的角度探讨数据中心容量规划

文｜艾默生网络能源有限公司 曹 播

如何规划数据中心基础设施的容量一直是困扰数据中心管理者和从业者的一个重大问题。当数据中心的建设意向提出之后，数据中心的建设容量到底是多大？到底该按照哪些因素去规划数据中心的容量？立项的数据中心到底该按照何种方式去建设？如何使将要建设的数据中心能够面临以后10年的业务增长？如何使数据中心保持可靠性、经济性和节能环保的有机统一？

1 新一代数据中心容量规划制约模型

1.1 IT规划

IT规划是以整体发展目标和战略以及各部门的目标与功能为基础，结合所属行业信息化的实践结果和信息技术的发展趋势，提出信息化的远景、目标和战略，制定信息化的系统架构、确定信息系统各部分的逻辑关系，以及信息系统的架构设计、选型和实施策略，通过对信息化目标和内容进行整体规划，以全面系统地指导企业信息化的进程和信息技术的应用。

IT规划是信息化建设的基本纲领和总体指向，核心内容是要从组织目标和信息化战略中抽取信息需求和功能需求，形成组织总体的信息化框架和系统整体模型。通过信息化，使信息技术手段应用到组织生产、运营和管理中，利用信息技术来改造和提升组织的综合能力。

由IT规划而产生的组织信息资源规划，将明确限定在（近期与远期）一定时期内，对IT系统的整体需求计划，包括为实现信息化目标所确定的IT系统定位、IT系统规模、IT系统架构、IT系统配置。其中，IT系统定位决定了数据中心的建设等级；IT系统规模决定了数据中心的建筑空间；IT系统架构决定了数据中心的信息路由；IT系统配置决定了数据中心的场地布局。由此可见， IT规划是企业数据中心建设的前提和依据。

但问题主要集中在两个方面：

（1）数据中心业主往往没有办法对业务的发展做出清晰的预测。

无论是电信、金融行业还是政府、企业级数据中心，其业务的发展呈现出快速却又不规则的发展模式。增长率在一段时间会非常高，但在一段时间之内又有可能停滞，基本上很难直接呈现出一种相对稳定的发展趋势，这当然是和如今的经济形势密切相关的。近年来全球经济形势的大起大落必然会在各个行业中体现出来，而这种业务的大起大落给数据中心的规划者造成了相当大的困扰。

（2）边界限制因素越来越多。

数据中心规模越来越大，对数据中心的选址、区域划分、土建、承重、装饰装修、供电、制冷、强电、弱电、综合布线、照明、防雷接地、消防、监控与门禁等各个不同的角度提出了新的建设要求。但总的来说，数据中心最重要的三个制约条件是：供电、制冷、占地面积（空间制约），如图1所示。

这三个关键因素对于数据中心容量规划的影响既相对独立，又相互渗透，互为表里。

图1 数据中心容量三维限制模型

1.2 供电

以前呈现出“海量”供应的供电容量是目前数据中心容量规划的重要边际制约。笔者在近几年建设实践中遇到的以供电容量确定数据中心容量的案例不在少数。

不同电压等级线路由于受制于线路种类和供电距离，其送电的能力也各不相同，如表1所示。

表1 各级电压线路送电能力（数据来源：《工业与民用配电设计手册》，第三版）

事实上10kV系统是当前数据中心接触到最多的高压变配电系统，相对而言很少见到6kV系统，主要是因为：

（1）10kV系统相比较于6kV系统能够提供更大的负荷容量。

（2）在配电线路方面，在同样的输送功率和输送距离的条件下，配电电压越高，线路电流越小，因而线路所采用的导线或电缆截面积越小，从而可降低线路的初期投资和金属消耗量，且可减少线路的电能损耗和电压损耗。

（3）在开关设备的投资方面，实际使用的6kV开关设备的型号规格与10kV的基本相同，因此在这方面10kV方案不会比6kV方案增加多少。

（4）在供电的安全性和可靠性方面，采用6kV系统和10kV系统差别不大。

（5）在适应性方面，10kV系统优于6kV系统。

此 外，GB/T 156-2007特 别 强 调3kV～6kV不得用于公共配电系统。

随着城市经济的迅速发展，电力负荷大幅增加，城市电力负荷密度随之增大，供电范围也不断扩大。因此，增大配电网容量是目前城市电网的突出问题。在城市电网建设方面，采取了提高和简化城市电网电压等级，根据地区用电特点选择合适的电压等级等重要措施。对高压配电电压，全国各个大、中城市根据自身特点，选择自己的高压配电等级。北京在城区逐步取消35kV的电压等级，保留110kV电压等级的方案；天津则逐步取消110kV，保留35kV；上海保留了35kV和110kV电压等级，要求不同区域因地制宜选用两电压等级之一。此外，在我国，20kV配电电压也正式列入GB/T 156-2007标准中。

无论是哪种新的配电电压，对于数据中心而言都是正面的因素。随着配电电压的提高，势必为数据中心提供更多的容量支持，且更为环保节能。

1.3 制冷

数据中心各设备的散热特性十分复杂，如图2所示。

图2至少揭示了两个重要的问题：

（1）数据中心各类型的设备具有不同的发热密度，这就意味着针对不同的设备应该有不同的制冷解决方案。

（2）数据中心各类型的设备本身的发热密度在不同的阶段有着不同的热密度（一般是越来越热）。

图2 数据中心各设备热密度发展趋势图

因此，制冷对于数据中心的限制主要体现在以下几个方面：

（1）设计的制冷系统能够满足不同设备在不同阶段的制冷要求，从而能够使得数据中心初期规划的电资源和空间资源能够得到充分的、合理的使用，如图3所示。

图3 机柜空间利用增长示意图

需要针对不同的功率密度（热密度）做出不同的制冷方案规划，如图4所示。

图4 不同功率密度对应不同机房制冷方案

（2）数据中心制冷系统的建设是一个系统工程，除了机房空调主机之外，还会和建筑结构产生广泛且深刻的联系。

①机房楼层的净空高会直接影响送风方式的选择。能否采用静电地板，静电的高度是否直接占用太多高度以至于影响上走线槽道的布置或者照明期间的分布？当然，采用风道上送风也有同样的担心。数据中心净空高必须考虑如下因素：静电地板高度（或者上送风风道高度）、机柜高度、两层上走线槽道高度、照明高度、天花上回风高度等。实际经验表明，新一代数据中心机房净空高一般大于等于4.5m为宜。

②室内机、室外机的距离会直接影响冷却方式的选择。一般来讲，当室外机高于室内机时，建议垂直最大距离为25m；当室外机低于室内机时，建议垂直最大距离为5m。建议管道总长不超过60m，超过上述限制，就不再推荐采用风冷的机组。

③房间的建筑形状也直接关系到机房的气流组织。机房空调的送风距离一般是15m，如果超过这个距离，就建议采用对吹的方式。因此，对数据中心房间做区域分割时，一般会建议一个子机房的距离不超过30m。

（3）数据中心对能量的需求最终体现在对于电能的需求上。空调系统是数据中心机房能耗的第二大户，因此，合理的设计制冷系统能够确保在满足数据中心制冷需求的基础上尽量减少对于电能的需求。

1.4 空间（占地面积）

数据中心所使用的占地是一个不可再生的资源，始终是困扰IT经理人的一个重要的问题。在当前流行的主流IT技术（刀片服务器，虚拟化等）的背后都有“减少占地面积”的原因。

数据中心的面积始终是数据中心建设者、管理者最为关注的因素之一。

数据中心对于选址有着严格的要求，选择合适的地点建设合适规模的数据中心需要付出昂贵的代价。

数据中心空间的制约主要体现在两个方面：初始的建筑面积制约和运行后扩容空间的制约。

2 新一代数据中心需求成长模型

上部分内容力图从宏观的角度显示数据中心容量和三个关键的制约条件之间定性的关系，描述的是总量的关系。至于单个制约条件的供需成长关系，如图5所示。

详细解读如下：

（1）IT设备针对系统需求的增长速度步幅最小，频度最高，这和IT设备本身的物理特性密切相关，当有新业务需求时，在机柜中增加IT设备即可，基本上对供电、制冷以及占地面积的冲击不会太大，因此会呈现相对平滑的特性。

（2）在数据中心规划时，会根据业务增长的状况对面积进行分区，同时也会为每一期所使用的面积预留合适的裕量。因此，面积的增长首先是一种小步幅的增长，突破临界点（分期界限）之后，会有新的大面积空间投入使用。

（3）机房空调的增长速度也相对平滑，在前期的基础设施（比如水管，送回风设施等）准备预留妥当的情况下，面对机房热负荷的不断提高，可通过阶段递进增加终端的制冷单元即可实现。

（4）供电系统的增长就会显得相对缓慢，呈现的步幅频率低，步幅大。为什么供电设备没有采取类似于IT设备和机房空调一样的随着业务增长而频繁进步的模型？为什么供电系统没有采用小容量、多模块的建设方式？

主要是交流供电系统的模块化和可靠性存在着复杂的关系，核心是随着供电模块数的提高，系统的可靠性呈现出下降的趋势。因此，在进行建设新一代数据中心供电系统时，必须在可扩容性（通过模块化来支持）和可靠性之间取得一定的平衡。

目前主流的建设方式主要是采取2（N+1），N≤3的方式，随着业务增长，N会逐渐增大。如果当前系统N达到3之后，就会考虑新建系统。因此，体现在供电的供需增长关系上，就会有频率低、步幅大的特点，如图6所示。

3 新一代数据中心容量规划关键支点

新一代数据中心容量规划的支点多种多样，见仁见智。通行的做法不一而足，但基本上可从以下四个支点加以解析：

（1）可用性支点

面对承载不同业务类型的数据中心，其可用性的要求必然不同。数据中心可用度等级的划分基本上可以参照TIA 942及UPTIME对其的定义，如图7所示。

图5 单个制约条件(面积，供电和空调)供需增长关系

图6 并联系统可靠性比较

图7 数据中心可靠性等级的分类

数据中心总的可用性是由IT和Facility两个平台所决定的，如图8所示。

IT网络的可用性≈IT可用性×Facility可用性

因此，数据中心从业者在考虑整个数据中心可用性时，需要将IT和Facility综合考虑。

（2）成本支点

成本始终是最受关注的维度之一。但是数据中心的成本不但是由建设成本（CAPEX）构成，同时也包含运营成本（OPEX）。而且，在数据中心整个生命周期之内，仅仅是电费的支出就会超出初始建设所有设备成本的总和。因此，针对数据中心这样的OPEX大大超过CAPEX的实体，如何将成本与技术及产品方案完美地结合起来，做到TCO最低，始终是一个很大的挑战。

（3）绿色节能支点

目前对数据中心绿色节能，业界有着相对成熟的计量指标，即PUE和DCiE。

PUE：Power Usage Effectiveness（ 能量使用效率）

基本上，这两个指标被用来评价数据中心的能效利用率，即每瓦IT设备能耗需要消耗多少总输入能耗。但是如果我们换一个角度，就能够预先知道数据中心总能耗（初始设计时基本上这个指标往往被用来表征数据中心最大供电能力），而PUE值业界也有相对合理和流行的工程值（目前为1.6～ 2.0之间），那我们就能大致估算出IT设备能耗，从而也就能够算出数据中心机架的功率密度，从而可以预估关键子系统的建设模式。

PUE概念的引入为数据中心能耗评估提供了一个可量化的指标评价体系，但是在能耗总量（电量）评估、测量点、能量维度、可操作性等多个方面有欠缺，因此在2010年7月份，TGG提出了对PUE进行分类定义。TGG将PUE分为四类，分别是PUE Category0（PUE0）、PUE Category1（PUE1）、PUE Category2（PUE2）和 PUE Category3（PUE3）。其中，PUE0和2007年定义基本一样（分子和分母均为功率），PUE1、PUE2和PUE3均引入了能量参数（分子和分母均为电量），只不过是对IT设备耗电量的测量点界定不同，如表2所示。

PUE0在设计阶段意义明显，因为设计阶段可以精确系统容量（kW）。

PUE Category1、PUE Category2、PUECategory3均是电量的比值，其区别在于IT Power的测量点不一致。PUE的定义中引入能量（kWh比值）的比值，使得PUE在实际工程中的操作更加有意义（因为kWh远比kW稳态并易于测量）。

表2 PUE分类定义

举个例子，比如某场地在初始给定如下：

基础背景：总面积15000m2；机柜1200个；总供电20000kW。

建设愿景：Tier IV&GB 50174 Class A；10年IT设备发展；分期分批，模块化。

开始客户不太清楚某些关键系统（供电、制冷）的建设方式。

假 定PUE取2.0， 即：PUE=Total Power/IT Power=20000kW/IT Power=2。

则IT Power=10000kW，而机柜1200个。

因此，单个机柜功率密度为IT Power=10000kW/机柜个数1200个=8kW。

知道了IT Power，就可以大致核定出供电系统容量；知道了单个机柜功率密度，就可以核定供电系统终端配电设计，也可以同时理清制冷系统设计的最为关键的容量指标。

总而言之，特别是在系统初始评估时，PUE指标不单可以作为数据中心节能与否的计量指标，也可以作为数据中心容量评估的一个有效支点。

（4）功率密度支点

上述三个维度基本上是从宏观的层面去规划数据中心的容量，具体到可操作的层面，到底该如何规划新一代数据中心的容量？到底如何去规划关键子系统的建设？

业界关于数据中心容量的可操作性规划基本上有三种思路：

第一，以业务为支点。业界一线供应商基本上推出针对不同规模客户群的指导性的解决方案。以电信行业供电系统建设为例，比如对于省级机房、地市级机房等均有不同的方案模板。

第二，以面积为支点。不同面积的机房有不同的解决方案。比如100m2的机房该如何建设，1000m2的机房该如何建设等在各专业厂家的宣传文案就更多了。

但上述两种思路往往对数据中心的建设过于空泛，以面积支点为例，100m2的机房笔者在建设实践中有遇到只需要承载100kW的能量，也有需要承载1250kW能量的案例。而同样是100m2的机房，两个案例建设的方法、思路、成本等完全不一样。

因此，业界慢慢找到一种新思路（第三），即同时考虑业务和面积的做法。确定功率密度为数据中心容量规划的可操作性支点，基本上可以理解为：功率密度=业务（体现为服务器功耗）/面积。

但是，功率密度有多种表征方式，如表3所示。

在具体的实践中，目前机架的功率密度使用也最为广泛。

表3