高楼层数据中心机房建设研究与实践

樊冠群，叶闽军

（清华大学 信息化技术中心，北京 100084）

随着信息化的飞速发展，对于全面支撑信息系统运行和业务连续性的数据中心越来越受到关注［1-2］，国内外各高等学校、各大企业都将数据中心建设作为信息化发展重要基础设施来建设，因此，数据中心建设在过去几年中得到了飞速的发展。以电信、金融、高等学校以及大型国企为代表的我国大量企事业单位，都将数据中心建设作为其业务信息化建设的重点项目［3-7］。

1 数据中心建设选址问题

数据中心（IDC）建设涉及多学科综合，建筑和信息专业交叉［1］，对基于老式建筑进行的数据中心建设，从某种程度上说难度更大，因为需要对传统的建筑进行大量的改造。2000年前后新建的建筑，虽然一定程度上考虑了网络布线等基本的需求，但在这样的建筑中进行数据中心建设仍然是一个巨大的挑战。

理论上说，数据中心建设的第一件事情就是选址。数据中心选址是一项比较复杂而困难的工作，涉及因素较多［8-10］。国际上的通常做法是将选址工作分为技术评估和商业评估两大部分。如果从纯技术角度来评估，考虑到安全、制冷及供电等因素［11-12］，数据中心的选择应该尽量避免高层建筑，但对于一些企业的数据中心建设来说，选址的自由度往往不大，只能根据现实情况寻求次优解。

赛尔网络有限公司的数据中心机房（以下简称赛尔网络数据中心）就建在清华科技园的赛尔大厦15层，应该属于很高的楼层了。该建设项目于2007年9月设计，2007年10月开始建设，2008年5月加电试运行。该数据中心建设楼层高，建设难度大，与以往的数据中心机房建设相比需要考虑的问题更多。目前该数据中心机房已安全运行6年，运行正常，并且成为赛尔网络对外参观展示的一个窗口。

2 赛尔网络数据中心简介

赛尔网络数据中心是根据赛尔网络发展的长远战略，并围绕赛尔网络的工作中心和信息化建设要求，体现“面向未来”的设计思想，建设一个布局合理、功能完备、安全可靠、设施先进，绿色环保、投资节省的现代化A级数据中心机房，同时还要考虑容集各方面的问题，具体就是要机柜数量最大化。这无疑对机房布局、电力、空调方面提出了更高的要求。

机房根据功能需求需有如下几个区域（见图1）：机房区（包括公共托管区、VIP区）、监控室、测试室、网络机房、配电室（UPS主机、电池、配电柜等，该区域对地面承重有较高要求，至少在1 000kg／m2以上）、钢瓶间（消防要求必须独立于机房区外）、会议室，同时有关方面也提出了方便客户参观的要求。机房的建设在整个布局方面，体现了从实际情况出发、因地制宜设计的要求。

图1 赛尔网络数据中心平面结构示意图

15层的整个结构是环形的，中间有核心筒近300 m2，因此整个可用面积只有984m2，在满足以上条件的情况下机柜摆放最大化是需要精心设计的。后几经更改设计，根据实际情况采取环形的参观走廊，公共区机柜的摆放在满足通风的冷热通道标准的情况下，尽可能地密集，而在VIP区则采取了放弃设置多个小的VIP区的想法，只设计4个大的VIP区，这样就可以多放置一些机柜，最终机柜数量从220个左右增加到274个。实践证明，这样的设计是能够满足规范和实际需要的。当然，机柜数量的增加带来了另外2个方面的问题，那就是电力负载的增加以及空调制冷量的增加。

3 供配电系统设计

供配电系统设计相对比较成熟，国际上有ANSI／TIA-942标准以及Uptime的供电系统架构的可用性等级作为指导，国内以国标GB50174—2008机房分级标准中对供电系统的规范要求以及GB50052—2008供配电系统设计规范等相关规范作为指导。随着多年数据中心建设实践，总结出了许多最佳实践体会，如高低压变配电站靠近负荷中心的节能设计理念、冗余供配电系统物理隔离的高可用设计理念等。企业可以根据选择的可用性等级，按照Uptime建议的供配电系统架构进行设计。

但是由于每个企业信息系统部署的需求有各自的特点，特别是数据中心机房建设在高层之上（如赛尔网络数据中心建在15层），因此在供电系统设计中仍然有一些方面需要仔细地考虑和选择。根据需求，该数据中心机房单机柜负载需求为15A，这就需要在供配电系统中解决整个数据中心的供电量、供配电的冗余以及后备电源的问题。

一方面，要确保供电量是足够的，且能保证未来业务量的适当扩展；另一方面也要考虑未来节能设备的选用可能会使同样设备占用空间的用电量需求下降，要做到不能冗余过度。经过认真论证，综合大楼物业、柴油发电机厂家、UPS厂家、机房设计方与施工方等方面的意见，以及我们以往在数据机房建设方面的经验，最终设计了以下的供电方案，包括电力总容量、UPS的供电模式、柴油发电机的选型等。

3.1 电力总容量设计

电力总容量的设计原则是必须要将设备供电和空调制冷供电分开，且在容量上有一定的冗余性；同时，必须要做到多路冗余供电。具体要求是：

（1）大楼物业确保提供900kVA UPS供电，以及600kVA的空调负载；

（2）大楼物业提供IDC供电取自2组变压器；

（3）为确保供电安全，2个变压器中任何一个出现故障，都会中断对机房的供电，由机房的柴油发电机负担机房的电力负载。

3.2 UPS方案设计

（1）UPS保持2N模式，6台300kVA，总输出容量为720kW／900kVA；

（2）UPS系统配备12脉冲整流器，在柴油发电机电压畸变小于2%的情况下，实现单台满载情况下输入谐波分量＜5%、单台UPS负载50%情况下输入谐波分量＜7.5%、单台UPS负载25%情况下输入谐波分量＜8.8%的技术要求；

（3）确保能够在市电故障情况下（2个变压器之一发生故障），能够延迟顺序加载UPS负载到柴油发电机组，并且能够中断对UPS系统电池的充电负荷。

3.3 柴油发电机组设计

将柴油发电机组型号THLM1470的ABB发电机单元增容至主用功率1 800kW，并且采用永磁型发电机。在满足下面技术条件下，可以在机房满载时，保证赛尔大厦IDC机房6台300kVA UPS系统的正常启动及带载运行，并且可以在UPS顺序启动成功后，带载机房专用空调。具体技术条件如下：

（1）柴油发电机组需配滤波器，减少谐波干扰。

（2）在市电失电时6台300kVA UPS必须顺序启动。

（3）6台300kVA UPS系统总输出功率不得超过720kW／900kVA。

（4）UPS系统配备12脉冲整流器，在柴油发电机确保电压畸变小于2%的情况下，实现单台满载情况下输入谐波分量＜5%、单台UPS50%负载情况下输入谐波分量＜7.5%、单台UPS负载25%情况下输入谐波分量＜8.8%的技术要求。

（5）柴油发电机组输出功率不带UPS系统电池充电负荷。

（6）在UPS系统正常启动成功后，可以顺序启动机房专用空调。机房空调可以部分设置为手动模式，具体需要加载的数量根据电力负载情况进行调整以充分保证机房的安全运行。

（7）要求柴油发电机在变压器断电状态下启动，启动信号取自变压器系统。

3.4 供配方案的2个重要方面

供配方案中，有2个方面是很重要的：

（1）对柴油发电机组发电机单元的改进。将柴油发电机组型号THLM1470的发电机单元增容至主用功率1 800kW，并且采用永磁型发电机。这在以前是没有实施过的，在该项目中，我们提出该建议，经设计方及柴油发电机厂家认证，并最终实施。

（2）对整个供配电系统供电质量优化的最大化。变压器双路引入、UPS内部配置隔离变压器、配备12脉冲整流器，并设置为在市电失电顺序加载到后备电源上，柴油发电机配有源滤波器，在最大限度上提高供电质量，减少谐波干扰，提高电力运行的安全系数，特别是后备电源安全启动的可靠性。

以上方案经设计方论证认可实施，现经过近6年的安全运行，证明该方案的确是安全、可靠、经济的。

4 制冷系统设计

制冷系统是数据中心的关键子系统，不仅关系到数据中心稳定运行，同时也是实现数据中心节能降耗、建设绿色数据中心的重要环节。由于制冷系统的能耗约占数据中心整体能耗的2／5，降低能耗的潜力很大。

制冷技术对于建筑行业来说是一个相对成熟的技术，但为数据中心的网络和服务器设备制冷与为建筑物内的人员制冷相比，还是存在较大的差异，因此，在制冷系统的设计理念以及实现技术方面都存在较大的不同。在数据中心规划设计阶段，许多影响制冷系统设计的因素都需要企业根据数据中心所在地理位置的气候条件、数据中心可用性等级、网络及服务器设备的功率密度特点、数据中心具体物理位置的限制以及拟达到的节能指标等多种因素综合考虑，并做出合理的选择。

4.1 数据中心机房环境特点

（1）设备的功耗大、发热量大。设备的运行过程中，机柜的散热量大且集中，热负荷强度高。

（2）机房湿热比高、散湿量小。湿热比通常高达0.85～0.95；总散湿量约在8～16g／m2。

（3）温湿度控制精度要求高且稳定。

（4）需要全年持续、稳定的恒温运行。

（5）送风量大，送、回风温差小。

（6）洁净度要求较高。

（7）空调系统应具有高可靠性。

4.2 风冷与水冷相结合、分期实施方案

根据机房的供电负荷，设计方根据规范设计了20台空调，确保机房的恒温恒湿，但由于机房处在15层，提供安装室外风机的16层不能满足20台风冷空调室外机的空间，同时对比了风冷与水冷特点，最终根据实际情况，采取了风冷与水冷相结合、分期实施的方案。这主要出于以下几个方面的考虑：

（1）解决16层阳台风冷空调室外风机安装位置不足的问题。

（2）机房的电力负载是逐步上升的，分期施工可以减少初期的一次性投资。在第一次施工中预留下二次施工可能需要安装的设备空间，同时也可根据实际的电力负载，对二期增加的空调数量进行调整。

（3）水冷机组虽然一次投入比风冷高，但水冷机组有其自身的优点：每台水冷空调为一个独立的系统，不存在公共的故障点，安全性非常好；不会发生大面积停机的情况，与风冷系统的安全性基本相同；最重要的是水冷机组的散热条件好，冬季和春秋季运行时电费节省比较明显；空调冷凝温度较低且波动小，不会随室外温度升高出现高压报警现象；维护工作量少。

目前二期水冷空调已经实施完毕，风冷、水冷共18台，比设计中的20台减少了2台，这是根据实际电力负载情况进行调整的结果，目前运行安全稳定，能够保证机房恒温恒湿的运行环境。

5 结束语

数据中心机房的建设是一个复杂的工程项目，涉及的工种较多，专业技术性强，规范要求高，施工难度大。本文针对赛尔网络数据中心的规划设计和建设中面临的技术和非技术问题的抉择等进行了梳理与总结。在数据中心机房建设过程中，虽然不存在千篇一律的标准范式，但也还是有一些通行的法则值得后来者参考的，我们将之归纳为：安全实用原则、灵活多变原则、经济实惠原则。

（

）

［1］赵明清，李捷，柴永财，等.企业数据中心建设实践之规划设计要点浅谈（一）［J］.信息系统工程，2012（9）：47-49.

［2］赵明清，李捷，柴永财，等.企业数据中心建设实践之规划设计要点浅谈（二）［J］.信息系统工程，2012（10）：29-31.

［3］李峰.政府数据中心建设误区及建设方法浅析［J］.电子政务，2008（2）：97-102.

［4］赵俊三，尹鸿瑜，陶本藻，等.省级国土资源数据中心建设相关技术问题研究［J］.武汉大学学报：信息科学版，2005，30（5）：426-430.

［5］贾红龙.论烟草行业数据中心建设中的数据质量管理［J］.信息技术与信息化杂志，2009（6）：33-38.

［6］陆疆.电力企业数据中心建设之我见［J］.电力技术资讯，2013（10）：105-106.

［7］莫洁.水利数据中心建设数据质量控制方案研究［J］.水利信息化，2012，10（5）：20-24.

［8］张小荣，章志国.校园数据中心建设项目生命周期探讨［J］.现代计算机，2013（12）：54-56.

［9］王德才.高校数据中心建设方案与体会［J］.中国教育信息化，2008（13）：42-43.

［10］邵永春，邓晓华，苏志文，等.分布式空间数据中心建设研究［J］.微计算机信息，2008，24（1）：233-234，211

［11］何晓梅，冯梅，李捷，等.企业数据中心建设实践之供配电系统设计要点浅谈［J］.信息系统工程，2013（6）：31-33.

［12］何晓梅，冯梅，李捷，等.企业数据中心建设实践之制冷系统设计要点浅谈［J］.信息系统工程，2013（3）：51-54.