超级计算中心功能与设计探讨

中国中元国际工程公司 焦建欣

在当代信息技术高速发展的社会里，随着云计算、新一代互联网、移动互联网及物联网等新业务的推广，信息资源将产生爆炸式的增长。数据中心是信息化的重要基础设施，因而也成为了建筑设计领域中的一个新兴的板块。其中，又因其使用性质和功能的不同，分为机构或企业自用的数据中心、商用型数据中心IDC（Internet Data Center）以及超级计算机中心等不同的类型。我公司于2009年承接了国家超级计算深圳中心建设工程，由此开始了对超级计算中心的功能与设计的研究探讨。

1 项目概况

国家超级计算深圳中心项目位于深圳市南山西丽大学城，工程建设用地1.2万m2，规划总建筑面积43 414m2，由机房楼和科研楼组成。其中，机房楼地上建筑面积9 626m2，地下建筑面积2 386m2，建筑檐口高度23.5m，地上4层，地下1层。

该项目是国家重大科技基础设施项目，将建成为亚洲前列、国际一流的国家超级计算技术研发中心和技术服务中心。本中心的超级计算机是目前世界上最先进的超级计算机之一，核心主计算机为曙光6000A（代号星云）（图2），峰值计算能力超过每秒3 000万亿次，实测Linpack性能达到每秒1 271万亿次.由一台主计算机和多台不同架构和加速方案的辅助计算机共同组成了中心的混合架构高性能计算机，其由约200套机柜组成，计算能力超过20万台普通笔记本电脑。本超级计算中心的建设使我国超级计算能力跻身世界前列。该项目已于2012年1月正式竣工验收，并投入使用，至今运行良好。

2 超级计算与超级计算中心的概念

2.1 超级计算的概念

超级计算也称为高性能计算（HPC），指通常使用很多处理器或者某一集群中组织的多台计算机的计算系统和环境。

2.2 超级计算的主要特性

（1）稀缺性

对于单个作业计算速度的需求和社会整体对聚合计算能力快速增长的需求，迫使超级计算中心配置技术最先进、速度最快的超级计算机系统。超级计算机是一种价格昂贵的“快速消费品”。全球TOP500总计算能力（Linpack值）以每年5倍的速度增加；硬件的昂贵、软件的多样化以及配置的复杂性形成了超级计算机服务平台资源的稀缺性特点。

（2）前导性

因为超级计算机都是所处时代速度最快的计算机，其硬件系统是最先进的，位于计算机技术和科学研究的最前沿。超级计算机硬件系统的先进性支撑了 图3 基于集群的超级计算机系统各学科领域的应用软件，有效地为各学科领域最前沿的研究与发展提供了服务。

（3）公共性

计算机作为一种先进的计算工具，已成为科学计算、工程设计和产品研制的最基本工具，而超级计算机则是各学科领域前沿研究的关键。因此超级计算中心作为跨学科研究的公共基础平台，对国家整体的科学进步起着至关重要的作用。

2.3 超级计算机的功能及应用

近年来，科学技术的飞速发展使得许多行业和领域不断提出大型和超大型的计算要求，促使大规模科学计算和数据处理走上超级并行计算这一必由之路。

超级计算中心的超级计算系统主要应用领域为气象灾害预报、生命科学研究、家用电器研发、汽车制造、多媒体计算和学科研究等几个主要的方向。另外，金融、气象、教育、科研及政务等领域对超级计算的需求也日显突出。

超级计算能满足未来云计算环境的应用需求，可运用先进的“云计算”理念，广泛的应用于市政政务信息化、文化创意产业、城市规划及管理、物联网、数字新媒体以及气象、生物工程和航天等领域，必将对科技、经济和社会发展发挥巨大作用，并可成为国家级的“云计算”节点之一。因此，目前本项目除称之为“国家超级计算深圳中心”外，也称为“深圳云计算中心”。

2.4 云计算的功能及应用

IT技术以及数据中心的发展趋势将是以“云计算”和“服务”作为基础的解决方案。所谓“云计算”是以用户为中心的基于分布式计算，数据存在于云海（各类数据中心）之中，互联网变成每个人的数据存储中心、数据计算中心。“云计算”带领我们进入一个全新的信息化时代——云时代。

在云计算模式中，各种应用、数据和IT资源以服务的方式通过网络提供给用户使用，而用户终端也随着计算模式的变化而趋向于简单化。云计算阶段则以网络中的所有可能的资源为计算载体，提供的是一种近似于无限的运算能力。而超级计算中心可以作为云计算的平台，在超级计算中心的超级计算机基础上，针对各行各业的不同，搭建多种云计算基础平台，通过资源的动态配置提供广大用户所需要的各类云服务。主要包括以下两大类：

1）工业云、金融云、电力智能云及中小企业云，是面向不同行业领域的“专业云”；

2）办公云、政务云、电子商务云、教育云、健康云、交通云、文化云、物联网、数据挖掘云及公安云等，是直接与民生信息服务息息相关的。

2.5 超级计算中心的概念

超级计算中心是以超级计算机为基础的数据中心，面向科研、国民经济、社会发展及高新技术产业等突出问题和核心技术，着重解决普通计算机和服务器不能完成的大型复杂课题而建设的，相对于普通的计算中心而言，它的计算能力有了飞跃的发展，可应用的领域和使用模式有了极大的拓展。超级计算中心是建立在足够的科技创新能力和应用需求基础上的，是一个国家和地区的自主创新能力和综合竞争力的具体体现。

3 超级计算中心的设计

3.1 超级计算中心的设计依据

从建筑分类上，超级计算中心属电子信息机房类工程，因此数据中心内的机房部分设计主要依据为：

（1）国内规范：《电子信息系统机房设计规范》（GB50147-2008）。

（2）国际标准：《数据中心电信基础设施标准》（TIA-942-2005）。

（3）超算主机生产设备厂家的相关资料、建设单位的需求等。

（4）超级计算中心内其他建筑主要设计依据应根据建筑规模及特点详见各专业国家相关规范。

3.2 超级计算中心分级

超级计算中心是数据中心的一种，设计上应满足国内数据中心的分级标准，如有需求也可参考国际数据中心的分级标准。

1）国内标准分级

国标《电子信息系统机房设计规范》（GB50147-2008）将电子信息机房分为A、B、C三级，分级的原则是从机房的使用性质、管理要求及重要数据丢失或网络中断在经济或社会上造成的损失或影响程度确定的。

2）国际标准分级

对于一款电视节目来讲，要想获得较好的效果，在对其进行编制之前必须明确其定位，然后围绕该定位塑造与之相匹配的风格与内涵，这样才能够使制作出来的电视节目更加具有吸引力。但是，从当前电视节目实际制作现状来看，许多节目存在定位不够明确的问题，以

在美国通信工业协会发布的《数据中心电信基础设施标准》（TIA-942-2005）中将数据中心可用性划分为4个等级。第一级数据中心（T1级）：基础级；第二级数据中心（T2级）：具冗余部件级；第三级数据中心（T3级）：可并行维护级；第四级数据中心（T4级）：容错级。

3.3 超级计算中心的设计原则

超级计算中心设计是一项复杂的系统工程，在数据中心的设计过程中，涉及工艺流程、总体规划布局、建筑、结构、给排水、暖通空调、电气、弱电、消防、节能环保以及机房工程等众多方面。因此，数据中心的设计应统筹规划，并应遵循以下主要原则：

1）工艺流程合理性

针对超级计算机的需求，合理确定机房等级，充分考虑超算主机房、数据机房的运作流线以及对土建、设备等技术条件的要求，满足机房运行维护要求，组成合理的设备物流及人流流线。通过合理的布局及柱网配比，达到提高超算设备安装及维护方便的目的。

2）安全可靠性

超级计算中心的安全可靠性主要应从以下几个方面考虑：

（1）统筹规划，分区布局：在总体布局中采用统筹规划，分区布局的方式，将机房区域与办公科研等区域分开设置。

（2）防洪防水：结合工程地势的特点，适当设置场地高程，加大机房楼与室外地坪的高差，减少了雨水对机房楼的威胁。

（3）防震抗震：合理设置工程抗震设防分类及抗震措施。

（4）防火：机房楼为一类建筑，耐火等级为一级，火灾自动报警系统按一级保护等级设计，在超算主机房、数据机房等重点部位采用气体灭火系统。

（5）防雷、防电磁干扰及泄露（电磁兼容性EMC）：应综合运用分流、均压（等电位）、接地、屏蔽、合理布线及保护（器件）等技术手段对电子系统实施全面的保护。避免电磁干扰，并防止自身信号的电磁泄露。

（6）防噪声、防污染：机电系统选用高效、低噪声设备，并设减振装置。

（7）安全防范：应采用先进的数字化、网络化的安全防范系统，形成由周界、楼体及楼内重要部位的实体防范、技术防范及人防构成的多层次、全方位、多种手段的安全防范体系。

3）先进适用性

超级计算中心是为世界上最先进的超级计算机而建的，因此在设计中需采用各种与之配套的先进且适用的技术。

4）节能环保、高效

针对数据机房的高耗能、不间断运行的特点，设计从建筑维护体系到各机电系统配置等全面体现节能环保理念，使得整个建筑在高效、经济、节能、协调的运行状态，营造绿色节能的机房建筑。

5）灵活经济性

采用超算主机房及数据机房分层设置的布局，形成了从机房到配套设施的整体模块化布局，可根据需要分期建设投入使用，增加了机房使用的灵活性，同时又可降低初次投资。

3.4 超级计算中心的功能布局

超级计算中心通常由机房楼、监控中心、机房配套辅助用房及科研办公用房等组成，根据不同类型及规模不同，可以是单体建筑或建筑群。本项目是由机房楼和科研楼两部分组成，并通过科研楼裙房与机房楼相连。

作为安装超级计算机的机房楼是设计的重点，本项目的机房楼地下1层，地上4层。其中，地下1层（建筑面积2386m2，层高6.1m）包括变配电室、冷冻机房、热交换间等机房配套设备机房，为超算主机房和数据机房提供运行保证；1层（建筑面积2 382m2，层高5.7m）为预留超算主机房；2层（建筑面积2 382m2，层高5.7m）为超算主机房；3层及4层（建筑面积2 382m2，3层高5.7m，4层层高5m）均为普通数据机房。图4为本项目机房楼2层超级机房平面图。

1）超算主机房

超算主机房内设置超级计算主机及其网络设备等辅助设备，是存放超算中心IT设备的用房，该机房是为超级计算机量身定做的，因此设计时要与超级计算机制造厂家协商确定。

2）主机监控室

由于超级计算机通常是由集群的多台计算机组成，包括计算节点和控制节点，因此需要在超算主机房旁设置其控制节点或终端所需的监控机房。

3）机房配套辅助用房

包括供配电系统、柴油发动机（根据需要）及空调制冷系统、消防系统等为数据机房提供动力能源的配套设施机房及其他机房配套的辅助用房，如更衣室、备件库及休息室等。

4）参观走廊

因超算中心具有公共性，而且是一个国家和地区的自主创新能力和综合竞争力的具体体现，因此常常作为参观教育基地，所以要设计参观的入口、走廊等。

5）监控中心

监控中心及指挥中心，是构成机房集中统一的运行管理指挥平台。依靠先进的通讯技术和功能强大的运行管理系统与信息展示系统，反映超级计算机各系统运营状况的所有信息，包括主机系统、网络系统、应用系统、数据库系统、机房环境等。进行集中监控管理，实现操作自动化，从而达到提高信息系统管理效率和管理质量的目的。平时也作为参观展示的场所，在紧急状态下，实现应急指挥和控制功能。

6）科研办公用房

为超级计算机应用和管理配套的科研办公用房及其配套地下车库、机电用房、职工餐厅、会议等。

3.5 超级计算中心设计应注意的问题

在超级计算中心各专业设计过程中，最为重要的是应结合超算中心的特点，有针对性地进行设计。

1）规划及建筑

（1）项目的选址应电力、供水可靠充足，交通、通信应便捷；并远离水灾、火灾隐患、粉尘、油烟、有害气体和强电磁干扰等。

（2）工艺为本是数据中心设计的基本原则，所有的规划及平面设计均应从工艺要求出发。由于超算主机的更新换代通常是3～5年，而且在更新换代期间，会有两代超算主机同时运转期，因此要预留出下一代超算主机安装的空间，各相关专业也需预留容量或设备安装的空间。

（3）由于超算中心具有参观等公共开发性，因此在总体规划时要特别关注各种流线的设计，包括：主机等IT设备的物流、大型机电设备的物流、车流、主机监控维护人流、其他IT设备监控维护人流及日常科研办公人流及公众参观人流等。

2）结构

（1）综合考虑地震断层、机房的活荷载、变形缝设置以及结构安全等级等问题。

（2）除机房各功能房间的荷载取值的合理设计外，特别要注意支持区内大型设备用房楼层吊挂荷载，以及屋面活荷载进行折算统计。

（3）配套机房内的大型机电设备基础通常需做隔振、减振设计，以避免对超算主机运行的影响。

3）给排水

（1）由于超算主机房为水冷系统，架空地板下均敷设水冷系统的管线，因此机房的排水及防水设计要引起足够的重视。

（2）适当设计超算中心的园区抗灾、抗洪能力。

4）暖通空调及动力

（1）超算主机房的功率可高达30kW/机柜，属超高密度机房，因此要采用机柜制冷和房间制冷等多种制冷方式，使超算主机自身的制冷系统与机房环境的制冷系统形成良好的结合。

（2）保证数据中心机房环境的温度、湿度和洁净度，为数据中心机房设备提供一个可靠的运行环境。

（3）合理确定发电机用储油量及储油形式。

5）电气

（1）供电系统的可靠性占首要的位置，在规范要求的基础上，根据超算主机的需求、系统重要性等条件综合确定机房负荷等级。

（2）在超级计算中心的投资中电气系统所占比重较大，因此高低压配电系统、柴油发电机系统以及UPS不间断电源系统的设计应在系统可靠性、运行维护可操作性以及经济性上综合确定。

6）弱电智能化

（1）应与超算主机制造厂家配合，预留超算主机房布线系统的通道和路由。

（2）除常规的弱电系统外，应设置机房环境监控系统；KVM管理系统；大屏幕综合显示系统以及总控中心集成等数据中心特有的系统。

7）绿色节能

超级计算机有出众的计算能力，但其耗电能力也非常惊人。据有关数据显示，一个每秒运行10亿次的超级计算中心的电费每年近400万元。以本项目为例，项目总负荷为10 972kVA；主机房空调循环冷却水系统用水量为75 600m3/d，最大时循环水量为3150m3/h，系统补水量为1 100m3/d，由此可见超级计算机的耗电及耗水量都是很大的。因此，在超级计算机中心的设计上应结合IT设备自身以及建筑、散热与制冷、电气节能、节水等措施，形成系统的绿色节能设计体系。

8）技术经济

由于超级计算中心通常是由各级地方政府或政府机构建设，属国家投资，因此，在项目各阶段技术经济分析要准确详实，贴合设计，保障投资充足。而各阶段的设计也应以上一阶段的经济分析为依据，避免超投资设计，并配合业主在设备采购招标及施工等阶段做好投资控制。超级计算中心的投资比较高，以本项目为例，机房楼的单方造价约1.5万元/m2，其中，土建及装修只占到10%左右，其他大约90%都是机电工程和为超算主机配套的工程费用。

4 结束语

超级计算中心是数据中心领域中的一个特殊的类型，对国家科学技术研究的发展起着极其重要的推动作用，其高精尖的技术含量使项目具有自身的独特性。本文仅以国家超级计算深圳中心为例，简单介绍了超级计算中心的功能及设计，希望能有更多的人关注超级计算中心，并对今后类似的设计有所帮助

[1]中华人民共和国电子工业部. GB50174-2008电子信息系统机房设计规范[S]. 北京: 中国计划出版社, 2008.

[2]美国电信产业协会，TIA技术工程委员会.数据中心电信基础设施标准TIA-942-2005[S].2005.

[3]张伟. 超级计算机[J]. 百科知识, 2008（12）.