张爱卿,张文利,张隽轩
(中通服咨询设计研究院有限公司,江苏 南京 210019)
数据中心是为集中式电子信息设备提供运行环境的建筑场所,可以是一栋或几栋建筑物,也可以是一栋建筑物的一部分,包括主机房、辅助区、支持区以及行政管理区等。本文主要论述对象为大型数据中心(使用面积2 000~10 000 m2)和超大型数据中心(使用面积大于10 000 m2)[1]。数据中心运维管理主要对数据中心场地基础设施进行日常运行和维护,确保各项基础设施系统安全稳定的运行。运维管理包括制定运维制度和计划、执行运维计划以及响应场地基础设施故障与突发事件等紧急情况[2]。数据中心综合监控系统又称运维监控系统,主要指对数据中心内基础设施的运行状态进行集中监测、控制以及管理的计算机集成系统[3]。数据中心运维监控系统或基础设施管理系统需配套网络系统,以下简称运维网络系统。
通常数据中心基础设施监控管理系统和网络系统的规划与实施在工程设计施工阶段完成,归属于数据中心建设部门。数据中心运维管理是项目竣工投产运营阶段的主要工作重点,归属于数据中心运维部门,分析数据中心运维网络架构离不开数据中心建设需求和运维管理需求。从不同用户的使用需求出发,结合大量数据中心设计实施经验,探讨典型的数据中心运维网络系统模型。
数据中心基础设施直接影响着数据中心安全、高效、稳定的运行,如何维护好机房、及时发现隐患和排除故障、降低管理成本、提高运维效率以及控制机房能耗是数据中心运维管理的重点[4]。为了实现这些目标,需要快速发现并定位问题,通过规范的运维管理体系快速处理问题。此外,还需要融合各个信息孤岛,在统一监控平台上实现所有系统的监控、报警等工作。基于运维工作的复杂性,数据中心用户需要高效协调并管理好各个系统设备的服务团队,通过体系化的服务保障数据中心的稳定运行。
针对以上数据中心运维管理所面临的问题,采用数据中心监控系统对基础设施进行监控和管理。目前,数据中心运维监控系统表现形式多样化,既有大型互联网企业自行研发的智维平台、数字孪生平台,也有各大运维管理系统厂商的动环监控系统、数据中心基础设施管控平台等。
数据中心运维监控系统是对数据中心内基础设施的运行状态进行集中监测、控制和管理的计算机集成系统,是由硬件和软件结合形成的复杂化系统。运维监控系统管理的对象是数据中心基础设施,还包括第三方专业子系统的集成,以达到一体化监控的目的。运维监控系统也应具备与第三方集成平台集成的功能,按实际使用需求将数据上传至上级平台或用户指定平台[5]。运维监控系统管理及集成内容包括高低压变配电系统、自控系统、综合安防系统、新风系统、智能照明系统、消防系统、供水系统以及运维机器人系统等[6]。运维监控系统各个子系统均能向上提供软件接口,通过接口模块将各个子系统采集到数据进行协议和信息模型转换,将事件、告警、资源等信息转换成集成管理系统可识别的统一数据模型。
数据中心运维网络系统的连接内容主要包括前端传感器、采集设备、嵌入式服务器、管理服务器、展示设备以及智能软件接口等,是数据中心运维监控系统的重要组成部分,为云运维、云管理的逐步实施提供必要的网络基础条件[7-9]。终端用户对数据中心运维监控管理的要求决定了数据中心运维监控系统的实现方式,数据中心运维网络系统也随之呈现多样化差异。
数据中心运维网络系统应独立设置,与办公网、公共网等实现物理隔离。数据中心运维网络架构一般采用3层网络,以南北流向的计算机网络结构满足基础设施监控系统纵贯式大流量传输需求,分为核心层、汇聚层、接入层。此外,也可以采用两层网络架构,分为核心层和接入层[10]。运维网络系统核心层与汇聚层应使用万兆交换机,接入层可以使用千兆交换机。交换机下联口预留20%左右的冗余量,供系统后期扩展使用。超大型数据中心运维网络系统应采用整体冗余设计,部分大型或中小型数据中心可以在汇聚层以上采取冗余设计,接入层采用单链路设计。
数据中心服务商可分为基础电信运营商、云计算厂商以及第三方服务商等。数据中心从所有权方面可简单分为自用型数据中心和租用型数据中心,以云计算厂商为例,自建自用型数据中心与租用型数据中心通常采用不同的标准。数据中心企业用户可分为云计算厂商、互联网企业、政府机构、金融企业以及其他类型企业等。不同的服务商和终端用户对数据中心基础设施系统、运维监控系统、运维网络系统的要求均不同,各企业针对数据中心运维管理系统、网络系统均有自己的标准。一般情况下,终端用户的要求同步决定了运维网络系统的架构,同时运维网络系统内部还有多种子系统组网方式。
运维监控系统所集成的各子系统对网络系统的需求不同,同时数据中心建设管理模式不同,在实施过程中通常会将运维网络系统再次划分为不同的网络子系统,网络子系统设备彼此不共用。运维网络系统一般可以分为综合安防网络子系统、自控网络子系统以及其他网络子系统等,网络子系统可根据项目特性和实际需求灵活调整。
视频监控子系统前端网络摄像机数量众多,对网络设备转发性能、总带宽等要求比其他子系统要高得多。视频数据流由很多的帧组成,其中存在部分瞬间突发数据,这种情况就需要交换机对数据的波动进行缓冲和整流处理。如果视频监控子系统与其他子系统共同组网,在网络总带宽有限的情况下可能会造成其他系统数据流卡顿,宜单独组网。
自控网络子系统对数据的采集周期、存储速度、刷新时间、数据容量以及系统控制响应时间等性能有着更高的要求,不宜与其他系统共用前端网络系统,同时应采用冗余设计。
结合以往数据中心设计实施经验,运维网络系统主要有以下几种架构。
(1)运维网络模型1。采用3层网络架构,整体采用冗余设计。安防系统与自控系统在汇聚层以下单独组网,网络核心交换机共用。网络系统架构适用性强,能够满足绝大部分运营商、互联网企业、政府机构等地网络需求,可以在终端用户未确定时采用。数据中心运维网络结构1拓扑如图1所示。
(2)运维网络模型2。采用3层网络架构,整体采用冗余设计。安防系统与自控系统共用核心及汇聚交换机,核心及汇聚交换机性能不足时,运维监控系统数据刷新时间、响应时间等参数可能无法满足客户需求,严重时会出现数据堵塞等现象。此网络系统架构可用于大型或中型数据中心,超大型数据中心不建议采用。数据中心运维网络结构2拓扑如图2所示。
(3)运维网络模型3。在运维网络模型1的基础上,动环系统与暖通监控系统分别配置冗余的汇聚交换机,运维监控子系统网络更稳定,但投资成本和对弱电核心机房空间要求增加,适用于特定的云计算客户。数据中心运维网络结构3拓扑如图3所示。
(4)运维网络模型4。在运维网络模型2的基础上,增加冗余的管控中控汇聚交换机,适用于高度模块化或配置单元管控系统的定制型数据中心和特定的云计算客户。数据中心运维网络结构4拓扑如图4所示。
(5)运维网络模型5。采用两层网络架构,整体采用冗余设计,数据中心基础设施管理系统平台、门禁系统、视频监控系统单独组网。此网络系统架构对大部分数据中心具备一定的参考价值,适用于特定的云计算客户。数据中心运维网络结构5拓扑如图5所示。
(6)运维网络模型6。采用两层网络架构,仅暖通监控子系统采用冗余设计。安防系统、动环系统、蓄电池监控系统单独组网,未采用冗余设计,容易形成单点故障。整体网络系统投资少,但仅适用于特定的第三方服务商。数据中心运维网络结构6拓扑如图6所示。
运维网络系统受客户需求、系统投资、基础设施系统以及建设标准等因素影响,网络架构呈现差异化。结合影响数据中心运维网络系统的因素,搜集整理各数据中心集成商与终端用户对于运维监控系统和网络系统的要求,针对运维网络系统进行研究、归纳、整理,并形成典型网络系统模型,有助于数据中心网络系统的快速部署,使数据中心网络系统更贴合运维监控系统的需求。针对数据中心终端用户的监控网络需求进行研究,在终端用户未确定时选择适用范围广的网络系统架构,同时针对有合作意向的客户类别选择相应的数据中心运维网络模型,减少因网络系统实施错误造成的投资浪费,加快数据中心网络系统规划建设进程。