(中国移动通信集团设计院有限公司北京分公司,北京 100038)
互联网数据中心(IDC)是为满足互联网业务和信息服务需求而建设的应用基础设施,通过与互联网的高速连接,以丰富的计算、存储、网络和应用资源提供大规模、高质量的基础服务和增值服务。随着通信技术的高速发展及全球化业务的迅速开展,信息化进程不断加快,尤其是近年来互联网业务高速发展,各类业务应用对IT需求将飞速增长,要完全满足业务急剧扩展对IDC资源的需求,IDC的互联网接入必须具备丰富的互联网带宽资源,清晰的分层结构,保证网络的稳定性、安全性和可扩展性,以适应业务的发展。本文将对IDC的互联网接入方案展开深入研究以应对IDC发展过程中面临的诸多难点。
互联网数据中心的建设涉及范围很广,包含土建、电气、消防、网络、运营等系统,从逻辑功能上IDC可分为物理层、网络层、资源层、业务层、运维管理层5大逻辑功能模块,如图1所示。
图1 IDC逻辑功能模块构成图
网络层是IDC接入互联网的信息通道,网络层设备在整个IDC运营中起到承上启下的作用:一方面对外担负着与互联网、计费专网等网络系统的互联互通;另一方面对内承载着各种IDC业务系统。同时还需要将安全设备部署在网络层内,防范来自外部互联网的攻击和保障IDC内部网络和业务的正常运行。对IDC互联网接入方案的研究也就是对IDC网络层组网方式的研究。
网络层由路由器、交换机、防火墙等数据通信设备和安全设备组成。IDC网络层方案设计应遵循TCP/IP标准层次化设计方案。各层次都应采用具有可扩展性的模块化设计,可根据IDC业务未来的发展方向和实际特殊需求,进行灵活的扩展。每个层次所选用的网络设备,应具有较高的端口密度,为IDC内部规模扩充提供平滑过渡的平台。IDC网络层的设计由上至下划分为4个层次。
1.1.1 互联网接入层
互联网接入层设备应选用高端路由器,负责与CMNET网络的互联,保证IDC内部网络可高速访问互联网,并汇聚网络内的汇聚层交换机。路由器应采用双机冗余结构,双机之间采用单链路/多链路互连。在该层可部署由流量检测系统和流量清洗系统组成的流量清洗中心,以防范分布式拒绝服务(DDoS)攻击。
1.1.2 汇聚层
汇聚层设备应选用3层中高端交换机,负责向下汇聚多个业务区的业务接入层交换机,向上与互联网接入层路由器进行互联,与互联网接入层路由器间宜采用双链路冗余的互联方式,实现较高的冗余能力,在可靠性要求高的IDC节点,可采用全网状互联的方式。交换机间应采用双机冗余结构,双机之间采用单链路/多链路互联。在该层可部署访问控制系统、入侵检测系统、负载均衡系统等。
1.1.3 业务接入层
业务接入层设备可选用2层或3层交换机,负责接入各业务区内部的主机设备和网络设备等,向上与汇聚层交换机之间互联,互联有两种方式:当接入交换机不做设备冗余配置时,宜采用三角形连接方式;当接入交换机做设备冗余时(成对使用),可采用全网状冗余互联或双链路冗余互联。在该层可部署病毒防范系统、安全评估系统、应用监控系统、主机安全加固等。
图2 IDC网络层结构拓扑图
1.1.4 运营管理层
运营管理层应具备网络管理、资源管理、业务管理、运营管理等IDC管理功能,向IDC的运营维护人员和客户提供设备管理、系统维护、远程接入等服务。在该层可部署安全控制网关、远程VPN接入、用户终端审计等。
经过层次化设计的IDC网络层结构拓扑如图2所示。
根据IDC节点的业务量预测,计算互联网的业务带宽需求,确定互联网接入层路由器的端口类型及数量,根据该IDC节点的规模及实际有选择的接入CMNET省网或CMNET骨干网,互联网接入层核心路由器设备可采用双链路冗余互联方式或全网状冗余互联方式上联CMNET路由器,实现与互联网的互通,如图3所示。
同时在互联网接入层路由器的与CMNET网络间,采用旁挂的方式部署由流量检测系统和流量清洗系统组成的流量清洗中心,对大流量DDoS攻击给予清洗。当流量检测系统检测到异常流量攻击后,上报流量清洗系统并把受攻击的主机流量引入清洗系统进行异常流量清洗,将清洗后的正常业务流量重新注入IDC网络中,如图4所示。
图3 IDC互联网接入层核心路由器上联方式示意图
图4 流量清洗中心部署方案网络拓扑图
随着IDC业务的飞速增长,越来越多的本地网通过多节点部署IDC来突破网络安全、机房空间、基础配套、电力供应的限制,同时也带来了大量占用CMNET网络和传输网络资源等问题,如何优化多节点IDC的互联网接入方案成为IDC建设中的关注焦点,下面将对如何更好的实现多节点IDC互联网接入展开研究。
实施方案:各IDC节点的互联网接入采用扁平化组网方式,所有IDC节点都直接上联CMNET。
各IDC节点均采用与单IDC节点相同的互联网接入设计方式,将网络层分为互联网接入层、汇聚层、业务接入层、运营管理层4层,所有IDC节点的互联网接入层路由器通过双链路冗余互联方式直接上联CMNET路由器,实现与互联网的互通,根据各IDC节点的规模有选择的接入CMNET省网或CMNET骨干网。在各IDC节点的出口部署流量清洗中心,对大流量DDoS攻击给予清洗。
方案优势:各IDC节点间的互联网接入相互独立,根据业务需求配置端口及传输资源的数量,对其它IDC节点不产生影响;各IDC节点的建设不需考虑节点外的网络投资,投资规模小;各IDC节点采用层次化设计,层次清晰、可靠性高。
方案劣势:各IDC节点的互联网接入层路由器都要与CMNET网络互通,需要在CMNET路由器为每个IDC节点的接入分配独立端口,当IDC节点数量较多时,对CMNET设备端口及传输资源的需求量激增,不利于网络的持续发展;单IDC节点对互联网带宽需求较低,若配置10GE端口,端口利用率较低,若配置多个GE端口,则对传输资源浪费较多;新IDC节点接入互联网时需要CMNET及传输侧配合,专业间协调工作量大;各IDC节点出口均需部署流量清洗中心,当IDC节点数量较多时,系统稳定性降低、投资较大、不利于统一维护。
实施方案:各IDC节点的互联网接入采用分层组网方式,所有IDC节点经汇聚后再上联CMNET。
图5 方案1:互联网接入方案网络拓扑图
在现有IDC网络层次划分的基础上,在CMNET路由器与互联网接入层路由器间增加IDC核心汇聚路由器作为IDC核心汇聚层,各IDC节点至互联网的数据流经IDC核心汇聚路由器汇聚后转发,互联网至各IDC节点的数据流经IDC核心汇聚路由器分发。为保证网络的安全性、稳定性,需要将IDC核心汇聚路由器异局址部署两对,同对路由器间采用单链路/多链路互连。
IDC核心汇聚路由器分别接入CMNET省网和CMNET骨干网,每对IDC核心汇聚层与CMNET路由器之间的互联链路,可采用双链路冗余互联方式或全网状冗余互联方式,本方案优先采用全网状冗余互联方式,增加网络链路的健壮性。
增加IDC核心汇聚层后,互联网与各IDC节点的信息交互都通过IDC核心汇聚路由器,将原本部署在互联网接入层的流量清洗中心上移到IDC核心汇聚层,即可实现对全网各IDC节点的异常流量清洗。
方案优势:对CMNET路由器端口和传输资源需求固定,与IDC节点数量无关,网络可扩展性强;管理上层次分明,增加或减少IDC节点等局部变动不影响上层路由配置和全局路由配置,减轻了网络负荷;新IDC节点接入互联网仅需按照业务需求对IDC核心汇聚路由器配置传输链路即可,不需CMNET侧配合;全网部署两套流量清洗中心即可,安全系统稳定性高、投资小、便于统一维护。
图6 方案2:互联网接入方案网络拓扑图
方案劣势:该方案增加了IDC核心汇聚层,网络由4层机构变为5层,网络设备数量也随之增加,网络稳定性降低,投资随设备数量增多而变大。
实施方案:各IDC节点的互联网接入采用混合组网方式,部分IDC节点直接承载于CMNET,其它IDC节点经汇聚后再上联CMNET。
与CMNET路由器同局址的IDC节点,这部分IDC节点的互联网接入层路由器设备通过双链路冗余互联方式直接上联至CMNET路由器,实现与互联网的互通,同时在IDC节点出口部署流量清洗中心;与CMNET路由器异局址的IDC节点,这部分IDC节点采用方案2的组网方式增加IDC核心汇聚层,由IDC核心汇聚路由器汇聚和分发信息,在IDC核心汇聚层部署流量清洗中心。
该方案兼具方案1与方案2的优缺点,可根据各IDC节点的实际,灵活选择互联网接入的组网方式。
上述3种方案中,扁平化的组网方式适用于IDC节点数量少于5个的本地网;若同一本地网内有5个以上IDC节点,建议采用分层的组网方式接入互联网;当同一本地网内的IDC节点数量较多,且部分IDC节点与CMNET路由器同局址设置,此种情形建议采用更为灵活的混合组网方式。
本文采用层次化方式设计的各种单/多节点IDC互联网接入方案,有着各自适用场景,在实际工程应用中通过不同场景的直接套用,可缩短IDC机房网络设计周期、简化设计流程。上述设计方法有较大适用空间,不仅可以应用于互联网数据中心的建设,也适用于其它各类通信机房网络的模块化设计。
[1] 陈峰. 网络核心机房设计指南. 化学工业出版社,2011,04.
[2] 林小村,马玉林,翁小云. 数据中心建设与运行管理. 科学出版社,2010,04.
[3] 刘佳,杜雪涛,朱文涛,张高山. 互联网数据中心安全解决方案[J]. 电信工程技术与标准化,2010(2).