分布式数据中心园区网络优化设计与实践

尚 影

（阜阳幼儿师范高等专科学校，安徽 阜阳 236000）

关键字：分布式数据中心；容灾技术；双保活线路；DNS线路优选

一、引言

对于传统大型企业，目前已完成数据级容灾建设，在传统的主备中心模式之下，数据中心设备利用效率低下，业务连续性不高。当某个业务出现问题的情况下，只能做整体的主备倒换，切换风险很大。随着云计算大范围落地，数据中心内部计算资源池化越来越明显，虚拟机的动态迁移以及高可用集群等技术正在改变传统灾备模式。

企业希望建设应用级容灾中心，提高业务连续性，提高备中心的资源利用效率，同时实现分业务的自动切换，即某业务故障，仅迁移该业务，迁移过程不影响其他核心业务正常运行，降低故障切换的风险。建设应用级容灾数据中心成为保证企业业务连续性的必然选择。

二、分布式数据中心建设模式

分布式数据中心建设模式，根据多个数据中心之间关系，通常分为主备数据中心和双活数据中心两类。

(一)主备数据中心

该模式如图1所示。用户所有的业务系统都部署在主数据中心，只在主数据中心对外发布。灾备数据中心为业务系统提供冷备或暖备。当主数据中心的应用出现故障时，将数据中心业务整体切换到灾备中心。

图1 主备数据中心模型

（二）双活数据中心

1.入口主备的业务双活

该场景主要针对于基于IP地址对外发布的业务，业务流量只能从一个数据中心进来，网络入口是单活的，所以定义为一种入口主备的业务双活。

入口主备的业务双活模型如图2所示。业务A和业务B在双中心内同时部署，数据中心之间通过EVI技术实现二层扩展。服务器负载均衡SLB通过二层扩展网络实现跨中心集群，从而使双中心的所有服务器节点成为集群。负载均衡SLB可以将请求流量负载均衡到两个数据中心的所有服务器，实现业务双活。

图2 入口主备的业务双活模型

2.主主双活

该场景主要针对于基于域名对外发布的业务。

主主双活模型如图3所示。用户所有的业务系统同时部署在两个数据中心，同时对外发布业务，两个数据中心之间没有主备概念，是主主的模型。当数据中心A的应用系统出现问题时，数据中心B的应用接管原来由数据中心A处理的客户流量，实现中心之间无缝的业务切换。

图3 主主双活模型

主主双活是双活数据中心建设的终极目标，最大限度提高计算利用率以及业务连续性。因此，很多行业开始进行业务系统重构，将原来基于IP地址对外发布整改为基于域名对外发布。

三、分布式数据中心设计核心技术分析

根据分布式数据中心对网络环境的要求，把重点放在分布式数据中心的机房基础通信设备的架构设计上。解决数据中心对一个稳定可靠的通信线路的要求。具体通过线路冗余、虚拟局域网划分、网络区域划分等技术手段实现网络的可靠性及可用性。

根据数据中心内部网络的性能需求，解决传统数据中心的短板效应，即核心交换机性能决定整个网络的吞吐量。我们使用交换机集群虚拟化技术，使多台交换机实现负载均衡，保证了整个架构的可用性。

根据分布式数据中心对数据访问速度的要求，使用SmartDNS技术及Eginx反向代理技术实现对不同地区用户甄选地理位置最近的数据中心，以降低因物理距离导致的数据传输时延（线路时延）。

根据分布式数据中心对数据的安全性需求，设立了专门容灾区，一方面保证生产中心的数据一旦出现意外性损毁，可立即使用容灾中心的备份集群数据库进行数据恢复。另一方面，实现弹性部署，当在突发情况下生产中心的设备性能不足以满足客户的要求，容灾中心的部分空闲设备立即加入生产中心承担一部分数据存储任务，实现网络设备的弹性部署。分布式数据中心拓扑架构如图4所示。单个节点高可用网络构架拓扑如图5所示。

图4 分布式数据中心拓扑架构

图5 单个节点高可用网络构架拓扑

四、分布式数据中心网络架构搭建与测试

SmartDNS 是一个运行在本地的 DNS 服务器，SmartDNS 接受本地客户端的 DNS 查询请求，从多个上游 DNS 服务器获取 DNS 查询结果，并将访问速度最快的结果返回个客户端，避免 DNS 污染，提高网络访问速度。 同时支持指定特定域名 IP 地址，并高性匹配，达到过滤广告的效果。整个网络拓扑模型基本满足要求，各子网均能畅通，假设部分核心交换机出现故障(达到饱和状态),测试链路连通性，生产中心ping 主核心交换机，通过测试，容灾中心ping 主核心交换机，是否通过测试等来进行验证均衡负载测试及线路冗余测试。网络搭建测试分析表如表1所示。

表1 搭建测试分析表

?

五、分布式数据中心网络架构优化实践关键技术

（一）无状态网络

无状态网络的核心是位址分离；传统的网络，IP地址即是终端的标识，同时也是终端位置的标识，因为IP确定意味做它必须位于某个三层网关的所在的位置。ADCampus方案中“位址分离”位指位置，址指IP地址，位址分离就是IP地址与位置解耦，让IP地址可以在任意位置接入，无需改变网络的配置。

（二）用户策略随行

策略随行如图6所示。本方案策略随行的核心就是“名址绑定”，名址绑定就是用户和IP地址一一对应。传统网络用户名和IP地址是难以做到绑定的，一方面DHCP的方式并不能保证单用户每次获取相同的IP，静态地址分配的方式又不能保障用户在移动过程中保持相同IP能够在不同的位置进行正常的网络连接；方案中无状态网络本身提供了IP任意位置访问的能力，再配合名址绑定实现用户位置发生了变化，IP地址段也没有变，甚至IP地址没有变，针对IP的策略也没有变，而这种针对IP的策略其实就是针对用户的策略，最终实现了用户的策略随行。

除了用户和IP绑定，在某些场合可能不需要做非常强的捆绑，ADCampus可以提供业务和IP网段的绑定，或者用户组和IP网段的绑定，比如：视频监控终端尽管分布在全网任意位置，但可以将其IP全部分配在某一个网段之内；又比如财务的人员可能也分布在网络不同的位置，我们也可以将其分配在同一个网段内；最终实现通过IP段标识用户组或业务组。

图6 策略随行

（三）无差别网络

园区分支无差别：ADCampus 无状态网络、用户策略随行、网随人动不仅仅可以在单园区实现，还可以跨园区、在园区分子之间实现，满足业务、用户在更大范围内移动化办公，符合现代企业常见的多分支架构。园区分支无差别组网如图7所示。

图7 园区分支无差别组网

（四）有线无线深度统一

有线无线融合这块很多厂商都在努力改进，由于采用了传统的网络架构，都存在这样那样的问题，比如跨L3网段漫游要不支持不了，要不需要在AC之间打隧道进行迂回且对AC之间的互联链路带宽要求高带来成本增加；但无论怎样主要采用集中式的AC转发，依旧存在流量绕行，AC性能瓶颈等问题。

统一管理：通过统一的Campus Director实现有线无线统一管理。一套管理系统，统一的有线无线拓扑展示，有线无线用户统一认证，统一的基于5W1H划分用户组。

统一策略：由于无线的数据转发完全从AC卸载到交换机上，之前我们策略随行矩阵定义的业务策略完全适用于有线和无线流量，也不需要单独给无线再定义组间访问策略。此外，在AP本地转发模式下，依赖有线的无状态网络，解决跨三层漫游的问题，无线终端依旧可以跨整个园区漫游，而且不需要在AC侧做复杂的处理，这是传统组网方式所不具备的。统一策略如图8所示。

图8 统一策略

（五）网络虚拟通道隔离

整网采用overlay的技术，天然具备跨广域网的通道隔离能力，相比MPLS的隔离方式，VXLAN的隔离只需要在端点（VTEP）做隔离，不需要全网隔离，端点之间只需要IP互通既可。一方面让整个运维节点大幅减少，另一方面端点之间支持多运营商连接，负载均衡可以直接通过ECMP来实现，让整个组网清晰、运维更简单。

在隔离方式上，ADCampus提供两种隔离方式，一是类似MPLS的VRF隔离，每个用户组在VTEP节点分配不同的VRF，VRF之间在路由层面实现隔离，每个用户在VRF内通过VLAN映射成不同的VXLAN，最终实现在通道内通过VXLAN数据传输，实现隔离。二是ACL的隔离方式，因为每个用户组在IP分配的时候已经分配在不同的网段，因此不同用户组在接入之后获取的是不同网段的IP，ACL隔离相对比较简单，一条ACL就可以实现不同用户组之间的网络隔离。通道隔离如图9所示。

图9 通道隔离

六、结语

分布式数据中心网络架构的设计方案旨在解决用户在IT大集中之后业务连续性和数据安全性问题。通过建设同城双活数据中心达到应用级容灾标准，提升了关键业务连续性以及同城中心利用率；建设异地数据级灾备数据中心保证了数据安全性。分布式数据中心解决方案涵盖了网络、应用与数据多个层面，是一个优化的分布式数据中心方案。