基于SDN技术的塔里木油田数据中心机房设计与应用

宋星润

（大庆油田工程有限公司，黑龙江 大庆 163712）

1 背景

塔里木油田公共信息网络作为油田重要的业务网络承载的业务包括DNS（域名服务器）、DHCP（动态主机配置协议）等，因此，对油田配套业务至关重要，目前，考虑网内服务器、应用数量不断增加，对网络管理能力、业务、安全、运行维护等都提出了更高的要求。

当前，公共信息网是传统的网络架构，存在以下问题：

（1）网络业务开通效率低下，需要大量人工参与，网络设计与调试过程烦琐。

（2）网络结构固化，无法按照业务需求灵活部署，网络变更频繁时需要人工介入，人力投入高，且带来误操作的故障风险。

（3）传统LAN网络基于VLAN协议部署，二层网络限制在一个VLAN内，无法跨越三层网关。网络无法支持大规模二层环境，导致虚拟机迁移网络范围受限。

（4）随着数据中心网络设备和IT资源呈现数量大、厂商多、运行配置复杂的变化趋势，对网络状态进行可视化，网络业务精细化，网络状态智能分析化提出了更高的要求。

基于以上项目背景，本次数据中心网络建设运用VXLAN、SDN主流技术，针对当前问题和需求，进行结构优化并进行了实际应用，适应未来网络发展的需求。

2 SDN技术研究

基于SDN技术的网络架构方案采用VXLAN的网络虚拟化，和计算/存储等虚拟化技术一起构筑数据中心网络的虚拟化。通过VxLAN技术构建弹性的Overlay网络，以实现数据中心的弹性扩展。控制平面采用业界标准的EVPN（MP-BGP）协议，可支持多个数据中心的虚拟资源池连接，可以综合管理和分配位于多个数据中心的逻辑资源或物理资源。

SDN控制器（SeerEngine）是可编程的数据中心真正的执行者和核心。SDN控制器支持Fabric自动化，可以基于角色自动化完成Underlay物理Fabric的自动化构建，并借助SDN控制器实现Overlay逻辑网络的自动化构建，实现资源（计算、存储、网络）的统一管理，为客户减轻初始化部署工作量。

SDN控制器对网络模型进行抽象，以实现基于业务的网络配置下发，满足业务快速上线的需求。控制器与设备通过标准南向协议（Netconf、OVSDB等）与设备通信，IT管理人员上线新业务时，可迅速将抽象后的逻辑网络下发到物理设备，实现业务的快速上线，提高90%以上部署效率。

SDN网络架构方案采用VXLAN的网络虚拟化技术，可以对接OpenStack的VLAN模型和基于层次化端口绑定的VxLAN模型，可完成和KVM、VMware、CAS等业内主流的计算虚拟化平台对接。

3 SDN网络设计

SDN网络一般采用层次化、模块化的网络架构方式，将网络分为VxLAN Fabric网络区和管理区。

3.1 VxLAN Fabric网络区

VxLAN Fabric网络区改变了传统数据中心网络的架构和运维模式，采用成熟的Spine-Leaf架构，满足云计算中大规模东西向流量的承载。基于Overlay（VxLAN）的SDN技术实现了从物理网络到逻辑网络的抽象，满足云计算对网络快速交付的需求。

VXLAN组网采用的Spine/Leaf架构，作为VXLAN网关直接接入vSwitch下的VM。OpenStack、SeerEngine均采用带外管理部署，Spine和Leaf的管理IP从DHCP服务器获取，VTEP IP由spine设备分配，Underlay网络的接口IP借用VTEP IP。

3.2 管理区

管理区各业务系统管理接入交换机管理接入交换机通过双绞线连接所需要管理的各网络设备网元，管理接入交换机通过管理核心交换机汇总。

SeerEngine部署在管理区的SDN控制器集群服务器中，支持Underlay的自动部署，纳管Spine、Leaf和Border设备，获取Underlay拓扑及设备角色与连接关系，也可获取Overlay拓扑，VxLAN信息及状态，同时，还可以同步到管理信息。

4 SDN技术应用

塔里木油田数据中心采用SDN技术，搭建模块化分层的网络结构。网络区使用接入-核心物理双层网络架构，管理区采用一层网络架构。

4.1 接入区

接入交换机采用H3C6800系列交换机，根据业务服务器的服务器性能需求采用通过万兆光链路或千兆双绞线不同的上联方式，上联SDN网络接入交换机，并将接入交换机通过千兆双绞线上联管理网核心交换机，通过HBA卡连接FC SAN存储网络；SDN网络接入交换均通过2条40G光纤链路堆叠，上行通过双40G链路上联2台堆叠S12508X系列高性能交换机。

4.2 核心区

核心区采用S12508X系列高性能交换机，两台SDN网络核心交换机通过2条40G光纤链路堆叠，由于上联外网核心并不支持40G，故上行通过4条10G链路捆绑上联外网。此高性能核心交换机同时支持VXLAN L2和L3功能，可以对内网VXLAN解封装和外网访问数据中心内虚拟机时的VXLAN加封装，并具有强大的路由功能，所以，本项目未建Border路由器。

4.3 管理区

管理区各业务系统通过2台管理核心交换机S5560X汇总，管理接入区及核心区内的所有网络设备，各网络设备通过双绞线或跳纤连接至管理核心交换机。

SDN控制器部署在管理区的SDN3台高性能集群服务器中，每台服务器使用双万兆光口直连至管理核心交换机，此管理核心交换机支持Underlay的自动部署，纳管Spine、Leaf和Border等网络设备，从而实现高速部署和智能管理。

5 应用价值

5.1 弹性可靠的网络架构

SDN技术秉承开放性的理念，提供了对于标准协议的广泛支持，包括EVPN、VxLAN、OVSDB、OpenFlow、NETCONF、INT、gRPC、ERSPAN等协议，并可按需对接任意资源管理平台或云平台，具备良好开放性。

（1）数据中心内互联。S12500、S6800等系列数据中心交换机可提供业界主流的10GE、25GE、40GE、100GE和400GE的互联，通过EVPN、VxLAN技术构建弹性的Overlay网络，以实现数据中心的弹性扩展。

（2）数据中心间互联。通过大二层数据互联技术实现多数据中心的分布式部署，大二层数据互联采用VxLAN，控制平面采用业界标准的EVPN(MP-BGP)协议，可支持多个数据中心的虚拟资源池连接，可以综合管理和分配位于多个数据中心的逻辑资源或物理资源。

5.2 端到端自动化

（1）基础设施自动化交付。SeerEngine支持Fabric自动化，可以基于角色自动化完成Underlay物理Fabric的自动化构建，并借助SeerEngine实现Overlay逻辑网络的自动化构建，实现资源(计算、存储、网络)的统一管理，为客户减轻初始化部署工作量。

（2）业务上线自动化交付。SeerEngine对网络模型进行抽象，以实现基于业务的网络配置下发，满足业务快速上线的需求。控制器与设备通过标准南向协议(Netconf、OVSDB等)与设备通信，IT管理人员上线新业务时，可迅速将抽象后的逻辑网络下发到物理设备，实现业务的快速上线，提高90%以上部署效率。

5.3 计算联动

数据中心网络作为运送数据的管道，需要和计算资源无缝对接兼容，H3C AD-DC基于OpenStack的标准架构和项目，可提供裸金属、虚拟化、容器化等全计算形态的自动化入网能力，计算入网效率显著提升。

网络虚拟化可以对接OpenStack的VLAN模型和基于层次化端口绑定的VxLAN模型，在采用虚拟化技术后，数据中心网络延伸到服务器内部，如何对包括虚拟设备在内的多类设备进行统一管理、实现网络流量的精细化管理和网络故障的快速定位，都是对云计算时代数据中心运维的基本需求。