SDN在金融数据中心网络中的应用

何 朔

(中国银联股份有限公司 上海 201201)

SDN在金融数据中心网络中的应用

何 朔

(中国银联股份有限公司 上海 201201)

从金融数据中心网络发展历程的分析出发，研判未来金融数据中心网络的发展需求，认为SDN技术是未来金融数据中心网络应用与发展的必然趋势。面对SDN技术在金融场景下应用的挑战，给出了下一代金融数据中心组网模型重构设计方案，同时创新地提出一种基于地址池规划与虚拟路由转发隔离结合的异构SDN Fabric区域互联技术，配套金融防火墙与负载均衡接入模式设计，实现跨区域路由转发控制、区域间安全策略管理，以及多租户网络信息跨域同步等功能，并在原型实现基础上进一步给出了网络数据平台性能优化的研究成果。

软件定义网络 金融数据中心网络 异构组网

0 引 言

随着宽带互联网的普及、移动互联与移动应用的发展、云计算/大数据与区块链等新技术的应用，技术正在逐渐改变人类的生活方式与商业行为。在这样的大环境下，金融创新层出不穷，以“互联网+金融”为代表的新金融应用迸发活力，推动金融变革与创新。

新应用运行产生了新的数据网络传输模型，对应用后台部署的数据中心网络提出了新的技术要求。通过对业界网络技术发展现状与技术的研究与剖析，我们认为软件定义网络(SDN)是企业级数据中心网络IT技术发展到高级阶段的必然产物，对自动化与合规性有特色行业属性的金融数据中心网络尤为契合，有助于推动金融IT向高效服务化的转型，从而提升金融机构的创新能力。本文从金融数据中心网络发展历程出发，分析了金融数据中心网络未来发展过程中面临的挑战，在对软件定义网络技术介绍后，提出了基于SDN的下一代金融数据中心网络方案，给出了相应技术架构、优化设计以及应用效果，最后总结当前成果，并介绍了未来工作方向。

1 金融数据中心网络发展概述

1.1 发展历程

中心网络是应用于金融机构数据中心内的网络。近年来，随着虚拟化技术的广泛运用和云计算等新兴应用模式的不断发展，数据中心网络在组成、结构、功能、规模及应用模式等方面不断发生着深刻的变革[1]。

中国金融数据中心网络建设的历程与金融行业近三十年信息化过程密不可分，到目前为止已经历了两个主要阶段：

第一阶段：从无到有，网络的架构跟随应用系统的发展而变化。最早银行使用IBM主机，终端通过SNA(Systems Network Architecture)网络直连主机进行交易，并没有清晰的网络概念。随着开发平台的大量使用，应用种类的增加，银行网络逐步发展建设，规模从小到大。此阶段，各银行网络架构各不相同，并没有统一的模型，但一般会出于应用分层及安全的要求，遵循“垂直分层、水平分区”的理念。垂直分层：根据应用的架构及各部件重要性不同，将网络分为接入层、隔离层、应用层和核心层。水平分区：对同一安全层次，根据接入渠道不同、安全风险不同，划分多个安全区域。当应用规模发展到一定阶段，该架构便显现出一些弊端，例如扩容困难、不宜维护等。

第二阶段：自我优化，在继承安全区域保护机制下，普遍采用“总线型、模块化”架构。该阶段应用发展已经达到相当规模，网络从需求(业务需求、应用需求、自身运维需求)及技术趋势(网络技术发展、架构设计最佳实践)多维度进行分析，提炼出网络的建设需求，最终确定设计架构，对网络进行了比较大幅度的优化，网络规模与扩展能力得到提升，运维边界更加清晰，故障排除手段更为健全。该阶段网络可以有效应对传统业务模式以及容量规模的服务要求，但对新的云环境弹性组网能力支持不够。

1.2 面临的挑战

当前，业务应用变革式创新发展、以云计算为代表的新技术应用以及金融IT成本与效率优化新要求是金融数据中心网络发展面临的三大挑战。

首先，业务应用发展对网络服务提出新的挑战，面向互联网方式的金融创新应用快速发展对网络服务提出更敏捷的服务要求，网络资源的开通与变更希望是从原本以周为单位提升到分钟级别，从而支撑应用快速投产。

其次，云计算等新技术在数据中心内越发应用广泛，其对网络连接也提出新的要求。为适应虚拟化技术，资源的漂移迁移能力，网络服务需要从物理机识别提升到虚拟主机识别，云的多租户特性要求在共享的物理网络设备下提供可独立解耦的网络地址路由空间，云弹性伸缩则要求网络有更高地弹性扩展能力，巨大的云平台规模，要求云网络服务也必须具备足够的网络容量与健壮性。

再则，新常态下金融机构的运营压力要求IT架构可实现更高效与低成本，从纯商业“产品”解决方案向“自主”网络方案演进，金融数据中心网络技术应用更趋于开放，要求网络运维人员从单纯的人工维护解放出来，进入高效的自动化方式。

1.3 未来金融数据中心网络应用需求

结合上述发展的挑战与趋势，我们认为未来金融数据中心网络应用需求可总结为高敏捷、高弹性、高可管理、高可用以及高性能的“五高”要求：

高敏捷：实现业务快速上线，面对应用的变化达到资源的按需变更，通过新技术应用打破因重安全而舍效率的困局，在云计算新环境下安全与高效并重。

高弹性：一是内部弹性强化，打破竖井式架构中网络区域成为限制资源共享的壁垒，实现网络资源池整合与灵活共享与隔离，二是外部弹性兼容，支持新老架构并存，从而使原有网络可以平滑过渡到新架构。

高可管理：一是实现管理体系的简化，支持多品牌的融合管理，二是实现管理自动化与智能化，使日常运维从大量人工维护的高工作量解放出来。

高可用：网络架构持续稳定影响金融数据中心全局服务能力，网络架构需要基于稳定可靠的技术构建，使网络服务具备7×24小时业务连续服务的能力。

高性能：面对秒杀等新业务场景等的极限服务能力，实现时延和带宽等关键指标的跨越式提升，同时注重资源的高效利用，用尽可能少的资源实现最大的性能服务。

2 软件定义网络介绍

2.1 软件定义网络概述

软件定义网络是当前最热门的网络技术之一，它解放了手工操作，减少了配置错误，易于统一快速部署[2],是学术界一致认为解决上述核心问题的关键支撑技术。

软件定义网络狭义定义为网络中的数据平面与控制平面相分离，网络中的控制逻辑集中于控制器上，运行于控制器上的网络应用使得网络变得更加简单可控和灵活[3]，广义上软件定义网络是指向上层应用开放资源接口，能够实现软件编程控制的各种基础网络架构[4]。

图1是SDN标准化组织开放网络基金会ONF(Open Networking Foundation)提出的SDN体系结构，下层的网络设备是SDN中的数据平面，构成了SDN的基础设施层。SDN的中心控制器软件是SDN中的控制平面，构成了SDN的控制器层。运行于控制器之上的便是SDN中的业务应用，构成了SDN的应用层。SDN中的控制器通过南向接口与基础设施层的网络设备进行通信，实现对数据平面的控制，通过北向接口的应用编程接口API为上层的应用服务[3]。

图1 SDN体系结构图

2.2 软件定义网络的优点特性

软件定义网络技术引入数据中心应用，尤其是在云化数据中心环境有如下优点：

(1) 网络自动化部署、网络故障自动探测和恢复[5]

软件定义网络技术使网络具备了API服务能力，网络服务操作更适用于程序自动化的工作方式，可以便捷地与云资源管理等IT运营自动化平台实现网络资源与计算、存储资源的自适应集成，网络可以自动感知到计算、存储的配置情况与网络需求。同时软件定义网络技术可以实现全网拓扑变化的集中感知，因此当某两台SDN转发设备之间的链路中断时，或者某台交换机失效时，SDN能够很快探测到，为维护人员发出警告信息，同时还能够重新计算出新的路径，绕过失效的节点，使网络业务保持正常。

(2) 支持云环境所需的多组户与资源池能力[5]

由于SDN具有可编程能力，可以加载应用模块，识别不同租户的网络流量，通过流表的控制，使数据流只能在同一租户的虚拟机间转发，突破VLAN 4096的个数限制，支持大量相互隔离的租户网络，租户通过自服务门户分配虚拟数据中心，资源按需分配，租户资源隔离，独立分配IP、MAC地址和网络策略。同时，SDN技术是实现网络资源的虚拟化的基础技术，从而为网络资源的共享提供基础。

(3) 支持虚拟机环境的感知能力

传统网络不具备Overlay与Underlay的分层网络接入模型能力(Underlay网络是连通物理设备的网络，Overlay网络是基于Underlay网络之上实现虚拟资源服务的网络)，SDN可以支持虚拟机以Overlay方式接入，从而在网络层识别虚拟机，同时在虚拟机迁移时，通过API的互相调用通知方式，实现网络服务对虚拟机迁移时间的网络自适应能力。

(4) 网络性能优化[6]

在以往的分布式网络协议中，由于网络运营者对网络缺少细粒度的控制，为了保障网络服务质量在一定范围之内，网络运营者被迫降低网络利用率。一般而言，核心网络的带宽利用率只有30%～40%。在数据中心中，由于运营者知道网络的详细拓扑结构及核心应用的需求，可以大幅提高网络带宽利用率。最近Google公布了他们利用SDN技术把数据中心间的核心网络带宽利用率提高到了100%。高带宽利用率意味着可以利用SDN来降低传输每比特的花费。

2.3 软件定义网络在金融领域的研究情况

以银行为代表的金融行业业务发展一直都紧密结合着信息技术的发展，因此在互联网化、平台化发展的趋势下，金融行业一直关注SDN技术在金融的应用研究。文献[7-8]都探讨了SDN在金融行业应用的前景，都认为随着云计算技术在金融数据中心的应用，SDN技术应用是未来金融数据中心网络的必然发展趋势，其符合金融业务敏捷性与规模性发展的需要，并认为SDN的主要应用场景分为数据中心与跨数据中心两类，并有助于金融网络安全分析的强化。文献[9]的人民银行研究员分析了国内外厂商的SDN设备支持网络虚拟化的解决方案。文献[10]提出了一种基于SDN的金融云试验平台虚拟网络解决方案，其本质是抽象了基于单厂商SDN设备的金融数据中心SDN技术模型。但该方案没有解决数据中心异构SDN技术兼容组网问题，并有待与金融生产网络规划进一步匹配映射研究工作，与金融生产级部署要求进一步细化与优化该方案。

3 基于SDN的下一代金融数据中心网络设计

3.1 未来金融数据中心网络设计原则

SDN技术的应用对金融数据中心的架构是革命性的变化,因此下一代金融数据中心网络需进行针对性设计，我们总结未来金融数据中心网络需遵循以下四大设计原则：

(1) 面向服务理念，网络功能能力以服务的形式对外提供，网络系统内部以服务的形式进行自组织，从而提升对外服务能力，简化对内系统调用复杂性。

(2) 管理统一编排，网络系统的各子模块通过分层汇总的形式实现统一编排管理，既要实现控制流的信息传输统一，也要实现控制流的信息解释统一。

(3) 资源池标准化，对网络资源进行功能与操作的抽象，定义兼容性要求，实现异构物理资源的共享互通。

(4) 成熟技术集成再造创新，基于网络技术平滑兼容的要求，对基础可扩展网络技术与协议进行继承，组合现有技术进行集成创新，创新而不失稳定，保证网络架构的全局稳定。

在上述设计原则下，我们提出了新一代数据中心网络模型，同时提出一种可解决上述网络运营中主要问题的新颖SDN控制器方法，并实现了相应网络性能优化。

3.2 新型金融数据中心跨异构SDN Fabric组网模型

我们认为下一代基于SDN的金融数据中心网络将遵循“核心交换总线互通，异构Fabric接入”的组网模型，如图2所示。

图2 金融数据中心跨异构SDN Fabric组网模型

如图2所示，Fabric内由同一品牌的SDN设备组成，其中计算Leaf接入提供虚拟机的计算服务器资源，网络功能Leaf接入负载均衡等网元服务设备资源，Border Leaf负责与数据中心核心交换设备互联， Fabric内由Spine设备负责各Leaf之间的流量互通，每个Fabric由其自有的控制器对Fabric进行管理控制。

数据中心核心交换网络则是由独立交换设备组网，并与不同品牌的异构Fabric互联，不同的Fabric使用不同的SDN协议与技术，因此Fabric之间在Overlay层面无法实现互通。

在网络地址规划方面，不同网络区域仍然遵循现有金融数据中心的地址规划，即不同区域的地址池不重叠。

在网络能力方面，金融SDN网络特色在于支持大区多租户网络模式，大区模式是指通过Fabric物理设备的虚拟化能力实现同等安全要求的金融业务逻辑区域(指核心应用区、外围应用区、创新应用区、DMZ应用区与机构互联区等网络区域规划，一般银行的区域规划往往会达到十几个)的共享物理资源，相比现有金融业务逻辑区域需要独立一套Fabric物理设备，以此降低建网成本。多租户模式是在云数据中心下尤其是金融行业云环境中必要能力，现有网络厂商设备的多租户支持仅限于自有设备Fabric内，多租户信息终结于Fabric网络边界，异构Fabric之间无法实现多租户信息共享，而金融数据中心网络需要在跨异构Fabric的组网下，支持N个租户的网络隔离与地址重用。

如图3所示，大区模式支持一套物理设备同时承载如安全等级相同逻辑业务区，如核心应用区、外围应用区等，共享物理资源的逻辑区域实现逻辑安全隔离。跨Fabric多租户支持异构Fabric内N个租户在互不可见且地址可重用的情况下实现数据交换，例如租户1和租户2分别有各自在两个Fabric下的IP地址A和B，租户1和租户2在每个Fabric的内存在IP地址重用，实现互不可见，跨不同Fabric，识别不同租户流量，支持租户内数据通信。

图3 金融数据中心特色网络能力设计

3.3 一种新颖的金融SDN控制器方法

(1) 区域互联(RI)控制技术

上述组网模型与功能设计的挑战主要在于如何将存在于不同Fabric的租户流量进行识别，从而保证通过核心交换网络后，Fabric可以正确将IP地址重用的多租户流量转发至正确的租户资源。我们提出了一种区域互联SDN控制技术，实现对核心交换网络与各Fabric的SDN控制器的协调控制，并新颖地应用核心交换网络的互联网段地址规划，实现多租户信息标识的传递的隧道能力。

图4介绍了在数据转发平面的设计思想。每个租户在出各自Fabric时，以规划的不同网段标识自己的租户信息，在转发至核心交换网络中后，核心网络交换识别进入数据的网段，送入不同的虚拟路由表(VRF)进行转发，VRF是交换机内部隔离不同路由转发的虚拟化技术，实现了虚拟机的一虚多能力。在本设计中，为支持跨物理交换机组成的核心交换网络的多租户数据转发，每个VRF内统一配置相同VLAN ID的三层子接口或VLAN Inteface，以便于管理。

图4 RI数据平面转发设计图

在控制平面，我们设计了一个RI控制器实现对核心交换网络的自动化配置能力，其包括两大功能，一是根据租户变动情况动态创建配置VRF及其相关配置，二是实现在不同SDN Fabric资源动态变化情况下，路由地址动态发布，以便保持动态变换的网络资源的连通性。

图5给出了RI控制器的架构设计，其通过netconf协议管理核心交换网络的设备，同时也通过适配不同SDN Fabric控制器的API接口定时或触发读取相应Fabric的动态资源信息。在跨异构SDN Fabric新租户创建过程中，则会自动根据前述数据转发平面的设计创建相应VRF通道，在有新网段资源创建时，触发RI控制器通过SDN Fabric控制API查询新增网段信息。并通过OSPF动态路由注入的方式更新核心交换网络中的VRF路由表信息。同时我们设计的RI控制器定时任务，定时查询SDN Fabric的网络资源信息，对比出已删除的网络资源信息，进行路由表清理工作。

图5 RI控制器控制平面设计图

(2) 负载均衡与防火墙NFV资源接入模式

金融数据中心网络的另一项服务需求在于如何保证原有金融运维要求不变的情况下，实现负载均衡与防火墙的NFV资源的云化接入。

负载均衡的金融运维要求包括：一是流量原进原出，即经过负载均衡请求转发的流量，应答时也要经过负载均衡设备，不能出现三角路由情况；二是经过负载均衡的流量达到服务器端时仍然可见客户端源地址，不能源地址转换。

因此，如图6我们提出以物理上旁路双臂接入网络功能Leaf，其中黑色线为Inner口，浅色线为External口。在负载均衡模型方面，对外提供的访问地址IP+PORT需要配置在负载均衡的VIP上，对于External IP配置和VIP相同网段地址，网关放在网络功能Leaf上，对于Inner IP，配置为后端服务器集群网段的GW地址。

图6 负载均衡设备接入模式

防火墙在金融数据中心应用中，实现区域与区域之间的安全访问控制。因此其部署位置为SDN Fabric与交换核心网络之间，其金融运维要求是逻辑上串联物理上旁路。即在防火墙的故障情况下，在无需进入机房的情况下，经过路由更改自动切换无防火墙模式，从而保障业务稳定性。

因此，如图7防火墙设备是串联在Border Leaf和交换核心之间，在Border Leaf和交换核心之间部署一根直连线路，平时正常情况下该链路进行关闭，一旦防火墙出现故障，就将该直连线路开启，将流量直接引入到交换核心上。应用规划方面，对于多租户的场景，采用一个租户一物理墙的接入模式或者一个租户一个虚拟墙的接入模式。Fabric内，同一个租户下的业务流量在无需进过防火墙，如果有跨Fabric的流量访问，这样的流量需要经过防火墙的规则进行过滤，对于不同的租户，发生跨租户的流量通信，同样需要经过防火墙的规则过滤。

图7 防火墙设备接入模式

3.4 原型验证与性能优化

(1) 基于SDN的下一代金融数据中心网络原型

我们在电子商务与电子支付国家工程实验室的环境搭建了原型平台。平台由华为、思科两套异构SDN Fabric构成，同时也配备了相应的负载均衡和防火墙资源，平台设备列表如表1所示。

表1 原型平台设备列表

平台基于OpenStack、OVS、Centos等开源软件进行研发，相应软件版本情况如表2所示。

表2 软件版本情况表

图8展示了原型平台的架构部署，交换核心区域由3台华为三层交换机组成，2台作为区域接入核心，另1台作为总核心连接区域核心交换机，区域接入核心与各Fabric之间设有防火墙。Fabric 1为思科ACI设备，由1个Spine、2个Leaf与1个APIC控制器组成，同时部署了OpenStack region1集群用于管理，其中一个Leaf作为Border Leaf与核心交换互联，同时连接F5负载均衡。Fabric 2为华为设备，由1个Spine、2个Leaf与1个AC控制器组成，同时部署了OpenStack region2集群用于管理。华为Spine作为出Fabric设备连接核心，Spine连接华为负载均衡，同时华为Fabric还负责Internet互联。因此Spine也通过防火墙连接互联网。

图8 原型平台物理集成部署架构图

图9展示了原型平台管理服务界面，原型平台实现了云数据中心虚拟路由、负载均衡、防火墙网络资源以及相关网络安全配置的一键开通能力。

图9 平台管理服务原型界面

(2) 基于DPDK的网络性能优化

对于金融关键应用，服务性能是关键考虑因素，在网络方面对业务应用的关键指标主要考虑是延迟和吞吐量，在完成原型平台搭建后，我们专注于在本文提出架构下的数据网络传输的性能优化工作。

图10介绍了在SDN网络环境下虚拟机之间数据传输路径，经过分析两台跨物理机之间的虚拟机通信需要通过物理机内的虚拟交换机(OVS)和物理Fabric网络。物理网络由专用网络硬件组成，在线速组网设计下，其带宽与延迟已逼近现有技术所能达到的物理极限，而OVS是物理机操作系统中的软件模拟交换程序，其相对于物理设备网络，是整条数据传输链路的瓶颈。

图10 SDN网络虚拟机之间数据传输路径图

本实验中，我们应用了DPDK技术对OVS进行性能优化，DPDK是针对x86服务器承载网络服务的优化技术，其原理如图11。OVS通过在用户态加载了DPDK库，绕过操作系统的内核态直接读取物理网卡数据，从而加速OVS数据处理性能。

图11 OVS加速原理图

完成DPDK优化配置后，我们进行了相应性能测试实验，测试实验环境为在2台万兆物理机上创建2对虚拟机(总共4台虚拟机)，并进行流量性能压力测试。如图12-图13所示。

图12 2对虚拟机吞吐量测试

图12和图13显示，DPDK无论是在VLAN数据包传输还是VXLAN数据包传输，都可以有效改善吞吐量和时延的性能指标，吞吐量指标进一步逼近万兆极限。其中VXLAN数据流量提升更为明显，而时延指标方面，得益于绕开操作系统处理机制，有效地加速数据包处理速度，指标有显著优化，所有数据中的时延基本都可以下降到原有的10%以上。

4 结 语

基于对金融数据中心网络发展需求的理解，我们提出了基于SDN的下一代金融数据中心网络设计模型，并设计了一种利用网络地址池规划实现异构SDN Fabric区域互联的多租户网络控制器，配套给出了金融数据中心中负载均衡和防火墙两类关键网络设备的SDN接入模式，并在国家工程实验室的环境内，实现了原型验证与性能优化。相关验证表明设计可以实现现有金融数据中心网络规划与管理平滑迁移，同时也可以有效支撑未来金融行业云多租户托管的发展趋势。未来，我们将围绕两地三中心的特色场景，延伸研究跨数据中心的网络架构模式与控制器实现。同时研究其他隧道协议实现跨多租户信息传递管理能力，从而丰富模型在设备场景的适用范围和运维者的使用习惯。

[1] 邓罡,龚正虎,王宏.现代数据中心网络特征研究[J].计算机研究与发展,2014,51(2):395-407.

[2] 张朝昆,崔勇,唐翯祎,等.软件定义网络(SDN)研究进展[J].软件学报,2015,26(1):62-81.

[3] 于洋,王之梁,毕军,等.软件定义网络中北向接口语言综述[J].软件学报,2016,27(4):993-1008.

[4] 杨晨,李勇,金德鹏.基于REST-API的SDN 控制器故障恢复机制[J].计算机工程,2015,41(9):132-139.

[5] 吴强,徐鑫,刘国燕.基于SDN技术的数据中心基础网络构建[J].电信科学,2013,29(1):130-133.

[6] 李丹,陈贵海,任丰原,等.数据中心网络的研究进展与趋势[J].计算机学报,2014,37(2):259-274.

[7] 田长星.SDN理论及其在金融业应用前景分析[J].金融科技时代,2014(7):65-67.

[8] 赵炤.SDN在传统银行业数据中心的应用探讨[J].金融科技时代,2016(8):24-27.

[9] 邱浩.浅析网络虚拟化技术[J].金融科技时代,2013(11):64-65.

[10] 祖立军,杜学恺,周雍恺,等.基于SDN的金融云试验平台虚拟网络研究[J].计算机应用与软件,2017,34(6):137-145.

APPLICATIONOFSDNINFINANCIALDATACENTERNETWORK

He Shuo

(ChinaUnionPayCompany,Shanghai201201,China)

This paper starts with the analysis of the development of financial data center network. After judging the future development of the financial data center network, it is found that SDN technology is the inevitable trend of future financial data center network applications and development. Therefore, facing the challenge of SDN technology application in the financial scene, the next generation of financial data center network model reconstruction design is given. Meanwhile, novel heterogeneous SDN Fabric area interconnection technology based on address pool planning and virtual routing forwarding isolation is proposed. And the design of matching financial firewall and load balanced access mode is given. We implemented a cross regional routing forwarding control, security policy management and multi-tenant network information synchronization and other functions. On the basis of prototype implementation, the performance optimization of network data platform is further presented.

SDN Financial data center network Heterogeneous network

TP3

A

10.3969/j.issn.1000-386x.2017.10.033

2017-04-25。上海市青年科技英才扬帆计划资助项目(17YF1425800)。何朔，高工，主研领域：云计算，电子支付与电子商务。