成都天府国际机场空管数据业务网络概述

程 震，李亚鹏

（中国民用航空西南地区空中交通管理局，四川 成都 610000）

0 引 言

企业网络是一个需要具备高稳定性、高冗余性以及高扩展性并且经济实用、数据传输安全可靠的网络平台[1]。传统组网要求性价比高，建网模式统一，网络协议统一，保证可靠性、稳定性、先进性以及实用性，此外具有良好的开放性和扩充性，并在一定程度上保证安全。“安全是民航业的生命线，要始终把安全工作作为头等大事来抓”，空管行业的组网目标与侧重点有别于一般企业，应将安全作为组网的第一追求，运维便捷、易故障排查、网络环境稳定以及隔离边界分明等都是最核心的目标，低延时、大带宽以及易扩展等则是组网的重要目标。

局域网中常用的网络拓扑结构包括总线型结构、星型结构以及树形结构，其中树形结构可视为星型结构的拓展，也称为多级星状网络[2]。传统小型企业组网以星型结构为主，分为核心层、汇聚层以及接入层。该结构具有组网容易、运维简单及功效高等特点，但星型结构对中央节点可靠性具有极高要求，一旦中央节点系统发生故障，将引发整个系统的瘫痪[3]。中大型企业则偏向使用三层网络结构的树形拓扑，其包含核心层、汇聚层以及接口层。该拓扑线路连接简单，维护简单且易于拓展，但同样存在对根节点依赖性大、传输时延较长、资源共享能力较低及可靠性不高的问题[2]。

成都天府国际机场是国家“十三五”期间在民用运输枢纽机场上规划建设的最大项目，也是现今四川投资体量最大的项目。空管数据业务作为天府机场空管工程中的一个重要组成部分，其建设内容主要包含管制信息系统一体化平台（ATM Information System Platform，AISP）和空管生产数据中心平台（ATM Data Center Platform，ADCP）。AISP将在后期运营中为管制及其他专业提供空管数据服务，ADCP将提供对外数据接口并为民航相关用户提供自助查询服务等。天府机场空管数据网络（Tian Fu ATM Network of Data Business，TFAN）不属于任何一种传统网络，其用户区网络是一个经典的三层网络树形拓扑结构，服务器网络则是一个基于虚拟化技术而产生的大二层网络，将其和双流空管数据网络看做一体，它又是一个分布式数据中心网络。空管数据业务主体网络实现的目标包括两场存储互联、两场业务互联、虚拟化平台管理互联、业务系统隔离、用户区逻辑隔离、网络硬件设备统一管理以及网络运维安全等，确保“一市两场”通信网络一体化运行得安全、顺畅且高效。

1 相关背景知识

1.1 VLAN技术

虚拟局域网（Virtual Local Area Network，VLAN）属于逻辑上的二层概念，它可以不受地理位置限制将不同的设备和用户进行二层域划分，控制广播范围。其提供的三层交换机虚拟接口（Switch Virtual Interface，SVI）可以为该VLAN提供最后的路由，从而实现不同VLAN之间以及VLAN对其他网络的数据访问，在TFAN设计中，VLAN主要用于不同业务及不同用户群体之间的二层隔离。

1.2 链路聚合技术

链路聚合包括二层聚合（桥聚合）和三层聚合（路由聚合）两种模式，聚合方式分为动态聚合和静态聚合两种。利用二层聚合可以将不同的物理端口视为同一个逻辑端口，从而达到拓展带宽、链路备份以及负载分担的目的，三层接口则可以额外提供路由功能。链路聚合技术在TFAN中主要起到网络设备纵向中继互联及横向路由冗余的作用。

1.3 堆叠技术

堆叠技术可以将多台同类型的设备合并为一台逻辑设备，在TFAN硬件规划上，多网卡的终端设备会同时连接到同一逻辑设备中的不同物理网络设备上，以此达到设备级冗余的目的。此外，堆叠后的逻辑设备之间仅需在不同设备上提供两个物理端口进行口字型连接便可实现上行链路冗余的效果。堆叠方式主要分为菊花链堆叠模式和星型堆叠模式。菊花链堆叠模式的功能和级联近似，可以起到拓展端口和硬件冗余的作用，没有明显的传输瓶颈，但不具备传输距离延长的作用，也不能显著提高通信效率。星型堆叠模式可以显著提高交换机之间的转发效率，但主交换机通信压力较大且存在单点故障的问题[4]。综合考虑空管数据业务运行需求，菊花链堆叠模式更符合实际生产需要。

1.4 OSPF协议

开放式最短路径优先（Open Shortest Path First，OSPF）是一种应用于内部网关之间的动态路由协议，该协议适用于组建大型自治系统网络，具有收敛速度快、防止路由环路以及适应性广等优点[5]。使用OSPF协议可以令整个自治网络更易于拓展和运维管理，在H3C厂商提供的技术文档中，OSPF GR技术还可以显著减轻网络环境变化所带来的的路由震荡[6]。然而，该协议配置相对复杂，故障排查较难，要求网络运维人员技术功底扎实，根据实际场景判断是否有必要启用该协议。

1.5 VRRP

虚拟路由器冗余协议（Virtual Router Redundancy Protocol，VRRP）是一种选择协议，它可以将多台路由器虚拟为一台路由器，当主用物理路由器停止工作时可由备用路由器抢占转发[7]。使用VRRP不需要改变组网方式也不需要在主机上做任何配置便可实现下一跳网关备份，文献[8]中提出利用堆叠技术代替VRRP技术，但适用场景过于苛刻，不适用于TFAN的实际生产场景。VRRP的实现主要分为主备备份方式、多备份组负载分担方式以及负载均衡方式，一般的业务场景常使用传统的主备备份方式，负载均衡方式则可以更好地提高网络利用率[9]。天府空管数据网络的VRRP应用场景与传统场景不同，涉及经过两台网段不同且远距离传输通信的三层逻辑设备。

1.6 分布式数据中心架构

传统网络数据中心采用核心、汇聚以及接入的三层网络架构，云计算数据中心则采用跨云计算中心的大二层网络，如图1所示[10]。分布式数据中心相较于传统数据中心，比双活数据中心更节省计算和存储硬件资源，比两地三中心更节省IT资源，但同样需要面对业务访问网络设计、大二层网络设计以及数据同步3个难题。

图1 数据中心网络架构

2 TFAN初期网络设计

TFAN设计综合考虑了网络安全性、可靠性以及拓展性，并利用堆叠、链路聚合、访问控制策略以及网络镜像等方式来实现。为了使整张网络拓扑更清晰，依据功能将TFAN划分为服务器汇聚网络、核心区网络、用户接入区网络、硬件管理网络以及安全运维区网络，其中硬件管理网络独立于其他网络。核心区和用户接入区的主要网络设备运行OSPF协议，实现路由互通，所有的H3C网络设备运行SNMP协议，为统一网络运维平台U-Center提供告警信息。

2.1 TFAN主体网络架构

TFAN以核心区网络为中心，向下经服务器汇聚交换机与虚拟化服务器互联，经安全设备与用户接入区网络互联，经安全核心交换机与安全运维区网络互联，经波分网络连接双流空管数据网络。硬件管理网络使用带外管理的方式实现，独立于其他网络功能区。天府服务器网络经波分网络与双流数据中心服务器网络进行物理打通，利用虚拟化技术实现大二层网络设计，通过Edge虚拟机两场互备方式实现网关冗余提高业务可靠性。图2中各分区根据网络功能划分，实际设备存在交叉。

图2 天府数据网络

2.2 核心区网络设计

核心网络区在水平方向上与双流空管数据网络打通，为两场业务互访提供路由功能，在垂直方向上为天府用户访问天府数据业务提供路由功能，在安全运维上为监管及审计流量提供二层通道。两组核心交换机及一组汇聚层交换机使用IRF堆叠技术划分为3个堆叠域，形成3台逻辑设备，分管不同业务实现三层隔离。核心区网络如图3所示。

图3 核心区网络

2.3 服务器汇聚区网络设计

在服务器汇聚网络中，存储设备通过光纤交换机和波分网络与双流数据网络存储资源互联，虚拟化服务器通过汇聚层交换机和波分网络与双流数据网络计算资源互联，实现新老机场虚拟化存储和计算资源共享。各汇聚层交换机采用菊花链堆叠模式的IRF技术虚拟成一台逻辑设备，其至两组核心交换机的上行链路采用双端口动态链路聚合的方式互联。虚拟化服务器具有4光4电8个以太网接口，分别与汇聚层交换机的不同物理交换机互联，保证服务器网络高可用。在两地数据中心互联的层面上采用A/B双平面的裸光纤波分复用技术，既保证了天府至双流的带宽又有双平面传输资源，保证业务连续性。服务器汇聚网络如图4所示。

图4 服务器汇聚网络

2.4 接入区网络设计

用户接入区网络基本纳入了AISP的所有用户，后期会根据实际运行需求新增防火墙及其他点位的用户接入设备，因此该区域使用树形网络结构。该结构具有拓扑线路连接简单、维护便捷以及易于拓展的优点。各用户访问空管数据业务采用纵向访问和横向隔离的方式，引入用户汇聚交换机作为一个纯二层设备简化网络结构，节约防火墙端口。用户终端的网关部署在防火墙上，由防火墙提供ACL策略、NAT等功能。设备厂商不同防火墙上行至核心交换机采用静态链路聚合，不同接入点位的用户根据所属办公区和楼层进行VLAN划分，设备堆叠域根据点位划分，方便运维人员检查判断。用户接入如图5所示。

图5 用户接入网络

2.5 硬件管理区网络设计

天府数据网络硬件管理采用带外管理的方式，利用同机房综合布线资源及远距离成端传输资源将各硬件设备的管理口数据引接至硬件管理交换机，没有管理口的设备则使用该设备的最后一个以太网口替代，经监控接入交换机连接前台监控。硬件管理网络如图6所示。

图6 硬件管理网络

2.6 安全运维区网络设计

根据《民航空管系统网络安全和信息化工作管理规定》《民用航空信息系统安全等级保护实施指南》以及《民航Web应用系统安全检查指南》等文件要求，TFAN建设需满足三级等保条件，除核心区网络对外出口部分，多数安全设备均配置在安全设备区。AISP核心交换机至安全核心交换机及ADCP核心交换机至安全核心交换机之间各有一条光纤互联，将核心交换机与汇聚层交换机之间交互数据的镜像流量转发给下挂在安全核心交换机上的审计设备。汇聚层交换机至安全核心交换机有两条光纤互联，一条用于将虚拟化服务器与汇聚层交换机之间产生数据交互的镜像流量转发至安全审计设备，另一条用于网络安全设备对业务虚拟机和客户端等设备管理产生的流量交互。安全运维网络如图7所示。

图7 安全运维网络

3 TFAN施工调整

在天府空管数据业务项目实施过程中，综合考虑现场环境、空管业务特点以及后期值班人员的运维压力，建设人员与厂家工程师针对TFAN设计方案进行多次商讨修订，最终实施结果与最初方案有如下4项修订。

3.1 废除OSPF协议改为静态路由方式

TFAN的网络设备数目少且拓扑较简单，OSPF协议在该局域网中没有明显优势。防火墙作为安全设备不宜纳入到普通三层设备的管理中，在规划上依然沿用的静态路由方式。此外，启用OSPF协议运维难度较大，会延长故障恢复时间。

3.2 变更用户区VLAN划分规则

在原方案中，相同办公区域的不同业务终端之间的网络隔离依赖客户端IP和网关，运维权限被下放至终端会增加运维风险，因此用户区VLAN编号在采用原办公区+楼层的方式基础上纳入业务编号组成新的三位数字编号（VLAN ABC），广播域范围也进一步缩小。VLAN规划如表1所示，数字A为办公区编号，数字B为楼层编号，数字C为系统编号，内容已做脱敏处理。

表1 用户区VLAN ABC规划表

3.3 生产系统业务网关变更

软件定义网络相比硬件网络更加复杂，利用天府双流两场Edge虚拟机互备的方式保证业务网关高可用，对运维人员的虚拟化技术能力要求高，增加了故障处置难度。在最终交付的网络中，各生产系统业务的网关上调至服务器汇聚交换机，废除VMware NSX Edge功能，采用VRRP技术的主备方式实现数据业务网关在天府机场和双流机场的两场路由互备。由于生产数据中心为分布式架构，TFAN业务网关路由冗余场景与传统场景不同。图8为传统网络场景与实际网络场景的对比图，可以看出在实际场景中若Network-A的用户需要访问10.1.1.3需要跨核心层交换机，由于A用户默认路由下一跳为10.0.0.252，如果只是对汇聚层交换机的业务网关做VRRP路由冗余，同样网络不可达。图9为传统VRRP配置方案和天府机场实际配置方案的对比图，可以看出，在实际网络场景中，核心层面同样做了VRRP路由冗余来保证网络可达。

图8 传统网络场景与实际网络场景

图9 传统VRRP配置方案和TFAN实际配置方案

3.4 防火墙上行核心交换机改为动态聚合模式

在施工过程中，深信服与华三工程师进行了设备联调，因此防火墙上行核心交换机改为动态聚合模式，以防止静态聚合出现不可预料的问题。

4 结 论

TFAN从设计至实施落地，始终围绕“安全、稳定、便捷”主题推动前行，为天府空管网络的数据提供可靠的通信环境，打下网络“智慧空管”目标的硬件基础，并通过介绍TFAN网络架构、初期网络设计以及实施修订内容来传递空管网络运维理念。