基于光纤通道多网融合系统的设计与实现

施海锋，潘 奇

(南京电子技术研究所， 南京210039)

0 引言

大型军用电子装备内的通信网络是一个复杂多样的异构系统，包含了以太网TCP/IP协议、RapidIO协议、光纤通道协议等，这些网络形式各具特点，是一种共存发展的关系。不同的总线协议在传输带宽、拓扑结构、单元格式和大小、流控机制等都不相同，并定义了各自的寻址方式和寻址能力。不同总线之间的交联需要各种网关，不仅增加系统的复杂性，还降低了系统的可靠性和实时性。为取得好的效费比，大型电子系统中趋向于使用单一类型的统一网络技术来完成网络间的融合，在异构的网络环境中提供统一的业务，并且保留系统异构的特征［1］。

1 应用背景

某军用电子装备中的通信网络涉及了信号处理机、数据处理机、显示计算机、预处理机与控制器等若干子系统，各子系统因硬件平台不同而采用了不同的通信总线协议，比如信号处理机采用了RapidIO接口;显示计算机使用以太网接口;控制器使用了光纤通道;预处理机则使用了基于RocketIO的用户自定义协议等。如前所述，为保障各子系统之间的高效互联，选择合适的统一网络构建融合网络是非常必要的。

统一网络应适用局域网的网络标准，一般性要求包括:高带宽、低延迟、可伸缩性、可靠性、实时性与确定性。对于军用系统来说，还必须技术成熟并可满足军用苛刻环境要求。

光纤通道(Fiber Channel，FC)是美国国家标准委员会(ANSI)标准，同时具备基于通道的确定性高速传输和基于网络的路由传输功能，上层协议丰富，尤其适合子系统间的高速信息传输，已成为分布式、多协议高速局域网络的最佳选择之一。FC提供了一组可在航空电子环境中应用的协议子集，即FC-AE(Fiber Channel-Avionic Environment)，它能为复杂军用综合电子信息系统提供高可靠性、高容错性和确定的行为，以支持实时的控制和响应以及大数据量的传输［2］。其作为一项新技术首先应用在美国F35飞机中，管理系统、综合射频和综合核心处理机等3个关键互连领域中实现了整个航电系统的单一网络。光纤通道具有相对千兆乃至万兆以太网更高的传输速率，对于军用电子装备的中等规模通信网络而言，光纤通道更全面地适应了统一网络的广泛性要求。因此，在该军用电子装备中基于光纤通道(运行FC-AE子集)开展多协议网络的融合设计，其抽象模型如图1所示。

图1 多协议网络融合抽象模型

2 协议分析

开放式系统互联模型(OSI)是国际标准化组织(IOS)提出的一个概念性框架，是不同制造商的设备和应用软件在网络中进行通信的标准。它的最大优点是将服务、接口和协议这3个概念明确地区分开，通过层次化的的结构模型使不同系统、不同网络之间实现可靠的通信。OSI共分为7层:应用层、表示层、会话层、传输层、网络层、数据链路层和物理层。目前使用的大多数网络通信协议都是基于OSI模型，但会根据自身协议特点做一定的适应性改进。

TCP/IP协议数据的传输基于4层结构:应用层、传输层、网际层和网络接口层。每层协议都相对独立，把数据分为报头和数据包，报头包含与本层相关的控制信息，数据包是从上一层传下来的数据，每一层把上一层的数据作为数据包，再加上本层的控制信息，交给下一层处理。TCP/IP协议是Internet协议族，包含上百个各种功能的协议。目前通用的协议解析方法是由处理器软件完成，针对特殊应用场合的简化协议可以由硬件完成。

FC功能层次如图2所示。

图2 FC协议分层

FC-0:此层描述物理接口，它包括传送介质、发射机和接收机及其接口，规定了收发器和各种物理媒介的光电参数。

FC-1:编码和同步层，采用8/10 bit编码。部分具有特殊特性的没有使用的编码点被用来组成特殊字符，以形成信令和帧描述的有序集。

FC-2:此层是信号传输协议层，它规定了数据块端到端的传输机制。FC-2提供不同类型的服务功能，要传输的数据应由FC-4层根据需要选择并规定，对FC-2层是透明的。

FC-3:此层为一些高级特性提供了所需要的通用服务。

FC-4:此层是FC协议的最高层，它规定了上层协议到FC协议的映射，不包括上层协议。

当前映射的协议有:小型计算机系统接口(SCSI)、高性能并行接口(HIPPI)、INTERNET协议(IP)、IEEE802.2、单字节命令码集映射(SBCCS)等。

RapidIO互连定义包含两类技术:面向高性能微处理器及系统互连的ParallelRapidIO接口;面向串行背板、DSP和相关串行控制平面应用的SerialRapidIO接口。串行RapidIO更符合互连技术的发展趋势，应用更为广泛，本文所涉及的RapidIO专指串行RapidIO(sRIO)。

RapidIO采用3层分级体系结构，即逻辑层、传输层和物理层构成，如图3所示［3］。逻辑层规范位于最高层，定义了协议参数和包的格式，为端点器件发起和完成事物提供必要的信息。传输层规范位于中间层，定义RapidIO地址空间和在端点器件间传输所需的路由信息。物理层规范在整个分层结构的底层，包括器件接口的细节，如包传输机制、流量控制、电气特性和低级错误管理等。

图3 RapidIO协议分层

FC协议与RapidIO协议标准体系的层次化结构简单，均可以实现基于硬件的高性能可靠数据传输。XILINX等公司推出了RapidIO IP和FC IP，可基于大规模的可编程门阵列(FPGA)完成FC与RapidIO的协议解析，具备高效、稳定的优点。

3 系统设计

3.1 网络融合设计

为实现基于FC的可承载RapidIO、TCP/IP等协议的多网络融合，主要需解决两个问题:

(1)如何保证系统的异构性，在不破坏各子网协议的同时，有效地跨网络寻址。

(2)如何实现TCP/IP、RapidIO、FC-AE不同协议之间的互相承载与高效传输。

在遵循和保留FC、RapidIO、以太网等子网协议的前提下，通过全局的统一命名、统一地址映射和地址解析服务可实现跨网络互联。系统中的所有端口均在FC主干网络里获得唯一的名称，并同时注册到FC、RapidIO、以太网三个网络中。所有的地址映射信息组成一个地址映射表，具体形式如表1所示。映射表的大小受限于硬件的存储空间，可达到上万个端口，但映射表的过大，将导致FPGA逻辑命名寻址时的速度下降，从而影响协议转换的实时性。因此，可将实时性要求较高的端口进行归类，将其存储在指定的空间，方便FPGA逻辑以最快的速度查询。

表1 地址映射表

3.2 桥接模块

桥接模块是跨网络寻址与不同协议转换的执行单元，实现了不同网络之间的分离，避免了不同网络之间可能出现的管理权、安全性、以及性能的问题。桥接模块作为一种网关设备屏蔽了其他协议的可见性，各子网在运行过程中不需要关心其他子网的拓扑结构及运行情况。

桥接模块针对不同协议的特点，通过硬件IP核加速技术和软硬件协同设计技术高效实现各子网之间的无缝桥接与协议转换。如图4所示，该模块主要包括大规模FPGA、PowerPC处理器及以太网接口等组成，最多可满足8路FC-AE与4路千兆以太网、2路X4 RapidIO、若干路RocketIO接口等的协议转换，具备很强的通用性。FPGA采用了XILINX公司的Virtex-7系列，FC、RapidIO、RocketIO、以及 FPGA 与 PowerPC之间的X8 PCI-e接口等协议解析功能单元均以IP核的形式集成在FPGA中;PowerPC选用了Freescale公司MPC8640D高性能处理器，主要完成以太网TCP/IP协议解析，采用了VxWorks实时操作系统保证协议转换的实时性。地址映射表以文件形式固化在PowerPC的程序存储区中，模块初始化阶段，PowerPC读取该文件并将加载到FPGA中;运行过程中PowerPC也可根据用户要求对地址映射表进行维护。映射地址的查询完全由FPGA里的数据流控制器硬件完成。

图4 桥接模块原理框图

桥接模块中的各种协议的实测最大传输带宽如下:X4 sRIO≥1.1 GB/s;FC≥380 MB/s;1G Ethernet≥380 Mb/s;RocketIO协议简单，实际有效带宽接近理论传输速率的80%。因此，各总线的带宽是不完全匹配的。为了实现预期的服务性能如数据包丢失率或数据包传输时延等，建立一套有效的流控机制是非常必要的，该工作主要由数据流控制器完成，其简要原理如图5所示，基本工作原理是通过接收方的反馈信息来调节发送方的发送能力。

图5 数据流控制器原理框图

数据流控制器由不同位宽的FIFO、流量控制器、地址寄存器接口等组成。FIFO在进行数据缓存的同时也实现了不同接口之间的位宽匹配;FC IP核、RapidIO IP核接收时均按照各自规范的标准帧长度进行数据帧封装;RocketIO则由用户设置数据帧长度。流量控制器采用基于信用的带有缓冲池的流控机制［4］，发送方只有在得知接收方有可用信用且FIFO有可用的缓冲空间时才发送报文。当接收方没有可用信用或FIFO的可用长度小于预设值时立即产生一个脉冲信号并输出，发送方据此可以知道下游的阻塞情况，从而可以作出更好的报文输出选择。对于零碎的数据，流量控制器采用延迟等待的方法，即在规定的时间内如果FIFO里缓存的数据长度未达到规定的帧长度，则将现有数据直接进行帧封装，同时将帧长度封装在数据帧里带给接收端口。延迟等待时间可根据应用需求自由设置。

4 网络管理

网络管理目的是使网络中的资源得到更加有效的利用［5］。基于FC的融合网的网络角色多元，设备量大，应用场景复杂，尤其面向军事应用，网络的管理与维护更加至关重要，它的质量将会直接影响网络运行的效率。根据该融合网络的特点，网络管理被划分成3个功能，即网络配置管理、网络性能管理、网络安全与故障管理。

(1)网络配置管理

融合网络系统中包含多种类型的交换机与大量的桥接模块，应用涉及到多家厂商的设备，用户的增减、设备的维修或更新均需要调整网络的配置，因此需要网络配置管理系统来支持这种调整和改变。网络配置管理主要包含FC交换机群的拓扑与路由配置、桥接模块桥接表配置、配置操作过程的记录统计等。本系统采用FC带内配置方法，即通过FC链路进行FC交换机与桥接模块的配置，而不需要额外的接口。军用装备一般是预先定义拓扑并配置相对固定的，FC交换机的拓扑配置完全根据航空电子环境光纤通道设备快速拓扑初始化规范进行。FC交换路由与桥接表的配置在FC标准协议中没有明确的规定，可以依据FC_LS_1.62规范中的扩展链路服务包格式，自定义路由配置包以及相关的指令。此时，FC链路中的数据除了业务报文帧，还有配置信息帧，这就需要FC交换机与桥接模块能有效的识别帧信息，各设备在收到FC数据帧后，根据FC帧头确定协议类型，如果是配置协议类型包则进行配置，如果是FC-AE协议类型的数据则按模块自身功能进行处理。

(2)网络性能管理

主要是对网络及相关设备的性能统计。军用装备网络中的数据流量是相对确定并可预估的。由FC交换机实时监测、记录每个端口的流量，并与已配置的阈值比较，当超过阈值时，FC交换机采取相应补救措施以避免网络负载过重甚至阻塞，并上报警示标识。FC交换机还进行网络上各种业务量的统计，对历史统计数据进行分析，找出流量瓶颈，提出端口负载均衡的建议，为管理者提高带宽利用率提供决策支持［5］。

(3)网络安全与故障管理

网络系统应该具备良好的鲁棒性，可抵御恶意用户的行为，隔离不友好的连接，防止用户的满意程度被破坏。网络安全必须从物理层面、传输层面、数据链路层面、网络层面等进行全方位的保护，首先是通过登陆控制来防止未经授权的访问;其次是建立分级访问权限保证管理信息不被非法修改;对于人为因素导致连接错误，则通过FC交换机路由表配置ID检查来实现;FC交换机之间通过心跳反应来获取相邻交换机的状态;对于光器件损坏等引起频繁连接与掉电之间切换不稳定状态，上报后由网络管理员进行故障确认与设备维护。

5 结束语

本文针对多网络融合需求，提出一种统一命名、统一地址映射和地址解析服务的概念，通过桥接模块将以太网、RapidIO、RocketIO等协议数据承载在光纤通道主干网中，实现了多协议间的有效连接与大带宽实时交换，并利用网络管理软件实现全线数据通信设备的统一管理和维护。该方案符合军用电子综合系统中的光纤宽带统一网络的发展趋势，对解决军事装备中由于网络技术的多样性而带来的网络融合难度大、开发风险不可控、升级经费投入大等问题具有重要现实意义，对未来新型作战平台通信链路的开发研制亦将具有重要参考价值。

［1］ 黄振中，倪 明，柴小丽.基于VxWorks的RapidIO-IP设计与实现［J］. 计算机工程，2010，36(18):243-245.Huang Zhenzhong，Ni Ming，Chai Xiaoli.Design and implementation of RapidIO-IP based on VxWorks［J］.Computer Engineering，2010，36(18)243-245.

［2］ 刘 鑫，陆文娟.光纤通道在航空电子环境的应用及关键技术研究［J］. 光通信技术，2006，30(6):55-58.Liu Xin，Lu Wenjuan.Application and research of fiber channel in the avionics environment［J］.Optical Communication Technology，2006，30(6):55-58.

［3］ 史卫民，施春辉，柴小丽，等.基于FPGA的RapidIO-FC转接桥设计［J］. 计算机工程，2010，36(19):291-293.Shi Weimin，Shi Chunhui，Chai Xiaoli，et al.Design of RapidIO-FC switching bridge based on FPGA［J］.Computer Engineering，2010，36(19):291-293.

［4］ 尹亚明，李 琼，郭御风，等.新型高性能RapidIO互连技术研究［J］. 计算机工程与科学，2004，26(12):85-87，107.Yin Yaming，Li Qiong，Guo Yufeng，et al.Study of the new high-performance RapidIO interconnnect technology［J］.Computer Engineering ＆ Science，2004，26(12):85-87，107.

［5］ 周令俊，卢瑶伟.计算机网络管理技术及其应用［J］.中国科技信息，2006(19):165-166.Zhou Lingjun，Lu Yaowei.Computer network management technology and applicaiton［J］.China Science and Technology Information，2006(19):165-166.