测控基带资源池的设计与实现

党 赟，高群福，贾丙强，刘云杰

(中国电子科技集团公司第五十四研究所，河北 石家庄 050081)

0 引言

近年来，随着信息化、网络化的快速推进，云计算得到大规模推广和应用。国内外不少学者、工程人员已开始研究如何将云计算、资源池应用于复杂控制系统及其设备中，在应用中首先需要解决物理设备虚拟化共享问题。20世纪90年代，工业界和学术界已经开始进行设备I/O虚拟化技术研究，主要从聚合、融合和共享3个方面开展研究[1]。主要技术成果包括PCI-SIG提出的单根虚拟化技术(SR-IOV)[2]和以太网光纤通道技术(Filber Channel over Ethernet FCoE)[3]、NEC提出的ExpEther[1]和NextIO提出的vNet等。在PCI-SIG提出的单根虚拟化技术基础上，王展等人实现了多主机共享PCI-e物理设备[4]，达到了近乎物理直连的传输性能。

随着大规模测控阵列天线在航天多目标测控系统中的应用，设备数量和控制复杂度急剧增加，云计算、资源池管理技术在测控系统中的应用成为业界研究的热点，采用设备虚拟化技术，将测控设备资源整合成虚拟资源池，通过云管理平台按需为测控任务分配计算、存储、测控资源和各种服务，实现资源动态分配、灵活调度和跨域共享。

从应用需求出发，对各类虚拟化技术进行分析和比较，提出了基于网络的基带设备虚拟化方案，对基带板卡进行虚拟化，使其兼容PCI-e和网络2种通信协议，实现了基带设备资源池化管理的目标。采用云管理平台对计算、存储、网络和基带设备进行统一管控、动态分配，在提高设备灵活性的同时可有效降低升级和维护开销[5]。同时，云平台具备的虚拟机在线迁移、负载均衡[6]等特性，可加速应用部署[7]，从而提高了整个系统的可用性[8]。该技术在解决行业应用需求的同时，也可为同类型功能设备实现虚拟化提供了参考。

1 测控基带资源池总体设计

1. 1 架构设计

测控基带资源池由计算、存储、网络和基带设备资源组成，基带设备、刀片服务器和磁盘整列集中部署于设备机架，方便扩展，基带设备、服务器、磁盘整列和外设之间通过高性能网络交换机实现互联互通，设备组成及连接关系如图1所示。

图1 测控基带资源池设备组成

测控基带资源池采用云管理平台[9]进行管理，将各类虚拟资源按照任务需求进行动态分配。测控基带云管理平台分为基础架构即服务(Infrastructure as a Service，IaaS)、平台即服务(Platform as a Service，PaaS)和软件即服务(Software as a Service，SaaS)[10-11]3层。其中，IaaS提供虚拟基础资源，如虚拟主机、存储和设备等[12]，可以此为基础建立测控基带系统运行环境[13]；PaaS提供构建系统所需的平台级应用，如操作系统、虚拟化服务、负载均衡和动态迁移[14]等；SaaS向用户提供测控基带应用服务，包括各测控模式应用等。测控基带云管理平台服务层次关系如图2所示。

图2 测控基带云管理平台层次关系

采用云管理平台对测控基带进行资源池化管理具有以下优点：

① 通过虚拟化技术使得测控资源得到了充分、最大化的利用，采用集约化部署可减少设备体积[ 15]和设备数量，降低设备冗余；

② 扩展能力强，当基础设施资源不足时，可通过增加刀片服务器、网络交换机、磁盘阵列或基带板卡数量，方便实现资源扩展[ 16]；

③ 云管理平台具备负载均衡和动态迁移功能，可实现数据自动备份，有效提高系统的可靠性和可用性[ 17]；

④ 基带板卡与物理主机采用松耦合架构动态配置，部署灵活，改变了传统的主备配置方案，可实现多路备份，有利于提高设备可靠性；

⑤ 云管理平台具备完善的安全防范机制，使得系统安全可控、数据保密和信息安全[ 18]；

⑥ 测控基带应用软件、板级软件由云平台统一管控，易于维护和升级[ 19]。

1. 2 资源分配过程

采用云平台管理的测控基带资源池，执行测控任务时需要进行资源分配，分配过程如图3所示。

图3 测控基带资源分配流程

资源分配步骤如下：

① 云管理平台计算机接收管控计算机的测控任务需求，确定测控资源需求；

② 云管理平台计算机进行虚拟机运行资源和处理板卡的资源分配，启动虚拟机及对应的基带应用软件；

③ 云管理平台计算机向基带应用软件下发资源分配列表，主要包括基带板卡ID、网络通信地址和数据存储目录等；

④ 基带应用软件对所属资源进行初始化工作，包括基带板级软件加载、网络设备初始化、基带功能单元加载和数据存储目录初始化等工作；

⑤ 基带应用软件按照流程执行遥控、遥测、速度测量和距离测量等测控任务；

⑥ 测控任务完成后，基带应用软件退出并将所属资源交还云管理平台计算机。

2 需要解决的问题

现有测控基带采用基带设备资源与物理主机绑定的紧耦合架构，如图4所示，系统扩展时只能以增加单体主机、基带设备的数量来应对，这无疑会增加测控设备冗余、购置成本和管理成本，同时，主机数量和种类的增加还会导致整个系统信号和网络连线数量的增加，增加网络部署的复杂度。

图4 现有测控基带设备组成

随着测控系统的发展，基带设备数量的大幅增加给系统管理、维护和升级等带来巨大挑战。将基带设备与物理主机解绑，采用资源池的方式对计算资源、存储资源和测控资源进行松耦合式动态管理，可有效解决上述问题。基带设备资源池化管理需要解决以下问题：

① 实现基带设备I/O虚拟化：通过基带设备虚拟化实现设备资源的动态分配、灵活调度，并可采用软件的方法进行重新定义和划分；

② 设备性能要求：基带设备对控制实时性、可靠性和数据通信速率有较高要求，设备实现虚拟化后应满足系统对设备的性能要求。

3 关键技术

针对基带设备资源池化管理急需解决的基带设备I/O虚拟化和设备性能问题进行重点分析。

3. 1 I/O虚拟化方案

3. 1. 1 方案分析

目前，学术界和工业界都已开展了一些研究工作，致力于实现多服务器间的I/O共享，主要从I/O聚合、I/O融合、共享复用和集中转换4个方面展开。

① I/O聚合是通过设备本身的硬件辅助虚拟化技术，将直接 I/O 虚拟化所需的多个物理I/O设备聚合转换为单个物理设备内的多个虚拟功能，以减少单个物理服务器所需配备的I/O设备数量，如PCI-SIG提出的PCI-e单根虚拟化(Single Root I/O Virtualization，SRIOV)技术；

② I/O融合是通过设备本身的硬件辅助协议转换，实现单个物理I/O设备支持多种协议数据包的处理和传输，从而降低数据中心所需配备的I/O设备和互连网络的多样性，如以太网光纤通道(Fiber Channel over Ethernet)技术；

③ 共享复用是将I/O设备的共享范围从单个物理服务器内的多个虚拟机之间扩大到多个物理服务器之间，以缩减单机所需的I/O设备的数量和数据中心内部网络连线的数量，同时，通过共享复用提高I/O资源的利用率，例如NEC ExpEther和NextIo vNet等；

④ 集中转换是使用软件方式实现I/O设备的多服务器间共享，其使用一台配有I/O设备的物理主机作为多机I/O共享的服务器端，通过网络向客户端提供通用的I/O接口服务，客户端使用该接口进行I/O操作。

根据应用需求和板卡特点结合上述4种虚拟化技术进行分析，制定适合应用需求的解决方案。

① I/O聚合方案的前提是将板卡必须与计算机主机绑定，通过将板卡转化为多个虚拟功能以供多个虚拟机进行使用；

② I/O融合方案是在设备端增加多种协议转换功能模块，以满足虚拟主机对设备的访问需求，使用该方案可以实现主机与设备资源的分离，需在设备端增加局部总线/以太网协议转换模块；

③ 共享复用方案是在板卡与主机绑定的架构下，通过将设备的共享范围扩展以实现多机共享的目的。该方式在虚拟机部署时对服务器系统、网络带宽有较高要求，板卡、主机、BIOS和宿主计算机都需要支持SR-IOV才能使用虚拟化功能，在多机共享时是以占用网络带宽为代价的；

④ 集中转换式方案将一台物理主机用作协议转换服务器向多机提供共享服务，该模式使该物理主机成为整个系统的性能瓶颈，此外，由于经过了较多的软件层次导致客户端主机的I/O性能较低。

经过上述分析，在不增加额外设备的情况下，I/O融合方案可实现主机与板卡松耦合管理，无需改变设备物理结构，只需对设备板卡软件进行改造升级可满足虚拟化需求。

3. 1. 2 板卡改造方案

数字基带板卡架构示意图如图5所示，图中数据交换FPGA主要功能是实现板卡与上位机I/O数据交换。

图5 数字基带板卡架构示意

为实现设备虚拟化需求，需要进行如下改造：

① 在数据交换FPGA中增加以太网络模块，网络MAC地址、IP地址等网络信息可通过上位机软件或板卡配置芯片进行动态或静态配置；

② 在数据交换FPGA中增加以太网←→局部总线双向协议转换模块，实现网络协议与局部控制总线间的协议互转，板卡内部各模块间局部总线及协议保持不变；

③ 保留板卡原PCI-e接口模块，使其具备2种协议分时工作能力，可通过配置信息或板卡跳线实现接口协议的选择；

④ 在对插板上增加以太网接插件，实现网络数据接入，对插板与处理板之间数据通讯可复用原PCI-e连接线，尽可能减少板卡更动内容。

3. 2 接口协议设计

增加以太网←→局部总线双向协议转换模块后，设备具备了与上位机进行网络数据交换的能力，选择合适的传输协议对于设备的稳定性和可靠性有重要意义。目前，常用的网络协议主要包括TCP和UDP协议，2种协议的特点如下：

① 二者都属于传输层协议，TCP为面向连接协议，在客户端和服务器端进行通信之前，首先要交换传输层控制信息，为双方的通信做好准备。UDP是一个非连接的协议，传输数据之前双方不建立连接，当传送数据时，简单地抓取来自应用程序的数据，并尽快把数据传送到网络上。

② UDP协议的数据传输不需要维护收发状态和连接状态等，与TCP相比，网络的有效利用率得到很大提高。

③ TCP协议提供数据确认重传、拥塞控制等可靠性保证，UDP协议不提供可靠性保证，也不提供流量控制。

与TCP协议相比，UDP协议具有连接网络延迟小且数据传输速度快的特点[20]，为了保证数据可靠性，在UDP协议的基础上，增加了接收确认、数据重传和滑动窗口机制以提高数据可靠性。

本方案采用的UDP传输过程如图6所示。

图6 基于UDP协议的数据传输过程

基于UDP协议的数据传输过程如下：

① 收发双方按照既定网络信息建立网络通信套接字，在建立网络连接后先进行3次握手建立数据连接，并保持定时数据互通；

② 发送方利用滑动窗口缓存已发送数据，直至收到确认、重传或发送超时消息；

③ 接收方收到数据后利用数据帧序号进行数据重组、乱序纠正，如发生丢包则向发送方发送重传的请求消息。

4 关键指标测试

4. 1 测试环境

按照应用需求进行测试环境搭建，采用一台测试计算机+4块基带板卡的配置方式，以模拟最复杂测控任务情况，网络化基带板卡和测试计算机利用高性能网络交换机实现互联，测试环境连接如图7所示。

图7 测试环境连接

4. 2 测试过程

4. 2. 1 板级软件加载测试

板级软件加载测试过程如下：

① 启动部署在测试计算机的测试程序；

② 分别向4块板卡发送IP地址配置命令，设置板卡通信地址信息，并与测试程序建立数据通信连接；

③ 依次向4块基带板卡写入FPGA运行文件，该文件容量为28 660 KB，写入完成后由加载单元进行数据校验，无误后上报确认信息，即认为加载成功；

④ 重复步骤②2 000次，以测试板卡加载时间和加载成功率。

4. 2. 2 网络性能测试

网络性能测试包括传输时延和典型数据传输能力测试。

准备工作如下：

① 在设备端设计测试程序，该测试程序在收到应用软件发送的网络数据包后直接原样返回，用于测试传输时延；

② 在设备端设计2路数据发送模块，数据包长、发送频率可设，用于测试数据传输性能。

测试过程如下：

① 启动部署在测试计算机的测试程序；

② 分别向4块板卡发送IP地址配置命令，设置板卡通信地址信息，并与测试程序建立数据通信连接；

③ 以500 ms/帧的频率向板卡发送网络数据包，记录发送时间和返回时间，并计算时延差；

④ 接收板卡上报的2路数据，统计数据丢包率和实时速率。

4. 3 测试结果

4. 3. 1 板级软件加载测试结果

板级软件加载测试结果如图8所示，测试样本为2 000次，平均加载时间为1. 922 s。

图8 板级软件加载测试结果

4. 3. 2 网络性能测试结果

在测试条件为：测试数据包长为1 024 Byte，传输间隔为500 ms，网络传输延测试结果如图9所示，网络传输平均时延为1. 472 ms。

图9 网络传输时延测试结果

在测试条件为：单路数据接收测试数据包长1 000 Byte，包频2 500 包/s，2路数据流同时接收的情况下，网络传输性能测试结果如图10所示，此时CPU占用率小于5%，网络资源占用率小于5%。

图10 网络传输性能测试结果

4. 4 测试结果分析

对上述测试结果分析可知：

① 基带板卡可以进行IP地址动态配置，满足动态资源分配要求。

② 板级软件加载是测控系统功能重组的关键步骤，在长时间测试过程中，板级软件加载性能稳定，加载时间小于2 s且稳定性较好，在测试样本中，加载成功率为100%，满足使用要求。

③ 网络传输平均时延为1. 472 ms，测试样本中，时延抖动方差很小，该结果优于目前采用PCI-e接口设备的通信性能；在网络传输性能方面，在进行2路数据接收的情况下，CPU和网络占用率均维持在较低水平，可以满足使用要求。

通过上述分析，网络化后的基带板卡在功能和性能均满足系统要求。

5 结束语

本文提出了基于I/O融合技术的基带板卡虚拟化方案，通过对板卡I/O的网络化升级，使测控基带设备具备了资源池化管理的条件，为实现测控系统松耦合、集约化部署奠定了技术基础。实验结果分析表明，采用网络化基带板卡构建的测控基带资源池具备动态重组、高效传输和集中部署的特点，在工程应用中可显著提高系统的扩展能力和重构能力。