无人机侦察信息解码系统的设计*

刘宏娟，孙恒义，贺若飞，李 瑞

（1.西安爱生技术集团公司，西安 710065；2.西北工业大学第365 研究所，西安 710065）

0 引言

当前国内外主流的在役军用中小型无人机系统由于飞机规模重量和视距数据链/卫通链路带宽的限制，任务载荷以单装载为主，因此，地面站的信息处理系统主要针对单独光电/多光谱图像或单独雷达/相机图片，数据量低，数据类型少。出于工程实践中增强可靠性和降低成本的考虑，主流地面站通常采用软件解码或较为简单的硬件解码方案，主要针对单一单路的数据类型。

随着机载设备小型化和数据链带宽的快速发展，无人机同时装载多种任务设备技术成为未来无人机发展的重要趋势［1-6］。与之相对应的，在有限空间和计算资源的条件下完成多种海量复合任务信息的实时解码、显示和分发，成为了新一代地面控制站信息处理系统的新要求和新趋势。

相比当前较为简单的软硬件方案，新一代地面站必须从数据传输、存储和处理等方面进行全面提升。本文主要关注地面站海量任务信息处理的解决方案。

1 系统需求分析与方案比较

通用侦察型无人机主要携带昼夜光电侦察载荷、多光谱侦察载荷、SAR 雷达载荷以及数码相机载荷。昼夜光电侦察载荷实现可见光与红外视频的实时获取，多光谱侦察载荷实现多种类型光谱成像融合视频的实时获取，SAR 雷达载荷将地面各种地形进行成像为图片，对于数码相机载荷，可实现单幅或宽幅数码照片的拍摄［5-8］。

简单而言，无人机侦察信息按照信息形式可主要分为两类，即高实时性压缩视频数据，包括可见光/红外/多光谱视频等，和高分辨率巨幅图片数据，包括SAR 雷达图片数据和宽幅数码照片等。

同时，由于无人机同时装载的任务载荷增多，信息源数量也大幅增加。根据任务载荷的不同配置，可能同时存在多种下传数据模式组合。例如雷达+光电双装载（1 路黑白图片+2 路视频+前视摄像头+后视摄像头，1 路图片4 路视频）；雷达+数码相机（1 路黑白图片+1 路彩色图片+前视摄像头+后视摄像头，2 路图片2 路视频）等。因此，地面信息处理系统必须能同时处理多路任务信息数据。

为满足上述需求，通常有两种备选方案：软件方案和硬件方案。

软件方案是采用软件解码方式对多路视频和图片进行同时处理，性能方面依赖对多核CPU 性能的充分挖掘和大量内存用于存储解码过程中间数据。优点是不占用额外空间，实现简单，运用开源解码库，成本也较低。缺点是对计算机运算负担重，会挤占后续情报处理计算资源，同时计算机长期运行在高负载模式，易降低长时间工作性能和可靠性。

本文提出的硬件方案采用独立板卡对上述任务信息进行解码。采用硬件解压技术，功能相对独立，可靠性高，不占用地面站主控计算机资源，执行效率高，实时性好。

本文从工作原理、视频解码、图片解码和差错控制等多个方面对本信息采集解压设备进行介绍。最后对硬件和软件方案进行试验对比。

2 系统工作原理

2.1 系统组成

侦察信息解码系统通过网络接收数据链实时下传的侦察信息复合数据，该复合数据包括机载H.264 压缩的四路视频数据与机载JPEG2000［9-10］压缩的两路图片数据。侦察信息解码系统包括信息采集解压设备与配套上位机调试软件图像显示软件。

信息采集解压设备安装在地面控制站任务监控计算机内，通过PCIE 接口与计算机相连接，接收地面控制站数据链的实时复合数据，进行数据分类同步与解码，地面控制站内部计算机通过图像显示软件，对高清视频图像进行显示，系统组成如图1所示。

其中，信息采集解压设备，采用嵌入式软件编程方式，完成侦察信息的采集，分类同步、组帧与解码传输等工作。

图1 系统组成图

2.2 工作原理

信息采集解压设备利用网络接口接收侦察复合数据，将采集到的数据送入核心处理器，利用FPGA 硬件进行相应的数据分类同步，在处理器中进行图像信号解码处理，得到解码流数据；通过PCIE接口将解码后的数据传输至地面控制站计算机中。

信息采集解压设备主要包括2 个FPGA、2 个ADV212［11-13］及1 个HI3536［14-15］，可同时对4 路H.264 码流（4 路1080P 高清）和2 路JPEG2000 图像进行解压缩。主FPGA 通过PCIE 接收JPEG2000 图片压缩数据，然后进行位同步识别信息头检测码流是何种类型图片，根据图片格式配置不同的ADV212，同时将去掉信息头的图片数据发送到ADV212 进行解压，ADV212 解压后会把解压缩后的YUV 数据发回到主FPGA。副FPGA 负责将SRIO 获取的视频转成PCIE 2X 传给HI3536 进行解压处理，同时将解压缩后的视频数据通过8X 的SRIO 传输给主FPGA。最后主FPGA 通过PCIE 将解码后的数据传送至图像显示软件。

1 路千兆网络和1 路RS232 是板卡的调试接口，主要用于板卡的维护。1 路PCI Express 2.0 8x 总线接口，用于数据交互。系统工作原理如图2 所示。

图2 系统工作原理图

信息采集解压设备硬件平台的核心处理器为海思3536 芯片与ADV212 芯片，

使用HI3536 实时、高效地解压缩4 路1080PH.264 码流。使用ADV212 芯片对2 路JPEG2000 压缩数据进行解压。

HI3536 内部集成有ARM 子系统，其中ARM子系统的内核为A ARM Cortex A17，具有4 个处理器，主频为1.4 GHz，处理器中集成独立的32 kB L1 I-Cache，32 kB L1 D-Cache，以及1 MB L2 Cache，用于运行外设驱动及应用程序；该芯片是一个面向多通道HD（8M/4M/1080P/720P）NVR 的专业片上系统。HI3536 高性能H.265/H.264 视频编解压缩引擎、具有各种复杂图形处理算法、HDMI/VGA-HD 输出和各种外围接口的高性能视频/图形处理引擎。

ADV212 针对视频和高带宽图像压缩应用，可实现JPEG2000 图像压缩标准的计算密集型操作，并且提供完全兼容、适合多数应用的码流产生方法，运用它的解压能力，高效实时地解压JPEG2000图像［9］。

表1 硬件器件性能环境

3 信息采集解码系统的实现

3.1 板卡初始化

信息采集解压设备加电之后，控制电源使能顺序，硬件驱动初始化、FPGA 初始化、HI3536 初始化、各种接口初始化，启动时间小于20 s。如果初始化出现异常，复位板卡重启板卡初始化。

初始化包括3 部分内容：

1）初始化主FPGA，在主FPGA 上初始化PCIE总线和I2C 总线，通过I2C 来配置ADV212 芯片，同时加载各种必需的驱动，加载完成后自动启动可执行程序；（主FPGA 的PCIE 速率为4 Gb/s；主FPGA初始化I2C，主FPGA 板为主机，ADV212 为从机；）

2）初始化副FPGA，加载驱动、初始化PCIE 总线、运行可执行文件，为接下来的传输与短时间存储做准备；

3）初始化HI3536，初始化PCIE 总线、加载驱动，启动可执行文件。

信息采集解压设备初始化完成。

3.2 视频解码

3.2.1 H.264 码流采集同步

主FPGA 通过PCIE 接收H.264 视频码流，按每包16 kB 数据逐包接收并将数据转化为每包128 bit数据。按照协议进行位同步识别信息头，检测码流是否符合协议要求（分辨率为1 920*1 080、1 280*720 或640*512），若符合输入要求将码流数据送至副FPGA。

采集数据步骤包括：

1）接收网络接口输出的数据包；

2）H.264 视频数据采用dma 方式传输，模块申请一个缓存fifo，用于不同时域之间的数据转换；

3）读写指令采用访问寄存器方式，生成一个32 位BAR0 空间，上位机往对应地址里写数据发送读写指令；

4）输出128 bit 位宽的单幅视频压缩数据包。

3.2.2 H.264 码流解码

HI3536 进行第2 次解析H.264 码流信息头，根据信息头信息获取输入H.264 视频的分辨率，然后根据H.264 视频的分辨率进行硬件解码。副FPGA将压缩码流发送到HI3536 进行解码，解码得到的YUV 数据再经过副FPGA 发送到主FPGA，由主FPGA 通过PCIE 发回到图像显示软件［10］。数据解析流程如下页图3 所示。

解析压缩码流步骤包括：

1）解析码流信息头，找出H.264 视频码；

2）第2 次解析码流信息头，识别H.264 视频的分辨率。

3）主FPGA 中第1 次核对协议规定的信息头，找到H.264 视频码流；

4）把H.264 数据经由副FPGA 传到HI3536；

5）再次对信息头进行位同步，根据信息头解码得到的YUV 数据。

图3 数据解析流程图

3.2.3 H.264 解压码流发送

HI3536 解压缩H.264 视频码流后会转化位YUV 格式数据，HI3536 将YUV 数据传输到副FPGA，副FPGA 接收到YUV 格式数据后，把YUV 数据发送到主FPGA，主FPGA 在收到YUV 数据后将数据暂时存放在DDR3 中，通过PCIE 传送到图像显示软件进行显示。发送解压数据流程如图4所示。

图4 发送解压数据流程图

3.3 图片解码

3.3.1 数据解析检测

主FPGA 接收PCIE 发送来的每一包数据，当接收到一定长度的数据包后，会对数据进行位同步处理解析数据包头数据（每一帧JPEG2000 图片码流均包含一个的数据包头），分析包头数据，将JPEG2000 图片的包头和包尾剔除，保留有效的JPEG2000 图片码流。

检测到ADV212 发送缓冲区为空后，从主FPGA 的DDR3 中读出去包头的JPEG2000 压缩数据，识别JPEG2000 图片的帧头数据，若为FFFFFFF0则表示为黑白图片，若为FFFFFFF1 则表示为彩色图片，分别用指定的ADV212 芯片实现图片解码［6］。解析检测流程如图5 所示。

解析检测步骤为：

1）从DDR3 缓存读取码流数据；

2）区分图片压缩码流类别（黑白和彩图）识别帧头信息，根据JPEG2000 协议确认图片类型；

3）校验码流数据是否完整；

4）若码流数据完整，读取帧长度信息，取相应长度大小的数据，查询特有的帧尾标识（FFD9），校验图片压缩码流是否完整。

5）若码流数据不完整，输出复位信号，复位码流发送的缓存FIFO，该帧图片放弃解码。

图5 数据解析检测流程图

3.3.2 JPEG2000 压缩数据解码

按照ADV212 芯片要求配置好数据发送时序，将一帧JPEG2000 压缩图片发送到ADV212，在ADV212 进行硬件解码［12］。压缩数据解码流程如下页图6 所示。

1）接收来自图片帧数据检测模块输出的码流数据；

2）将一帧码流放进缓存FIFO，进行时域与位宽转换；

3）接收码流发送缓存FIFO 复位信号；

4）将码流送进ADV212 芯片进行解码；

5）接收缓存FIFO 复位信号；若复位无效，表明码流数据准确，按ADV212 时序要求将码流发送至ADV212 进行当前帧解码；若复位信号有效，表明码流数据有误，复位缓存FIFO，清空数据，放弃当前帧的解码。

6）ADV212 解压缩JPEG2000 后会产生YUV格式的数据，解压缩后的数据会发送至主FPGA，并存储在DDR3 中，通过PCIE 传送到图像显示软件进行显示。

图6 压缩数据解码流程图

3.4 差错控制

尽管数据链具有一定的纠错能力，使数据传输的误码率能够低于10-6的水平，但对于大流量的实时视频和图像数据，仅靠传输段的数据纠错仍会出现数据误码。如果仍然选择在传输段增加纠错码，会显著增大传输的额外数据开销，变相降低带宽，工程中使用并不划算。

对于实时视频，数据误码表现为画面局部短暂花屏。实际使用中，只要数据链保持基本稳定，这种短暂花屏基本不影响侦察质量，可以不予处理。

对于大幅的JPEG2000 图片，某几个字节的误码会引起整幅图片解码失败，只能重新下传，浪费大量时间和资源。因此，对于图片传输必须进行差错控制。

图片差错控制的主要策略是将大幅图片进行分包压缩，将小包下传在地面站解码。小包解码失败时，整幅图像大部分仍然能够成功解码显示，这时只需将解码错误的包序号重新上传至无人机，指示无人机将相应包数据重新下传，就可以完成整幅图像的完整解码。

4 实验结果

通过对软硬件平台的搭建，应用程序可执行文件及一些配置脚本文件的编译，制作了根文件系统，与内核镜像一起烧写到硬件平台Flash 中，上电启动执行代码，得到如下部分实验结果。

通过启动上位机图像显示软件，得到的4 路视频图像，如图7 所示。2 路图片图像雷达图像与数码照片如图8 所示。

将本文方案与纯软件解码方式进行了性能对比。纯软件解码采用了开源Kakadu 软件对JPEG2000 进行解码，H.264 视频采用ffmpeg 解码库进行解码。本方案与纯软件解码对比如表1 所示。

图7 4 路视频图像画面

图8 2 路图片图像画面

表1 软硬件解码方案性能对比

显然硬件方案在运行效能方面大幅降低了主控机的计算负担。从系统设计的角度讲，硬件方案分散了系统核心节点的功能负担，有利于提升系统可靠性和健壮性。同时，软件方案可以作为硬件方案的备份，提高地面站信息处理冗余度。

5 结论

本设计基于硬件板卡的侦察信息解码系统，经过实验测试，系统可靠稳定，实时性好，支持多种载荷任务数据分类解码，采取这种硬件板卡解码的形式，模块设计灵活，硬件与软件相互独立的，配置灵活、裁剪性强。通过对当前主流的侦察信息压缩方式解压的二合一解码设计，同步解压4路H.264 视频编码流与2 路JPEG2000 图片，将信息解码功能集中，大大减轻了地面控制站内部计算机的工作压力。

将该系统应用在飞行试验中，通过接收数据链实时传输的侦察信息复合数据，很好地解决了地面控制站内部资源不足的情况，且此解压系统组件灵活，功能扩展性强，标准化程度高，方便在多型无人机系统地面控制站内推广使用。飞行结果表明4 路1 080 p 分辨率的视频，视频流畅，实时性高，JPE G2000 图片画面清晰。