星载短波红外多光谱图像硬件融合系统

文/李旭、吴旭刚、李立欣、张雷

融合模型

本文以WorldView-3 卫星的全色图像与短波红外多光谱图像为测试用例，从图像的空间特征入手，设计基于双边纹理滤波的融合模型，依托FPGA 数字电路可定制及其并行计算的优势，实现了基于FPGA 的短波红外与可见光图像融合系统。全色图像成像光谱在可见光范围内，空间分辨率极高，细节信息十分丰富，在使用全色图像作为可见光图像与短波红外图像进行融合时，由于二者之间空间分辨率差异过大，使得全色图像中的空间细节相较于短波红外图像以纹理特征显示更为突出，而短波红外图像则以大尺度结构特征描述了地物目标。因此，融合模型利用双边纹理滤波器去感知全色图像的空间纹理特征，进而将全色图像中的结构和细节纹理信息进行分离，再利用增益矩阵对细节纹理按波段进行调制，最后将空间细节注入至短波红外图像各波段中，得到高分辨率的短波红外图像。

融合系统设计

利用ZYNQ 7100 开发平台丰富的逻辑资源，在可编程逻辑部分对融合模型进行实现，并结合处理系统进行调度控制，最后通过HDMI接口将融合结果输出到显示设备。融合系统的结构框图如图2 所示，将所要处理的短波红外与可见光图像数据通过HDMI 输入接口送入ZYNQ 7100 开发板，使用SIL9013 芯片进行解码，然后在PL 端部署图像融合模块对这两类图像进行融合处理，通过PS 端协助缓存单元对融合结果在DDR3 上进行缓存，最后，使用ADV7511 编码芯片将融合图像通过HDMI 输出接口输出，最终在显示器上显示。

系统中的图像融合模块设计是关键所在，可以根据硬件资源以及融合模型将该模块划分为多个子任务，如图3 所示。

（1）图像分流：由于WorldView-3 数据集使用单波段全色图像和8 波段短波红外图像，而硬件平台仅含有一个HDMI 接口，因此需要对传进来的视频数据进行分流，将其分解为待处理的全色与短波红外图像；（2）上采样：由于短波红外图像与全色图像尺寸相差较大，因此需要对短波红外图像进行上采样至可见光图像大小；（3）图像细节信息提取：对全色图像应用双边纹理滤波，通过访问BRAM 加速计算过程，提取其边缘结构信息，通过两者差值得到可见光图像的空间细节信息；（4）图像融合：将提取到的细节信息通过增益矩阵注入至上采样后的短波红外图像中，便可得到融合结果。

图1 融合模型

图2 融合系统结构框图

图3 图像融合模块任务划分

此外，对融合模块的进一步优化包括PIPELINE优化、LOOP UNROLL 优化、DATAFLOW 优化、BRAM 映射等。例如，双边纹理滤波过程涉及联合双边滤波，需要用到复杂的指数运算得到灰度相似权重系数和空间邻近度相似权重系数。使用HLS 开发时，如果直接进行指数运算，则会消耗大量的DSP48 计算资源，且运算时间长。因此，可以提前按照精度要求将指数运算结果存入BRAM 中，然后在计算时按照地址查找结果，通常可以在1 个时钟周期内完成。因此使用BRAM 查找系数权重代替直接计算的方式，可以有效减少资源消耗和计算时间。对于灰度相似权重系数，其个数与像素值位宽有关，数量有限，因此可以使用两个像素的灰度值差作为相应系数的查找地址。当像素位宽是8 的时候，像素灰度值差的取值范围是0—255，共计256 个，因此BRAM 深度为256，每个权重系数选取float 类型进行保存，总共消耗256×32bit 的RAM 资源。对于空间邻近度权重系数，当滤波器大小固定时，该系数数目固定，且关于水平和垂直方向对称，因此可以预先计算窗口对应空间距离的部分权重系数，根据像素的空间位置直接得到系数。优化后的HLS 综合报告如图4 和图5 所示。

硬件融合系统的验证

针对短波红外多光谱图像的硬件融合系统设计如图6 所示，将需要融合的可见光图像与短波红外图像通过HDMI 接口输入至硬件平台，通过Video In to Axi-stream IP，将视频数据转化为AXI4 Stream 流数据格式，然后使用融合模块对数据流进行处理，得到融合结果数据流，然后使用AXI VDMA 模块访问DDR3，实现帧缓存功能，最后通过Axi-stream to video out 完成融合图像的HDMI 显示输出。

图4 融合模块时间消耗估计

图5 融合模块资源消耗估计

图6 短波红外多光谱图像融合系统

系统测试与分析

测试图像为WorldView-3 卫星数据集，包括8 波段多波红外多光谱图像和单波段全色图像。短波红外图像空间分辨率为7.5 米，全色图像空间分辨率为0.3 米。融合实验输入为8 波段48×48 像素短波红外图像和单波段1200×1200 像素可见光图像。图7(a)展示了短波红外多光谱图像（波段1-2-3 彩色合成），图7(b)为全色图像，融合输出展示如图8。为适配显示器分辨率，融合结果采样至1080×1080 像素大小，如图8 左侧所示，图中右侧为通过SDK 填充的背景像素区域。

为了验证硬件系统输出的正确性，采用同一显示器将融合模型的Matlab 仿真结果进行输出显示，如图9 所示。根据图8 与图9 的比较，硬件融合系统输出的目视效果与软件仿真结果能够保持一致，说明系统工作正常。

图7 融合输入图像

图8 融合系统的HDMI 输出

图9 Matlab 仿真结果输出显示

结束语

本文介绍了针对星载短波红外多光谱图像的硬件融合系统，首先根据图像特点设计有效的融合模型，再采用FPGA ZYNQ 7100 开发平台实现了短波红外图像与全色图像的融合，系统功能仍有待完善，相关研究工作为星上数据处理技术奠定了基础。进一步提高卫星在轨信息处理系统的实时性和智能化将是未来研究热点之一。