红外图像融合在光电侦察系统中的应用

辛林杰，武少鹏，宋秋迪，宋煜明

（中国电子科技集团公司第三研究所，北京 100015）

0 引言

在目前战场环境下，越来越多的重要目标采取遮挡和伪装等防护手段。光电侦察系统中的红外探测单元基于热成像原理，可以很好地识别该类目标。由于其完全被动且可对隐身目标有效探测，能够弥补雷达探测的不足，因此光电侦察系统成为当今探测领域的研究热点[1-3]。

目前，绝大部分光电侦察系统采用中波红外探测器，由于波段单一，导致在复杂背景干扰、恶劣天气或存在诱饵弹等情况下，系统的探测概率、虚警率及作用距离等性能指标都会受到严重影响[4]。众所周知，当利用不同波段的红外探测器对同一目标探测时，目标图像呈现出明显的差异。如果将不同波段的图像特征加以提取并相互融合，就能有效地提高目标成像质量，进而提高光电侦察系统性能。

针对目标的成像特性，以飞机为例，飞机蒙皮和发动机是主要的目标辐射源，不同的红外波段探测成像效果不同。研究表明，对于飞机蒙皮的辐射特性，采用长波探测更为合适；对于飞机发动机和尾焰等高温位置，中波红外的探测效果更好。本文针对长波红外及中波红外两个波段图像进行融合研究，并进行实际应用测试，结果表明通过图像融合可以将不同波段的图像特性进行互补，可以有效地提高系统探测性能。

1 红外辐射特性分析

目标本身的辐射特性与探测器感知到的辐射不同，目标的辐射经过大气的传输后特性会有较大衰减。不同波段的辐射传输、成像和图像特性都有所差异，因此得到的图像效果不同。下面介绍经过大气衰减后，不同波段探测器检测到的目标辐射特性差异。

如图1 所示，中波波段的辐射出射度差变化范围与长波波段的辐射出射度差变化范围有较大差异，因此长波红外图像与中波红外图像各有不同的特点。由于长波段辐射对比度的变化范围较小，因此长波红外图像整体偏暗，在背景比较丰富时层次感较强，目标高温和低温区域对比度差异不明显，因而可以保留更多的细节，使得目标轮廓更清楚。相对于长波红外，中波红外图像对比度较高，目标高温区域亮度较高，而低温区域亮度较暗，因此会缺失很多细节，目标轮廓较为模糊[5]。因此，将长波红外与中波红外波段特性相融合，可以使两者的波段特性互补，在保留更多目标细节的同时提高目标对比度，将大大提高系统的目标检测性能。

图1 中波、长波辐射变化范围图

2 图像融合算法设计

2.1 融合算法流程

如图2 所示，图像融合包括输入匹配图像、特征点匹配、变换矩阵计算、图像配准及图像融合等几个步骤。

图2 图像融合算法流程

首先，对于输入图像有一定的要求。对于中波和长波红外图像，要求重合度较高，这样匹配图像才会有更多的特征点。不同于可见光图像，红外图像的特征匹配难度大。当两幅图像重合度较小，匹配特征数量较少，难以配准。其次，根据需要对输入图像进行一定的预处理以提高图像质量。再次，对同一场景的中波和长波红外图像特征点进行匹配，采用RANSAC 算法提纯后计算变换矩阵。最后，以一幅图像为参考，将另一幅图像通过变化矩阵进行变换，通过加权等方式进行融合处理。

2.2 图像变换模型

对于具有一定重合度的两幅图像，可以通过特征点匹配寻找两者之间的数学变换关系。对于二维图像，图像间的数学关系可以用变换矩阵H表示，表达式为式（1），一般变换包括平移、旋转、刚性、相似、仿射和透视变换，如图3 所示[6]。

图3 图像几何变换示意图

变换矩阵H中各参数意义，如表1 所示。通过中波和长波图像的特征点提取，可以根据特征点对的坐标求解变换矩阵H。因为变换矩阵H中有8 个参数，因此需要至少4 对匹配特征点才能求解该矩阵。

表1 变换矩阵各参数意义

2.3 图像配准

本文采用基于特征点的匹配算法。首先，对两个波段的红外图像进行特征点提取，即与邻域像素点灰度值变换较大的点，并通过邻域灰度分布形成特征向量；其次，采用欧式距离对两幅图像的特征向量进行相似性度量，形成匹配的特征点对，根据此特征点对即可求解变换矩阵；最后，当待匹配的两幅图像重合度较高时，匹配特征点对也较多，为了得到适用性更高的变换矩阵参数，通过RANSAC提纯算法对特征点对进行分析，得到更加准确的变换矩阵。

2.4 图像融合

通过变换矩阵对图像进行几何变换后，本文采用加权平滑法对两个波段的红外图像进行像素级的融合。该方法根据重叠区域内像素点与边缘像素点的距离作为权重，进行加权计算得到重叠区域内像素灰度值，融合效果能够满足人眼视觉要求[6]。

设f1(x,y)和f2(x,y)分别表示待融合的长波及中波红外图像，f(x,y)表示融合图像，加权计算公式为

式中：w1和w2分别对应两幅融合图像在某像素点的权重。本文中，w1和w2均采用介于0 到1 的常数。为客观评价图像配准算法的效果，本文采用均方根误差（Root Mean Square Error，RMSE）来计算图像配准精度，其表达式为

3 试验分析

3.1 仿真分析

本文通过对长波红外和中波红外探测器对同一场景同一时刻采集的两幅图像进行特征匹配仿真，并进行匹配精度计算。图4 为2 个红外波段图像的特征点匹配情况，结果显示匹配精度较高。

图4 中波红外和长波红外图像特征点匹配

3.2 试验分析

通过实际系统应用，对建筑及飞机类目标进行融合试验，结果如图5 和图6 所示，中波红外图像整体亮度较高，局部区域（爬梯）的高对比度导致周边细节缺失；与之相比，长波图像亮度偏暗，但是景物细节保留充分。经过图像融合，整体对比度得到优化，灰度分布较为均匀，中波红外的高对比度与长波图像的细节优势得到结合。同样，对于飞机类目标，中波图像中发动机位置亮度较高，而飞机尾翼及轮廓长波图像更清晰，通过图像融合，飞机轮廓更清晰且发动机高亮区域缩小，有利于提高目标检测坐标的准确性。

图5 建筑类目标图像融合结果

图6 飞机类目标图像融合结果

4 结语

针对目前光电侦察系统对于目标多波段特性的融合需求，本文开展了长波红外与中波红外特性分析及图像融合应用研究。通过对两种红外图像进行特征点匹配与提纯，得到变换矩阵后采用加权法进行图像融合，仿真结果显示匹配精度较高。针对建筑物及飞机类目标进行试验，长波图像与中波图像显示了目标的不同波段图像特性。图像融合将长波图像的细节以及中波图像的高对比度相结合，明显提高了图像质量。