多波段前视红外图像融合的海面杂乱背景平滑方法

仇荣超，吕俊伟，宫 剑，娄树理，修炳楠，马新星

1. 海军航空大学，山东 烟台 264001 2. 烟台大学光电信息科学技术学院，山东 烟台 264000

引 言

基于前视红外图像的海面舰船目标检测技术广泛应用于无人机侦察监视、红外末制导、预警探测等领域，是海天背景下识别、跟踪以及精确打击海上舰船目标的基础，长期以来都是国内外学者关注和研究的热点问题。 在面对海面杂波以及海面高亮反射的干扰时，传统的基于单个红外宽波段的成像探测方式的舰船目标检测性能会受到极大的影响，如何高效地剔除或降低海面杂波以及海面高亮反射的干扰是基于前视红外图像进行海面舰船目标检测的亟待解决的问题之一。 为此，我们开展了基于多波段前视红外的成像探测方式进行海面舰船目标检测的研究。 不同红外波段图像的成像时间间隔和成像光谱差异导致了不同波段图像之间存在较大的辐射差异，对于舰船目标和自然场景，人造的舰船目标在各个波段均具有较强的红外辐射，相比之下，自然场景在各个波段中的红外辐射则存在较大的差异，利用多波段红外图像源之间的互补性和差异性实现多波段图像的有效融合，可以平滑抑制海面杂乱背景的影响并且保持图像结构，尤其是舰船目标的结构，为更好地检测和分离海面舰船目标提供一幅背景平滑、舰船目标显著的融合图像。

图像融合是将同一场景下的两幅或多幅图像通过一定的算法融合为满足某种需求的单幅图像[1]，和单幅的源图像相比，融合图像更加适合后续对目标或者场景进行理解、分析、处理[2]，因此，图像融合在计算机视觉、遥感、医学以及军事等诸多领域中得到了广泛应用。 目前，主流的图像融合算法大多是基于多尺度分析方法的，较为典型的有拉普拉斯金字塔(laplacian pyramid, LP)[3]、离散小波变换(discrete wavelet transform, DWT)[4]、contourlet变换(contourlet transform, CT)[5]、非下采样contourlet变换(nonsubsampled contourlet transform, NSCT)[6]、非下采样shearlet变换(nonsubsampled Shearlet transform, NSST)[7]等方法。

图像平滑在计算机视觉和图像处理领域有着广泛的应用和潜力[8]，在许多情况下，一幅图像中的显著结构和平滑区域就足以表达图像的主要内容，如何去除图像中的冗余细节部分或者杂乱背景部分而保留明显的结构是图像平滑的核心内容，为此，人们陆续提出了许多的图像平滑方法，已知的图像平滑方法大致可以分为两类，一类是局部平滑的方法，例如： 经典的高斯滤波[9]、双边滤波(bilateral filter, BF)[10]、导向滤波(guided filter, GF)[11]等； 另一类则是全局平滑的方法，例如：L0梯度最小化(L0gradient minimization)[12]、相对全变分(relative total variation, RTV)[13]、双边纹理滤波(bilateral texture filter, BTF)[14]、滚动滤波(rolling guidance filter, RGF)[15]等。 目前众多的图像平滑算法都是在空域中进行，往往在平滑图像细节和噪声的同时也模糊了图像的结构，很难在平滑图像细节和保留明显的结构之间达到一种平衡。

基于以上分析，提出了一种基于DWT实现多波段红外图像融合的方法，DWT的计算复杂度较低且融合效果较好，通过DWT对多波段图像进行分解得到低频系数和高频系数，由于绝大多数的噪声、杂乱背景细节部分都集中在图像的高频系数中，通过对图像高频系数进行有效的处理和融合来抑制杂乱背景的细节信息，对于低频信息采用多波段图像平均融合的方法，并通过导向滤波对低频融合图像进行平滑处理。 研究的目的旨在通过融合多波段图像的信息，并将图像的平滑处理转换到频率域中进行，从而更好地抑制图像中的杂乱背景、消除背景中的细节结构信息，同时，较好地保持舰船目标的特征信息。

1 基本理论

1.1 基于DWT的图像融合

基于DWT进行图像融合的基本原理是将各个源图像分别分解到一系列频率信道中，构建起各个源图像的小波塔型结构，然后依据融合需要对不同层级的不同频带进行融合处理得到小波金字塔结构，最后对其进行小波逆变换即可得到融合图像。 图1所示为基于DWT进行图像融合的原理，对源图像进行1层小波分解得到图像的低频子带LL以及三个方向上的高频子带(水平高频子带HL、垂直高频子带LH、对角高频子带HH)，其中，低频子带包含源图像的主要能量，比如图像的结构、亮度、对比度等信息，而高频子带包含的则是源图像的细节信息，比如图像的边缘信息； 依据不同的融合规则对4个子带信息进行处理即可得到融合后的低频和高频子带信息； 对融合后的子带信息进行小波逆变换(inverse discrete wavelet transform, IDWT)处理得到的重构图像即为融合图像。

图1 基于DWT的图像融合原理

1.2 导向滤波

导向滤波器是一种基于局部线性模型的边缘保持滤波器[16]，可以有效保持图像边缘结构信息，同时可以避免双边滤波产生的梯度反转效应。 该滤波器包含输入图像I、导向图G(可以是输入图像I)和输出图像O，滤波器的数学模型定义为

Oi=akGi+bk∀i∈ωk

(1)

式(1)中，窗口ωk以像素i为中心，尺寸为(2r+1)×(2r+1)，ak和bk在窗口ωk中是恒定的线性系数。

通过最小化输出图像O和输入图像I在窗口ωk内的差异来估计系数ak和bk，定义窗口ωk内的损失函数E

(2)

式(2)中，ε是防止ak过大的正则化参数，通过线性回归最优化目标函数E可以直接求出系数ak和bk。

由于每个像素i都被多个窗口ωk包含，即每个像素可以由多个线性函数共同描述，为此，对Oi的所有可能值取平均值

(3)

定义导向滤波计算公式如式(4)

O=Fr，ε(I，G)

(4)

式(4)中，F为导向滤波函数，G为导向图像，I为输入图像，O为输出图像，r和ε分别表示导向滤波的局部窗口尺寸和正则化参数。

2 基于多波段图像融合的海面杂乱背景平滑方法

本方法的基本步骤为：

(1)通过DWT将多波段源图像分解为低频子带图像和高频子带图像，从而使得源图像中的低频信息和高频信息能够充分分离；

(2)通过取高频系数绝对值最大法的融合规则，对各分解层上的高频系数进行融合得到融合高频子带，再计算区域能量对高频融合子带进行调制；

(3)对于低频图像的融合采用平均策略，并采用导向滤波对低频融合图像进行平滑处理；

(4)通过对融合后的低频子带和高频子带进行IDWT，所得的重构图像即为融合后的图像。

图2所示为多波段前视红外图像融合方法的流程图。

图2 多波段前视红外图像融合的流程图

2.1 源图像分解

2.2 高频系数融合

源图像经过DWT分解后得到的高频子带图像反映了图像的细节信息，包含了海面杂乱背景的细节信息和舰船目标的边缘细节信息，我们在频率域对多波段图像的细节信息进行处理和融合，目的在于尽最大可能的保留舰船目标的显著结构信息并抑制海面杂乱背景的细节信息。

2.2.1 计算区域能量

对于舰船目标区域、海面背景以及天空背景，它们之间的红外辐射特性存在一定的差异，我们采用区域能量的方式来衡量舰船目标区域、海面背景和天空背景的信息量。

对于图像中的任意像素点，其局部特征通常由周围邻近的具有相关性的像素共同作用来表达，因此，定义任意像素点局部区域内像素灰度平方的加权累计和表示其区域能量[17]，能量值越大，表明其局部范围内的信息量越大、灰度变化越剧烈，如图2中的区域能量图所示，通常舰船目标区域内的区域能量值要高于海面背景区域和天空区域。

基于多波段高频系数计算区域能量的基本步骤如下：

(5)

(6)

(3)计算任意像素点(x，y)处的区域能量Ej(x，y)

(7)

式(7)中，G为高斯滤波模板，滤波模板的尺寸为7×7。

2.2.2 高频系数融合和加权处理

(8)

2.3 低频系数融合

通常低频分量反映了图像的概况，包含了图像的绝大部分能量，我们采用平均算法对低频子带图像进行融合

(9)

若在空域上直接采用导向滤敞算法平滑图像，在平滑了细节信息的同时极易模糊了明显结构，故仅利用导向滤波对融合后的低频分量进行平滑。

(10)

式(10)中，选择r=4，ε=0.01进行实验。

2.4 重构融合图像

3 结果与讨论

为了验证本方法的有效性和可行性，对实际采集的中波5波段前视红外海天场景图像进行仿真测试。 波段1到波段5的波长依次为： 3.7～4.8，3, 7～4.1，4.4～4.8，3.7～3.9和4.65～4.75 μm，图像分辨率为320×256，图像灰度级为16 bit。 实验硬件平台为CPU Intel(R) Core(UM) i5，主频2.3 GHz，内存8G，软件平台为Matlab 2014a。

将双边滤波(BF)、导向滤波(GF)、L0梯度最小化(L0)、相对全变分(RTV)、双边纹理滤波(BTF)、滚动滤波(RGF)作为对比方法，参与对比的6种方法均在基于小波变换得到的融合图像上进行，在此进行小波融合时，低频系数采用平均融合策略，高频系数采用取系数绝对值最大的融合策略。 本方法和对比方法均采用Haar基的离散小波变换，小波分解层数设定为1层。

表1所示为实际采集的多组多波段前视红外图像，图像中存在着点状杂波、条状海浪、高亮区域以及云层等灰度变化较为显著的纹理背景或结构，给后续舰船目标(尤其是弱小舰船)的检测带来十分不利的影响，因此，非常有必要对图像进行平滑处理来抑制图像中的杂乱背景而保留舰船目标结构。 由源图像中看出，相比于波段1，3和5，波段2和4对于海面的高亮反射并不敏感，自然场景在多个波段图像中存在一定的灰度差异而舰船目标始终保持显著的灰度和结构，因此，通过综合多个波段的灰度信息可以降低海面高亮反射以及随机杂乱背景的影响。

表1 多波段前视红外图像

Table1Multi-spectralFLIRimages

表2所示为各个方法对多波段进行融合并平滑的结果图像，其中，融合图像表示的是基于小波变换融合得到的图像，三维显示表示的是本方法得到的结果图像的三维显示图。 相比于源图像，小波融合图像要显得更加的平滑，表明了多波段图像融合的有效性。 在此基础上，对比各个图像平滑方法的结果图像，可以看出，BF和BTF的背景平滑效果一般，而且容易引起局部高亮； GF既平滑了纹理背景也模糊了舰船目标，甚至导致弱小目标被彻底平滑以致消失；L0的背景平滑效果突出，但是它也过度平滑了弱小的舰船目标； RTV和RGF既保留了舰船目标也平滑了背景，但是对于背景的平滑仍然存在不足，对于条状海浪的平滑并不彻底。 本方法通过将空间域的平滑处理转移到频率域中进行，在较好地保留了舰船目标结构的同时有效地平滑了海面杂乱背景，图像平滑性能优于参与对比的6种方法。 仔细观察本方法得到的结果图像的三维显示图可以更加直观的看出本方法的良好性能，海天背景都十分平滑而舰船目标突出、结构显著，为后续的目标检测奠定了良好的基础。

表2 图像融合及各个方法的平滑结果

Table2Imagefusionandsmoothingresultsforeachmethod

为了进一步客观评价本文提出方法的图像平滑性能，我们采用标准差和平均梯度来度量图像背景的平滑抑制效果，采用信号杂波比(signal-to-cultter ratio, SCR)来度量目标结构保持的效果。

如表3所示为各方法的平滑效果对比，GF方法和L0方法得到的平滑图像虽然有较低的背景平均梯度，但是其信杂比SCR较低，表明两种方法都过度平滑了图像，损失了舰船目标的信息，RTV方法和RGF方法虽然可以很好的保持舰船目标结构，但是其对背景图像的平滑效果并不突出，综合来看，本方法在较好的保持舰船目标结构的同时能够很好地对图像的杂乱背景进行平滑。

表3 各个方法的平滑效果对比

4 结 论

针对前视红外图像中海面背景杂乱的问题，提出了通过多波段图像融合来平滑抑制海面杂乱背景的方法。 基本思想是利用小波变换在融合多波段图像的同时将图像的平滑处理转移到频率域中进行，在融合了多波段图像信息的同时避免了在空间域中平滑图像容易导致过度平滑的问题。 实验结果表明，本方法较好地克服了前视红外图像中海面随机杂乱背景的不利因素，综合多波段图像信息得到了一幅背景平滑、舰船目标结构突出的图像。 本方法在Matlab环境下平均耗时约0.23 s。 在未来的工作中，我们将从算法优化、GPU加速等方面进一步提高方法的时效性。 此外，我们还将深入研究图像平滑滤波技术的客观评价指标，以便于客观地评价平滑滤波技术的性能。