基于剪切波变换和脉冲耦合神经网络的图像融合方法

毛兴翔， 白昊， 郑宁

(1.中国石油大学(北京),机械与储运工程学院， 北京 102249；2.中国石油大学(北京),石油工程学院， 北京 102249；3.长庆油田分公司第十采油厂， 甘肃,庆阳 745100)

0 引言

不同传感器采集相同场景图像时，所采集图像中包含大量冗余信息和互补信息[1]。例如红外传感器所采集红外图像可重点描述场景中的热源信息，突出红外辐射信息；可见光传感器所采集图像可重点描述场景中的背景信息和环境信息[2-4]，具有纹理清晰的优势。融合不同传感器所采集图像具有较高的必要性。图像融合是将多源图像的重要信息融合至一幅图像的技术，图像融合后具有信息丰富的优势[4-6]。图像融合技术已广泛应用于地质遥感、交通、计算机视觉以及医疗成像等领域中[7]。

目前国内外学者针对图像融合进行大量研究，焦姣等[8]研究形态学滤波和改进PCNN的NSST域多光谱与全色图像融合，将待融合图像通过形态学滤波方法处理；侯瑞超等[9]研究结合视觉显著性与Dual-PCNN的红外与可见光图像融合，充分考虑红外图像以及可见光图像的视觉显著性，两种方法均可实现图像的有效融合，但融合后图像视觉效果较差。

剪切波变换是具有较低计算复杂度的算法，作为图像融合领域的研究热点和主流方法[6]，已广泛应用于图像特殊处理和图像融合中。脉冲耦合神经网络存在同步脉冲发放特性[7]，同样被广泛应用于图像处理领域的图像去噪、图像分割和图像融合中。将剪切波变换和脉冲耦合神经网络同时应用于图像融合中，可有效提升图像融合性能。为了提高图像融合效果，提出了剪切波变换和脉冲耦合神经网络的图像融合方法，通过实验验证该方法具有较高的图像融合有效性。

1 剪切波变换和脉冲耦合神经网络的图像融合方法

1.1 有限离散剪切波变换

抛物线剪切矩阵和缩放矩阵公式分别如下：

(1)

(2)

通过膨胀、平移和剪切变换处理函数Ψ∈L2(R2)获取连续剪切波公式如下：

(3)

二维傅里叶变换连续剪切波Ψa,s,t，获取随机函数f的连续剪切波变换，其相应Parsecal等式如下：

(4)

(5)

通过式(5)可利用二维快速傅里叶变换求解，利用有限离散剪切波变换将源图像利用L层分解获取高频方向子带以及低频方向子带。

1.2 脉冲耦合神经网络

脉冲耦合神经网络是由众多包括接收域、调制域以及脉冲产生器的神经元所形成的神经网络。将图像中各像素点视为脉冲耦合神经网络相应神经元[11]，脉冲耦合神经网络应用于图像处理中简化模型数学表达式如下：

(6)

利用区域改进拉普拉斯能量和作为脉冲耦合神经网络输入，区域改进拉普拉斯能量可体现图像边缘信息以及细节信息[12]，其公式如下：

∇MLf(i,j)=|2f(i,j)-f(i-d,j)-f(i+d,j)|+

|2f(i,j)-f(i,j-d)-f(i,j+d)|

(7)

式中，d为体现纹理基元大小的可变空间距离。

脉冲耦合神经网络输入项Fij公式如下：

(8)

式中，N表示区域窗口大小。

脉冲耦合神经网络方法应用于图像融合时，融合系数的判决规则选取脉冲耦合神经网络的点火次数设置，该方法属于硬限幅函数，点火输出仅可为0或1，无法直观体现同步脉冲所激发幅度差异[13]。将软限幅Sigmoid函数应用于不同系数迭代过程中的点火幅度，依据输出幅度和判决融合系数可得输出幅度公式如下：

(9)

式中，Tij(n)表示待融合图像(i,j)的点火输出幅度。可得点火次数为n时，输出幅度总和为

Zij(n)=Zij(n-1)+Tij(n)

(10)

1.3 低频分量与高频分量的图像融合

1.3.1 高频分量融合

图像高频分量包含众多纹理、边缘等细节信息，可体现图像的突变特性。脉冲耦合神经网络中点火次数可体现图像不同位置所包含信息的丰富程度。脉冲耦合神经网络的高频分量融合过程为

(1) 将多源图像利用4×4的区域滑动窗口遍历，利用公式(7)获取通过剪切变换所获取高频分量Fij，归一化处理Fij，处理结果即脉冲耦合神经网络输入；

(2) 设置脉冲耦合神经网络初始参数Lij(0)=Uij(0)=θij(0)=0，设置其最大迭代次数Nmax；

(3) 利用式(6)重复迭代计算，依据式(9)获取脉冲耦合神经网络点火输出幅度总值；

(4) 当n

(5) 决策矩阵如下：

(11)

利用决策矩阵选取高频系数公式如下：

(12)

式中，SM(i,j)、SP(i,j)为不同源图像利用剪切波变换所获取高频子带系数。

1.3.2 剪切波变换和脉冲耦合神经的多源信息图像融合步骤

(1) 精准配准多源图像P与M；

2 图像融合的实例分析

为验证剪切波变换和脉冲耦合神经网络的图像融合方法融合图像有效性，选取相同场景相同角度的红外传感器以及可见光传感器所采集红外图像和可见光图像作为源图像，检测采用本文方法融合不同场景源图像的融合结果。设置剪切波变换分解层数为4，脉冲耦合神经网络参数分别为：αL=αθ=0.25，VL=1.0，Vθ=0.25，设置最大迭代次数为150次。随机选取城市场景，采用本文方法融合可见光图像和红外图像所获取效果图如图1所示。图1实验结果可以看出，本文方法可有效融合可见光图像与红外图像所包含全部细节信息，融合后图像具有较高清晰度、纹理清晰、边缘细节明显。本文方法可实现源图像高频区域与低频区域融合，具有较高的多源图像融合效果。

图1 本文方法融合结果

为进一步验证本文方法融合图像有效性，选取信息熵、互信息量、加权融合质量指数、边缘信息传递量以及灰度标准差作为客观评价图像融合效果的评价指标。为直观展示本文方法的图像融合性能，选取形态学滤波方法(参考文献[8])和视觉显著性方法(参考文献[9])作为对比方法。

采用不同方法融合8幅不同场景红外图像与可见光图像，统计所融合图像信息熵，对比结果如图2所示。从图2可以看出，采用本文方法的融合结果的信息熵均高于另两种方法，对比结果有效验证本文方法具有较高的融合性能。

图2 信息熵对比

统计所融合图像的互信息量，结果如图3所示。从图3可以看出，采用本文方法融合多源图像具有较高的互信息量。

图3 互信息量对比

采用不同方法融合8幅不同场景的红外图像与可见光图像，统计所融合图像的加权融合质量指数，对比结果如图4所示。从图4看出，采用本文方法融合图像的加权融合质量指数最低，表明本文方法融合图像中可保留更多源图像信息。

图4 加权融合质量指数对比

统计所融合图像的边缘信息传递量，对比结果如图5所示。图5实验结果可以看出，采用本文方法融合多源图像所获取边缘信息传递量明显高于另两种方法，再次验证本文方法的图像融合有效性。

图5 边缘信息传递量对比

统计所融合图像的灰度标准差，对比结果如图6所示。图6实验结果可以看出，本文方法融合图像的灰度标准差明显高于另两种方法，表明本文方法具有较强的图像信息表达能力。

图6 灰度标准差对比

3 总结

本文提出了剪切波变换和脉冲耦合神经网络的图像融合方法，利用剪切波变换方法获取源图像高频方向子带和低频方向子带，利用脉冲耦合神经网络方法实现高频方向子带与低频方向子带融合，实现多源图像整体信息以及细节信息的高效融合。通过实验验证采用该方法融合多源图像有效性，采用该方法融合多源图像不仅可获取主观的图像融合效果，客观评价的边缘信息传递量以及互信息等指标均较优，验证采用该方法融合多源图像具有较高有效性。