基于拉普拉斯金字塔变换的红外/被动毫米波图像融合*

叶银芳，聂建英

(福州大学数学与计算机科学学院，福州350108)

0 引言

红外 /毫米波(IR/MMW)复合探测是当前发展多模探测技术的热点方向。红外探测器能够昼夜工作，探测图像分辨率较高，但在硝烟、烟雾和沙尘暴等低能见度环境时穿透能力有限。被动毫米波探测器在此低能见度环境中穿透能力强，但探测图像模糊[1]。由此可见，单一的探测器受限于各自的不足，很难满足在复杂多变的环境条件下精确探测目标的要求。将红外和毫米波配合使用，形成复合探测器，互相取长补短，不仅具有全天候工作能力，而且将红外与毫米波探测到的重要信息融合在一起，有助于探测系统准确识别目标。毫米波探测包括主动(雷达)和被动两种形式，雷达探测的图像不能直接显现物体的自然形状，而被动毫米波图像则与物体自然形状接近有利于辨认;另外被动毫米波属于被动接收信号，具有隐身效果好，抗干扰能力强的军事优势[2－6]，因此文中主要研究红外 /被动毫米波(IR/PMMW)图像融合。

拉普拉斯金字塔变换融合方法是一种多尺度、多分辨率的图像融合方法，不同分解层图像可以选择不同的融合规则，融合结果可以体现对比度突变信息，将其应用到红外和被动毫米波图像融合中，有利于突出目标信息。实验仿真结果表明，文中方法融合得到的图像能较好的区分目标和背景。

1 拉普拉斯金字塔变换融合算法基本原理

图像的拉普拉斯金字塔变换是在高斯金字塔变换的基础上演变而来的，由三步构成[7]。

1.1 高斯金字塔分解图像

设源图像为G0，以G0作为高斯金字塔的第0层(底层)，高斯金字塔的第l层图像Gl是由第l－1层图像Gl－1与具有低通特性的窗口函数 w(m，n)进行卷积(相当于对图像进行低通滤波)，再把卷积结果做隔行隔列的降采样来得到的。即:

其中:N为高斯金字塔顶层的层号;Cl和Rl分别为高斯金字塔第l层图像的列数和行数;取:

G0，G1，…，GN，就构成了高斯金字塔，金字塔总层数为 N+1。

1.2 由图像的高斯金字塔建立拉普拉斯金字塔

将Gl内插放大到与Gl－1相同，得到放大图像G*l。

其中

LP0，LP1，…，LPN构成的金字塔即为拉普拉斯金字塔，它的每一层(除顶层)图像是高斯金字塔本层图像与其高一层图像经放大后的图像之差。

1.3 拉普拉斯金字塔重建图像

拉普拉斯金字塔变换应用于图像融合的原理是:将待融合图像分别分解到不同的空间频带上，利用其分解后的塔形结构对具有不同空间分辨率的不同分解层分别进行融合处理，这样就可以把来自不同图像的特征与细节融合在一起，得到新的满足需要的图像[8－10]。根据融合图像想要得到的效果，不同的分解层可以采用不同的融合策略，常用的基于图像像素的融合规则主要有像素值选大、像素值选小、像素值加权平均等。

2 文中融合方法

拉普拉斯金字塔变换分解得到的顶层图像为经过低通滤波和降采样处理后得到的原始图像的模糊图像，其余各层图像则保留和突出了原始图像的重要特征信息(如边缘信息)。红外图像分辨率高，图像细节丰富，边缘信息明显，但是受环境条件影响大，低能见度时探测图像分辨率不高;被动毫米波受环境因素影响较小，能全天候工作，其限制是图像分辨率。文中将拉普拉斯金字塔变换引入到红外和被动毫米波图像融合中，该方法能将红外图像丰富的细节信息与被动毫米波图像的目标特征融合在一起。

2.1 融合策略

为了得到预期的融合效果，文中选用的融合策略如下:

1)顶层图像:直接选择红外图像经拉普拉斯变换分解得到的顶层图像作为最终融合图像的顶层图像，从而融合结果能够包含红外图像更多的细节信息，改善融合图像的整体视觉效果;

2)其余层图像:由红外和被动毫米波图像对应层像素绝对值选大的规则融合得到，绝对值越大表明该位置图像包含越多的信息。

2.2 融合步骤

文中方法融合步骤如下:

1)分别对IR和PMMW图像进行拉普拉斯塔形分解，建立各图像的拉普拉斯金字塔，这里N=3;

2)两图像分解得到的各对应层按上述融合策略分别进行融合处理，得到融合结果的拉普拉斯金字塔;

3)对2)所得拉普拉斯金字塔进行逆塔形变换(即进行图像重构)，得到最终融合图像。

3 仿真结果和分析

3.1 仿真结果

文中用IR和PMMW探测到的100 m处的坦克图像进行仿真实验来验证文中方法的可行性，并用简单拉普拉斯金字塔变换融合方法(各分解层图像融合规则均选用绝对值取大)的结果作为对比。根据环境的复杂多变性，给出两种模拟条件下IR和PMMW坦克图像的融合。

3.1.1 环境条件好时

图1(a)、图1(b)分别显示了环境条件好时IR与PMMW探测到的坦克图像。显然红外探测图像比毫米波被动探测图像分辨率高。

图1 环境条件好时的原始图像

图2(a)、图2(b)分别显示了环境条件好时用Matlab给出的简单拉普拉斯金字塔变换方法融合得到的图像和文中方法融合得到的图像，复合探测器最后输出的图像是图2(b)。

图2 环境条件好时的融合图像

3.1.2 大雾、阴雨、沙尘暴等恶劣环境条件

低能见度环境中，红外探测图像分辨率较低，被动毫米波探测图像目标明显。图3(a)、图3(b)分别显示了IR与PMMW在恶劣环境下探测到的坦克图像。

图3 环境条件恶劣时的原始图像

图4是用Matlab给出环境条件恶劣时用简单拉普拉斯金字塔变换方法融合的图像(a)和用文中方法融合的图像(b)，复合探测器最后输出的图像是图4(b)。

图4 气候条件恶劣时的融合图像

3.2 仿真结果分析

由图1和图3可以看出，无论环境条件好坏，PMMW图像的目标特征鲜明，但无法显示场景细节。IR图像在环境条件好时，图像细节丰富，目标与背景区分度高，但在环境条件恶劣时，其图像分辨率低，目标与背景区分不明显。

图2与图4分别给出了两种模拟条件下IR/PMMW坦克图像的简单拉普拉斯金字塔方法和文中方法融合的仿真结果。首先，比较图2和图4的结果，显然从图2(b)及图4(b)的视觉效果能观察出，无论环境条件好坏，文中融合方法得到的融合图像均是分辨率较高，清晰度较好的图像。较之简单拉普拉斯金字塔变换方法，文中方法更好的将坦克与地物背景区分开，并且融合结果中坦克的边缘信息和整体视觉效果均更优，因此融合效果更好，有助于IR/PMMW复合探测器精确识别坦克目标，并保持全天候工作。

其次，再用图像的相关系数来定量分析融合图像与融合前红外图像的近似度。相关系数反映的是两幅图像的接近程度，相关系数越接近1，说明图像的相似程度越好，其定义为:

式中:A (m，n)和B (m，n)分别为两幅图像的灰度值，和分别为其均值。表1给出了两种模拟条件下复合探测器输出的融合图像与原红外图像的相关系数。由表1可知，无论环境条件好坏，文中方法融合得到的图像与原红外图像的相关系数均高于简单拉普拉斯金字塔变换融合方法的，表明文中融合结果更好的发挥红外图像的优势，保留了IR图像丰富的边缘细节信息，因此视觉效果更优。综上可知，文中方法融合效果更好。

表1 原红外图像与融合图像的相关系数

4 结论

文中以IR/PMMW复合探测器探测军事目标为应用背景，将拉普拉斯金字塔变换应用到红外和被动毫米波图像的融合中。仿真实验表明，不论环境条件好坏，文中方法融合效果良好，复合探测器输出的融合图像整体视觉效果较好，并能有效的将军事目标与地物背景区分开，确保复合探测器能全天候工作，具有一定的实际应用价值。另外，文中对提高双模复合探测器图像融合质量研究具有一定的参考价值。

[1]聂建英，李兴国，娄国伟.PMMW装甲目标滤波去噪与辐射特性分析[J].弹箭与制导学报，2011，31(1):189－192.

[2]卢大威，高彦钊，晏行伟，等.基于角度观测关联对的NN-EKF红外/毫米波融合跟踪算法[J].弹箭与制导学报，2011，31(5):4 －8.

[3]宋崧，王学田，邓甲昊.被动毫米波成像系统的发展状况及其关键技术[J].科技导报，2011，29(19):74－79.

[4]徐琰珂，梁晓庚，贾晓洪.雷达/红外复合导引头信息融合算法[J].红外与激光工程，2012，41(1):30－36.

[5]潘勃，冯金富，李骞，等.毫米波/红外多传感器融合跟踪算法研究[J].红外与毫米波学报，2010，29(3):230－235.

[6]许建忠，王祖林，郭旭静.基于决策信息的毫米波/红外复合制导信息融合[J].控制与决策，2012，27(1):120－128.

[7]郭雷，李晖晖，鲍永生.图像融合[M].北京:电子工业出版社，2008.

[8]陈浩，王延杰.基于拉普拉斯金字塔变换的图像融合算法研究[J].激光与红外，2009，39(4):439－442.

[9]马先喜，彭力，徐红.基于 PCA的拉普拉斯金字塔变换融合算法研究[J].计算机工程与应用，2012，48(8):211－213.

[10]严春满，郭宝龙，易盟.基于改进 LP变换及自适应 PCNN的多聚焦图像融合方法[J].控制与决策，2012，27(5):703－707.