基于分割与增强方法的红外与微光图像融合

徐敏

摘要摘要：为更好地保留原始红外图像的目标信息，挖掘更多微光图像的细节信息，提出一种结合分割红外图像与增强微光图像的融合方法。首先对原始红外图像进行二维最大熵法分割以提取红外目标信息，对原始微光图像进行Zadeh变换以增强其细节信息，依据红外分割图，将增强后的微光图像与原始红外图像进行一次融合；然后，在非下采样contourlet变换（NSCT）域，对原始红外图像、微光图像和一次融合后的图像进行二次融合，得到最终融合图像。通过试验对比，所提出的二次融合方法得到的融合图像视觉效果明显优于其它方法。最后，利用多个指标进行客观评价。结果显示，该方法可有效突出目标信息，提高图像清晰度与对比度，挖掘更多细节信息。

关键词关键词：红外图像；微光图像；二维最大熵；zadeh 变换；二次融合；NSCT

DOIDOI：10.11907/rjdk.162352

中图分类号：TP317.4文献标识码：A文章编号文章编号：16727800（2017）001017004

图像融合就是利用多传感器提供的冗余数据与互补信息进行处理，获得一幅对同一场景目标更为准确与细节更具视觉效果的图像[1]。红外与微光图像融合作为图像融合中的一个重要分支，尽可能地保留原始数据信息，不产生臆造虚假信息，以对目标与场景进行合理的综合描述。目前，该技术在智能交通、安全监控、人类视觉辅助等领域得到广泛应用[24]。

任何一种传感器都有其自身的局限性，不能全面捕捉场景信息，红外或微光传感器也不例外。为了较好的结合两者成像优势，许多学者做了大量研究，提出了很多融合方法，如拉普拉斯融合法、小波变换法、curvelet变换法、contourlet融合法、非下采样contourlet法、shearlet等[58]，这些方法均属于多尺度分解的方法，将原始图像分解为低频系数与高频系数，并分别对其采用不同的融合规则进行融合，均能实现较好的融合，但未能较好地保留图像的原始信息，尤其针对光照不足或者目标隐蔽等情况，容易出现目标丢失或不明顯，不能较好理解场景。为此，近年来，人们提出了其它融合方法[911]，以较好提取目标或挖掘更多深度细节信息。文献[12]结合压缩感知原则进行融合，缩短了融合时间且融合图像较具视觉效果，但目标突出不明显。李树涛等[13]提出了基于平均滤波器，将原始图像分解为基层与细节层，并利用引导滤波器构造权重图，依权重图加权融合，该方法可以实现快速融合，具有较好细节表现力，但针对红外与微光的融合图像对比度较差。文献[14]提出结合引入了局部直方图均衡化增强红外与微光图像，并用中值滤波进行去噪，融合较快且细节突出，但目标不显著。邢素霞等[15]提出了Renyi熵分割红外图像提取目标，采用非下采样 contourlet 变换（NSCT）域增强微光图像低频分量方法进行融合，亮度较好，但其增强过程中图像的细节信息稍弱。

以上方法均能实现不同图像信息之间的冗余互补，对比度或清晰度得到了一定程度提高，但不能较好兼顾对比度与清晰度。为了同时达到对比度增强与提高清晰度的目的，本文提出一种分割红外图像，增强微光图像，将分割目标图像与增强后的微光图像进行融合，本文称为一次融合。为有效防止图像分割不完整与过增强，在NSCT域将一次融合图像与原始红外和微光图像进行融合，本文称为二次融合，以保留较多原始信息，视觉效果更好的目的。

2分割红外图像与增强微光图像

2.1二维最大熵分割红外图像

热目标是红外图像的重要信息，为较好突出红外目标，本文引用二维最大熵阈值[16]分割红外图像，提取目标信息。

由于待分割红外图像目标域与背景域概率分布都不相同，采用灰度—区域灰度均值的后验概率对各区域的发生概率进行归一化处理。设初始图像的分割值为（s，t）、 背景区域概率与目标区域的概率分别为pB和pO，则有：

2.2Zadeh变换增强微光图像

微光图像含细节纹理信息，其场景较暗，对比度不明显，为使融合有更多细节信息，对微光图像进行增强。传统方法有直方图均衡化、灰度拉伸等，但处理后动态效果不明显，且过多增强了图像的噪声。本文选取Zadeh变换[17]进行增强。

该算法引入了生物特性，以考虑人眼接收图像信息为出发点，具体实现如下：

4试验结果与分析

为验证本文融合算法的有效性和正确性，实验基于MATLAB平台，对两组已完全配准的红外与微光原始图像（其大小均为256×256）选至图片库。图2（a）、（b）为第一组，图2（a）红外图像中可看到清晰的人物，微光图像图2（b）中可以清晰看到道路、山坡、灌木和栅栏等景物；如图3（a）、（b）为第二组，图3（a） 红外图像中可以辨识人物、船体及其它细小目标，微光图像图3（b）可清晰看到船体、天空等景物。4.1融合步骤

融合算法流程，以图2（a）、（b）作为原始图像如图1所示。其中，图1（c）为利用最大熵分割得到的背景图，可以看到清晰的人物；采用Zadeh变换得到的增强后的图像图1（d），对比度提高，可见更多细节信息，如可清晰看到人物旁边的栅栏；图1（e）为图1（c）与图1（d）融合得到的一次融合图像，其对比度明显提高，而且看到确定的人物目标以及更为清晰的细节信息；图1（f）为图1（a）、图1（b）与图1（e）三者在NSCT域下融合得到的二次融合图像，它是对图1（e）进行一个二次处理，虽然与图1（e）相比，其对比度有所下降，但其细节更为清晰，包含更多有用信息。

为加强对照试验，本文采用4种方法对一次融合、二次融合得到的图像进行效果验证。图2（c）～（d）与图3（c）～（d）分别为采用bior97小波变换、NSCT的图像融合结果，融合规则均为低频加权平均与高频绝对值取大，分解层数均为4层，称为小波方法、NSCT方法；图2（e）与图3（e）为文献[13]中方法，简称GF方法；图2（f）与图3（f）为文献[15]中方法，简称Renyi熵法；图2（g）与图3（g）为对红外最大熵分割，微光图像zadeh变换增强，融合得到的融合图像，简称一次融合；图2（h）与3（h）为二次融合算法，简称二次融合。

4.2实验结果与主客观评价

由图2分析可知，图2（c）中栅栏模糊，细节丢失严重；图2（d）清楚看到细节信息，但对比度较差；图2（e）图像目标明显，但细节信息不清晰，整体不自然； 由图3分析可知，图3（c）目标船只周围重影明显，整体效果较为模糊；图3（d）整体效果较好，但对比度一般；图3（e）中船只不自然，细节信息不突出；图3（f）图像亮度过亮，淹没了一些细小目标；图3（g）有较好的视觉效果，但细小目标丢失严重；图3（h）细节信息较为清晰，目标明显，整体效果较好。可以看出，本文提出的方法得到的融合图像具有更好的视觉效果。

为了进一步验证本文所提方法的有效性，本文采用清晰度（C）、平均梯度（AG）、空间频率（SF） 3个评价指标对各种方法进行评价，评价结果如表1。从表1可以分析出，本文所提方法得到更大的清晰度值、平均梯度值与空间频率值，这与主观评价结果相一致，本文提出的方法最优。

参考文献：

[1]潘瑜，郑钰辉，孙权森，等.基于PCA和总差变模型的图像融合框架[J].计算机辅助设计与图形学学报， 2011， 23（7）： 259266.

[2]JAMAL S， KARIM F. Infrared and visible image fusion using fuzzy logic and populationbased optimization[J]. Applied Soft Computing， 2012（12）：10411054.

[3]BAI X Z， ZHOU F G， XUE B D. Fusion of infrared and visual images through region extraction by using multi scale centersurround tophat transform[J]. Optics Express， 2011，19（9）： 84448457.

[4]BRANDON M，ISMAIL B A，MAX W，et al.Spine image fusion via graph cuts[J]. IEEE Transaction on Biomedical Engineering， 2013，60（7）： 18411850.

[5]JEESE S， MICHAEL A PUSATERI. Laplacian based image fusion[C]. Applied Imagery Pattern Recognition Workshop（AIPR）， 2010：17.

[6]YONGHYUN K， CHANGNO L， DONGYEOB H，et al.Improved additivewavelet image fusion[J]. IEEE Geoscience and Remote Letters， 2011，8（2）： 263267.

[7]XIONG J T，TAN R J，LI C L，et al.Image fusion algorithm for visible and pmmw images based on curvelet and improvedPCNN[J]. IEEE 11th International Conference on Signal Processing（ICSP），2012（2）：903907.

[8]LIU K， GUO L， CHEN J S. Contourlet transform for image fusion using cycle spinning[J]. Journal of Systems Engineering and Electronics， 2011，22（2）： 353357.

[9]路雅寧，郭雷，李晖晖.基于曲波活性测度的SAR与多光谱图像融合[J].计算机应用研究，2012，29（11）：43604363.