基于NSCT的红外与可见光图像融合方法

张惊雷，赵俄英

(1．天津市复杂控制理论及应用重点实验室，天津300384;2．天津理工大学自动化学院，天津300384)

1 引言

随着电子信息技术和多传感器技术的快速发展，图像融合技术被广泛应用于遥感、军事、医学图像处理、目标识别、人脸识别和计算机视觉等领域［1］。图像融合就是通过特定的算法对由不同传感器所得到的同一场景的图像进行处理，以得到对场景内容更为可靠、清晰和准确描述的图像。图像融合通常可分为像素级融合、特征级融合和决策级融合［2］。在图像处理领域，像素级图像融合是其他融合方法的基础，基于多尺度分解的多分辨率图像融合是图像处理的一个重要分支。近年来，在多分辨率图像融合领域取得了许多研究成果。大部分的方法都是基于金字塔变换。其中，小波变换成为图像融合领域的研究热点，因为它具有多分辨率特性和良好的时－频特性，但小波在每一个分解层仅能捕捉有限的方向信息(包括水平方向、垂直方向和对角方向)。为此，学者们经过不断实验提出了新的图像表示方法，如脊波变换、曲波变换，但效果仍不理想。2002年，Minh N．Do和Martin Vetterli提出的Contourlet变换［3］是一种有效的二维图像表示方法，有很好的方向性和多分辨率特性。在轮廓波变换中，多尺度分解和多方向分解是彼此独立的。首先用拉普拉斯金字塔变换对图像进行多尺度分解，然后再用方向滤波器组滤除由每一个拉普拉斯金字塔通道所得图像的高频分量。用基于轮廓波变换的融合方法所得到的融合图像比前面几种融合方法要好。但由于在拉普拉斯金字塔分解与方向滤波器组中下采样与上采样的存在，使得轮廓波变换缺乏平移不变性，从而导致了Pseudo-Gibbs效应［4］的产生，这对于融合处理来说是不利的。于2006年由A．L．Cunha等提出的 NSCT(non-subsampled contourlet transform)［5］，不仅继承了 Contourlet变换所有的多尺度、多方向特性，还具有平移不变性。它是轮廓波变换平移不变的一个版本。本文在分析NSCT的基础上，针对红外与可见光图像在融合时亮点目标易丢失且背景的边缘、纹理信息不够清晰的问题，提出基于非下采样轮廓波变换(NSCT)与局部区域融合规则相结合的红外与可见光图像融合方法。

2 NSCT的基本原理

NSCT是通过采用非下采样金字塔分解和非下采样方向滤波器组来实现图像的多尺度、多方向分解。NSCT是一种新的图像几何表示方法，与轮廓波变换相比，NSCT是平移不变的并且比Contourlet变换能更好地采集频率且具规律性，由NSCT分解得到的多尺度、多方向图像与原始图像尺寸相同。

2．1 非下采样金字塔(NSP)

非下采样金字塔框架是一个双通道非下采样滤波器组，主要是通过二通道非下采样滤波器组来实现的。理想的非下采样金字塔滤波器组的频率响应如图1所示。非下采样滤波器组由于没有下采样和上采样，所以具有平移不变的特性。

图1 NSP的理想频率响应框图

对于双通道滤波器组来说，要实现分解后的完全重构，滤波器必须满足等式(1):

其中，H0(z)和H1(z)表示双通道分解滤波器的频率响应;G0(z)和G1(z)表示双通道合成滤波器的频率响应。为了实现图像的多尺度分解，可以通过迭代非下采样滤波器组来构建NSP。

2．2 非下采样方向滤波器组(NSDFB)

图2 NSDFB的理想频率响应框图

非下采样方向滤波器组也是一个双通道非下采样滤波器组，实际上是Contourlet中的方向滤波器组(DFB)具有了平移不变性，非下采样方向滤波器组的理想频率响应如图2所示。其中，U0，U1为分解扇形滤波器;V0，V1为重构扇形滤波器，并且容易验证它们满足完全重构的条件，即U0(ω)V0(ω)+U1(ω)V1(ω)=1。对得到的频域中的扇形滤波器作z变换就可得到z变换域中的分解扇形滤波器组U0(z)，U1(z)和重构扇形滤波器组V0(z)，V1(z)。为得到更为精细的方向分解，可以通过迭代非下采样滤波器组来构建NSDFB。

2．3 NSCT 的实现

NSCT是由 NSP和 NSDFB构成的，如图3所示。NSP提供多尺度分解，NSDFB提供方向性分解。这一过程可以在由NSP输出的低通子带上重复迭代而实现。

图3 NSCT的多尺度分解框架

组合的结果是一个双重迭代滤波器组结构，叫做非下采样轮廓波滤波器组，它能把图像在多尺度上分解成方向子带。

3 基于NSCT的图像融合方法

3．1 融合方法

待融合的两幅图像需是几何上彼此经过配准的，对于每一幅图像来说背景信息属于低频部分，边缘和纹理信息则属于高频部分。因此，我们首先运用NSCT对图像进行多尺度、多方向分解，把每一幅图像分解成低频低通子带部分和高频带通子带部分，然后针对各部分运用不同的融合规则进行融合。最后，通过逆NSCT对融合系数进行重构得到融合图像。基于NSCT与局部区域融合规则相结合的红外与可见光图像融合框图如图4所示。

图4 基于NSCT的红外与可见光图像融合框图

3．2 融合规则

针对不同部分运用不同融合规则融合由分解得到的多尺度和多方向图像系数。低频部分包括了大部分的背景信息，融合规则采用低频系数加权平均求均值的选择方法。首先对两幅图像的低频分量进行加权，本文选择3×3的窗口模块对低频系数进行加权，然后再对加权平均后的系数求均值得到低频融合系数。其具体计算公式如式(2)所示:

高频部分包含了大部分的图像细节(边缘和纹理信息)。如果采用系数值选大法则容易失去图像的细节及纹理部分，如选用区域融合规则可能影响图像的清晰度及对比度。根据这一情况采用系数值选大法与局部区域融合规则相结合的融合方法。

对于方向数少的高频子带(文中取≤4的方向)采用系数值选大法，即对两幅图像同一位置的高频系数进行比较取较大的那个作为融合系数，计算方法如式(3)所示:

在方向数多的高频子带(文中取＞4的方向)选择以系数为中心的基于局部区域均方差的融合规则。具体过程可分三步:

(1)将邻域窗口模板依次作用在各待融合图像上。

(2)分别计算各对应系数的均方差。

(3)利用局部均方差融合规则进行融合处理。

在计算对应系数均方差时应先计算对应各层各方向上系数的均值，均值的计算如式(4)所示:

然后计算各对应系数的均方差，局部均方差的表达式如式(5)所示:

4 实验仿真与分析

为验证融合算法的有效性，本文采用一组同一场景可见光图像与红外图像作为测试图，来测试基于NSCT融合方法的性能并与拉普拉斯金字塔(LP)融合方法［6］、离散小波(DWT)融合方法［7］、轮廓波变换(CT)融合方法［8］进行对比。这些图像被分解成3层且方向分别为2－2－3的子带，采用的模板窗口。

在图5(a)～图5(b)中，IR图像为红外图像，VI图像为同一场景的可见光图像。图5(c)～图5(f)分别是由拉普拉斯金字塔融合法、离散小波融合法、轮廓波变换融合法和本文所提出的融合方法所得到的融合图像。这些融合图像比原图像的任何一幅都要好且都是比较清晰的。

为了更好地对融合算法的性能进行客观评价，本文采用6个客观评价指标来比较用4种不同融合方法所得到的实验结果。这6种客观评价指标分别为标准差(σ)、信息熵(Entropy)、均方根误差(RMSE)、互信息(MI)、文献［9］、［10］提出的一种通过综合比较两幅图像间亮度、对比度、结构3方面信息来确定它们相似程度的客观图像质量评价指标SSIM因子以及Xydeas［11］提出的Q因子。红外图像与可见光图像融合结果的客观评价指标对比如表1所示，图6为4种融合方法得到的评价指标归一化后的客观评价曲线，纵坐标表示各对应参数指标的值，横坐标是为对比各融合指标便于读者观察所设置的，没有实际意义。

表1 红外与可见光图像融合结果性能评价

图6 不同融合方法融合效果评价曲线

从主观视觉效果上分析，LP融合方法所得融合图像边缘信息较模糊，亮点目标也不太清楚;DWT融合方法和CT融合方法所得融合图像中引入了比较明显的“虚影”;而采用本文提出的融合算法得到的融合图像视觉效果相对较好，更好地保留了源图像中的边缘、纹理信息，“虚影”也得到了比较好的抑制。

从客观效果评价上分析，由表1可以看出本文所用融合方法中 σ，Entropy，MI，SSIM 和 Q因子都是最大的，且RMSE是最小的。可以从图6各指标的对比中清晰地看出来。所以由本文所提出的基于NSCT变换与局部区域融合规则相结合的红外与可见光图像融合方法所得到的融合图像是所给方法中最好的。

5 结束语

NSCT在图像处理中作为一种新的多尺度几何分析方法，应用到图像融合领域中，能够为融合图像提供更为丰富的信息，有效降低因配准误差对融合性能的影响以及因循环平移所产生的Pseudo-Gibbs效应，还能够比较方便地计算各子带图像之间的对应关系，利于融合运算的实现。本文提出的基于NSCT与局部区域融合规则的红外与可见光图像融合算法在保留图像边缘和纹理信息上都相对优于其他融合方法。同时，这一方法在其他领域也可能得到广泛的应用，诸如遥感、战场监视、目标跟踪、机器视觉和医学分析等。

［1］ Wang Hong，Jing Zhongliang，Li Jianxun．A new image fusionmethod based on target area．［J］．Chinese Journal of Lasers，2005，(3):351 －355．(in Chinese)王宏，敬忠良，李建勋．一种基于目标区域的图像融合新方法［J］．中国激光，2005，(3):351 －355．

［2］ Liu Songtao，Zhou Xiaodong．Recent development of image fusion techniques［J］．Laser ＆ Infrared，2006，36(8):627 －631．(in Chinese)刘松涛，周晓东．图像融合技术研究的最新进展［J］．激光与红外，2006，36(8):627 －631．

［3］ Do M N，VetterliM．The contourlet transform:An efficient directionalmultiresolution image representation［J］．IEEE Transactions on Image Processing，2005，14(12):2091－2106．

［4］ Bui T D，Chen G．Translation-invariant denoising using multiwavelets［J］．IEEE Transactions on Signal Processing，1998，46(12):3414 －3420．

［5］ Da Cunha A L，Zhou J，Do M N．The nonsubsampled contourlet transform:Theory，design，and applications［J］．IEEE Transactions on Image Processing，2006，15(10):3089－3101．

［6］ Chen Hao，Wang Yanjie．Research on image fusion algorithm based on laplacian pyramid transform［J］．Laser＆，2009，39(4):439 －442．(in Chinese)陈浩，王延杰．基于拉普拉斯金字塔变换的图像融合算法研究［J］．激光与红外，2009，39(4):439 －442．

［7］ Yang Bo，Jing Zhongliang．Image fusion algorithm based on the quincunx-sampled discrete wavelet frame［J］．Automatica Sinica，2010 ，(1):12 －22．(in Chinese)杨波，敬忠良．梅花形采样离散小波框架图像融合算法［J］．自动化学报，2010，(1):12－22．

［8］ Zheng Jing，Zheng Yongguo．An image fusion method based on contourlet transform ［J］．Information Technology ＆ Informatization，2011，(2):37 －40．(in Chinese)郑静，郑永果．一种基于Contourlet变换的图像融合方法［J］．信息技术与信息化，2011，(2):37 －40．

［9］ Wang Z，Bovik A C，Sheikh H R，et al．Image quality assessment:From error visibility to structural similarity［J］．IEEE Transactions on Image Processing，2004，13(4):600－612．

［10］ Xu Yunsheng，Yin Dong．An image quality assessment algorithm based on contourlet transform［J］．Electronic Technology，2010，(7):23 －26．(in Chinese)徐云生，尹东．一种基于Contourlet变换的图像质量评价算法［J］．电子技术，2010，(7):23 －26．

［11］ Xydeas C S，Petrovic V．Objective image fusion performance measure［J］．Electronics Letters，2000，36(4):308－309．