一种基于NSCT的区域能量图像融合算法

方 辉， 尹忠科

0 引言

具有多分辨率分析特征的变换方法在图像融合领域得到了广泛应用[1-3]，小波变换在分析点奇异特征时是最优的，但是在表示图像结构的线奇异性时却不是最优的。2002年Do M N和Vetterli M等人提出的轮廓波变换Contourlet[4]提供了一种灵活的多尺度、局域的、方向性的分析方法,可以很好地捕捉图像的几何结构。但是轮廓波变换基函数光滑度不理想，存在频谱混淆现象。2006年Cunha A L等提出了一种非亚采样轮廓波变换(NSCT)[5]，针对轮廓波变换的一些局限性进行了改进，是一种平移不变、多尺度、多方向的超完备变换。本文提出一种基于NSCT的区域能量图像融合方法，利用NSCT的优良特性，同时考虑源图像分解的系数极性和区域匹配度。实验结果表明，本文方法融合效果明显高于小波和轮廓波变换融合方法。

1 NSCT的结构

NSCT是在轮廓波变换的基础上提出的，相对于轮廓波变换，NSCT在图像的分解和重构过程中，取消了下采样和上采样环节，NSCT 结构如图1所示，首先由非亚采样塔状滤波器NSP(Nonsub Sampled Pyramid) 将图像分解为低频部分和高频部分，NSP是一个双通道非亚采样滤波器，不存在下采样过程, 具有平移不变性[5]。NSCT变换第二部分为非亚采样方向性滤波器组 NSDFB(Nonsubsampled Directional Filter Banks)，NSDFB 取消了DFB中的下采样过程，由非亚采样方向性滤波器组将高频部分分解为2的任意次幂个方向。由于没有采样过程，变换得到的所有子带与源图像都有相同的大小。

图1 NSCT结构

2 基于NSCT的区域能量图像融合

图像经NSCT分解后所得到的低频子带集中了图像的主要能量，反映图像的近似和平均特性，对低频子带采用加权平均融合。高频子带反映源图像的边缘、轮廓等特性，高频子带的融合结果影响图像的细节信息，基于区域能量的融合规则考虑了图像的局部特征往往不是由一个像素所能表达的，它是由某一局部区域的多个像素来表征和体现的，同时，通常图像的某一局部区域内的各个像素之间往往有较强的相关性，克服了基于像素融合规则片面性，使图像的局部特征得到了更进一步的体现[6]。

设定区域匹配度的阈值为α，当匹配度|Pl,j(x,y)|≥α，两区域相似度较大。若(x,y)与(x,y)符号相同(同为正号或同为负号)，或其中有一个系数为零值，则：

当匹配度 | Pl,j(x,y)|＜α，两区域相似度较低，此时直接选择区域能量较大者对应的系数。融合规则同时考虑了窗口区域的匹配度和窗口中心像素的正负号相位信息，将选择和改进的加权平均二种融合规则相结合，它优于传统的选择或加权平均融合规则。NSCT最高层系数的值绝大部分都很小并趋近于零，同时系数间的相关性减弱，图像的边缘细节表现为绝对值较大的系数，此时直接取最高层绝对值较大的系数作为融合图像最高层的系数，可增强融合图像的细节信息。

3 实验结果及分析

为了检验本文算法的正确性和有效性，实验中对己配准的多聚焦图像进行融合，图2 (a)为左聚焦图像，图2 (b)为右聚焦图像。

图2 待融合的源图像

为了验证改进算法的有效性，分别用传统算法和改进的算法进行了图像融合比较研究，观察融合结果是否有提高。本文中离散小波变换(DWT)、 轮廓波变换和 NSCT分解层数都取3层，均采用简单的低频系数取平均，高频子带系数区域能量取大的融合规则。为了更好的评价不同方法的融合效果，本文采用了一些融合效果的评价指标[7]，表1是对不同融合方法的结果比较。

表1 不同方法融合效果比较

图3 各种不同方法融合结果

从图3可以看出使用小波方法得到的融合图像效果最差，细节部分出现了明显的模糊和虚影。轮廓波变换融合结果有一定的改善，本文算法所得到的融合图像具有最好的主观效果，其前景背景视觉效果较好，源图像中的细节如物体边缘和纹理更清晰。小波和轮廓波变换不具有平移不变性，在进行图像处理时容易引入Gibbs效应，图像出现模糊和阴影。NSCT保留了轮廓波的优良特性，同时还具有平移不变性。在融合过程中，考虑了区域匹配度，采用改进的融合规则，在加权过程中对系数的极性进行了区分，降低了边界模糊效应，融合图像清晰度较高。

4 结语

NSCT在图像的分解和重构过程中，取消了轮廓波变换的下、上采样环节，继承轮廓波的优良特性外，还具有平移不变性。融合规则同时考虑了窗口区域的匹配度和窗口中心像素的正负号相位信息，将选择和加权平均二种融合规则相结合，取最高层绝对值较大的系数作为融合图像最高层的系数，实验结果表明本文融合图像视觉效果和评价指标均优于小波和轮廓波变换方法。

[1] 苗启广,王宝树.基于小波变换与局部能量的多聚焦图像融合[J].计算机科学, 2005,32(02)： 229-232.

[2] 周立俭,姬光荣,冯晨.多聚焦图像融合的多小波选择方法研究[J].通信技术,2008,41(05)：132-135.

[3] 李国新.基于Ridgelet变换的图像融合[J].通信技术, 2009,42(06)：144-146.

[4] Do M N, Vetterli M. The Contourlet Transform： An Efficient Directional Multiresolution Image Representation[J]. IEEE Transactions On Image Processing, 2005, 14(12)：2091-2106.

[5] Cunha A L, Zhou J P, Do M N. The Nonsubsampled Contourlet Transform： Theory, Design, and Applications[J]. IEEE Transactions on Image Processing, 2006, 15(10)： 3089-3101.

[6] 杨镠,郭宝龙,倪伟.基于区域特性的Contourlet域多聚焦图像融合算法[J].西安交通大学学报, 2007, 41(04)：448-452.

[7] 胡良梅,高隽,何柯峰.图像融合质量评价方法的研究[J].电子学报,2004,32(12)：218-221.