区域能量和图像自相似的NSCT域图像融合*

龚 淼, 张尤赛, 李垣江

(江苏科技大学 电子信息学院,江苏 镇江 212003)

区域能量和图像自相似的NSCT域图像融合*

龚 淼, 张尤赛, 李垣江

(江苏科技大学 电子信息学院,江苏 镇江 212003)

非降采样轮廓波变换(NSCT)不仅具有平移不变性，还拥有足够的冗余信息，可以更有效地提取源图像中的方向信息，使得融合后的图像更符合人眼的视觉特性。利用NSCT在图像处理中的优势，针对红外光与可见光图像的融合，提出了一种新的基于改进的区域能量和图像自相似的NSCT域图像融合算法。首先，利用NSCT将图像分解为一个低频子带和多个不同方向的带通子带；然后，对低频子带采用区域能量自适应加权融合规则，带通方向子带则利用图像自相似进行系数的融合；最后，对融合系数进行NSCT逆变换，以重构生成融合图像。实验结果表明：与一些现有算法相比，该算法的图像融合结果在人眼主观视觉标准和客观评价标准上均具有明显优势。

图像融合； 非降采样轮廓波变换； 区域能量； 图像自相似

0 引 言

图像融合是将不同工作模式下的多个图像传感器所获取的图像信息加以综合，以获得更全面和更准确的描述[1～3]。

非降采样轮廓波变换(nonsubsampled contourlet transform，NSCT)[4]具有多分辨率、各向异性及平移不变性等优点[5]，能够很好地捕获自然图像中的几何结构信息，在图像融合领域取得了比较好的效果[6,7]。

但在红外光与可见光图像融合领域中，NSCT虽然能够较好地保留可见光图像背景信息的细节，却不能很好地表达红外光图像中的目标信息[8]。另外，在基于多尺度变换的图像融合过程中，融合规则的选定是影响融合效果的关键因素之一。对于低频系数，最常用的方法是平均法，但是这种方法容易使源图像低频系数中的部分有用信息丢失，在一定程度上降低了融合图像的对比度。对于高频系数，一般认为绝对值越大的系数，拥有越明显的细节信息，但容易造成融合系数的误选，导致无法获取源图像中最有效的有用信息。所以为了更好地利用NSCT在图像融合领域的优势，需在NSCT域选择合适的高低频系数的融合规则。

综上所述，本文提出了一种基于区域能量和图像自相似的NSCT域红外光与可见光图像融合算法。利用NSCT对源图像进行多尺度分解，对于低频图像，采用空间频率改进的区域能量比的融合规则，以突出红外目标，并保留更多的可见光背景信息；对于高频图像，采用图像自相似方法作为系数的融合规则，使图像保留更多的细节信息。

1 NSCT

NSCT由非降采样方向滤波器组和非降采样金字塔滤波器组2个部分组成。NSCT引入了Atrous算法对滤波器进行上采样来实现图像的分解与重构，使其成为一类实用的超小波变换方法。图1为NSCT的变换结构。

图1 NSCT变换结构

2 图像自相似

用源图像的共享自相似性来形成图像像素融合的自适应区域[9～11]。设源图像中的参考块为Qv∈Cj×j，区域的中心像素为v，候选块Qp∈Ci×i与C(v)∈Ci×i。Qv的相似性定义如下

εp=‖G‖F

(1)

(2)

图2 共享相似块的自适应区域

融合后图像的像素一般选择源图像中清晰度最高的像素，称为最大值原则[12]，如式(3)所示

(3)

式中 O为清晰度指标；fF为融合后的图像。通常可利用计算每个像素的清晰度之和O(v)来替代像素最大值的方法，克服图像融合过程中产生的方块效应。

3 详细算法

3.1 低频融合规则

(LX(m,n)-LX(m,n-1))2]

(4)

低频系数融合规则如下

(5)

式中X为源图像;LX为源图像分解后的低频系数矩阵;K为小波分解层数。

(6)

图像融合的低频系数矩阵为LF

(7)

(8)

(9)

式中 mean[·]为计算均值；std[·]为计算标准差。

3.2 高频融合规则

(10)

式中rA(n)为在空间位置n的计数；rA(n)和rB(n)的初始值为0，直到所有自适应区域都比对完成后停止，得到一个与源图像大小相同的rA和rB的计数映射。可用rA(n)和rB(n)得到像素v的最终投票结果，并通过分配相应的权重来得出融合图像的像素值，如式(11)所示

(11)

式中rA(v)和rB(v)一般不为0。

3.3 融合步骤

首先将源图像进行NSCT分解，然后用改进的区域能量和图像自相似确定融合图像的低频与高频系数，最后经过NSCT逆变换得出融合图像。具体步骤如下：

1)利用NSCT变换分别分解出源图像A和B的低频系数和高频系数；

2)根据上述区域能量式(4)～式(9)，对源图像低频系数进行融合；

3)根据上述图像自相似式(1)～式(3)和式(10)～式(11)，融合源图像的高频系数；

4)对低频系数和高频系数的融合结果进行NSCT逆变换得出融合图像F。

4 实验结果与分析

实验选取了2组图像，如图3所示。图3(a)为大小为256×256的图像“e518a”。实验中，给出的图像自相似规则的搜索区域大小为16×16，所有图像的相似块数量为16。

图3 组源图像

图4和图5分别给出了基于Curvelet变换的图像融合算法，基于SF-NSCT的图像融合算法、传统DWT图像融合算法和本文算法针对两组实验图像的融合结果。

图4 第1组红外光与可见光图像融合

图5 第2组红外光与可见光图像融合

图4、图5中，4种图像融合算法均能保持源图像的主要信息和特征，但在图像融合结果的细节处仍存在较明显的差异。经Curvelet变换和传统DWT算法融合后，图像的背景更接近于红外光图像，图像灰度值较大，且Curvelet变换融合结果伴有明显的振铃现象。SF-NSCT和本文算法的融合图像的背景更接近于可见光图像，灰度值较适中且背景信息较为清晰，在细节特性上，如行人和车辆与灯光重叠部分更为清晰，整体的图像对比度更高。表1给出了图4、图5中采用不同融合算法的融合图像结果的客观评价指标，每组图像每个评价指标的最优值用粗字体加以标示。

表1 图4，图5中不同算法融合结果的评价指标对比

表1中图4和图5融合结果的客观评价指标说明，本文算法融合结果的信息熵E、平均梯度G、空间频率SF与边缘互信息Qab/f4个评价指标与其他算法融合结果相比皆为最高。所以本文融合算法有助于提升图像的层次感，增加融合后图像信息量，并能较多地保留源图像中的信息，与主观评价结果一致。

5 结 论

基于区域能量的图像融合规则能够克服基于像素融合规则的片面性，可以更好地体现图像的局部特征。经NSCT分解后的图像的高频子带可反映出图像的纹理和边缘信息，选用图像自相似融合规则可以提高融合图像的清晰度。实验结果说明：本文所提算法可以更好地突出红外图像中的目标信息，保存可见光图像的背景信息，增强对比度，在主观视觉效果与客观评价指标上均有一定地改善和提升。

[1] 朱 炼,孙 枫,夏芳莉，等.图像融合研究综述[J].传感器与微系统,2014,33(2):14-18.

[2] 高继森,董亚楠,沈 瑜，等.基于改进Tetrolet变换的图像融合算法研究[J].计算机科学,2015,42(5):320-322.

[3] 赵景朝,曲仕茹.基于Curvelet变换与自适应PCNN的红外与可见光图像融合[J].西北工业大学学报,2011,29(6):849-853.

[4] Cunha A L da,Zhou J,Do M N.The nonsubsampled contourlet transform:Theory,design,and applications[J].IEEE Transactions on Image Processing,2006,15(10):3089-3101.

[5] 黄晓青.基于模糊逻辑的红外光与可见光图像融合技术[D].重庆：重庆大学,2012.

[6] 张 蕾,金龙旭,韩双丽，等.采用非采样Contourlet变换与区域分类的红外和可见光图像融合[J].光学精密工程,2015,23(3):810-818.

[7] Qu Xiaobo,Yan Jingwen,Xiao Hongzhi,et al.Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J].Automatica SINICA,2008,34(12):1508-1514.

[8] 何国栋,石建平,冯友宏,等.一种新的红外与可见光图像融合算法[J].传感器与微系统,2014,33(4):139-141.

[9] Dabov K,Foi A,Katkovnik V,et al.Image denoising by sparse 3D transform-domain collaborative filtering[J].IEEE Transactions on Image Processing,2007,16(8):2080-2095.

[10] Qu Xiaobo,Hou Yingkun,Lam Fan,et al.Magnetic resonance image reconstruction from undersampled measurements using a patch-based nonlocal operator[J].Medical Image Analysis,2014,18(6):843-856.

[11] Guo Di,Yan Jingwen,Qu Xiaobo.High quality multi-focus image fusion using self-similarity and depth information[J].Optics Communications,2014,10:31.

[12] Zhong Z,Blum R S.[C]∥Proceedings of the IEEE,1999:1315.

Fusion of images based on regional energy and image self-similarity in NSCT domain*

GONG Miao, ZHANG You-sai, LI Yuan-jiang

(School of Electronics and Information,Jiangsu University of Science and Technology,Zhenjiang 212003,China)

Nonsubsampled contourlet transform(NSCT)not only has translation invariance,but also has sufficient redundancy information,and it can more effectively extract direction information from source image,so that the fused image is more consistent with human visual characteristics.A new image fusion algorithm for visible-infrared image based on improved region energy and image self-similarity in NSCT domain is proposed.The two source images are decomposed into low-frequency subbands and high-frequency subbands by NSCT.As for the low frequency subband coefficients, an regional energy adaptive weighting image fusion algorithm is presented;while as for the high-frequency subband coefficients, based on self-similarity.Fusion coefficients are reconstructed by inverse NSCT to reconstruct to form fusion image.Compared with some existing algorithms, the proposed fusion algorithm results has obvious advantages in the human eye subjective visual standards and objective evaluation criteria.

image fusion; nonsubsampled contourlet transform(NSCT); regional energy; image self-similarity

10.13873/J.1000—9787(2017)05—0074—03

2016—05—18

江苏省博士后基金资助项目(1302027C);江苏省高校自然科学研究面资助项目(15KJB510008)

TP 391

A

1000—9787(2017)05—0074—03

龚 淼(1991-)，女，硕士研究生，研究方向为计算机视觉与图像处理。

李垣江(1981-)，男，通讯作者，博士研究生，讲师，研究方向为信号与图像处理、计算机视觉、故障诊断，E—mail:gongmiaogm@126.com。