非下采样离散小波变换多聚焦图像融合

郭凌鑫 袁丽英 王飞越

摘 要：图像融合在军事、医疗等领域有广泛的应用，图像融合技术是指采用特定的算法将两幅或者多幅图像融合成为一幅新的图像。针对离散小波变换图像融合算法中下采样环节在每次滤波后一半的系数被丢弃导致缺乏平移不变性，使得融合算法易受到源图像误配准影响的问题，提出了一种基于非下采样离散小波变换的图像融合算法，采用窗口融合规则，并对融合系数进行一致性检测，弥补下采样环节的不足，提高融合效果。通过对基于离散小波变换和基于非下采样离散小波算法的图像多聚焦融合仿真研究表明，非下采样离散小波变换算法具有平移不变性，而且具有较高融合图像互信息和峰值信噪比，融合效果优于离散小波变换图像融合算法。

关键词：关键字：图像融合；离散小波变换；非下采样离散小波变换

DOI：10.15938/j.jhust.2018.02.004

中图分类号： TN911.73

文献标志码： A

文章编号： 1007-2683（2018）02-0018-05

Abstract：Image fusion is widely used in military， medical and other fields. Image fusion technology is to use a specific algorithm to synthesize two or more images into a new image. Because of down sampling link of discrete wavelet transform image fusion algorithm， half of the coefficients are discarded， resulting in the lack of translation invariance. It makes the fusion algorithm easily affected by the error of source image registration. Due to these shortcomings， an image fusion algorithm based on non-sampling discrete wavelet transform is proposed and window fusion rule is also applied. The coefficient consistency detection makes up for the lack of sampling link and improve the fusion effect. Through discrete wavelet transform and non-sampling discrete wavelet algorithm are applied to image fusion respectively. Non-sampled discrete wavelet transform algorithm has translation invariance and it has high mutual information and peak signal to noise ratio of fusion image. Non-sampled discrete wavelet transform algorithm fusion effect is better than discrete wavelet transform image fusion algorithm.

Keywords：image fusion； discrete wavelet transform； non-subsampled discrete wavelet transform

0 引 言

近二十年来，图像融合技术在军事领域得到了广泛的应用。美军通过微光和多波段红外图像融合方式让其夜视技术处于世界领先的地位[1]。美軍的另一个夜视融合研究项目便是研发多光谱自适应网络战术图像系统（MANTIS），该系统可将可见光、短波和长波红外图像进行融合[2]。此外，美国一些其他的军事工业企业也着力开展基于红外和可见光传感器的夜视图像融合技术[3]。图像融合不仅在军事领域有广泛应用，而且遍及到众多民用应用领域。在医疗诊断过程中，图像融合技术可以把各种医学图像的信息有机地结合起来，完成多模式图像融合， 不仅可以优势互补，还有可能发现新的有价值的信息，从而帮助医生对疾病的准确诊断[4]。

自从1989年Mallat提出二维小波分解后，小波变换在图像处理等领域中迅速得到了广泛的应用[5]。小波变换是局域的频率变换，是将信号分解成一系列小波函数的叠加，小波函数是由母小波函数平移或伸缩得来[6]。小波变换可以有效地提取信号的信息，并对信号进行多尺度分析。在图像融合领域，离散小波变换方法是重要的分析方法。离散小波变换在数字信号处理、量子物理、医学断层诊断、概率论、石油勘探、地震预报、编码理论等诸多领域有广泛的应用[7]。快速傅里叶与离散小波变换算法的出现，远远超过了算法研究的范畴， 成为诸多科技领域研究的一个新的局面[8]。由于经典离散小波的下采样环节使得在重构小波系数时会得到一些伪信号，而非下采样小波变换[9]具有多尺度、冗余性和平移不变性的特性，可以避免一般方法对融合图像引入的振铃效应[10]。本文在采用非下采样小波变换情况下对图像的低高频系数采用系数点融合规则和窗口融合规则，并对基于这两种规则的融合图像的结果进行分析。

图1中在分解过程中，将该层的近似系数分别经过低通滤波器和高通滤波器，分别得到下一层的近似系数和细节系数。以此类推重复上面的过程，直到得到想要的分解的层数为止。图2在合成的过程中，当前的近似系数和细节系数分别通过低通滤波器和高通滤波器，然后做加法再乘以1/2即可得到上一层的近似系数。以此类推重复上面的过程，直到得到想要的原来的输入信号。

3 多聚焦图像融合

3.1 融合算法流程

如图3所示，记源图像为A和B，融合成的图像为F。

3.2 融合规则

图像融合的关键在于对系数的处理，高频系数和低频系数表征不同，所以需要不同的融合规则进行处理。低频系数表示图像的灰度信息，常见的对低频融合规则是对源系数进行平均处理。高频系数反映的是图像的细节信息，比如边缘、线条还有区域的边界[12]。高频系数融合规则常见的方法是选择在相同位置上绝对值最大的系数作为融合系数，这种处理低频系数和高频系数的融合规则统称为系数点融合规则[13]。但这种融合规则忽略了系数的相关性且易受到噪声的干扰。

为了改善融合质量，将图像的某个窗口或者某块区域的系数进行整体考虑，这两种规则分别称为窗口融合规则[13]和区域融合规则。窗口融合规则是根据融合系数局部区域的统计特性来选取像素的一种融合规则。区域融合规则涉及到分割算法，计算复杂，误差也很大，所以不考虑这种融合方法。所以窗口融合规则比较适合融合任务[14]。

3.3 聚焦评价函数

1）互信息（MI）

互信息[16]是信息论的一个重要概念，阐明了两幅图像灰度信息分布的相关性。它的值越大，其融合图像从原图像获取的信息越丰富，融合的效果也越好。其定义为：

2）峰值信噪比（PSNR）

信噪比[16]是评价图像融合噪声抑制的情况。峰值信噪比是信号最大功率与其噪声越高，噪声功率的比值。峰值噪声比的定义为：

4 本文融合算法验证及分析

4.1 融合算法移变性验证

首先将源图像按DWT和NSDWT两种融合算法进行融合，将融合得到的图像作为参考图像。将源图像进行平移变换，每平移一个像素对平移后的图像进行DWT和NSDWT的算法进行融合，再将融合图像反方向平移一直到初始位置。利用均方根误差计算融合图像与参考图像的差异。所得结果如图4所示。

通过图4得到平移量和均方根误差的关系，由图可知，在DWT融合下得到的均方差严重偏移了0点，说明源图像的平移对在DWT作用下融合的结果有很大的改变。造成DWT融合算法产生偏移的原因是多尺度变换的移变性使系数发生了变化，造成融合规则对系数的选取产生了错误。而在NSDWT融合下得到的均方差很稳定的在0点，没有产生偏移，说明NSDWT融合法则不受源图像平移的影响。

4.2 融合算法对比验证

融合算法对比验证对DWT和NSDWT融合规则下的效果进行对比和分析，同时可以验证窗口融合规则比系数点融合规则的优势，以及一致性检测（CV）[18]的有效性。

对比的方式如表1。

多聚焦图像融合的实验源图像如图5所示：

按照不同的融合规则对图5的（a）和（b）的图像融合，得到融合图像。再将参考图像与融合图像做差，得到残差图像[19]。残差图像是判断融合效果其中的一个判据。如果残差图像的内容比较丰富，说明融合效果不好。如果残差图像信息少，说明融合的图像贴近融合图像，融合效果好。本实验采集互信息（MI）和峰值信噪比（PSNR）作为判断的依据。

如图6所示，对所得的融合图像进行比较。从图6（a）和图6（b）对比可以看出，残差图像中都出现了一定程度的震荡条纹，但融合图6（a）更明显一些。这是因为多尺度对应位置上的融合系数的来源不一致造成了融合图像出现了伪Gibbs现象[20]。DWT因为下采样环节的频率重叠[21]加剧了这种效应，而NSDWT的平移不变性，这种现象明显减小。

对比图6（b）与图6（c）。融合图6（b）采取的是系数点融合规则，融合图6（c）采取窗口融合规则。从两幅图像的残差图像可以明显看出，融合图6（b）的残差图像比融合图6（c）的残差图像内容更丰富，说明融合图6（b）的效果比图6（c）差，继而验证在图像融合方面窗口融合规则比系数点融合规则更有优势。这主要是由于系数点融合规则过于片面，不能把握图像的聚焦区域。窗口融合规则将系数作为整体考虑，因此融合效果得到了很大的改善。

为了能更清晰的直观看出各规则的融合效果，获得表2的数据。

從表2可以看到第四组的互信息和峰值信噪比比第三组高，说明第四组的融合效果更好。

5 结 语

多尺度算法的移变性在一定程度上会对融合算法造成移变。NSDWT具有平移不变性，基于NSDWT的融合算法能够得到更好的融合效果。窗口融合规则将各点系数作为窗口中心，通过系数之间的特征信息决定低频和高频融合系数，从而弥补系数点融合的不足。一致性检测能进一步提高融合算法的准确性。

参 考 文 献：

[1]谭征，鲍富民，李爱国，等.多传感器图像融合及其应用综述[J].微电子学与计算机，2004，21（2）：1-5

[2]王昕.含噪声图像的多聚焦融合算法[J].光学精密工程，2011，19（12）：2977-2984

[3]李光鑫.红外和可见光图像融合技术的研究[J].吉林大学通信工程学院，2008.

[4]STRANG G. Wavelets and Dilation Equations： A Brief Introduction[J]. SIAM review，1989，31（4）：614-627

[5]UNSER M. Texture Classification and Segmentation Using Wavelet Frames[J].Image Processing， IEEE Transactionsons，1995，4（11）：1549-1560.

[6]HOLSCHNEIDER M， KRONLAND-MARTINET R， MORLET J， et al. A Real-time Algorithm for Signal Analysis with the Help of the Wavelet Transform[M]. Wavelets. Springer Berlin Heidelberg， 1990：286-297

[7]叶传奇，王宝树，苗启广.一种基于区域特性的红外与可见光图像融合算法[J].光子学报，2009，38（6）：1498-1503

[8]杨斌.像素级多传感器图像融合新方法研究[D].长沙：湖南大学.2010.

[9]王宏，敬忠良，李建勋.多分辨率图像融合的研究与发展[J].控制理论与应用，21（1）：145-151.

[10]杨娇. 基于小波变换的图像融合算法的研究[D]. 北京：中国地质大学， 2014： 8-9.

[11]徐进伟. 基于小波变换的数字图像融合研究[D]. 成都：成都理工大学， 2012： 12-14.

[12]晁锐， 张科， 李言俊. 一种基于小波变换的图像融合算法[J]. 电子学报， 2004， 5： 750-753.

[13]李希宁. 基于多尺度分析的图像融合算法研究[D]. 青岛：中国海洋大学， 2010： 15-18.

[14]SHREYAMSHA Kumar. Multifocus and Multispectral Image Fusion Based on Pixel Significance Using Discrete Cosine Harmonic Wavelet Transform[J]. Signal， Image and Video Processing， 2013， 76： 156-168.

[14]XIAO Fen， GAO Xie-ping， LI Bo-dong. A Novel Image Fusion Method based on Translation Invariant Wavelet Transforms[J]. Journal of Software， 2014， 94： 67-78.

[15]KAVITHA C.T.， RAJESH R.. Medical Image Fusion using Combined Discrete Wavelet and Ripplet Transforms[J]. Procedia Engineering， 2012， 38： 90-102.

[16]马艳君. 基于变换的医学图像融合技术研究[D]. 青岛：青岛大学， 2010： 19-25.

[17]唐向宏， 謝淑琴. 小波分析与应用[M]. 四川： 科学技术出版社， 1999： 137-151.

[18]WU Jonathan， AHMADI Majid. Tunable Halfband-pair Wavelet Filter Banks and Application to Multifocus Image Fusion[J]. Pattern Recognition， 2011， 452： 200-210.

[19]秦定宇， 李鹏. 图像中小波基的选择分析[J]. 光电子技术， 2006， 26（3）： 203-207.

[20]赵青， 何建华， 温鹏. 基于平均梯度和方向对比度的图像融合方法[J]. 计算机工程与应用， 2012， 24： 165-168.

[21]蒲恬， 方庆吉， 倪国强. 基于对比度的多分辨图像融合[J]. 电子学报， 2000， 28（12）： 116-118.

（编辑：关 毅）