基于小波变换的图像融合算法研究

刘娜 田大为

摘 要： 图像融合是改善图像质量的一个重要途径，传统算法难以正确地对图像进行有效融合。为了提高图像融合的质量，提出一种基于小波变换的图像融合算法。首先对2幅原始图像进行小波变换，提取它们的小波系数，然后采用不同的规则对不同层次的小波系数进行融合，并采用小波变换对融合的系数进行融合，最后采用不同类型对图像融合结果进行测试和分析。结果表明，小波变换融合后的图像更加自然、清晰，提高了图像的信噪比，并且图像融合速度明显加快，获得了比对比算法更加理想的图像融合效果。

关键词： 图像质量； 小波变换； 神经网络； 加权融合； 信噪比； 图像融合

中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2018）07?0071?04

Research on image fusion algorithm based on wavelet transform

LIU Na1， TIAN Dawei2

（1. Center of Health Administration and Development Studies， Hubei University of Medicine， Shiyan 442000， China；

2. Dongfeng Affiliated Hospital of Hubei University of Medicine， Shiyan 442000， China）

Abstract： The image fusion is an important way to improve the image quality， but the traditional algorithm is difficult to fuse the image effectively. In order to improve the quality of image fusion， an image fusion algorithm based on wavelet transform is proposed. Wavelet transform is performed for two original images to extract their wavelet coefficients. The different rules are used to fuse the wavelet coefficients at different levels， and then the wavelet transform is used to fuse the fused coefficients. The images with different types are adopted to test and analyze the image fusion results. The results show that the image after wavelet transform fusion is more natural and clearer， the proposed algorithm can improve the signal?to?noise ratio of the image， quicken the speed of image fusion， and can obtain more satisfactory image fusion effect than the comparing algorithms.

Keywords： image quality； wavelet transform； neural network； weighted fusion； signal?to?noise ratio； image fusion

0 引 言

当图像采集环境不理想时，采集单一的一幅图像无法准确地描述目标信息，需要通过对目标的多幅图像进行融合，以更加全面、准确地描述目标信息。图像融合成为图像处理的一个重要方面，在遥感、气象等领域具有十分重要的实际应用价值。为此，图像融合算法的研究引起了人们的高度关注[1?3]。

针对图像融合问题，国内外专家进行了深入的分析。通常情况下，传感器对同一个目标的图像信息进行采集，并进行去噪、归一化等预处理操作，最后通过图像融合算法实现信息互补，得到一幅比原图像质量更高的图像[4?5]。最初采用单一传感器进行信息采集，但是单一传感器的缺陷十分明显，如分辨率、光谱等方面的不足。为了克服单一传感器的局限性，当前主要采用多个传感器同时对目标信息进行采集，可以更加全面地反映目标状态，改善图像质量[6]。当前图像融合分为三个层次：第一个层次为像素级融合，也是最低层次的图像融合，可以最大可能地保留原始信息，是当前主要的研究方向；第二个层次为特征级融合，首先提取图像的相关特征，如边缘特征、纹理特征、颜色特征等，然后进行融合，该类方法易丢失图像中的重要信息，融合后的图像失真比较严重[7?9]；第三个层次为决策级融合，是最高层次的图像融合，也要提取图像的特征，然后通过决策模块进行图像融合，但工作过程复杂，不易实现。在图像融合过程中，图像融合算法的选择最为关键，当前图像融合算法有很多，如金字塔分解、傅里叶变换等，它们对图像进行多尺度分解，然后根据不同尺度进行相应的图像融合，但是它们也存在一定的不足，如分解尺度有限，无法使图像融合达到最佳[10?11]。

针对传统图像融合算法存在的缺陷，为了改善融合后的图像质量，本文提出基于小波变换的图像融合算法。测试结果表明，小波变换可以明显改善图像的信噪比，而且图像融合的速度快，比采用其他方法得到的图像融合效果更佳。

1 小波变换

相对于傅里叶变换，小波变换更加灵活，具有更强的自适应能力，可以对图像进行不同分辨率的分解，便于对图像进行后期处理。

1.1 连续小波变换

小波变换通过一个母小波[ψ（t）]产生相应尺度和位移函数，其定义如下：

[ψa，b（t）=1aψt-ba] （1）

式中[a]和[b]分别表示尺度因子和位移因子。

信号[f（t）]的小波变换可以定义如下：

[W（a，b）=Rψa，b（t）f（t）dt] （2）

[f（t）]的小波逆变换可以定义如下：

[f（t）=a=0+∞b=-∞+∞1CψW（a，b）ψa，b（t）dadb] （3）

式中：[Cψ=Rψ（ω）ωdω；][ψ（ω）]是[ψ（t）]的傅里叶变换。

连续小波变换要求a和b是连续变量，[f（t）]也是连续函数，而图像是一种数字信号，难以满足该条件，为此出现离散小波变换，导致小波系数的冗余度比较高。

1.2 离散小波变换

为了解决连续小波变换的不足，将a和b限制在一定的范围，对它们进行离散处理，具体为：

1） [a]的离散化，具体为：对[a]进行幂级数化处理，即[a=am0，][a>0，]相应的小波函数为[a-j20ψa-j0（t-b），][j=0，1，2，…]。

2） [b]的均匀离散，这样[ψa，b（t）]变为：

[a-j20ψa0-j（t-kaj0b0）=a-j20ψa0-jt-kb0] （4）

离散小波变换定义为：

[W（aj0，kb0）=ψaj0，kb0（t）f（t）dt，j=0，1，2，…，k] （5）

2 小波變换的图像融合算法

2.1 图像的小波分解

在小波变换中，Mallat算法是一种最常用的分解算法，图像经过Mallat算法分解后，可以表示为：

[Cj+1（m，n）=r∈Z c∈ZHr-2mHc-2nCjDHj+1（m，n）=r∈Z c∈ZGr-2mHc-2nCjDVj+1（m，n）=r∈Z c∈ZHr-2mGc-2nCjDDj+1（m，n）=r∈Z c∈ZGr-2mGc-2nCj] （6）

式中：[Hr]和[Hc]表示高通滤波器；[Gr]和[Gc]表示低通滤波器；r和c表示图像的行和别；[Cj+1]表示图像的低频部分，也可以采用LL表示；[DHj+1，][DVj+1，][DDj+1]分别表示图像在[x，][y，xy]方向的边缘细节，即高频部分，它们可以分别采用LH，HL，HH表示。

小波变换的三层分解原理可以采用图1表示，第一次分解，可以得到4个子带，其中3个为高频子带，1个为低频子带，下次分解只对低频子带进行分解。

图像重构的二维Mallat算法为：

2.2 小波变换的图像融合步骤

设原始待融合的2幅图像为A和B，融合的图像为F，图像融合的步骤具体如下：

综上可知，基于小波变换的图像融合流程如图2所示。

2.3 图像融合的规则设计

在小波变换的图像融合过程中，融合规则设计扮演着重要的角色，因为小波系数对图像融合结果越有利，那么为该小波系数提供的信息就越多。当前图像融合规则包括两种：像素融合规则；窗口融合规则。其中，像素融合规则十分简单，但是融合结果不理想；窗口融合规则考虑了相邻像素的相关性，可以得到丰富的细节信息，图像视觉更佳，为此本文选择窗口融合规则实现图像融合。

设图像A和B经过[N]层的小波变换分解后，它们的最低频子带系数为[LAN（x，y）]和[LBN（x，y），][HAN（x，y）]和[HBN（x，y）]分别表示它们的最高频子带系数，[（x，y）]为系数的坐标，[LFN（x，y）]和[HFi（x，y）]分别表示图像融合的系数，那么对于最低频子带系数[LAN（x，y）]和[LBN（x，y），]其融合规则具体如下：

对于最高频子带系数[HAN（x，y）]和[HBN（x，y）]，可以得到：

3 实验结果与分析

3.1 实验平台

为了分析小波变换的图像融合算法的性能，选择Matlab 2014作为仿真工具箱，编程实现图像融合算法。实验平台为： AMD 4核3.0 GHz CPU，随机存储器（RAM）的大小为16 GB，采用Unix作为软件运行系统。选择待融合图像如图3，图4所示。选择文献[12]的图像融合算法在相同实验平台下进行对比测试，以验证小波变换的优越性。

当前判断图像融合结果的标准有很多，如基于人视觉效果的主观指标评价、客观指标评价。但单一的主观评价结果或客观评价结果都难以对图像融合结果进行全面、有效的评价，因此本文综合考虑主观和客观两个方面对图像融合结果进行描述。客观评价指标为互信息、均方根误差、相关系数，其中互信息用于描述原图像和融合图像之间信息的量，具体为：

式中：[PA（a）]表示图像A的直方图；[PB（b）]表示图像B的直方图。

均方根误差主要反映融合图像（F）和最理想图像（R）之间的误差，其定义如下：

式中[M]和[N]分别表示图像的行和列。

相关系数主要用于刻画融合后图像和理想图像之间的相关程度，具体定义为：

式中[I（x，y）]和[If（x，y）]分别表示融合后的图像和理想图像的灰度值。

3.2 结果与分析

小波变换对原始红外图像和原始Clock图像进行分解，然后分别对低频子带系数和高频子带系数进行融合，得到的实验结果如图5，图6所示。从图5，图6可知，利用小波变换得到的融合后图像视觉效果好，可以清楚地看到图像中的目标，而且相对于原始图像，图像边缘细节信息得到增强，图像对比度明显改善。这是因为通过小波变换对图像进行细分，对不同层次的低频子带系数和高频子带系数采用不同规则进行融合。而对比方法得到的融合图像的对比度低，图像模糊不清，图像细节信息丢失十分严重，图像清晰度难以满足实际应用要求，给图像后续处理带来不利影响。

统计融合图像和理想图像的均方根误差和相关系数，同时计算原图像和融合图像之间的互信息，结果见表1。从表1可知，小波变换的均方根误差较小，说明图像质量、互信息值较高，表示在融合过程中，图像丢失的细节信息较少，相关系数也得到了一定的提高，表示融合图像和理想图像之间的偏差很小；而对比方法的均方根误差较大，相关系数和互信息值较小。对比结果表明，小波变换的图像融合综合性能要明显优于对比方法。

4 结 语

为了降低图像融合的错误，改善图像质量，以便于对图像进行后期处理，根据图像融合的特点，本文提出基于小波变换的图像融合算法，并对不同层次的小波系数采用不同的融合规则。结果表明，小波变换获得了高质量的图像融合结果，与理想图像之间的错误相当小，可以保留原始图像中的一些重要信息，图像过渡十分自然，为图像效果增强提供了一种重要工具。

注：本文通讯作者为田大为。

参考文献

[1] ALPARONE L， BARONTI S， GARZELLI A. Landsat ETM+ and SAR image fusion based on generalized intensity modulation [J]. IEEE transactions on geosciences and remote sensing， 2004， 42（12）： 2832?2842.

[2] 周浦城，韩裕生，薛模根，等.基于非负矩阵分解和IHS颜色模型的偏振图像融合方法[J].光子学报，2010，39（9）：1682?1686.

ZHOU Pucheng， HAN Yusheng， XUE Mogen， et al. The method of polarization image fusion based on nonnegative matrix decomposition and IHS color model [J]. Acta photonica sinica， 2010， 39（9）： 1682?1686.

[3] 王宏，敬忠良，李建勋.一种基于图像块分割的多聚焦图像融合方法[J].上海交通大学学报，2003，37（11）：1743?1750.

WANG Hong， JING Zhongliang， LI Jianxun. Multi focus image fusion using image black segment [J]. Journal of Shanghai Jiao Tong University， 2003， 37（11）： 1743?1750.

[4] CHEN Shaohui， ZHANG Renhua， SU Hongbo， et al. SAR and multispectral image fusion using generalized IHS transform based on atrous wavelet and EMD decompositions [J]. IEEE journals and magazines， 2010， 10（3）： 737?745.

[5] 张华，黄辉，刘邦明.结合Contourlet变换和区域特征的图像融合算法[J].计算机工程与应用，2013，49（22）：160?162.

ZHANG Hua， HUANG Hui， LIU Bangming. Image fusion algorithm based on Contourlet transform and region features [J]. Computer engineering and applications， 2013， 49（22）： 160?162.

[6] 刘涛，张登福，何宜宝.基于区域分割和非下采样轮廓波变换的多聚焦图像融合算法[J].计算机应用，2010，30（10）：2805?2807.

LIU Tao， ZHANG Dengfu， HE Yibao. Multi?focus image fusion algorithm based on region segmentation and nonsubsampled contourlet transform [J]. Journal of computer applications， 2010， 30（10）： 2805?2807.

[7] 牛佳.基于CVX和非负矩阵分解的图像融合研究[J].计算机工程与设计，2008，29（20）：5311?5313.

NIU Jia. Study for image fusion based on CVX and non?negative matrix factorization [J]. Computer engineering and design， 2008， 29（20）： 5311?5313.

[8] 吴川，杨冬.改进的多光谱双边滤波图像融合[J].中国图象图形学报，2013，18（9）：1170?1175.

WU Chuan， YANG Dong. Improved multispectral bilateral filter video fusion algorithm [J]. Journal of image and graphics， 2013， 18（9）： 1170?1175.

[9] 张强，郭宝龙.基于非采样Contourlet变换的遥感图像融合算法[J].光学学报，2008，28（1）：74?80.

ZHANG Qiang， GUO Baolong. Remote sensing image fusion based on the nonsubsampled Contourlet transform [J]. Acta optica sinica， 2008， 28（1）： 74?80.

[10] 陈焕平，何明一，李旭.基于SWT区域对比度像素提取的多聚焦图像融合[J].中国图象图形学报，2011，16（5）：865?870.

CHEN Huanping， HE Mingyi， LI Xu. Multi?focus image fusion using pixel extraction based on SWT regional contrast [J]. Journal of image and graphics， 2011， 16（5）： 865?870.

[11] 闫莉萍，刘宝生，周东华.一种新的图像融合及性能的评价方法[J].系统工程与电子技术，2007，29（4）：509?513.

YAN Liping， LIU Baosheng， ZHOU Donghua. Novel image fusion algorithm with novel performance evaluation method [J]. Systems engineering and electronics， 2007， 29（4）： 509?513.

[12] 孙伟，郭宝龙，陈龙.非降采样Contourlet域方向区域多聚焦图像融合算法[J].吉林大学学报（工学版），2009，39（5）：1384?1389.

SUN Wei， GUO Baolong， CHEN Long. Multifocus image fusion algorithm based on directional window statistics in nonsubsampled Contourlet domain [J]. Journal of Jilin University （engineering and technology edition）， 2009， 39（5）： 1384?1389.