基于IE和AG 的小波图像融合方法

王 勇，刘 雯

(吉林大学a.通信工程学院;b.数学学院，长春130012)

基于IE和AG 的小波图像融合方法

王 勇a，刘 雯b

(吉林大学a.通信工程学院;b.数学学院，长春130012)

为客观评价几种小波融合图像算法的优劣，采用了基于信息熵(IE:Information Entropy)和平均梯度(AG:Average Grads)的融合图像质量评价方法。首先选取了两组不同的源图像，其中一组为曝光度不同的两幅图像，另一组是焦距不同的两幅图像。然后对图像进行4层小波分解，低频系数全部采用像素点平均值法进行融合，高频系数分别运用区域绝对值最大法、像素点绝对值最大法、区域最大梯度法以及像素点平均值法4种小波系数融合规则进行小波图像融合，最后分别比较了4种融合图像的IE和AG值。实验结果表明，将4种小波融合方法进行比较，基于像素点的最大绝对值法IE和AG值最大。对于曝光度不同的两幅图像，其IE为7.206 5 bit，AG为5.983 7×10-5，对于焦距不同的两幅图像，其IE为7.130 8 bit，AG为4.794 3×10-5。可见，4种融合规则相比较，基于像素点的最大绝对值法融合效果最好，从而验证了该方法的有效性。

小波变换;图像融合;信息熵;平均梯度

0 引 言

图像融合技术是将多源信道得到的对于同一个对象的源图像，利用一定的方法将其融合成一幅图片。基于像素点的算术平均的数字图像融合方法是最原始的融合方式，其对比度很差，达不到要求。针对上述问题，部分专家使用了基于金字塔的方法，但效果仍不明显。而小波变换属于应用数学领域，它以傅立叶变换为基础，继承了傅氏变换的优点，可将时域空域的问题转化到频域进行分析，同时克服了傅氏变换只能在宏观上分析信号频谱的缺点。小波变换却像一个显微镜，有针对性地关注细节，因此，小波变换在图像处理领域得到很好的应用。在图像融合领域，小波变换凭借其具有良好的“显微镜”特性被广泛应用。文献［1-4］分别将小波变换应用于多聚焦图像、压缩感知、地震图像的融合以及镁溶液的弱小目标检测中，均取得了良好的效果。目前，国内外学者多聚焦于研究小波系数融合规则［5-9］。在文献［10］的方法中，图像的低频部分采用基于区域平均能量加权算法的规则进行融合，高频部分采用绝对值取大的规则进行融合。文献［11］在低频部分的处理中考虑了人眼的识别特性，人眼对不同的部分有不同的关注程度，给关注度高的部分较大的权值，关注度低的部分较小的权值。高频部分则采用了局部最大方差法，很大程度上保留了图像的边缘。

笔者选取了两组不同的图像，一组为两幅曝光度不同的图像，另一组为两幅焦距不同的图像，低频部分的系数矩阵由求像素点的平均值得到，高频系数分别运用区域绝对值最大法、像素点绝对值最大法、区域最大梯度法以及像素点平均值法4种小波系数融合规则对两幅源图像进行了小波图像融合，然后运用IE(Information Entropy，I)和平均梯度(AG:Average Grads，A)作为衡量标准，比较了4种融合图像的质量。

1 小波图像融合基本原理

1.1 小波图像融合

小波图像融合方法是一种属于像素级层次的融合方法。对于二维图像，小波图像融合的流程可概括为:首先进行源图像的预处理，包括滤波和图像配准。滤波的目的是为了去除源图像的噪声，以免对之后的融合产生干扰。图像配准是为了图像融合能准确地将有关信息得到更好的利用。再将经过预处理的源图像进行小波变换。把所有的源图像进行若干层小波分解。每进行一层分解就能将图像分解成一幅在低频域内的子图像和3幅在高频率域内的子图像，分别属于水平，垂直与对角线3个方向。下一层的分解是在低频子图像的基础上进行的。之后对变换后的各层图像分别进行融合，每层可以使用相同或不同的融合方法。这也是小波变换的优点之一。最后由逆变换得到融合后的图像。

在图像融合领域的应用中，主要会用到小波的二维Mallat算法。算法公式如下

其中c1(k，j)代表低频子图像，d1(k，j)代表高频水平分量，d2(k，j)代表高频垂直分量，d3(k，j)代表高频对角线分量，下一层分解在低频分量

基础上进行。式(2)表明了小波分解的一般过程。

1．2 小波系数融合规则

1．2．1 低频小波系数融合规则

在图像中，低频代表了灰度值没有突变的部分，这部分信息包含的能量如下。

1)基于像素点的平均值法。基于像素点的平均值法是将多幅源图像小波变换后获得的低频小波系数进行平均，将获得的平均值作为融合后的低频小波系数。

2)加权平均法。加权平均法是将每个低频小波系数都乘以一个权值后再进行平均。该方法在抑制噪声的同时降低了图像的对比度。

1．2．2 高频小波系数融合规则

高频部分代表图像中灰度变化较大的部分。经过小波变换后，图像的高频分量是一些在0附近波动的值。值较大的点是亮度变化较大的点，这样的点具有较显著的特征。

1)基于区域的绝对值最大法。基于区域的绝对值最大法是选择某像素点和周围3×3邻域像素点小波系数绝对值最大的值作为该点的融合值。

2)像素点绝对值最大法。像素点绝对值最大值法是对小波系数的绝对值进行比较，选取最大的绝对值当作新的高频系数

该方法能很好地反映图像的细节信息，但可能会出现条纹，给人一种拼接的感觉，适用于源图像所含有的高频很丰富且比度非常高的情况，否则融合效果会显得不真实。

3)基于区域的最大梯度法。以两幅图像的融合为例，基于区域的最大梯度法是先用源图像小波分解后的系数矩阵在3×3邻域内的梯度最大值所对应像素的值代替中心值，得到新的系数矩阵▽A(x，y)和▽B(x，y)，然后每个位置都用二者的最大值作为融合后的系数矩阵值

4)像素点平均值法。像素点平均值法是对高频系数矩阵中对应位置的系数进行平均

其中K表示源图像数目，ck表示k个图像的加权系数，(x，y)是第k幅的第J层小波分解系数，(x，y)是融合图像第J层小波分解系数。

1．3 图像融合的评价方法

图像融合的方法有很多，对于同一个目标，使用不同的图像融合算法得到的融合图像的效果不同，往往需要对融合后的图像效果进行评价，这就需要选择图像质量评价的方法。

主观评价是以定性的角度对图像获得的融合效果选择评价标准的方法。主观评价方法是将人肉眼的直接感觉作为标准。但由于人们对同一场景的关注点不同，也会随着图像的应用场景、用途不同而产生不同的评价结果。虽然主观评价比较简单，直观，有效，但要得到较准确的评价结果需要大量的观察人员，主观性较强，会受到多种因素影响。因此，主观评价方法只能在特定的应用场合予以采用。

客观评价是以定量的角度对图像获得的融合效果选取评价标准的方法。主观评价通常是采用下列指标的融合图像评价，如IE，AG等。人们通常希望使用一种客观并准确的方法进行评价，因此客观评价方法得到广泛的应用。

笔者采用的客观评价指标为IE和AG。

1)IE。从所含信息量的角度看，融合后会有所增加，因此，可通过IE的变化评价融合图像的效果。IE的值越高，融合效果越好。IE的定义如下

其中L为图像总的灰度级，pi为不同的灰度值像素的概率分布。

2)AG。AG可以表示图像的清晰度，还可用来表示图像细节之间的差距。AG的定义如下

其中MN表示融合图像的大小，Δxf(i，j)表示(i，j)位置像素在x方向的梯度，Δyf(i，j)表示(i，j)位置像素在y方向的梯度。

2 算法仿真

仿真程序使用Matlab R2013a版编写。程序大致分为6个步骤。

第1步:设定参数。融合图像数为2，小波分解的层数为4，彩色图像的通道数为3。

第2步:作颜色空间变换，由RGB变为YIQ。

第3步:对两幅图像在不同颜色上的分量实施小波分解。

第4步:在分解的各层分别处理得到的高频和低频小波系数。

第5步:选取系数。由于是在小波变换域上选取系数，虽然只是用亮度衡量，但也要对色度和饱和度分别进行小波分解，选取系数。

第6步:逆变换，评价融合结果。

其流程图如图1所示。

图2是同一场景曝光度不同的两幅源图像，其不同高频规则的处理结果如图3所示。图3中小波分解的层数设定为4层，融合图像数设为2，颜色通道数为3，选取的小波基函数是4 dB，低频分量的融合规则选取基于像素点的平均值法。图3a高频分量的融合规则选择基于区域的绝对值最大法，图3b高频分量的融合规则选择基于像素点的最大绝对值法，图3c高频分量的融合规则选择基于区域的最大梯度值法，图3d高频分量的融合规则选择基于像素点的平均值法。

图1 算法流程Fig.1 Algorithm flow

图2 曝光度不同的融合源图像Fig.2 Underexposure sources images

图3 图2的不同高频规则处理结果Fig.3 Resultswith different coefficients of fig.2

表1是图3中不同高频系数融合规则得到融合图像的IE值和AG值。

图4是同一场景焦距不同的两幅源图像，其不同高频规则的处理结果如图5所示。由图4a可以看出，叶子比较清晰，花比较模糊;图4b的花比较清晰，叶子比较模糊。图5中小波分解的层数设定为4层，融合图像数设为2，颜色通道数为3，选取的小波基函数是4 dB，低频分量的融合规则选取基于像素点的平均值法。图5a高频分量的融合规则选择基于区域的绝对值最大法，图5b高频分量的融合规则选择基于像素点的最大绝对值法，图5c高频分量的融合规则选择基于区域的最大梯度值法，图5d高频分量的融合规则选择基于像素点的平均值法。

表1 图3中不同高频系数融合规则的评价参数Tab.1 Assessment result of fig.3

图4 焦距不同的融合源图像Fig.4 Out of focus sources images

图5 图4的不同高频规则处理结果Fig.5 Resultswith different coefficients of fig.4

表2是图5中不同高频系数融合规则得到融合图像的IE值和AG值。

表1和表2的实验数据表明，4种小波融合方法比较，基于像素点的最大绝对值法IE和AG值最大。对于曝光度不同的两幅图像，其IE为7.206 5 bit，AG为5.983 7×10-5，对于焦距不同的两幅图像，其IE为7.130 8 bit，AG为4.794 3×10-5。可见，4种高频小波系数融合规则相比较，基于像素点的最大绝对值法融合效果最好。

表2 图5中不同高频系数融合规则的评价参数Tab.2 Assessment result of fig.5

4 结 语

笔者针对不同曝光度和不同焦距的两组图片采用相同的算法流程做了小波图像融合实验，用IE和AG作为衡量图和图像质量的指标，IE越大，图像细节保留得越好;AG越大，图像清晰度越高。通过对4种融合图像的IE和AE值的比较验证了该方法的有效性。

［1］李晓芬，金炜，安凯圣.基于小波变换和彩色变换的多聚焦图像融合［J］.无线电通信技术，2015，41(2):85-88. LIXiaofen，JIN Wei，AN Kaisheng.Multi-Focus Image Fusion Based on Wavelet Transform and Color Transform［J］. Radio Communications Technology，2015，41(2):85-88.

［2］周四望，罗孟儒.顺序小波包图像压缩感知方法［J］.湖南大学学报:自然科学版，2015，42(4):130-135. ZHOU Siwang，LUO Mengru.Sequential Image Compressed Sensing Based on Wavelet Packet［J］.Jounal of Hunan University:Natural Science，2015，42(4):130-135.

［3］王薇，薛笑容，单新建.多小波基的设计与地震图像并行融合实现［J］.北京工业大学学报，2015，41(2):195-199. WANGWei，XUE Xiaorong，SHAN Xinjian.Design of a Multi-Wavelet and Research of Parallel Seismic Image Fusion［J］. Jounal of Beijing University of Technology，2015，41(2):195-199.

［4］张炳刚，许四祥，侍海东，等.基于小波变换图像融合的镁熔液弱小目标检测［J］.安徽工业大学学报:自然科学版，2015，32(1):55-59. ZHANG Bingang，XU Sixiang，SHI Haidong，et al.Weak and Dim Target Detection Based on Image Fusion of Wavelet Transform in Magnesium Alloy Melt［J］.Journal of Anhui University of Technology:Natural Science，2015，32(1):55-59.

［5］ZHANG Peng，TANG Yingxun，LIANG Yanhua，et al.Multi-Focus Image Fusion Based on Wavelet Transformation［J］. Journal of Harbin Institute of Technology，2013(2):124-128.

［6］李亚春，武金岗，王净，等.小波变换图像融合规则性能的分析研究 ［J］.计算机工程与应用，2010，46 (8):180-182. LIYachun，WU Jingang，WANG Jing，et al.Analysis on Image Fusion Rules Based on Wavelet Transform［J］.Computer Engineering and Applications，2010，46(8):180-182.

［7］DU Jianhua，WANG Minghui，WU Zhenya.Multi-Focus Image Fusion Based on the Non-Subsampled Contourlet Transform［J］.Journal of Modern Optics，2012，59(15):1355-1362.

［8］LIU Kun，GUO Lei，CHEN Jingsong.Contourlet Transform for Image Fusion Using Cycle Spinning［J］.Systems Engineering and Electronics，2011，22(2):353-357.

［9］孔韦韦，雷英杰，雷阳.基于改进型NSCT变换的灰度可见光与红外图像的融合方法［J］.控制与决策，2010，25(11):1608-1612. KONGWeiwei，LEIYingjie，LEIYang.Fusion Method for Gray-Scale Visible Light and Infrared Images Based on Improved NSCT［J］.Control and Decision，2010，25(11):1608-1612.

［10］李新娥，班皓，任建岳，等.一种多传感器图像融合与数字水印技术［J］.液晶与显示，2014，29(2):286-292. LIXin'e，BAN Hao，REN Jianyue，et al.Method of Multisensor Image Fusion and Digital Water Marking［J］.Chinese Journal of Liquid Crystals and Displays，2014，29(2):286-292.

［11］唐艳秋，张星祥，李新娥，等.基于人眼视觉灰度识别特性的图像动态范围小波变换处理方法［J］.液晶与显示，2012，27(3):385-390. TANG Yanqiu，ZHANG Xingxiang，LI Xin'e，et al.Image Processing Method of Dynamic Range with Wavelet Transform Based on Human Visual Gray Recognition Characteristic［J］.Chinese Journalof Liquid Crystals and Displays，2012，27(3): 385-390.

(责任编辑:何桂华)

Wavelet Fusion Method Based on IE and AG

WANG Yonga，LIUWenb

(a.College of Communication Engineering;b.College of Mathematics，Jilin University，Changchun 130012，China)

In order tomeasure the performance of several wavelet-based image fusion methods，an image fusion assessmentmethod is used.Two types of source image are used to perform the experiments，four-level wavelet decomposition based method is used to assess the images.Low frequency coefficient of wavelet decomposition matrix is used to fuse images by pixel average valuemethod.Low frequency coefficient ofwavelet decomposition matrix is used to fuse images by pixel value method.Then the methods are studied by some experiments.The results show that the information entropy ofmaximum pixel value and average grads is greatest.The information entropy are 7.206 5 bit and 5.983 7×10-5bit for underexposure images，7.130 8 and 4.794 3×10-5bit for out of focus images.The proposed method gives the best performance in the experiments.

wavelet-let transform;image fusion;information entropy(IE);average grads(AG)

文献标识码:A

1671-5896(2015)04-0435-06

2015-05-26

国家自然科学青年基金资助项目(61201368)

王勇(1982— )，女，太原人，吉林大学讲师，主要从事数字图像处理研究，(Tel)86-13614409575(E-mail)Wang_yong8205 @163.com;通讯作者:刘雯(1958— )，女，长春人，吉林大学副教授，主要从事数学计算研究，(Tel)86-13756685571 (E-mail)liuwen@jlu.edu.cn。