非负矩阵分解和新轮廓波变换的图像融合

王 斐，梁晓庚，2，崔彦凯，武晓军

1.西北工业大学 自动化学院，西安 7100722.洛阳光电技术发展中心，河南 洛阳 471009 3.洛阳电光设备研究所，河南 洛阳 471009

非负矩阵分解和新轮廓波变换的图像融合

王 斐1，梁晓庚1，2，崔彦凯1，武晓军3

1.西北工业大学 自动化学院，西安 710072
2.洛阳光电技术发展中心，河南 洛阳 471009 3.洛阳电光设备研究所，河南 洛阳 471009

1 引言

图像融合是目前军事、医学、交通监测等领域研究的热点。如何提高融合图像所保留源图像的信息量和边缘特征是图像融合中的重要问题，另外，多幅源图像中常含有冗余信息，如何去除冗余信息，减小运算量也是图像融合需要考虑的问题。

现有的图像融合方法有空域法和变换域法。空域法简单，容易实现，但融合精度不高。变换域法主要是各种多分辨率融合方法，如：各种金字塔分解方法、小波变换方法以及近年来发展起来的Contourlet变换法等，小波变换无法有效表示二维图像信息，Contourlet变换是一种真正意义上的图像二维表示方法，具有良好的多分辨率、局部化和方向性等优良特性[1]，目前的图像融合多采用该方法。但它存在以下问题：（1）算法在图像岭脊处产生模糊伪影，融合后图像容易出现信息丢失、边缘模糊或丢失等现象；（2）算法本质上是一种冗余变换，单独使用无法有效去除冗余信息。

本文针对上述问题，将能有效去除冗余信息的非负矩阵分解和具有频率局部尖锐化特征的新Contourlet变换相结合，将融合过程分为变换域分解和变换域融合两步，提出了一种基于非负矩阵分解和新Contourlet变换的图像融合新方法。图像融合实验以及与其他方法的对比实验表

CNKI出版日期：2012-04-25 http://www.cnki.net/kcms/detail/11.2127.TP.20120425.1718.013.html明，本文算法提高了融合图像的质量，保留了更多的信息量和边缘细节特征，应用效果较好。

2 图像的变换域分解

考虑到待融合的源图像变换域分解后缺乏频率尖锐局部化从而导致边缘模糊的问题，以及尖锐频率局部化Contourlet变换（CT-SFL）所具有的频率局部尖锐化特点，本文将CT-SFL引入到图像融合中，对源图像进行分解。

采用Contourlet变换进行图像融合时，缺乏频率域的尖锐局部化是导致融合图像信息丢失、边缘模糊或丢失等现象的主要原因。而Yue Lu提出的尖锐频率局部化Contourlet域变换可以有效地实现频率局部尖锐化，消除Contourlet变换图像岭脊处产生的模糊伪影[2]。

CT-SFL变换采用了一种新的多尺度金字塔结构实现多尺度分解，并在不同尺度上应用不同的高低通滤波器组合，降低了DFB的频率域混叠，大大减轻了非局部化问题，性能获得了极大提升。

CT-SFL结构图如图1所示。

图1 CT-SFL结构图

CT-SFL频域基图像和空域基图像分别如图2（a）和图2（b）所示。

图2 CT-SFL频率域基图像和空域基图像

由图2可知，CT-SFL的频率局域化现象非常好，空域正则性也较好。

由于CT-SFL变换的DFB中存在上采样和下采样，这使其缺乏平移不变性，因此，为了克服CT-SFL的这一缺陷，参考文献[3]消除Contourlet变换平移非不变性的思路，本文将循环平移方法引入到CT-SFL中，以有效地抑制伪吉布斯现象，提高变换对平移的敏感性。

将源图像进行循环平移并变换域分解后，可以得到能够有效去除边缘模糊现象、具有尖锐频率局部化特征的低频图像和带通图像。

3 图像的变换域融合

为了保留源图像更多的信息量并有效减少冗余信息，本文依据变换域分解后源图像的低通和带通子带特点，分别设计了新的融合规则。

3.1 基于非负矩阵分解的低通子带系数融合

低通子带系数包含图像主要信息，引入非负矩阵分解可以有效去除图像中冗余信息，其主要思路是把一个秩较大的非负矩阵分解为两个秩较小的非负矩阵的乘积，并且这种非负性的分解结果能更直接的表达一定的物理意义[4]。非负矩阵分解在图像融合、人脸识别等领域有很大的利用价值[5-6]。

非负矩阵分解时需要给定一个n×m的非负矩阵V，并预先定义一个正整数r，通常r＜min(n，m)，寻找一个n×r的非负矩阵W和r×m的非负矩阵H，使得：

非负矩阵的求解过程就是通过迭代使V和WH之间的重构误差最小，其求解过程本质上是求解如下的优化函数[7]：

本文提出的低通子带系数融合过程如下。

将待融合图像V组成原始图像集如下：

其中Ii为待融合的图像，假设共有m副，M、N为每一副待融合图像的的行数和列数，并令n=M×N，则有V∈Rn×m。V可近似分解为非负矩阵Wn×r和非负矩阵Hr×m的乘积，其中W可以看作对所有待融合图像V进行线性逼近的一组基，H是V在基W上的非负投影。通过选择较小的r，就可以用相对较少的基向量表示V的大部分特征信息，本文选取灰度图像基向量的维数为n×1，可从观测图像V中重构恢复标准图像W。

3.2 带通子带系数融合

由于带通子带系数对应源图像的细节信息，人类视觉系统对单个像素灰度值并不敏感，而对邻域内灰度的变化较为敏感。邻域内灰度变化较大的区域常对于边缘细节信息，邻域灰度方差的大小对应边缘细节信息的丰富程度和清晰度，邻域内能量的大小则对应细节的整体亮度，综合考虑二者因素，本文提出一种新的带通系数融合规则。

假设Cl， k(i，j)表示l尺度k方向子带(i，j)位置处的变换系数，则定义邻域能量为：其中，El， k(i，j)表示l尺度k方向子带以(i，j)为中心的窗口邻域能量；P和Q表示窗口大小，此处为矩形窗，窗口尺寸为(2P+1)×(2Q+1);w(p，q)表示窗口权函数，距离窗口中心位置越近，则权值越大。

定义源图像A和B的邻域能量匹配度为：

其中，MEl， k(i，j)表示图像A和B的l尺度k方向子带(i，j)位置处的邻域能量匹配度，一般有 MEl， k(i，j)∈[0，1]。若定义能量匹配度阈值T1，则ME＞T1表明源图像A和B的邻域能量相关程度较高，考虑能量融合因素时，需要对二者加权考虑，否则，取邻域能量较大者即可。

定义邻域方差为：

其中，Vl， k(i，j)表示l尺度k方向子带以(i，j)为中心的窗口邻域方差；(i，j)表示l尺度k方向子带以(i，j)为中心的窗口邻域平均值；P和Q表示窗口大小，此处为矩形窗，窗口尺寸为(2P+1)×(2Q+1);w(p，q)表示窗口权函数，距离窗口中心位置越近，则权值越大。

定义源图像A和B的邻域方差匹配度为：

其中：

式（7）中，MVl， k(i，j)表示图像A和B的l尺度k方向子带(i，j)位置处的邻域方差匹配度，一般有MVl， k(i，j)∈[0，1]。若定义方差匹配度阈值T2，则MV＞T2表明源图像A和B的邻域方差相关程度较高，考虑方差融合因素时，需要对二者加权考虑，否则，取邻域方差较大者即可。

设源图像A和B的邻域能量分别为EAN、EBN，邻域方差分别为VAN、VBN，邻域能量相对系数 ρ1=EAN/EBN，邻域方差相对系数 ρ2=VAN/VBN，邻域能量方差联合相对系数ρ=ρ1·ρ2，定义邻域能量方差联合相对系数阈值Tρ（本文取Tρ=2），并设图像A、B以及融合图像F的l尺度k方向子带(i，j)位置处系数简记为CA、CB、CF，则有如下融合规则：

（2）若源图像A和B的邻域能量匹配度ME≥T1（本文取T1=0.95），且邻域方差匹配度MV＜T2（本文取T2=0.75），则有：

3.3 算法步骤

本文算法步骤总结如下：

（1）对已配准的两幅图像A和B进行循环平移并进行CT-SLF分解，得到低通子带系数和带通子带系数。

（2）根据低通子带系数和式（3）构造矩阵V，对V进行非负矩阵分解得W，以W作为融合图像F的低通子带系数。

（3）根据带通子带系数和带通系数融合规则，得到融合图像F的带通子带系数。

对上述结果进行逆CT-SLF，并进行逆循环平移，得到最终融合图像F。

4 实验结果与分析

为验证本文算法，采用多组图像进行融合实验。为验证实验结果的有效性，本文选择空域和变换域中的典型有效算法和本文算法作对比。空域中的典型算法为PCA （Principal Component Analysis）法，变换域中有各种金字塔分解法（如性能较好的LP法）、小波法以及近几年占据主流的Contourlet变换法。本文选择PCA法、LP法以及Contourlet变换法作为参考。设低频系数采用平均值融合、高频系数采用最大值融合的融合规则为AVE-MAX融合，其中算法1为PCA法，算法2为LP法（AVE-MAX融合），算法3为CT法（AVE-MAX融合），本文算法为改进CS-SFLCT法（低频系数采用NMF法，高频系数采用EngVar法），实验时CT-SLF进行5级分解。

红外与可见光图像以及基于上述不同算法的融合图像如图3。

从主观效果上看，图3中算法1得到的融合图像整体视觉较暗，图像边缘不清晰，模糊有阴影；算法2得到的融合图像边缘模糊，且部分区域出现不连续；算法3得到的融合图像虽然亮度和边缘有改进，但背景区域出现噪声；本文算法较好地保留了源图像的亮度特性和主要信息，有效抑制了背景区域噪声，且融合图像具有更好的边缘保持效果，视觉效果较好。

引入客观评价标准进行定量分析，以精确评价融合结果。本文采用标准差、平均梯度、信息熵、互信息、边缘信息保持值QABF对图3中融合算法性能进行比较，比较结果见表1。

图3 红外与可见光图像以及不同算法融合图像

表1 红外与可见光图像融合性能比较

为进一步说明本文提出算法的有效性和实用性，本文选择多聚焦图像进行融合实验。实验参数及融合算法的选择与第一组实验相同，融合图像如图4，采用客观评价标准定量分析的结果如表2。

图4 多聚焦图像以及不同算法融合图像

表2 多聚焦图像融合性能比较

从图4实验结果可以直观地看出，四种算法中本文算法融合结果的综合效果最优。图4中算法1得到的融合图像整体视觉较暗，图像边缘不清晰，模糊有阴影；算法2得到的融合图像边缘模糊，且部分区域出现不连续，如左聚焦钟表的右边缘中部区域不连续；算法3得到的融合图像虽然整体效果比算法1要好很多，也比算法2清晰，但亮度比源图像低，背景出现噪声，部分边缘区域出现模糊，如左聚焦钟表的右边缘中部区域出现模糊，表盘数字刻度有轻微的虚影；本文算法较好地保留了源图像各自聚焦部分的亮度特性和主要信息，且融合图像具有更好的边缘保持效果。

比较表1数据可知，本文算法的标准差、平均梯度、信息熵、互信息、边缘信息保持值QABF均高于其他算法。比较表2数据可知，本文算法也优于其他算法。

实验表明针对不同的源图像本文算法较其他算法得到的融合图像对比度较大，细节较清晰，信息量丰富，从原始图像提取的信息较多，边缘信息保持较好。

5 结束语

本文针对融合图像保留源图像信息量少和易边缘模糊或丢失的问题，提出了一种非负矩阵分解和新轮廓波变换相结合的新图像融合算法，该算法能有效提高图像融合的质量。仿真结果表明：利用本文提出的算法所得到的融合图像，可以保留更多的信息量和边缘细节特征，图像亮度和对比度较好，具有较好的视觉效果，该算法可以应用到其他多源图像融合。

[1]Do M N，Vetterli M.The contourlet transform：an efficient directional multiresolution image representation[J].IEEE Trans on Image Processing，2005，14（12）：1-16.

[2]Lu Y，Do M N.A new contourlet transform with sharp frequency localization[C]//IEEE International Conference on Image Processing.Atlanta，GA：[s.n.]，2006，8（11）：1629-1632.

[3]Eslami R，Radha H.Translation-invariant contourlet transform and its application to image denoising[J].IEEE Transactions on Image Processing，2006，15（11）：3362-3374.

[4]Xu L，Dong J Y，Cai C B，et al.Multi-focus image fusing based on non-negative matrix factorization[C]//Proceedings of Mechatronics and Machine Vision in Practice.Xiamen，China：IEEE，2007：108-111.

[5]周浦城，韩裕生，薛模根，等.基于非负矩阵分解和HIS颜色模型的偏振图像融合方法[J].光子学报，2010，39（9）：1682-1686.

[6]牛佳.基于CVX和非负矩阵分解的图像融合研究[J].计算机工程与设计，2008，29（20）：5311-5313.

[7]LeeD D，SeungH S.Learning thepartsofobjectsby non-negative matrix factorization[J].Nature，1999，401（6755）：788-791.

WANG Fei1,LIANG Xiaogeng1，2,CUI Yankai1,WU Xiaojun3

1.School of Automation,Northwestern Polytechnical University,Xi'an 710072,China
2.Luoyang Photoelectric Technology Development Center,Luoyang,Henan 471009,China 3.Luoyang Institute of Electro-Optical Equipment,Luoyang,Henan 471009,China

In order to improve the information and edge details of fused image which come from the original images,fusing algorithm of Non-negative Matrix Factorization（NMF）combined new contourlet transform is proposed.The source images are employed with cycle spinning and the coefficients in different scales and directions are obtained by image decomposition using the new contourlet transform with sharp frequency localization.The fusion results of low pass coefficients are obtained by utilizing NMF and the fusion results of band pass coefficients are got by introducing into the energy-variance measure function as well as matching function.The fused image can be acquired through inverse contourlet transform and inverse cycle spinning. Experimental analysis and results show that the fusion algorithm can retain more information and edge details.

Non-negative Matrix Factorization（NMF）;sharp frequency localization;image fusion;energy-variance measure function

为提高融合图像保留源图像的信息量和边缘特征，提出了非负矩阵分解和新轮廓波变换的图像融合算法。以具有尖锐频率局部化特征的新轮廓波对循环平移后的源图像进行分解；运用非负矩阵分解实现低通子带融合，采用能量方差测度函数和匹配度函数实现带通子带融合；对各子带信号重构并逆循环平移，得到融合图像。实验结果分析表明，该方法保留了更多的信息量和边缘细节特征，应用效果较好。

非负矩阵分解；尖锐频率局部化；图像融合；能量方差测度函数

A

TP391.41

10.3778/j.issn.1002-8331.1111-0555

WANG Fei,LIANG Xiaogeng,CUI Yankai,et al.Image fusion combined with NMF and new contourlet transform.Computer Engineering and Applications,2013,49（5）：150-153.

王斐（1976—），男，博士研究生，讲师，研究领域：图像处理、图像融合、智能控制；梁晓庚（1960—），男，研究员，副总设计师，博士生导师，研究领域：导航制导与控制、图像处理；崔彦凯（1980—），男，博士研究生，研究领域：图像处理；武晓军（1960—），男，工程师，研究领域：机载视频系统研制。E-mail：feiwangnpu@163.com

2011-11-29

2012-02-03

1002-8331（2013）05-0150-04