一种新的结合SVM和FNN的多聚焦图像融合算法

徐海　安吉尧

摘 要：针对基于分块的图像融合中分块裂痕和实际融合特征的不确定等问题，提出一种结合支持向量机（SVM）和模糊神经网络（FNN）的多聚焦图像融合新方法。首先，通过模糊C均值聚类（FCM）和SVM获得FNN的网络参数，利用构建的模糊神经网络，将分割的图像块分成清晰区域、模糊区域和过渡区域三类；然后用模糊神经网络的反模糊化输出作为权值因子对三类区域进行加权融合，输出融合的多聚焦图像。最后，通过均方根误差、平均绝对误差和峰值信噪比等指标对多种融合算法进行融合质量评价。实验结果表明，提出的融合算法鲁棒性和计算性能较好，基本满足实际图像融合的需求，且融合质量评价也表明本文方法优于现有的融合算法。

关键词：多聚焦图像融合；特征级图像融合；模糊神经网络；支持向量机

中图分类号：TP391 文献标识码：A

Abstract：To deal with the problems of cracks among blocks and the uncertainty of real characteristics of image fusion based on block， this paper proposed a new multifocus image fusion method by combining support vector machine （SVM） wits fuzzy neural network （FNN）. Firstly， FCM and SVM were used to obtain the parameters of FNN and the block was divided into clear， blurring and transitional zones based on the FNN. Then the three classified areas were merged with weighting to get the fused multifocus images， where the weight factors were obtained as the defuzzication outputs of the fuzzy neural network. Finally， the qualities of various fusion algorithm were evaluated by the root mean square error（RMSE）， the mean absolute error（MAE） and peak signal to noise ratio（PSNR）. The experimental results show that the proposed fusion algorithm has good robustness and computing performance， which basically meets the demand of practical image fusion， and the fusion quality evaluations illustrate that our method has an advantage over the existing fusion algorithm.

Key words：Multifocus image fusion； Featureleave image fusion； FNN； SVM

1 引 言.

图像信息融合是信息融合的一个重要分支，通过对同一场景下多个传感器获取的图像信息进行有机的综合，生成信息量更加全面、精确、完整的图像，以弥补单一传感器获取信息的局限性[1]。同一场景下，不同传感器获得的信息往往具有冗余性和互补性，图像信息融合的目的则是去除冗余信息，综合互补信息，从而提高图像质量，进一步为图像的识别、理解提供可靠的数据源。目前图像信息融合已经广泛应用于医学图像处理、机器人视觉、远程感知、军事应用等领域。

在视觉图像信息获取过程中，由于视觉传感器自身无法改变的景深约束，不能够获取聚焦范围以外物体的清晰图像。通过多聚焦图像信息融合技术，将同一场景下的多个图像进行合理的融合处理，最终可以获得一幅信息量精确、完整、可靠的多聚焦图像，使得场景中所有的物品都清晰的展现在融合的图像中。

多聚焦图像融合的方法主要分为两大类，其中一类比较典型的是变换域的方法，如Burt等[3]提出的拉普拉斯金字塔方法、於时才等[4-5]提出的小波变换（DWT）方法，王仁礼等[6-7]提出的IHS色彩空间方法。这一类方法很好保留了图像变换域的信息，但是在转换过程中容易丢失图像的原始信息，在提升模糊区域图像质量的同时可能会降低清晰区域的图像质量。另一类是根据图像清晰度的特点，基于分块的空间域融合算法，如王振飞等[8-9]提出的神经网络的多聚焦融合算法，Yi Zheng等[10]提出的FNN融合算法，张诚成等[11-12]提出的SVM融合算法。这一类算法的核心思想是将原始图形分割成若干块，经过对应的分类算法将图像块分成清晰区域、模糊区域以及过渡区域，然后根据一定的融合规则对图像块进行选择、加权处理。这一类方法能更好的保留图像的原始信息，但是存在分块边缘可能产生分块裂痕的现象。

在空间域图像融合算法中，出现分块裂痕现象主要受三个方面的因素影响：1、图像分割窗口的大小；2、对图像块分类的正确性；3、对应的融合规则的合理程度。

分割窗口的大小很好调整，本文从上述三个因素中的后两个考虑，提出了一种结合了SVM和模糊神经网络的特征级图像融合算法。该算法选择了能源梯度、空间频率和视觉可见度的相对差量作为FNN的输入数据，从三个方面综合为FNN提供了正确、有效分类的依据； FNN快速、精确、有效地将图像块分为清晰类、模糊类以及过渡类；选择清晰类图像块作为融合图像对应块，以模糊神经网络的输出结果作为加权因子参数，对过渡类进行模糊加权融合，最终得到本文方法的融合图像。

本文后续章节的安排如下，第二节介绍图像信息融合框架，第三节介绍特征的提取以及SVM与模糊神经网络的结合方法，第四节具体介绍各种融合方法的实验对比以及结果分析，最后是对全文的总结。

2 多聚焦融合框架

特征级多聚焦图像信息融合工作一般分三步进行：首先是图像特征信息的提取；然后根据提取的特征信息对图像进行分类；最后将不同类别的图像按照对应的融合规则进行融合。

空间域信息融合的融合规则一般是：对于冗余信息，选取其中一份作为融合信息；对于明显能够区分清晰或者模糊的信息，选取清晰的部分；对于无法区分清晰还是模糊的信息，则采取加权融合的方法。

由图3、图4可知，在实际应用场景中，不同算法的融合效果也会有一定的差异。从主观评价来说，平均加权方法整体比较模糊，IHS方法在图像灰暗区域融合效果不佳，小波变换融合结果有些失真，本文方法的融合效果明显要好于其他几种方法。从表2中信息熵评价结果分析，平均加权方法整体不佳，IHS方法在室外明亮场景中表现比较好，DWT方法在色彩比较丰富的图像中融合效果比较好，而本文的方法在室内外场景中均实现了较好的融合。

5 结 论

本文根据多聚焦融合过程中需要对图像块进行正确、有效分类的原则，提出了一种新的融合框架。融合过程中对分割区域进行相似度的度量，避免了对冗余数据的重复处理。选择了能源梯度、空间频率、视觉可视度作为清晰度特征，综合了从细节到总体以及人眼客观感知对于图像清晰度的度量。提出了一种结合SVM超平面方程参数以及FCM聚类算法的模糊神经网络构建方法，很大程度上减少了模糊神经网络参数的训练时间，以及模糊推理规则的数量。根据分类结果分别进行冗余融合、选择融合以及加权融合三种融合规则，使得整个融合过程更加合理，提升了整体融合质量，避免了分块裂痕现象的产生。实验结果表明，本文提出的结合SVM和FNN的融合方法运算时间较少，且在标准模糊图以及实际的多聚焦图像场景中得到了有效的验证，融合效果良好，基本可以满足实时性和算法健壮性的要求。参考文献

[1] Bahador Khaleghi， Alaa Khamis， Fakhreddine O. Karray et al. Multisensor data fusion： A review of the stateoftheart[J]. Information Fusion ， 2013， 14 ：28-44.

[2] Gemma Piella. A general framework for multiresolution image fusion： from pixels to regions[J].Information Fusion， 2003， 4：259-280.

[3] PETER J. BURT，E H.ADELSON.The laplacian Pyramid as a compact image code[J]. IEEE TRANSACTION ON COMMUNICATIONS， 1983，31 （4）：532-540.

[4] 於时才，吕艳琼. 一种基于小波变换的图像融合新算法[J].计算机应用研究， 2009， 26（1）：390-391.

[5] H.Li，B.S.Manjunath，S.K.Mitra.Multisensor image fusion using wavelet transform[J].GRAPHICAL MODELS AND IMAGE PROCESSING， 1995 ， 57（3）：235-245.

[6] 王仁礼，戚铭尧，王慧.用于图像融合的IHS变换方法的比较[J].测绘学院学报， 2000，17（4）：269-272.

[7] 陆朝霞，潘泉，程咏梅，等.一种新的基于HIS和小波变换的图像融合方法[J].计算机应用研究， 2008，25（2）：450-452.

[8] 王振飞， 范刚龙， 王能超. 基于神经网络与对比度的多聚焦图像融合技术[J]. 计算机应用， 2006， 26 （7）：1590-1592.

[9] SMT.G. Mamatha， Shaik Abdul Rahim， Cyril Prasanna Raj.FeatureLevel MultiFocus Image Fusion Using Neural Network and Image Enhancement[C]. Global Journal of Computer Science and Technology Graphics & Vision， 2012， 12（10）：16-24.

[10]Yi Zheng， Ping Zheng. Multisensor Image Fusion Based on a Fuzzy Neural Network[C] International Congress on Image and Signal Processing， 2010， 3：1547-1551.

[11]张诚成，胡金春.基于支持向量聚类的多聚焦图像融合算法[J]. Journal of Software， 2007，18（10）：2445-2457.

[12]刘 松.基于SVM信息融合的图像识别与并行实现[J].计算机工程与应用， 2009，45（33）：168-170.

[13]刘振宇，陈超，江涛.改进的多聚焦图像融合方法研究[J]计算机工程与应用，2010，46（7）：187-189.

[14]Zhou Wang， Alan C. Bovik. A Universal image quality index[J].IEEE SIGNAL PROCESSING LETTERS， 2002， 9（3）：81-84.

[15]Wei Huang，Zhong liang Jing.Evaluation of focus measures in multifocus image fusion[J].Pattern Recognition Letters， 2007， 28：493-500.