基于视觉注意机制的异源图像融合

胡燕翔,万 莉

(天津师范大学计算机与信息工程学院,天津300387)

基于视觉注意机制的异源图像融合

胡燕翔,万 莉

(天津师范大学计算机与信息工程学院,天津300387)

针对融合规则不能真实反映观察者视觉感知特点的问题,提出一种异源图像多尺度融合算法。应用视觉注意机制,计算异源图像间的视觉显著度匹配系数,并根据这一系数对小波变换近似系数进行自适应融合,在小波细节系数融合中使用带有方向连续性检查的选大值方法,采用视觉显著度差对融合算法的视觉保持一致性进行评价。测试结果表明,与传统算法相比,该算法在客观性能指标和主观视觉一致性方面都有所提高。

异源图像融合;视觉注意机制;视觉一致性;视觉显著度;多尺度融合算法

1 概述

随着各类电子成像技术的发展,图像融合受到广泛的关注和研究,已在远程监控、数字医疗成像、航空遥感、特征识别、高动态范围成像以及压缩传感成像等［1-3］图像领域得到广泛应用。图像融合的目的在于将多幅不同成像模式的源图像组合为单一图像,在融合结果中保留原图像中的全部内容信息并保持主要特征［4-5］。在像素级、特征级以及决策级3个层次的融合方法中,像素级融合得到大量研究和应用,其主要方法包括多尺度分析、稀疏表示、神经网络等［6-8］。

在基于多尺度分析的融合算法规则方面,已提出包括基于局部系数或块能量选大、加权平均及其他更复杂的方法。这些规则以大系数或块能量代表图像中显著信息(如突出目标和边缘)为前提进行融合计算［6］。虽然这些算法取得了较好的融合效果,但共同问题在于根据分解系数本身的大小来确定融合系数,而图像对于人眼的视觉激励是多种区域性因素的共同作用结果,基于数值本身的融合方式与视觉感受没有直接联系。

视觉注意机制(Visual Attention Mechanism, VAM)是人类视觉系统的一个重要特征［9］。研究表明,图像中的不同区域对于人眼具有不同的激励程度。在亮度、颜色以及方向等方面具有快速变化的区域具有更高的注意优先级。通过在融合过程中使

用视觉注意机制,能够使得源图像中的视觉显著区域在融合结果中被显著体现,使得融合结果包含更多的可视信息。这一特点对于最终观察者是人的图像应用,例如视觉监控、数字医疗等,作用尤为明显。本文提出一种基于视觉显著度的异源图像多尺度融合方法及视觉一致性评价指标。通过计算显著度匹配系数来判断源图像间的视觉显著信息互补程度;根据显著度匹配系数进行自适应的近似系数融合。通过显著度匹配系数直方图选取最佳显著度匹配系数。采用计算融合结果与源图像的视觉显著度图差评价融合算法的视觉一致性性能。

2 图像融合算法

近年来最受关注的图像融合算法包括基于多尺度分析和基于稀疏表示2类。多尺度分析融合算法基于近似系数反映图像的局部亮度、细节系数表征局部变化的思路,其主要过程包括多尺度分解、组合以及逆变换重构。

文献［10］提出使用梯度金字塔进行图像融合:输入源图像被分解为梯度图,按照规则进行组合,组合梯度图使用正交镜像滤波器处理后,形成梯度金字塔,通过重构得到融合结果,有效降低了对比度损失。文献［11］使用拉普拉斯金字塔作为分析工具,近似系数使用基于相似度的权重规则,细节系数使用参数化对比度测量方法。文献［12］对基于小波变换的高分辨率全色图像和低分辨率多谱图像融合算法进行了测试比较,证明不同融合规则对于提高空间分辨率和保留光谱质量的不同效果。文献［13］采用平移不变小波进行Landsat图像与SPOT全色图像的融合,测试结果表明SIDWT优于主分量分析以及色度-强度-饱和度变换。文献［14］研究了非下采样轮廓波(NSCT)在多传感器图像融合中的应用。文献［15］研究了基于均匀离散曲波变换的多聚焦图像融合。

在基于稀疏表示的融合算法方面,文献［8］使用NSCT多尺度分析,采用字典学习进行NSCT系数融合,显著减少计算量。文献［16］采用同步正交匹配追踪进行稀疏表示图像融合,取得良好的客观性能评价。此外,基于压缩感知原理的图像融合技术也获得了研究［17］。

目前基于仿生视觉的多尺度图像融合研究相对较少。包括文献［18］根据多码率视觉模型提出的融合算法［19］以及文献［20］提出的局部能量与视觉显著度组合的算法等。已提出算法的不足之处在于: (1)多尺度分解高低频系数融合都采用显著度制导,没有考虑到视觉显著度区域效应对于高低频系数的不同影响;(2)使用简单固定的融合规则,没有考虑到源图像间的视觉信息互补特点。例如文献［20］算法在高低频系数融合中均使用了基于显著度的加权平均策略,会使图像中的细节被模糊。

针对上述问题,本文通过计算显著度匹配系数来反映源图像间的视觉差异,使用该显著度匹配系数指导近似系数的融合;在细节系数的融合使用带有方向连续性检查的选大规则,避免使用显著度引入的区域模糊效应,较已有算法更为合理。

3 视觉注意机制

视觉注意机制是近20年来兴起的一个多学科交叉研究领域,已被应用于认知心理学、人工智能以及图像处理等领域。视觉注意表明图像中在强度、颜色、方向等属性上具有快速变化的区域具有更高的显著度。其最主要的价值在于当面对海量视觉信息时,观察者可以集中有限处理资源优先处理图像中的显著目标［21］。

文献［22］开展了自底向上的选择性注意,在此基础上提出自底向上、数据驱动的VAM模型来计算人眼感受的视觉激励程度。该模型使用金字塔多尺度分析方法和中央-周边差策略计算视觉显著度图(Visual Saliency Map,VSM)。视觉显著度图综合了各类视觉刺激,量化表示了图中每点的视觉激励程度。观察者将首先注意到具有最高显著度的区域,继而按照“胜者为王”和禁止-返回策略遍历整个图像。视觉注意已经被应用于机器视觉、机器人导航以及特征提取等［22］。

图像融合的目的在于保留源图像中的显著信息而不引入虚假信息。已提出的多尺度分析和稀疏表示融合方法中大多根据数值本身来确定融合方法。但视觉感受是多种因素综合作用的结果,只考虑系数本身而非视觉特性可能引入虚假目标。使用视觉显著度图来指导融合使不同源图像中的高显著区域在融合结果中同样被突出,对于存在较大视觉差异的异源图像融合具有突出效果。

图1给出了红外-可见光图像的视觉显著度图比较。图1(a)中显著区域包括屋角、烟囱以及右上角小路,这3个区域在图1(c)中最为显著,如箭头所指;图1(b)中最显著的人体在图1(d)中最为突出。可见对于视觉差异较大的异源图像,其视觉显著区域表征了红外波长和可见光成像模式下主要视觉目标的位置、轮廓和显著程度。使用视觉显著度

指导融合,可完整将异源图像中的显著目标集成在融合结果中,同时不产生虚假目标。

图1 红外-可见光图像及其视觉显著度图

4 融合算法

由于小波变换具有很好的重构能力以及较高的计算效率,因此本文使用小波变换作为多尺度分析工具。图2给出算法的总体流程。

图2 小波变换融合算法流程

算法包括以下步骤:(1)使用Itti模型计算各源图像的视觉显著度图;(2)对源图像进行2D DWT变换;由于Itti模型计算结果为源图像的1/8大小,因此分解层数为3;(3)按照融合规则对近似系数和细节系数进行融合;(4)小波逆变换重构图像。

4.1 近似系数融合

视觉显著度匹配系数为:

其中,SA(x,y),SB(x,y)为输入图像A,B的VSM中(x,y)点处的值,该值表示此位置视觉激励的大小;视觉显著度匹配系数MAB(x,y)通过计算该处异源图像的视觉显著度差来比较图像内容的互补程度。此系数为0表示异源图像的视觉显著度图没有差别,为1则表示其视觉显著度图完全不同。

融合方法为:

当视觉显著度匹配系数小于预定义阈值Mt时,表明异源图像中该位置的视觉显著度相差不大,近似系数采用加权平均;当其大于预定义阈值时,说明该区域只在一幅源图像中被充分展示,采用“选大值”的方法来保持其高显著度。权重WA定义为:

文献［20］在近似系数的融合中使用基于子窗口能量的比较方法,只有当子窗口能量差异较大时才使用视觉显著度进行权重组合。由于子窗口能量只反映亮度高低,不能反映组合变化引起的视觉刺激,因此是不全面的。

4.2 细节系数融合

在细节系数融合中,采用带方向连续性检查的选大值策略。该方法的优点在于融合后某点的水平、垂直、对角三方向细节系数来自同一幅源图像,在保持细节信息量的同时不产生畸变。

该位置φ方向的能量匹配度Mφ:

其中,φ=(h,v,d),分别表示水平、垂直和对角方向。带方向的组合能量匹配度:

其中,取(Wv,Wh,Wd)=(0.25,0.25,0,5)。当能量

匹配度大于阈值Th(经验值0.7)时,采用加权平均:

其中,权重系数WA有:

当能量匹配度小于Th时,有:

文献［20］在细节系数的融合中采用与近似系数同样的加权策略,会使得低显著区域的细节被模糊,例如大片平坦区域的微小细节。

5 实验结果与分析

给出对红外-可见光异源图像进行融合的实验结果,并与拉普拉斯金字塔算法(LP)5、DWT算法5、文献［20］算法进行比较。LP算法和DWT算法的融合规则均为近似系数平均以及细节系数选大。本文采用的评价指标包括:(1)文献［23］提出的基于结构相似度的3项指标:Q,QW和Q24E; (2)文献［25］提出的QAB/F测度,它评价从源图像传递到融合图像的边缘信息量;上述指标越接近1,算法效果越好;(3)信息熵描述图像信息含量。除上述指标外,定义视觉显著度差来评价主观视觉一致性:

其中,M,N为图像大小;SMresult为融合结果视觉显著度图;SMint为组合显著度图:

组合显著度图完整集合了各异源图像的显著目标,同时其显著度大小分布不发生变化。

图3给出4种算法的融合结果。比较4种融合结果,可见在图3(c)和图3(d)中最重要目标,即人体与周围环境的区分度最高,这是由于在近似系数融合考虑了视觉显著度的结果,因而比图3(a)和图3(b)的近似系数简单平均显得更为突出;从细节角度观察,图3(c)最为模糊,特别是在烟囱周围区域。这是由于文献［20］在细节系数融合中采用加权平均方法造成的。而其他3种算法由于在细节系数融合中采用了选大或更合理的方法,因而能够保留图像中的细节变化。由此例可见,文献［20］在细节系数采用基于显著度的加权平均方法并不合理。而本文算法在近似系数融合中使用视觉显著度,在细节系数融合中使用了带有方向连续性检查的选大值策略,因此既保证了显著区域的突出,又使得图像细节不被模糊。图4给出组合显著度图及4种融合结果的显著度图。

图3 红外-可见光融合结果比较

图4 红外-可见光融合结果的VSM比较

表1给出客观评价指标及视觉一致性比较。由表1可见,本文算法(阈值0.5)和LP算法的客观评价指标好于其他2种算法,本文算法同时具有最小的视觉显著度差,这与图4的比较一致。

表1 红外-可见光融合结果性能评价指标比较

在上述例子比较上,本文算法均具有最好的指标,LP算法的性能次之,DWT算法和文献［20］算法最差。在视觉一致性比较方面,本文算法的指标明显高于其他算法,LP算法好于DWT算和文献［20］算法,这与客观指标的比较一致。特别在图像内容差别较大的红外-可见光图像融合例子中更加明显。上述结果证明本文算法在近似系数和细节系数融合上的有效性。

根据式(1)定义,视觉显著度匹配系数定义为源图像对应位置显著度差值与其和的比值:为0时源图像在此位置显著度相同;为1时则差别最大。当其小于阈值Mt时,表明源图像在该位置的显著度比较接近,近似系数采取权重平均方法;当大于阈值时,为突出显著目标采取选大值方法。因此如何选取合理的阈值是算法的关键。由于光谱特性及成像模式的区别,不同的异源图像融合时最优阈值并不相同。表2给出红外-可见光融合例子中不同阈值下客观评价指标的比较(为便于比较,将阈值为0.5时的指标规则化为1)。

表2 可见光-红外融合中不同阈值的性能比较

由表2可见:随着阈值增大,基于结构相似性的3项指标、QAB/F测度以及视觉一致性都单调上升。其原因可以解释为:原来由于视觉匹配系数大于阈值而进行选最大值的位置,随阈值增大变为加权平均,因此融合结果与源图像的结构相似性提高;熵值随着阈值的增大而逐渐减小,原因为选最大值较加权平均使融合结果包含更多细节变化,具有更高的信息量。

大量实验比较表明,不同类型源图像的显著度匹配系数分布规律及其平均值差异很大:多聚焦图像平均值为0.1～0.2,红外/可见光图像为0.4～ 0.7,CT/MRI、遥感图像为0.5～0.9。图5为红外-可见光例子中视觉显著度匹配系数直方图。

图5 红外-可见光图像的显著度匹配系数直方图

由图5可见,绝大部分匹配系数小于0,7,0.8～1间的大系数表明部分区域的显著度差异非常明显(人体部分),其整体平均值为0.485 2。大量实验表明,当阈值取显著度匹配系数平均值时具有最优的视觉显著度差及其他各项指标的综合最优值,即:

当阈值大于匹配系数平均值后,由表2可见各项指标增减随阈值提高的变化程度非常缓慢,表明源图像中的绝大多数显著区域已被集成。

此外,本文所提出的视觉一致性指标VSD与结构相似性3项指标具有完全一致的变化趋势和规律,证明该指标准确反映了融合结果中的显著信息含量及与源图像的视觉相似度。

6 结束语

本文提出一种基于视觉显著度的异源图像多尺度融合算法,并首次提出使用视觉一致性来评价融合算法在保持主观视觉一致性方面的性能。实验分析结果表明,本文算法较对比算法在客观指标和主观视觉一致性方面都有提升。所提算法能够使得异源图像中包含的不同显著目标在融合结果中被更好地表现出来。提出的主观视觉一致性评价指标能够评价视觉显著目标的融合保持效果,同时可以对融合过程中产生的虚假视觉信息进行量化评估,这是已有的客观评价指标所不具备的。

［1]Seng Cher-Hau,Bouzerdoum A,Amin M G.Two-stage Fuzzy Fusion with Applications to Through-the-Wall Radar Imaging［J］.IEEE Geoscience and Remote Sensing Letters,2013,10(4):687-691.

［2]Kao Chih-Chung,Chen Shou-Hung.Integrating Image Fusion and Motion Stabilization for Capturing Still Images in High Dynamic Range Scenes［J］.IEEE Transactions on Consumer Electronics,2006,52(3): 735-741.

［3]Luo Xiaoyan,Zhang Jun,Yang Jingyu.Classification BasedImage-fusionFrameworkforCompressive Imaging［J］.Journal of Electronics Imaging,2010, 19(3):1-14.

［4]Goshtasby A,Nikolov S.Image Fusion:Advances in the State of the Art［J］.Information Fusion,2007,8(2): 114-118.

［5]Dong Jiang,Zhuang Dafang,Huang Yaohuan.Advances inMulti-sensorDataFusion:Algorithmsand Applications［J］.Sensors,2009,9(10):7771-7784.

［6]Krista A,Zhang Yun,Peter D.Wavelet Based Image Fusion Techniques——AnIntroduction,Reviewand Comparison［J］.ISPRS Journal of Photogrammetry and Remote Sensing,2007,62(4):1-13.

［7]Kong W W,Lei Y J,Lei Y.Image Fusion Technique Based on Non-subsampled Contourlet Transform and AdaptiveUnit-fast-linkingPulse-coupledNeural Network［J］.IET Image Processing,2011,5(2): 113-121.

［8]Wang J,Peng J Y,Feng X Y.Image Fusion with Nonsubsampled Contourlet Transform and Sparse Representation［J］.Journal of Electronics Imaging,2013,22(4): 1901-1915.

［9]魏龙生.视觉信息处理中注意机制计算模型研究［D］.武汉:华中科技大学,2011.

［10]Petrovic V S,XydeasCS.Gradient-basedMultiresolution Image Fusion［J］.IEEE Transactions on Image Process,2004,13(2):228-237.

［11]Nercessian S C,Panetta K A,Agaian S S.Multiscale Image Fusion Using an Adaptive Similarity-based Sensor Weighting Scheme and Human Visual System-inspired Contrast Measure［J］.Journal of Electronics Imaging, 2012,21(2):1112-1117.

［12]Guo Qing,Liu Shutian.Performance Analysis of Multispectral and Panchromatic Image Fusion Techniques Based on Two Wavelet Discrete Approaches［J］.International Journal for Light and Electron Optics, 2011,122(9):811-819.

［13]Li Shutao,Kwok J T,Wang Yaonan.Discrete Wavelet Frame Transform Method to MERGE Landsat TM and SPOT Panchromatic Images［J］.Information Fusion, 2002,3(1):17-23.

［14]常 霞,焦李成,贾建华.基于非下采样Contourlet的多传感器图像自适应融合［J］.计算机学报,2009, 32(11):2229-2239.

［15]杨 扬,戴 明,周箩鱼.基于均匀离散曲波变换的多聚焦图像融合［J］.红外与激光工程,2013,42(9): 2547-2552.

［16]Yang Bin,Li Shutao.Pixel-level Image Fusion with SimultaneousOrthogonalMatchingPursuit［J］.Information Fusion,2012,13(1):10-19.

［17]Li X,Qin S Y.Efficient Fusion for Infrared and visible Images Based on Compressive Sensing Principle［J］.IET Image Process,2011,5(2):141-147.

［18]Rodriguez S R,GarcíaJA,FdezVJ.Axiomatic ApproachtoComputationalAttention［J］.Pattern Recognition,2010,43(4):1618-1630.

［19]Rodriguez S R,GarcíaJA,FdezVJ.From Computational Attention to Image Fusion［J］.Pattern Recognition Letter,2011,32(14):1178-1195.

［20]Ren Xianyi,Liu Wei,Duan Peng,et al.Image Fusion Based on WaveletTransformandVisualAttentionMechanism［EB/OL］.(2009-10-12).http://www.researchgate.net/publication/252641798_Image_fusion_based_on_ wavelet_transform_and_visual_attention_mechanism.

［21]Borji A,Itti L.State-of-the-Art in Visual Attention Modeling［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence,2013,25(1):185-207.

［22]Itti L.Models of Bottom-up andTop-downVisual Attention［D］.Pasadena,USA:California Institute of Technology,2000.

［23]Wang Zhou,Bovik A C.A Universal Image Quality Index［J］.IEEE Signal Processing Letter,2002,9(3): 81-84.

［24]Piella G,Heijmans H.A New Quality Metric for Image Fusion［C］//Proceeding of International Conference on Image Processing.Barcelona,Spain:IEEE Computer Society,2003:173-176.

［25]Xydeas C S,PetrovicV.ObjectiveImageFusion Performance［J］.Electronics Letters,2000,36(4):308-309.

编辑 顾逸斐

Difference-source Image Fusion Based on Visual Attention Mechanism

HU Yanxiang,WAN Li
(College of Computer and Information Engineering,Tianjin Normal University,Tianjin 300387,China)

A Visual Attention Mechanism(VAM)based multi-scale image fusion algorithm is proposed in this paper, which tries to overcome the inconformity between fusion rules and observer′s visual characteristics.Visual saliency matching coefficients based on visual attention mechanism are computed and employed in Wavelet Transform(WT) approximate coefficient fusion.In WT detail coefficient fusion,select-max rule with directional consistency checking is used.A fusion performance evaluating method based on the comparison of visual saliency is proposed to measure visual consistency between source images and fused results.Experimental results demonstrate the superiority of the proposed algorithm in terms of subjective visual similarity and objective quantization comparison.

different-source image fusion;Visual Attention Mechanism(VAM);visual consistency;visual saliency; multi-scale fusion algorithm

胡燕翔,万 莉.基于视觉注意机制的异源图像融合［J］.计算机工程,2015,41(3):247-252.

英文引用格式:Hu Yanxiang,Wan Li.Difference-source Image Fusion Based on Visual Attention Mechanism［J］.Computer Engineering,2015,41(3):247-252.

1000-3428(2015)03-0247-06

:A

:TP391.41

10.3969/j.issn.1000-3428.2015.03.046

国家自然科学基金资助项目(61274021)。

胡燕翔(1969-),男,副教授、博士,主研方向:图像处理,计算机视觉;万 莉,硕士研究生。

2014-02-18

:2014-05-14E-mail:yanxianghu@126.com