基于灰度相似性的图像融合质量评估标准

纪启国

(安徽城市管理职业学院计算机系,安徽 合肥 230011)

基于灰度相似性的图像融合质量评估标准

纪启国

(安徽城市管理职业学院计算机系,安徽 合肥 230011)

基于MI和SSIM的图像评估方法很多,但它们在评估的效果与质量上准确度不够,针对不足之处,提出了一种新的图像融合质量评估标准,其基于灰度相似性并利用Minkovski距离的颜色似然偶数来对图像的融合效果进行评估.实验结果表明,利用该方法,对图像进行融合评估时,效果优于目前同类的大多数评估方法.

图像处理;图像融合质量评估;灰度相似性

0 引 言

图像融合就是将来自不同图像传感器或信道上的同一图像,利用现有的计算机图像处理技术,尽可能多地提取源图像的有用信息,提高图像信息的利用率,并最终融合出近乎源图像的高质量图像.文献[1-16]给出了对图像的融合效果与质量进行评估的各种方法及特点.在此基础上,本研究提出一种基于灰度相似性的图像融合质量评估标准,它能有效地解决基于交互信息(MI)和结构相似度(SSIM)等评估方法对噪声污染后的图像评估不够准确的问题,实验结果表明,这种新的评估标准在衡量图像融合效果中表现更为好一些.

1 基于灰度相似性的融合度量

灰度相似性(颜色)常用于序列图像的目标追踪,对于2个颜色矢量距离的度量最常见的则是Bhattacryya距离[13].本研究采用颜色信息为输入源图像中的有用信息,把Minkovski距离作为相似度的度量.

1.1 基本原理

假设h1(i)和h2(i)是2幅图像的颜色直方图,i∈[0,I].其概率分布为,

2者之间的Minkovski距离为,

颜色似然偶数与Dm的指数函数成比例,

其中,σ取经验值.

式(4)定义了一种颜色似然偶数,它具备对噪声、旋转和局部阻塞的鲁棒性[14].颜色似然偶数对于灰度图像来说,可以认为是灰度似然偶数L(z1,f).在灰度空间上,应最大限度地把有用信息保存在原始图像中.因此,在评估融合效果中灰度似然偶数是可以被采用的.

假设,L(z1,f),L(z2,f)是2幅图像的灰度似然偶数值,定义它和融合图像间的融合评估函数为,

值得注意的是,式(5)输入图像的数目可以为任意正整数.

1.2 评估方法的数学分析

对式(5)进行加权平均融合评估分析设2幅输入图像的像素值为zk(k=1,2),表示为,

其中,Ak决定了理想情况下观测到的物体质量,s是理想场景(无噪声和失真影响),Aks是高斯随机变量,是加性失真和噪声,它是均值的高斯随机变量,方差为.nk、Aks相互之间是独立的[15].使用加权平均法后得到的融合图像为,其中,ω1+ω2=1,0 ＜ ω1＜1.

这样,zk也是高斯随机变量,均值 μzk=βkμs,方.对应式中的 f也是高斯随机变量,均值 μf= μs(β1ω1+β2ω2),方差

为了使计算不太复杂又有一定的代表性,令式(3)中的 q=2.这样,Minkovski距离就变为,

计算这个积分,得到,

将一幅输入图像的噪声方差固定,观察另一幅图像的噪声与Q变化曲线(见图1).参数设计为,ω1=0.7,ω2=0.3,μs=100,β1=0.1,β2=0.05,σn2=0.0001,σs=0.1.可以观察到,Q随噪声方差变大而变大,但它的增长速率却在逐渐减小.这主要是使用了加权均值法,它将噪声进行加权后存于融合的图像当中,这样两者就越接于白噪声图像.

图1 Q关于的变化曲线

现在将加权系 ω设为变量,在输入图像噪声不变的情况下Q的变化曲线(见图2).参数设计为,μs=100,σn1=σn2=0.0001.图2(a)中的其他参数设定为 ,β1=0.1,β2=0.05;在图 2(b)中,β1=β2=0.1.可以看到,β1＞β2时,根据图2(a),最好的融合参数是 ω1=1,ω2=0,融合图像与输入图像相等;当 β1=β2时,曲线的两端出现最大值,而最小值出现在 β1＞β2=0.5处,这和上面得到同样的结果.

图2 Q关于ω1的变化曲线

从理论数据分析的结果来看,式(5)取得的效果不理想,其原因:一是由于加权均值法本身的缺陷;二是对图像信息的不固定性没有考虑到.

1.3 新度量函数

Wang等[16]对每个窗口中的本地质量指数用显著程度加权.它是输入图像重要程度的一个具体的反映,是可被量化了的“有用信息”的值.假设 s(a|w)和s(b|w)分别是a,b窗口中的显著程度,计算权值为,

这样,就可以得到融合质量指数,

结合式(10)显著度带来的权值式(11),对灰度似然函数进行加权,最终可得到新度量函数为,

2 实 验

为验证一下新度量函数的有效性,本研究使用TNO Human Factors Research Institute所提供的“UNcamp”序列和文献[1]所使用的120组异源图像进行实验.实验参数分别是:步长为32,计算Qm时的滑动窗大小为128×128,式(3)中的q取2,式(4)中的q取0.015.而本地显著度采用方差.

在第一个实验中,本研究采用了均值法、离散小波变换法(DWT)[18]、拉普拉斯金字塔(LP)[19]和形态学差异金字塔(MDP)[20]4种方法分别对源图像进行融合处理,图3是其中一组的图像融合结果.

图3 源图像及融合结果

本研究分别采用文献[3]的MI,文献[13]的Q,文献[21]的以及本文提出的Qm4种方法来评估这些图像的融合效果,得到的结果如表1所示.

表1 各种评估方法对图3中图像融合的评价结果

从表1及图3可看出,均值法和DWT的融合结果明显没有LP和MDP好,对比表1可以看出,Qm与直观结果基本吻合;从MI的结果来看,均值法最好;除了 Qm之外表现最好,但它也显示出MDP的效果不及DWT,这与直观效果不相符.

在实验中选择了32组其他源图像,其图像融合后的评估结果如图4所示.

图4 图像融合后的评估结果

显而易见,对于MI来说,均值法始终取得最好的效果;在评估MDP效果时,人眼或多或少会出现主观印象偏差;而Qm在4种融合方法排序的结果表明它和人眼视觉相吻符.

在第二个实验中,本研究仍然采用DWT、梯度金字塔(GRP)[22]、均值法和偏微分方程法(PDE)[23]4种融合方法.

用每种方法对每组融合图像按照成绩的高低排成一个序列,并对实验的120组图像的排序名次进行了分别统计,结果如表2所示.

表2 4种融合方法名次排序的统计

表2数据显示:MI评估方法中排在第一的是均值法;Q的结果与融合算法的常规评价不符;本研究提出的评估方法Qm中,成绩最好的是PDE,均值法则处于最后一位,这与的结果相近,这也是现阶段学者们的普遍共识.

3 结 论

针对现有图像评估方法中噪声污染后的图像评估不够准确的具体问题和存在的一些根本缺陷,本研究提出了一种基于灰度相似性的图像融合质量评估标准.实验表明,这种评估标准更为接近人眼感知,在性能上优于现有的一些评估方法.

[1] Petrovic V.Subjective tests for image fusion evaluation and objective metric validation[J].Information Fusion,2007,8(2):208-216.

[2] Liu Z,Syth D S,Laganiere R.A feature based metric for the quantitative evalution of pixel level image fusion[J].Computer Vision and Image Understanding,2008,109(1):56-68.

[3] Qu Guihong,Zhang Dali,Yan Pingfang.Information measure for performance of image fusion[J].Electronics Letters,2002,38(7):313-315.

[4] 姜丹.信息论与编码[M].合肥:中国科学技术大学出版社,2001.

[5] Hong R,Wang C,Wang M,et al.Salience preserving multifocus image fusion with dynamic range compression[J].International Journal of Innovative Computing,Information and Control,2009,5(8):2369-2380.

[6] Cvejic N,Canagarajah C N,Bull D R.Image fusion metric based on mutual information and Tsallis entropy[J].Electronics Letters,2006,42(11):626-627.

[7] Wang Z,Bovik A C.A universal image quality index[J].IEEE signal processing letters,2002,9(3):81-84.

[8] Piella Gemma,Heijmans Henk.A new quality metric for image fusion[C]//Proceedings 2003 International Con ference on Image Processing.Barcelona:IEEE Press,2003:173-176.

[9] 李珊珊,王琦,冯兴乐.基于亮度和对比度模型的图像融合质量评估标准[J].激光与光电子学进展,2011,48(6):1-7.

[10] Chen G,Yang C,Po L,et al.Edge-based structural similarity for image quality assessment[C]//Proceedings of ICASSP 2006.Toulouse:IEEE Press,2006:993-996.

[11] Li S,Hong R,Liu B,et al.A quality metric based on colorsimilarity for image fusion[J].International Journal of Information Acquisition,2008,5(3):235-245.

[12] Wang Hanzi,Suter David.Efficient visual tracking by probabilistic fusion of multiple cues[C]//The 18th International Conference on Pattern Recognition(ICPR'06).Hongkong:IEEE Press,2006:892-895.

[13] Cvejic N,Nikolov S G,KnowlesH D,et al.The effect of pixel-level fusion on object tracking in multi-sensor surveil-lance video[C]//IEEE Conference on Computer Vision and Pattern Recognition 2007(CVPR'07).Minneapolis,MN:IEEE Press,2007:1-7.

[14] Perez P,Hue C,Vermaak J,et al.Color-based probabilistic tracking[C]//The European Conference on Computer Vision(ECCV 2002).Copenhagan:Springer-Verlag Berlin Heidelberg,2002:661-675.

[15] Chen Y,Xue Z,Blum R S.Theoretical analysis of an information-based quality measure for image fusion[J].Information Fusion,2007,9(2):161-175.

[16] Wang Z,Bovik A C.A universal image quality index[J].IEEE Signal Processing Letters,2002,9(3):81-84.

[17] Toet A.Detection of dim point targets in cluttered maritime backgrounds through multisensor image fusion[C]//Proceedings SPIE 4718,Targets and Backgrounds Ⅷ:Characterization and representation.Orlando:SPIE Press,2002:118-129.

[18] Nunez J,Otazu X,Fors O,et al.Multiresoluntion-based image fusionwith additive wavelet decomposition[J].IEEE Transactions on Geoscience and Remote Sensing,1999,37(3):1204-1211.

[19] Burt P J,Adelson E H.The Laplacian pyramid as a compact image code[J].IEEE transactionson Communications,1983,31(4):532-540.

[20] Marshall S,Matsopoulos G K.Morphological data fusion in medical imaging[C]//IEEE Winter Workshop on Nonlinear Digital Signal Processing,1993.Tampere,Finland:IEEE Press,1993.

[21] Xydeas C S,Petrovic V.Objective image fusion performance measure[J].Electronics Letters,2000,36(4):306-309.

[22] Aiazzi B,Alparone L,Baronti S,et al.Assessment of pyramidbased multisensor image data fusion[C]//Proceedings SPIF 3500,Image and Signal Processing for Remote Sensing IV.Barcelona:SPIE Press,1998:237-248.

[23] Hong R,Wang C,Wu X,et al.Salience preserving multi-focus fusion[C]//2007 IEEE Internation Conference on Multimedia and Expo.Beijing:IEEE Press,2007:1663-1666.

Quality Evaluation Standard For Image Fusion Based on Gray Similarity

JI Qiguo
(Department of Computer,Anhui Occupational College of City Management,Hefei 230011,China)

The image evaluation methods based onMI and SSIM are not accurate enough in effect and quality of evaluation,so we put forward a new quality evaluation standard for image fusion,which is based on gray similarity and uses the even number of color likelihood based on Minkovski distance to measure the fusion effect.The experimental result shows that the proposed method is superior to most of the existing evaluation methods during evaluating the image fusion performance at different levels.

image processing;quality evaluation of image fusion;gray similarity

TP391.41

A

1004-5422(2013)01-0054-04

2012-12-25.

纪启国(1980—),男,硕士,讲师,从事计算机图像处理技术研究.