基于GUI的彩色图像融合客观评价系统的研究

刘 恋, 郭立强

(1.淮阴师范学院 物理与电子电气工程学院, 江苏 淮安 223300;2.淮阴师范学院 计算机科学与技术学院, 江苏 淮安 223300)

基于GUI的彩色图像融合客观评价系统的研究

刘 恋1, 郭立强2

(1.淮阴师范学院 物理与电子电气工程学院, 江苏 淮安 223300;2.淮阴师范学院 计算机科学与技术学院, 江苏 淮安 223300)

随着图像融合技术的发展,图像融合客观评价指标已成为模式识别领域的一个新的研究方向．图像融合客观评价方法多是针对灰度图像,彩色图像融合客观评价方法相对较少．介绍了传统的灰度图像融合评价方法和彩色图像融合客观评价指标,通过实验对该理论的几种经典评价方法进行分析,最后将实验结果用基于GUI的彩色图像融合客观评价系统形式给出,期望对彩色图像融合客观评价有所帮助．

彩色图像; 图像融合; GUI; 客观评价指标

0 引言

图像融合就是设计一种方法,将多个传感器所拍摄的同一目标或场景图像融合成为一幅新的图像,这个过程不是将图像简单的叠加,而是利用互补信息,去除冗余,提高图像的可靠性和清晰度,进而方便人眼观察或计算机处理．20世纪90年代初,彩色图像融合技术在美国率先发展起来,随着传感器技术的发展,我们获得、存储彩色图像的能力越来越强,彩色图像融合已经成为图像融合领域的发展方向和研究热点[1-3]．为了甄别彩色图像融合算法性能的优劣,我们通常采用两类评价方法,即主观评价方法和客观评价方法．主观评价方法需要统计大量的观察者所给出的评价结果,成本高,实时性差,而彩色图像融合客观评价方法通过合理量化图像进而给出客观的评价,避免了上述缺点,并且有利于图像融合算法性能的提高和图像融合方案的优化．

现有的图像融合客观评价方法多是针对灰度图像[4-7],或者是将彩色图像转换为灰度图像来研究．好的客观评价指标必须要符合人眼视觉感知,达到主客观评价一致．本文对现有彩色图像客观评价指标进行综述,并且利用GUI构建彩色图像客观评价系统,旨在向读者介绍彩色图像融合客观评价指标的发展动态,通过彩色图像融合客观评价系统将评价指标的性能直观体现出来,希望能够引起更多科研人员关注该领域的研究工作．

1 彩色图像融合客观评价指标研究

1.1 传统灰度图像融合客观评价指标

灰度图像的评价指标也可以用于彩色图像融合,需要把融合后的彩色图像变换成灰度图像然后再应用灰度图像的评价指标．这样处理会使彩色图像的颜色信息无法得到量化,难以实现客观评价的需求．有关灰度图像融合的经典评价指标有:基于互信息(MI)的客观评价方法[4]、基于边缘信息传递[5]的方法(Qabf)、基于光谱扭曲度(IDM)的评价方法[6]、基于相关系数(CC)的评价方法[7]．近两年来,灰度图像融合客观评价指标取得了新的进展．

Han[8]等作者提出了一种基于视觉信息保真度(VIFF)的多分辨率融合客观评价指标,该指标首先对参考图像和测试图像进行划分,得到一系列子图像．接下来,在有噪声和无噪声条件下分别计算局部SNR得到局部VIFF,最后整幅图像的VIFF是通过局部指标加权平均得到．

Kaplan[9]等作者出了研究单调回归的非线性相关系数(MC),揭示了MC的内涵:图像质量特征与人眼视觉的一致性,基于此,文章提出了归一化广义相似比率用于评估具有高MC值的统计特性并用于图像融合评价．

M.B.A.Haghighat 等人通过边缘分布来估计联合概率分布的方式来计算互信息,并以此得到了一种无参图像融合客观评价指标[10]．Zhang[11]等作者采用结构相似度指标并结合人类视觉感知系统的特点提出了一种视频图像融合评价算法．Kotwal[12]提出了融合一致性的概念,在此理念下作者对一些经典客观评价指标进行修改实现了对高光谱图像的融合评价．

1.2 彩色图像融合客观评价指标

Y.Yuan等提出了彩色与红外图像融合评价指标[13]:ISM,ICM,CCM，ISM指标是融合图像细节信息(如边缘信息)的评价指标,是通由图像梯度的计算得来,由式(1)确定:

(1)

其中,Gx和Gy分别是融合图像在x轴和y轴方向的索贝尔梯度算子．通过对各个像素点计算Gx和Gy的值来得到融合图像的局部梯度信息,再经过累加求和、取平均就得到整幅图像的平均梯度值,即ISM值．ISM值越大,说明图像的细节信息越多,融合效果就越好．

ICM指标是由灰度对比度和彩色对比度构成,分别由式(2)和(3)计算得到

(2)

(3)

其中,P(·)是图像直方图函数,αI,αL是与之相关的参数,详见文[13]．ICM指标是由式(4)确定

(4)

ICM的取值范围是[0,1],ICM值越大,说明对比度越好,融合图像的质量就越高．CCM值由彩色色度CCM 1和彩色差分梯度CCM 2构成．CCM 1由式(5)计算得到

(5)

(6)

CCM=(CCM 1+CCM 2)/2

(7)

CCM值越大,说明融合图像的色彩越丰富,融合质量越高．

在融合指标的构建上,Tsagaris[14]基于两方面的考虑:原始图像和融合图像间到底有多少相同的信息;融合图像中颜色信息的分布情况,文章提出用互信息和条件互信息来进行前者的评价,给出IFPM指标．同时,在CIELAB颜色空间构建HD指标用于衡量颜色信息．

此外,基于四元数矩阵分解的彩色图像融合客观评价指标(QISVD)[15],以及基于四元数卷积的客观评价指标[16]．基于四元数方法是把一幅彩色图像f(x,y)用纯四元数的形式进行表示:

f(x,y)=fR(x,y)·i+fG(x,y)·j+fB(x,y)·k

(8)

其中的fR(x,y),fG(x,y)和fB(x,y)分别代表彩色图像R、G和B颜色分量．这一将图像以四元数建模的方式避免了传统的分通道处理图像导致图像颜色信息缺失的特点．在构造无参客观评价指标过程中,利用四元数值边缘模板和彩色图像四元数卷积运算,获取彩色图像的细节信息并以权重给出．最后通过量化计算给出融合图像的客观评估结果．

2 彩色图像客观评价系统的设计与实现

我们采用Matlab软件来实现彩色图像融合质量评价系统．采用Matlab软件进行编程的最大特点就是简单和直接,它包含丰富的工具箱和系统函数,使开发人员从繁琐的程序代码中解放出来．此外,Matlab可以与传统的Fortran语言及C语言进行联编,也可以进行并行计算(包括GPU计算)．同时,该软件还有便捷强大的绘图功能和图形用户界面(GUI),是广大工程技术人员和科研人员首选的编程计算和仿真工具．

彩色图像融合质量评价系统分为两部分:数值计算和图形用户界面．数值计算方面,我们主要编写相关的客观质量评价函数,在图形用户界面中对相关句柄图形对象编写回调函数,在回调函数中对相关评价函数进行调用．而图形用户界面主要是实现图像显示,客观评价方法的选择,以及最终评价结果的显示及相关结果的保存．

运行GUI界面对应的m文件(FusionEvaluation1.m)会生成如图1所示的界面．在该界面下,单击“读图像”按钮,会弹出select picture对话框,进入选择并读取原始图像．为了便于进行主观评价,需要在系统界面显示所有的融合图像,我们选择了4种经典的图像融合算法,即基于均值、基于PCA、基于小波和基于四元数小波的融合方法,用所生成的4幅融合图像来验证客观评价指标的性能．当我们单击“图像融合”按钮,会在“融合后的图像”面板上显示4种融合方法下的融合结果图,详见图2．

图1 评价系统界面 图2 图像融合结果显示

在评价系统界面上分别选择基于互信息(MI)的评价方法、基于相关系数(CC)的评价方法、基于光谱扭曲度(IDM)的评价方法、灰度图像融合的评价方法(Qabf)、基于四元数的评价方法所对应的5个单选按钮,就会分别弹出相应的客观评价指标的结果柱状图．图3是其中的两个评价指标的结果图．

图3 基于互信息(MI)方法评价结果柱状图和基于四元数方法评价结果柱状图

3 实验结果与分析

针对两组待融合的原始图像,分别采用均值方法、基于PCA的方法、基于小波的方法和基于四元数小波的融合算法得到相应的融合图像．上述4种彩色图像融合方法所得到的融合图像在视觉感知上有着明显不同．针对4幅融合后的彩色图像,采用基于互信息(MI)的客观评价方法、基于相关系数(CC)的评价方法、基于光谱扭曲度(IDM)的评价方法、灰度图像融合的评价方法(Qabf)、基于四元数的评价方法进行对比．

第一组实验的原始待融合图像和融合结果如图4所示,原始图像1的上半部分是清晰的,而下半部分是模糊的．相反,原始待融合图像2的上半部分是模糊的,下半部分是清晰的．这组图像分别用均值方法、基于PCA的方法、基于小波的方法和基于四元数小波的方法进行融合．

图4 彩色图像融合实验(Plane)

对比(c)、(d)、(e)和(f)这4幅图像,不难发现基于均值的方法所得到的图像存在一定的模糊,这主要是该融合算法只是简单的对原始图像进行像素上的求平均值．基于主成份分析(PCA)的方法的融合结果最差,存在明显的颜色失真同时图像的上半部分有很明显的模糊．这也充分说明PCA方法适合于高光谱图像融合,并不适合于彩色图像融合．相比而言,基于小波和基于四元数小波的融合方法得到的结果图像效果较好．仔细对比之下,基于四元数小波的方法在清晰度上要优于传统小波方法．

表1 彩色图像融合客观评价结果比较(plane1)

表1给出了第一组图像plane1的评价指标,是对图像客观定量的分析结果．表1的每一行表示同一评价指标对不同融合图像的评价结果,从上到下依次是互信息(MI)的客观评价结果、Qabf评价结果、相关系数(CC)评价结果、光谱扭曲度(IDM)评价结果、基于四元数的评价结果．这5种评价指标中,只有IDM指标是负向指标,也就是某幅图像的指标值越小,就认为该图像的融合结果越好．而其余5种评价指标都是正向评价指标,即值越大表示融合图像质量越好．

从表1我们可以看出,MI指标认为基于PCA的融合算法最好,这与前文我们定性分析的结果不符．CC指标显示传统小波方法优于四元数小波融合方法,这也与人眼视觉感知相违背．IDM指标给出了传统小波的融合算法结果最优的不正确结论．Qabf和四元数方法虽然给出了四元数小波算法融合效果最好,但这两个该指标表明PCA方法优于均值方法．

第二组实验采用的是第一组真实场景图像,如图5所示,原始图像1的前景清晰而背景模糊,相反的,原图像2的背景清晰而前景模糊．本组实验也采用均值方法、PCA方法、小波方法和四元数小波方法进行图像融合,所得融合结果图像依次为图5(c)～(f)所示．

图5 彩色图像融合实验(real scene)

观察图5,我们能得到如下信息,PCA方法和均值方法都有颜色失真,但前者颜色失真更严重．小波和四元数小波方法融合图像颜色保持很好,但从细节上观察,基于四元数小波的融合方法得到的融合图像更清晰．综上,四元数小波方法最优,小波方法次之,均值方法第三,PCA方法最差．

表2 彩色图像融合结果比较(real scene)

从表2我们可以看出,MI、CC和IDM指标显示小波方法最优,这与视觉感知不相符,四元数方法显示PCA方法优于均值方法,这也与主观评价相违背,而Qabf给出了符合视觉感知的正确结果．

综上所述,基于互信息(MI)的客观评价指标、Qabf评价指标、相关系数(CC)评价指标、光谱扭曲度(IDM)评价指标和基于四元数的评价指标都有优缺点,针对不同的融合图像,所给出的评价结果不同,不能够给出与视觉感知一致的稳定的评价结果．

4 结论与展望

本文所构建的彩色图像客观评价系统基本实现了彩色图像融合客观评价指标的对比功能,未来的工作是研究出更好的评价算法,在该平台下进行扩展．由于现有的彩色图像融合客观评价指标不能够与人眼视觉感知相一致,达到主客观评价相吻合．目前,彩色图像融合评价领域并没有一个公认的客观评价指标,这给研究人员带来了困难和挑战,这也是一个活跃的研究方向,值得研究人员去发掘和探索．

[1] YIN S F, Cao L C, Ling Y S,et al. One color contrast enhanced infrared and visible image fusion method[J]. Infrared Physics & Technology, 2010,53: 146-150.

[2] Mignotte M. A multiresolution markovian fusion model for the color visualization of hyperspectral images[J]. IEEE Trans. Geoscience and Remote Sensing, 2010, 48(12): 4236-4247.

[3] 王昕. 含噪声图像的多聚焦融合算法[J]. 光学精密工程,2011,19(12):2977-2984.

[4] Hossny M, Nahavandi S, Creighton D. Comments on Information measure for performance of image fusion[J]. Electronics Letters, 2008, 44(18): 1066-1067.

[5] Xydeas C S, Petrovic V. Objective image fusion performance measure[J]. Electronics Letters, 2000, 36(4): 308-309.

[6] Li Z H, Jing Z L,Yang X H, et al. Color transfer based remote sensing image fusion using non-separable wavelet frame transform[J]. Pattern Recognition Letters,2005, 26(13): 2006-2014.

[7] Han S S, Li H T, Gu H Y,et al. The study on image fusion for high spatial resolution remote sensing images[M]. //The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol XXXVII Part B7.

[8] Han Y, Cai Y Z, Cao Y, et al. A new image fusion performance metric based on visual information fidelity[J]. Information Fusion, 2013,14(2):127-135.

[9] Kaplan L M, Burks S D, Blum R S, et al. Analysis of Image Quality for Image Fusion via Monotonic Correlation[J]. IEEE Journal of Selected Topics in Signal Processing, 2009, 3(2):222-235.

[10] Haghighat M B A, Aghagolzadeh A, Seyedarabi Hadi. A non-reference image fusion metric based on mutual information of image features[J]. Computers and Electrical Engineering, 2011,37(5):744-756.

[11] Zhang Q, Wang L, Li H J, et al. Video fusion performance evaluation based on structural similarity and human visual perception[J]. Signal Processing,2012,92(4):912-925.

[12] Kotwal K, Chaudhuri S. A novel approach to quantitative evaluation of hyperspectral image fusion techniques[J]. Information Fusion,2013,14(1):5-18.

[13] Yuan Y H, Zhang J J, Chang B, et al. Objective quality evaluation of visible and infrared color fusion image[J].Optical Engineering,2011,50(3):033202.

[14] Tsagaris T. Objective evaluation of color image fusion methods[J].Optical Engineering, 2011,48(6):066201.

[15] Pang H C, Wang Y Q, Zhu M,et al. Quaternion Based Assessment Method For Color Image Fusion Algorithms[M].// 2010 3rd International Congress on Image and Signal Processing.

[16] 逄浩辰,朱明,郭立强. 彩色图像融合客观评价指标[J]. 光学精密工程,2013,21(9):2348-2353.

[责任编辑：蒋海龙]

Research Progress on Objective ColorImage Fusion Performance Index

LIU Lian1, GUO Li-qiang2

(1.School of Physics and Electronic Electrical Engineering, Huaiyin Normal University, Huaian Jiangsu 223300, China)(2.School of Computer Science and Technology, Huaiyin Normal University, Huaian Jiangsu 223300, China)

With the development of image fusion technology, the objective evaluation index for image fusion has becamed a new research direction of pattern recognition field. However, most of the existing evaluation index for image fusion was related to gray image, only a little paper address the evaluation method for color image fusion. A presentation about the traditional evaluation methods for gray image is given and the new evaluation methods for color image fusion were also introduced in this paper. The index referred above was analyzed and the experiment results were given in the form of objective evaluation index system for color image fusion, which based on GUI. This paper should provide some help for the research community on objective evaluation index for image fusion.

color image; image fusion; GUI; objective evaluation index

2015-09-25

国家自然科学基金资助项目(61203242); 江苏省自然科学基金资助项目(BK20141253)

刘恋(1986-),女,吉林四平人,助理实验师,硕士,研究方向为图像处理和模式识别． E-mail: liulian@hytc.edu.cn

TP391.4

A

1671-6876(2015)04-0316-07