基于结构色彩差异对比的彩色图像融合客观评价指标

郭立强，朱瑞瑞

(淮阴师范学院计算机科学与技术学院，江苏淮安 223300)

图像融合[1]是在同一目标或场景中，用同种传感器以不同成像方式或不同成像时间获得的不同图像，整合成为一幅图像，以实现信息的互补并对该场景进行更好的描述。图像融合技术被广泛应用于医学影像、军事、遥感、计算机视觉等领域。随着图像融合技术的深入研究，图像融合客观评价也变得尤为重要。目前图像融合评价主要分主观评价与客观评价。主观评价即人眼直接对图像融合的结果做出评价，但是不同的人做出的评价有时也会不同，这是因为人由于自己的主观原因而得出的误判。客观评价即由算法对图像融合的结果做出评价，也是对主观评价的一个数值量化。

目前，大多数客观评价指标都是针对灰度图像融合，而对彩色图像的客观评价指标的研究仍处于起步阶段，很多方面有待完善。其中，在构建彩色图像融合客观评价指标中，一个突出问题是客观评价与主观视觉感知相违背。此外，如何对颜色信息进行量化也是构建彩色图像融合客观评价指标的一个难点，即人眼对彩色部分的感知还没有公认的量化方法。

对彩色图像融合进行评价往往结合几种灰度图像融合的指标来进行评价。使用广泛的是基于互信息的图像融合客观评价[2]，融合图像与源图像的互信息之和越大，表示融合图像从源图像获取的信息越丰富，融合效果越好。基于相关系数的评价方法,在统计学中，相关系数用于描述两个变量相关程度的指标。将融合图像与原始图像的相关系数作为融合算法的评价指标，相关系数越大，表示融合图像从源图像中获取的信息越多，融合效果越好。基于边缘传递(QABF)的融合方法[3]，其值越大,表示融合图像从原始图像中获取的有用边缘越多，就认定融合效果越好。此外，还有用于可见光与红外图像融合评价的颜色丰富度指标(CCM)，CCM值越大说明融合图像质量越高[4]。

然而，上述客观评价指标都存在一个共同的缺点就是客观评价与主观视觉感知不符。具体而言，视觉上能明显观察出其融合效果比较差，但客观评价指标却给出很高的分数。为了解决这一问题，本文中提出了彩色图像客观评价指标，该方法主要基于模拟人眼对图像的感知。

1 算法原理

人眼对彩色融合图像的感知，主要在图像的结构和色彩方面。例如灰度图像融合，人眼感知融合后的图像的差异主要在于对比结构的差异。彩色图像对灰度的不同在于人眼对色彩的认识。图像的结构差异在于图像的边缘部分的差异，人眼对图像结构的认识主要来源于图像的边缘部分。本文提出的算法将两幅融合图像的边缘做加法得出最大边缘，然后将融合后图像与最大边缘做差得出结构差异性。在HIS颜色空间将两幅源图像做加法得出最大色彩，然后将融合后图像与源图像做差得出色彩差异性。

算法在结构和颜色上得出的评价结果不在一个数量级上，将结构的结果加权后与颜色上的结果在一个数量级上再做加法得出综合评价。得出的综合评价越好,表示与源图像中较为清晰部分的差异越小，融合图像越好。该算法的具体实现过程如下：(1)计算源图像A、B和融合图像F的边缘图像；(2)将A、B的边缘图像求和得出最大边缘；(3)将最大边缘与F的边缘做差得到结构差异；(4)将源图像A、B和融合图像F转换到HIS颜色空间；(5)在HIS颜色空间里对图像A和B求和得到最大颜色差异；(6)将最大颜色差异和融合图像F做差得到色彩差异；(7)将结构差异和色彩差异求和得到综合差异评价。

需要注意的是，本文所提出的客观评价指标是负向指标，即值越小表示融合效果越好。

2 实验与结果分析

通过对一些融合效果具有较大差异的3种经典彩色图像融合算法进行分析，来验证笔者所提出的基于结构色彩差异对比的彩色图像融合客观评价指标。这3个图融合算法是：基于均值的彩色图像融合方法、基于PCA的方法[5]和在HIS颜色空间下的小波方法[6-8]。

第一组实验的两幅待融合图像如图1所示，图1(a)中左边区域清晰，右边区域模糊；而图1(b)正好相反，是左边模糊，右边清晰。接下来用上述3种融合算法得到融合图像，如图2所示。

图1 源图像book

图2 融合结果

从图2的融合结果可以看出，基于小波变换的融合结果最好，前景、背景都很清晰，且没有颜色失真。PCA和均值方法相比，PCA方法存在颜色失真，均值方法比PCA方法略好一些。针对图2中的3幅融合图像计算互信息、相关系数、QABF、CCM以及本文的客观评价指标，结果如表1所示。

在表1中，互信息给出的评价结果认为PCA方法的融合效果最好，这与视觉感知不符。同样，相关系数计算结果认为均值方法比小波融合的效果好，也不符合视觉感知；QABF评价结果认定PCA方法比均值融合方法好，不符合视觉感知；CCM得出的结果认定均值方法权最好，不符合视觉感知。而本文算法认定小波融合最好，PCA融合最差，这与视觉感知相符。

表1 图像book融合评价结果

接下来进行第二组实验，如图3所示。融合结果如图4所示，可以看出小波方法融合效果最好，其次是均值方法，最差的是PCA方法。

图3 源图像food

图4 融合结果

均值融合PCA融合小波融合互信息24．253025．346722．2439相关系数5．95365．77835．9153QABF0．70640．64860．7192CCM38．367733．565938．7099本文算法43．416865．023541．3017

表2是对图4中的3幅融合图像进行评价的结果。互信息的评价结果认定PCA方法最好，这与视觉感知不符；相关系数的评价结果认定均值方法最好，也与视觉感知不符；QABF、CCM和本文算法与视觉感知相符。但通过对比均值融合和小波融合的客观评价数据可以发现，QABF和CCM评价的数值比较接近，但从主观视觉感知上来讲，小波方法要远好于均值方法。

一个好的图像评价指标应该有较大的区分度，以图4为例，小波融合的结果比均值方法要好很多，那么相应的客观评价指标在数值上也应该相差较大。我们通过引入离散度指标来对QABF、CCM和本文算法做进一步对比。离散度指标的计算是通过标准差除以均值得到的。计算的结果越大，表明对应评价指标的离散度越大，也就是区分融合图像质量好坏的能力越强。表3是QABF、CCM和本文算法的离散度指标。

表3 离散度对比

从表3可以看出，本文算法的离散度最大，即本文算法描述融合图像质量的能力要优于QABF和CCM。

3 结语

本文提出了一种基于结构色彩差异性的彩色图像融合客观评价指标，通过对比图像的边缘差异和色彩差异来构建评价指标。实验结果表明，本文所提出的彩色图像融合客观评价指标有互信息、相关系数、QABF和CCM等算法，其主观评价与人眼视觉感知相符，同时具有较大的离散度，能够作为彩色图像融合的客观评价指标。

[1]H.B.Mitchell.Image fusion:theories,techniques and applications[M].Berlin Heidelberg:Springer Publishing Company,2010.

[2]G H Qu,D Zhang,P Yan.Information measure for performance of image fusion[J].Electronics Letters,2002,38(7): 313-315.

[3]C S Xydeas,V Petrovic.Objective image fusion performance measure[J].Electronics letters,2000,36(4):308-309.

[4]Y Yuan,J Zhang,B Chang,et al.Objective quality evaluation of visible and infrared color fusion image[J]. Optical Engineering,2011,50(3):033202.

[5]Y H Jia.Fusion of Landsat TM and SAR image based on principal component analysis[J].Remote Sensing Technology and Applicaton,1998,13(1):46-49.

[6]T M Tu,S C Su,Hsuen-chyun shyu,et al.A new look at IHS-like image fusion methods[J].Information Fusion,2001(2):177-186.

[7]H Zhao,Q Li,H Feng.Multi-focus color image fusion in the HSI space using the sum modified laplacian and a coarse edge map[J].Image and Vision Computing,2008(26):1285-1295.

[8]K Amolins,Y Zhang,P Dare.Wavelet based image fusion techniques-an introduction, review and comparison[J]. ISPRS Journal of Photogrammetry & Remote Sensing,2007,62(4):249-263.