基于视觉特性的图像融合质量评价新方法

邢素霞，　陈天华

(北京工商大学 计算机与信息工程学院， 北京　100048)

图像融合是指采集源于多源通道关于同一目标或场景的图像，经过一定的处理,提取每个通道的互补信息,综合成信息更丰富、对同一场景或目标的描述更准确、全面、可靠的图像或图像特征. 图像融合能够提高系统可靠性和信息利用率,广泛应用于食品安全检测、遥感、军事目标探测和识别等方面. 近年来, 不少学者提出了多种图像融合方法,如主成分分析方法(principal components analysis,PCA) 、金字塔分解算法、小波变换算法等[1].

融合图像的质量是图像融合领域需要解决的一个关键问题[2-4]. 该问题一直没有得到很好地解决，其主要原因是，同一融合算法，对不同类型的图像,融合效果不同；同一融合算法,对同一图像，观察者感兴趣的部分不同,则认为效果不同. 目前,评价图像融合效果的方法主要可以分为两类,即主观评价方法和客观评价方法. 主观评价方法是由测试者直接对图像进行质量评价,具有简单直观等特点,然而在人为评价融合质量的过程中,会有很多主观因素影响评价结果；客观评价方法主要是通过均值、方差、标准差、平均梯度、信息熵、交互信息量等客观评价指标对图像进行评价[5-7]. 这些评价方法或基于像素点间的误差，或根据图像的统计特性,最大问题是都没有充分考虑人眼视觉系统的特点,这对于以人眼为最终信宿的图像来说是很不合理的. 这就需要研究结合人眼视觉特性的、主观与客观因素相结合的图像质量评价方法.

1　主观评价方法

主观评价方法就是让观测者根据事先规定的评价尺度或凭借自己的经验，对测试图像按视觉效果进行质量判断，并给出质量分数，然后对所有观测者给出的分数进行加权平均，所得的结果即为图像的主观质量评价. 这种打分随意性大，同一个人在不同情况下对同一幅图像可能会打不同的分[8]. 处理的图像最终是给人看的，接收的图像是具有对光刺激产生感觉的人眼视觉系统，因此合理评价图像质量的方法应充分遵循人眼的视觉特性，大量研究表明，基于人眼的视觉特性的评价方法优于没有考虑人眼视觉特性的评价方法.

2　图像融合质量的客观评价方法

2.1　灰度均值和标准差

(1)

图像的灰度标准差：

(2)

均值是像素的灰度平均值,它反映了图像的平均亮度,如果均值适中,则目视效果良好. 标准差法反映图像的清晰度和对比度. 标准差越大，对比度越大，图像越清晰；反之，图像受噪声影响就越大.

2.2　均方根误差

融合图像F与理想图像R的均方根误差为:

(3)

其中M和N为图像的尺寸,均方根误差越小,说明融合图像与理想图像越接近.

2.3　信息熵

图像的信息熵是衡量图像信息丰富程度的一个重要指标,表示图像所包含的平均信息量的多少. 融合图像的熵值越大,说明融合图像携带的信息量越大,信息就越丰富. 其定义为：

(4)

式中pi为图像上像素灰度为i的概率.

灰度均值、标准差和信息熵都是针对单幅图像进行评价，主要反映图像的绝对质量，不能反映融合图像与源图像的关系.

2.4　交叉熵

评价融合图像效果的一个重要指标是融合图像从源图像中获取了多少信息, 交叉熵是两幅图像之间相关性或一幅图像包含另一幅图像信息量的度量.

设理想图像和融合图像的概率分布分别为:pR={pR(1),pR(2),…,pR(g),…,pR(L)},pA={pA(1),pA(2),…,pA(g),…,pA(L)}. 交叉熵度量它们之间的信息差异,定义为:

(5)

均方根和交叉熵都需要理想图像，而在实际应用中无法获取理想图像；另外，在许多图像应用中，最终的用户都是人，上述指标都没有考虑人眼的视觉特性，无法反映人眼的视觉效果，评价结果往往与主观视觉效果不一致.

这就需要给出主观与客观因素相结合的图像融合质量的评价准则,从而使计算机能够自动选取适合当前图像融合效果最佳的算法,为不同场合下选择不同的算法提供依据. 胡良梅等人[9-10]提出了结合主观和客观因素的评价方法，该评价方法考虑了融合图像与源图像之间的结构相似度、对比度失真和平均照度失真，因而优于传统的均方根误差等评价指标,且具有通用性,适用于评价不同的图像处理过程. 在图像评价中起到了一定的实用效果，但该评价指标中没有考虑到融合图像与源图像之间的信息量的关系，研究针对信息量及亮度、对比度等方面对该方法进行了改进，提出了一种新的评价方法.

3　结合主观和客观因素的图像融合质量评价方法

即：

(6)

(7)

则可以定义评价指标：

(8)

Q0(A,B)是图像A和B之间的结构化相似度的一种度量. 公式中的第一项是A和B的平均对比度失真, 其值在[0，1]之间；第二项是平均照度失真,其值在[0，1]之间；第三项是融合后图像和源图像的相对信息熵,其值在[0，2]之间.

在图像融合中，由于融合图像一般是通过两幅图像融合得到的，因此在进行图像融合质量评价时，要综合考虑源图像A,B与融合后图像F三者之间的关系. 通过构造函数Q(A,B,F)来评价融合图像的质量:

Q(A,B,F)=λQ(A,F)+(1-λ)Q(B,F).

(9)

其中A、B对应两幅源图像，F对应融合后图像，λ表示权重系数，其值在[0，1]之间. 在一般情况下λ值取0.5，考虑某一幅图像对融合后图像的贡献率比较大时，可以加重其权重系数，如红外图像的贡献率较大时，可以取λ>0.5. 式(9)中Q的值介于[0，2]之间，数值越大代表融合后的图像质量越好.

4　实验结果

用Q评价指标对不同算法下的红外与微光图像融合结果进行评价. 融合结果见图1.

图1中(a)，(b)分别为红外图像和微光图像. 分别采用灰度加权平均、PCA、对比度金字塔、离散小波变换、梯度金字塔、拉普拉斯(Laplace)金字塔、比率金字塔等七种方法进行了融合，融合后的图像分别对应图1中的(c)～(i).

图1　红外图像与微光图像以及不同融合算法下的融合图像Fig.1　Infrared image, low-light image and fusion images under different fusion algorithms

采用Q指标对各种融合算法的图像质量评价结果见表1，其中λ取值为0.5. 以A表示红外图像，B表示微光图像，F表示融合后图像.Q(A,B,F)为融合图像相对两幅图像的总的评价指标.Q(A,F)和Q(B,F)分别为融合图像相对红外图像和微光图像的评价指标. 从表中可以看出，融合后图像相对红外图像的质量大多情况下提高较大，即在亮度、对比度、信息量上要优于红外图像；相对微光图像，融合图像的亮度、对比度和信息量略低，摒除了微光图像中的高亮度信息.

综合考虑两幅图像，从Q(A,B,F)可以看出,对比度金字塔、离散小波变换、Laplace金字塔的评价指标明显比其他融合方法的要高，其综合指标大于1；梯度金字塔和比率金字塔的融合图像的评价指标比平均加权方法的指标高,而均值的方法比PCA的方法得到的融合指标高，但都小于1. 这与对图1(c)～(i)的主观判断评价结果一致.

表1　不同融合算法下的图像质量评价结果Tab.1　Image quality evaluation results under different　image fusion algorithms

5　结　论

建立图像融合质量评价标准是目前图像融合中急需解决的问题之一,通用的、结合主观和客观因素的图像融合质量的评价方法是未来研究的重点. 在分析了现有图像融合质量的主观评价方法和客观评价方法的基础上,讨论了一种新的结合主观和客观因素的图像融合质量的评价方法,该方法无需理想图像,同时充分考虑了人类的视觉特性,能够定量评价融合图像中保留了多少显著信息(如对比度、亮度及信息等). 研究以均值、拉普拉斯金字塔、对比度金字塔、离散小波变换等七种常用的融合算法为例进行了红外与微光图像的融合质量评价,实验结果表明：该方法得到的客观评价指标与主观评价的结果是一致的,是一种实用的、有效的融合图像质量评价方法,可以为不同场合下选择不同的算法提供依据.

由于研究仅对红外与微光图像的融合效果进行了实验，为了验证该方法使用的普遍性，下一步的工作需要对多类图像融合开展实验研究.