交互信息加权的红外与可见光图像融合评价方法

赵飞翔，陶忠祥

（空军航空大学 作战指挥系，吉林 长春 130022）

图像融合是指将两个或两个以上传感器在同一时间或不同时间获取的关于某个具体场景的图像或图像序列信息进行综合，以生成新的关于此场景解释的信息处理过程[1]。它通过提取各输入图像的信息，形成统一的图像或数据来控制其他系统或指导决策，可使信息具有高度集成性，便于存储传输和后续机器处理。图像融合在计算机视觉、遥感、机器人、医学图像处理及军事领域等都有着广泛的应用前景[2]。目前，图像融合方法研究已取得很大进步，不少学者提出如主成分分析法、金字塔分解方法、小波变换方法、Contourlet变换方法及NSCT变换法等[3-6]，但图像融合的质量评价问题却没有得到很好的解决，因此图像融合质量评价问题的研究是图像融合中一项重要而且急需解决的工作。

由于在图像融合中，同一融合算法，对不同类型的图像，其融合效果不同；同一融合算法，对同一图像，观察者感兴趣的对象不同，则认为效果不同；不同的应用方面，对图像各项参数的要求不同，使选取的融合方法不同。这就使对融合图像进行客观、定量评价变得困难和复杂，尤其针对多源不同质传感器图像的融合算法，人们很难定义一个通用的评价标准。目前，图像融合的质量评价方法分为两类：主观评价法和客观评价法。主观评价法指观察者凭自己的观察对图像的质量提出相对严格的判断，其不足之处是整个过程非常繁琐，另外评价结果易受环境及人的心理因素的影响；而现在常用的客观评价方法最大的问题在于没有充分考虑到人眼的视觉特性，这对于以人眼为最终信宿的图像而言是不合理的。因此综合考虑人眼的视觉系统特点进行图像融合质量评价就显得尤为重要。本文将主观和客观结合起来，以反应人眼视觉系统特点的结构相似度为依据，同时考虑源图像和融合图像的边缘信息，提出一种基于交互信息加权的改进结构相似度和边缘信息保留值的图像融合质量评价指标，并对红外与可见光图像采用不同融合算法进行的质量评价结果分析表明，评价结果与人眼主观相一致，是一种有效的图像融合质量评价方法。

1 基于交互信息加权的改进结构相似度和边缘信息保留值的评价方法

当前的客观评价多是通过熵、交叉熵、方差、均值、平均梯度等指标对图像进行评价[7-8]，这些方法或基于像素点间的误差，或根据融合图像与源图像间关系，但都没充分考虑到人眼的视觉特性。人眼视觉的主要功能就是提取图像中的结构信息，因此对图像结构性失真的度量是图像感知质量的最好近似。而在红外与可见光图像的融合中，对于红外图像最重要的视觉信息就是其轮廓信息。因此，将图像结构信息和边缘信息结合起来进行图像质量评价就显得重要而有效。狄红卫[9]，许少凡[10]，刘明晶[11]等在充分考虑了图像结构信息和人眼视觉系统特性基础上提出基于结构相似度的图像融合评价方法，可为不同场合下选择不同的算法提供依据；张勇[12]在分析图像结构相似度算法基础上提出基于结构相似度和感兴趣区域的融合评价方法，根据人眼对划分的图像感兴趣区域和剩余区域的重视程度，分别赋予不同的加权因子，它较其他评价方法能够更突出图像重要特征在评价中的影响；苏伍各[13]等以反映人眼视觉特性的结构相似度为依据，同时考虑源图像和融合图像间的边缘信息，提出一种评价方法。但他们都没有充分考虑到融合图像和源图像之间的信息量问题。因此，本文将主观和客观结合起来，提出一种基于交互信息加权的改进结构相似度和边缘信息保留值的图像融合质量评价新方法。

1.1 交互信息加权的改进结构相似度

1.2 源图像到融合图像的边缘信息保留值

2 实验结果与分析

为验证所提评价指标的有效性，本文采用不同融合算法，对多组红外与可见光图像进行了评价。本文采用的融合算法及融合规则如表1所示。

表1 融合算法及融合规则Tab.1 Fusion rules used in the fusion experiment

图1中（a）、（b）为严格配准的红外与可见光图像。对两幅图像分别采用表1中所列融合方法进行融合，其中1~4采用基于小波变换的融合方法，小波采用“sym4”，5~8采用基于NSCT的融合方法，多尺度分解均为3层。图中（c）~（j）分别为采用融合规则1~8获得的融合图像。同时，为更好地对融合结果进行分析比较，文中还采用了均值、方差、信息熵与QMISM（X，Y，F）指标等客观评价指标进行对比分析。

图1 基于边缘-结构相似度的客观评价实验Fig.1 Objective evaluation based on edge information and structure similarity

由融合图像与源红外图像和可见光图像进行比较可以发现，融合图像基本上都从不同方面改善了源图像的质量。具体来说，采用基于区域能量加权和区域方差取大的融合方法获得的融合效果要强于简单平均和像素绝对值选大的融合方法，其中融合效果最好的是（g）图，该融合图像的红外目标较明显，而且能够较清晰地刻画出背景信息。图（i）虽然也较好，但背景信息不如图（g）清晰。客观评价指标如表2所示。

表2 红外与可见光图像融合质量评价Tab.2 The quality measure for infrared and visible image fusion

从表2中可以看到，图（g）的灰度比较适中，而且标准差较其他几个融合图像要大，同时，信息熵也比较大，图像比较清晰。而本文提出的QMISM（X，Y，F）指标也能较好的反映出该图像要优于其他融合图像，评价结果与主观观察保持一致。

3 结 论

建立科学合理的图像融合质量评价方法是研究图像融合的一项重要而有意义的工作。结合主观和客观的评价方法进行融合评价是未来的研究重点。本文以反映人眼视觉特性的结构相似度为依据，考虑源图像到融合图像的边缘信息，同时结合融合图像和源图像之间的信息量问题，提出一种基于交互信息加权的改进结构相似度和边缘信息的评价指标，该指标充分考虑了融合图像从源图像中继承的边缘和结构信息，并且与人眼视觉观察结果相一致。实验证明了该指标在红外与可见光图像融合的质量评价中的有效性和实用性。

[1]敬忠良，肖刚，李振华.图像融合——理论与应用[M].高等教育出版社，2007.

[2]李俊山，杨威，张雄美.红外图像处理、分析与融合[M]北京：科学出版社，2009.

[3]GONZALO Pajares，JESUS Manuel de la Cruz.A Wavelet based image fusion tutorial[J].Pattern Recognition，2004，37（9）：185521872.

[4]DO M N，VETTERL IM.The Contourlet transform：An efficient directional multiresolution image representation[J].IEEE Transaction on Image Processing，2005，14（12）：2091－2106.

[5]柴奇，杨华，杨伟.基于非采样Contourlet变换的红外与可见光图像融合方法[J].激光与红外，2009，39（1）：92－96.CHAI Qi，YANG Hua，YANG Wei.Infrared and visible image fusion method based on nonsubsampled contourlet transform[J].Laser&Infrared，2009，39（1）：92－96.

[6]Fangfang Lu，Qunfei Zhao，Genke Yang.Nonsubsampled contourlet transform-based algorithm for no-reference image quality assessment[J].Optical Engineering，2011，50（6）：067010.

[7]胡良梅，高隽，何柯峰.图像融合质量评价方法的研究[J].电子学报，2004，32（12A）：218－221.HU Liang-mei，GAO Jun，HE Ke-feng.Research on quality measures for image fusion[J].Acta Electronica Sinica，2004，32（12A）：218－221.

[8]Zhou Wang，Alan C.Bovik.A universal image quality index[J].IEEE Signal Processing，2002，9（3）：81－84.

[9]狄红卫，刘显峰.基于结构相似度的图像融合质量评价[J].光子学报，2006，35（5）：766－770.DI Hong-wei，LIU Xian-feng.Image fusion quality assessment based on structural similarity[J].Acta Photonica Sinica，2006，35（5）：766－770.

[10]许少凡，刘显峰，狄红卫.基于加权结构相似度的图像融合质量评价[J].暨南大学学报：自然科学版，2007，28（5）：470－473.XU Shao-fan，LIU Xian-feng，DI Hong-wei.An image fusion quality assessment based on structral similarity[J].Journal of Jinan University：Natural Science，2007，28（5）：470－473.

[11]刘明晶，刘国栋，李澄清，等.一种基于视觉感知的图像质量评价方法[J].计算机工程与设计，2005，26（2）：470－473.LIU Ming-jing，LIU Guo-dong，LI Cheng-qing.Method to evaluate image quality based on visional perception[J].Computer Engineering and Design，2005，26（2）：470－473.

[12]张勇，金伟其.基于结构相似度与感兴趣区域的图像融合评价方法[J].光子学报，2011，40（2）：311－315.ZHANG Yong，JIN Wei-qi.Image fusion assessment method based on structural similarity and region of interest[J].Acta Photonica Sinica，2011，40（2）：311－315.

[13]苏伍各，陶忠祥，董博.边缘信息的红外与可见光图像融合评价[J].火力与指挥控制，2012，37（1）：194－197.SU Wu-ge，TAO Zhong-xiang，DONG Bo.The quality measure for infrared and visible image fusion based on the verge information[J].Fire Control&Command Control，2012，37（1）：194－197.

[14]Xydeas C S，petrovic V.Objective image fusion performance measure[J].Electronic Letters，2000，36（4）：308－309.