多传感器图像融合质量评价方法研究＊

钱　伟，常　霞，虎　玲

(北方民族大学数学与信息科学学院图像处理与理解研究所，宁夏 银川 750021)

0　引言

图像融合方法伴随着计算机技术的发展而不断进步[1-3]。如何有效检验和评价图像融合质量一直备受研究者的关注[4-6]。 图像融合质量评价指标按图像处理表征层不同可分为：像素级、特征级、决策级图像融合质量评价指标。图像融合质量评价指标按待融合图像来源差异可分为：全色和多光谱图像、多聚焦图像、SAR图像、红外和可见光图像、医学图像、彩色图像类型。图像融合质量评价指标按评价目的可分为：是否抑制噪声、信息量是否提升、分辨率是否改善、光谱质量是否提高评价类型。现阶段融合图像质量评价指标研究主要集中于像素级图像融合领域。图像融合处理是将某个对象在不同视场下多个以上信息数据合成为单幅更加全面、准确的图像数据信息[7]。

1　像素级图像融合质量评价指标

像素级图像融合是最低层次的图像融合，是对多幅待融合图像运用一定的融合规则，留下需要的信息数据，去除或抑制噪声等一些干扰图像质量的影响因素，从而得到新的融合图像。像素级图像融合质量评价因子是对空域图像融合结果的客观评价。

● 互信息

互信息主要应用于评价融合图像信息量是否改善，MI越大，说明融合图像获取待融合图像的信息量越多。互信息计算公式[4]如下：

无参考图像质量评价指标：信息熵、交叉熵[2]、均值[3]、标准差[8]、联合熵[9]、偏差[3]、平均梯度[6]、相对偏差度[11-12]、结构相似度[13-14]、归一化最小方差[10,14]、空间频率[13]、光谱扭曲度指数[15]、颜色特征[20]、图像的锐利度[30]、图像的对比度[24,30]、彩色信息丰富度[30]。

有参考图像指标：互信息、熵差[5]、信噪比[10]、峰值信噪比[10]、协方差[6]、均方差[7]、相关系数[16,17]、归一化相关系数[18]、光谱角[19]、边缘融合质量指标(QAB/F)[29]。

2　特征级图像融合质量评价指标

特征级图像融合层次处在像素级图像与决策级图像融合层次中间。我们在像素级图像融合后的图像基础上进行特征提取等技术处理，并进行信息数据的分析及分类等预处理，然后对同一个目标的不同传感器图像，提取主要的特征信息，将来源不同的特征信息通过一定的规则进行联系、定位及分析。保留所有的融合特征以及他们可能形成新的特征信息，最后给出对象的本质及图像的大部分细节信息。其有利点在于方便信息存储，匹配要求低，能够实时处理[21]。

● 局部灰度值

局部灰度值用于评价融合图像与理想图像局部之间的灰度均值差异，从而反映融合图像的融合效果，其值越接近，则融合效果越好。局部灰度值计算公式[22]如下：

公式中：ms表示融合图像中选择区域内的灰度均值，|H|表示选择对象区域内像素值的总和。fs(i,j)表示融合图像中某一点的图像灰度值。

文章按照在特征级图像融合层次中需要提取的特征属性对质量评价指标进行分类。

基于边缘特征：对比度、梯度特征的结构相似度质量评价指标[20,24]、图像边缘质量评估指标[25-26]。

基于图像亮度信息：局部灰度值[22]、局部灰度方差[22]、梯度特征的结构相似度质量评价指标[20,24]。

基于多光谱信息：基于底层特征评价[23]、图像边缘质量评估指标[25-26]。

3　决策级图像融合评级指标

决策级图像融合是图像融合层次中最顶级层次。主要是将特征级图像融合的图像中的特征信息进行属性和相关性分析之后，将其中相似信息进行分类，然后依据某些融合规则做出最有利的决策来将图像融合。其步骤是先将同一类的信息进行融合，得到新的融合信息，最后将这些得到的信息进行深入融合来实现决策级图像融合。优点是图像配准要求低，数据信息量小，容错性高，实时性强，数据要求低，分析能力强[28]。

目前，在决策级图像融合层次领域，融合图像的客观质量评价指标选择、设计依然是个难点问题，只有少量的质量评价指标，如偏差、融合精度、检测与虚警概率[28]等。

4　图像融合质量评价指标的综合分析

现阶段，图像融合一般是以图像信息量、清晰度、目标边缘特征细节信息、待融合图像与融合图像的相关性、图像光谱信息方面的改善和提高为目的，以下给出基于这些评价目标的图像融合质量评价指标分析。基于图像信息量：本质是融合图像从待融合图像中所收集到的图像信息量。基于图像清晰度：本质是图像的分辨率，图像是否清晰可见。基于图像边缘信息：本质是图像中的特征，如:纹理，轮廓，细节信息。基于图像差异度：本质是融合图像与待融合图像之间的相关程度，即相似性。基于图像失真程度：图像失真度与图像差异度是倒数关系，即其反应了融合图像中颜色失真，信息丢失。

表1　图像融合质量评价目的分类表

5　小结

图像融合质量评价指标的研究在图像处理领域仍旧值得关注，不同融合层次的图像处理方法均通过客观质量评价指标对其进行评估检验。本文从质量评价指标是否需要理想图像为出发点，以图像不同融合层次，不同评价目的为骨架对图像融合质量评价指标进行综合评述研究。由表1可知图像融合层次越高，需要理想图像的参与越少，且对融合结果的评价更趋向于后续图像处理效果评价，如对图像检测、分类精度的评价。图像融合层次越高，对融合质量的评价更加趋向于考察所提取的待融合图像信息质量的高低，更强调了对图像局部属性描述的精度。

参考文献(References):

[1]刘贵喜,赵曙光,陈文锦.红外与可见光图像融合的多分辨率方法[J].光电子·激光,2004.15(8):980-984

[2]杨万海.基于模糊积分的融合图像评价方法[J].计算机学报,2001.24(8):815-818

[3]李弼程.遥感影像融合效果的客观分析与评价[J].计算机工程与科学,2004.26(1):42-46

[4]康圣.图像融合的量化评价方法及实验分析[J].光电子技术与信息,2006.19(2):59-63

[5]李树涛.多传感器图像融合的客观评价与分析[J].仪器仪表学报,2002.23(6):651-654

[6]Schistad Solberg A H,Jain A K,Taxt T.Multi-source classification of remote sensed data fusion of Landsat TM and SAR images[J].IEEE transact ions on Geo science and Remote Sensing,1994.32(4):768-778

[7]李新娥.大视场多光谱相机图像拼接与融合技术研究[D].中国科学院研究生院(长春光学精密机械与物理研究所),2015.

[8]Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment:Form error visibility to struck ural similarity[J].IEEETransaction onImageProcessing,2004.13(4):600-612

[9]阳方林.像素级图像融合效果的评价方法研究[J].测试技术学报,2002.16(4):271-279

[10]Wald L.Fusion of Satellite Image of Different Spatial Resolutions,Assessing the Quality of Resulting Images[J].photogrammetric Engineering and Remotes Sensing,1997.63(3):691-699

[11]Shi W,Zhu CQ,Tian Y,et all.Wavelet based image fusion and quality assessment[J].Inter national journal of applied earth observation and information,2005.6(3-4):241-251

[12]田闯.图像融合算法的研究[D].南京航空航天大学,2008.

[13]DE BETHUNE,MULIER F,DONNAY T P.Fusion of multispectral and panchromatic image by local mean and variance matching filtering techniques[C].Proceedings of Fusion of Earth Data,1998:31-37

[14]Richard Dosselmann,Xue Dong yang.A comprehensive assessment of the structural similarity index[J].signal.Image,Image and Video Processing,2011.5(1):81-91[15]lung L W,King B,Vohora V.Comparison of image data fusion techniques using entropy andINI[C].Acrs,2001.1:152-157

[16]徐先川,裴文静.针对不同融合算法的质量评价指标性能评估[J].红外与激光工程,2012.41(12):3416-07

[17]ZENG Li-qing,JIANG Nian_de.Image fusion based on correlation coefficient and average gradient.Computer Engineering and Design,2010.31(7).

[18]GAO Guang zhu,LI Zong wu,YU Li fu,HE Zhi yong.Application of theNormalizedCrossCorrelation CoefficientinImageSequenceObjectDetection[J].COMPUTER ENGINERING&-SCIENCE,2005.27(3):39

[19]BEAULIEUM,FOUCHERS.GAGNONL.Multispectral image resolution refinement using stationary wavelet transform[C].Proceedings of the International Geo science and Remote Sensing Symposium,2003:4032-4034

[20]朱明,郭立强等.彩色图像融合客观评价指标[J].光学精密工程,2013.21(9):2348-2353

[21]Zhang L，Zhang L，MouX Q，et al.FSIM:a feature similarity index for image quality assessment[J].IEEE Transactions on Image Processing,2011.20(8):2378-2386

[22]陈木生.结合NSCT和压缩感知的红外与可见光图像融合[J].中国图象图形学报,2016.21(1):0039-0044

[23]李翠,记峰,常霞等.基于非下样Contourlet变换的医学图像融合[J].激光与光电子学进展,50,111002(2013).

[24]Yang C L,Chen G H,Xie S L.Gradient information based on image quality accessment[J].Act Electronic Sinica,2007.35(7):1313-1317

[25]lung L W,King B,Vohora V.Comparison of image data fusion techniques using entropy andINI[C].Acrs,2001.1:152-157

[26]Miao Y,Yi S L,He J F,Shao D G.Image quality assessment of feature similarity combined with gradient information[J].Journal of Image and Graphics,2015.20(6):0749-0755

[27]欧阳宁,邹宁,张彤等.基于非下采样Shearlet变换与聚焦区域检测的多聚焦图像融合算法[J].计算机应用,2015.32(2):490-494

[28]刘向君.多波段SAR目标检测与图像分类融合[D].国防科学技术大学,2005.

[29]张蕾,金龙旭,韩双丽等.采用非采样Contourlet变换与区域分类的红外和可见光图像融合[J].光学精密工程,2015.23(3):811-818

[30]朱明,孙继刚,梁伟等.四元数曲波变换多源多聚焦彩色图像融合[J].光学精密工程,2013.21(10):2671-2678