多传感器图像融合方法及应用综述

徐雅薇，谢晓竹

(装甲兵工程学院信息工程系，北京 100072)

多传感器图像融合的目的是综合多个不同类型传感器采集的图像信息，针对某个场景，生成新的具有更多场景信息的高质量图像［1］。融合图像比单一传感器采集的图像更能反映真实场景。例如，CCD 摄像机可在白天提供高质量图像，但在夜间、或雾天时所获得的图像质量差。而红外图像反映场景的热对比度，不受天气、光照条件影响。根据应用领域不同，常见的多传感器图像融合组合方式如表1 所示。

1 多传感器图像融合的结构

1.1 图像融合分类

图像融合可以根据工作域不同分为空间域、频率域、变换域、光谱域;也可根据信息抽象程度，分为像素级、特征级、决策级图像融合。后者与多传感器信息融合中的分类方式一致，是目前普遍接受的分类形式。

表1 多传感器图像融合常见的组合方式

当前大多数的图像融合方法都属于像素级融合，这是最低层次的融合。融合时直接对图像中的像素点进行逐个处理。因此像素级融合能保留更多的图像信息，精确度更高。特征级图像融合与像素级融合不同，特征级融合首先从不同传感器图像中分别提取特征信息，一般提取图像的边缘特征、纹理特征、亮度特征，再对特征进行处理。特征级图像融合能在一定程度上避免像素级易受噪声、配准错误影响的缺点，并且能压缩图像信息量，利于实时处理。决策级图像融合指对图像的特征信息进行分类、识别，再进行进一步融合的过程。这是更高层次的图像融合，其要处理的数据量更小，利于信息传输且容错性强。目前决策级融合仍然处于理论研究中。

1.2 融合系统结构

图像融合流程大致可以分为:图像预处理、融合方法、显示及质量评价。预处理中包括去噪、时空配准。配准同样是图像融合研究领域的重要组成部分。目前大部分融合方法是假定图像是预先配准好的，暂不考虑配准的影响，对融合方法进行独立开发; 也有利用配准和融合过程中的相同操作，将二者结合为一个模块，具有计算量小、精度高、可补偿配准错误的特点［9］。图像显示方式可分为灰度图像显示、彩色图像显示。在一些研究中，将融合方法和显示方法结合，因此本研究将彩色图像融合也归为融合方法进行介绍。图像融合流程如1 图所示。

图1 图像融合流程

2 多传感器图像融合方法

2.1 基于像素级的融合方法

加权组合是最简单的像素级融合方法。若将融合权值都设为0.5，则为加权平均法。这种方法虽然能抑制噪声，但丧失图像对比度，融合效果不佳。PCA 不再使用随机权值或简单的均值融合，而是根据源图像的全局方差确定是否需要更大的权值。此方法更像是从不同源图像中选择，不能说是真正意义上的图像融合，这种方法对噪声敏感［10］。独立分量分析(independent component analysis，ICA)是一种从高阶统计相关角度分析数据的技术。PCA 需要消除数据间的二阶相关性，ICA 则要求分量相互独立，因此ICA 提取特征的能力比PCA 要强［11-13］。

金字塔融合始于1983年，由Burt 和Adelson 提出的拉普拉斯金字塔是最早的多分辨率技术之一，在此基础上又发展出比例低通金字塔、对比度金字塔、梯度金字塔、形态学金字塔，提高了融合性能，但金字塔分解的各层间存在相关性，会导致算法不稳定［14］。小波分解与金字塔分解相比，具有尺度相对独立性、方向性良好的优点，因此逐渐取代了金字塔分解［15］。有代表性的小波技术如: 离散小波变换(DWT)、SIDWT、提升小波、双树复小波变换(DT-CWT)、超小波分析。超小波分析又称为多尺度几何分析，是从2000年以后快速发展起来的研究领域，包括: 脊波(Ridgelet)、曲线波(Curvelet)、轮廓波(Contourlet)、非下采样轮廓波(NSCT)、剪切波等［16］。采用多分辨率融合时，融合规则也是直接影响融合质量的因素。基于像素的融合规则包括绝对值取大、线性加权;基于邻域窗口及区域的融合规则将方差、能量、平均梯度、对比度等作为融合算子，与匹配度、阈值共同得出融合系数。选择基于邻域窗口和区域融合规则时，通常会提取图像的特征信息。因此，一些文献将采取这种融合规则的方法归为特征级融合，但实际是一种像素级和特征级结合的融合方法。

彩色图像融合利用人眼对颜色的感知能力，可以获得更加丰富的图像信息。彩色图像融合大致可以分为假彩色法、颜色空间映射法，并且通过与其他类型的方法结合可以改善融合效果。假彩色融合是以灰度图像融合为基础，将灰度融合图像彩色化的过程。此方法的融合结果会出现色彩不自然现象，不适合人眼观察［17］。此外，还可以变换颜色空间，利用不同颜色空间的特点对图像进行融合。常用的颜色空间包括RGB(红-绿-蓝); 基于亮度-色度-饱和度空间的IHS、HSV、LHS 以及YIQ(亮度-红绿对比度-蓝黄对比度)、YUV 等。RGB 颜色空间中各分量存在较大的相关性，因此将RGB 颜色空间转换到IHS 颜色空间，即IHS 变换。IHS 与RGB 相比在视觉上更能直观反映颜色。但IHS 变换的融合结果易产生彩色畸变现象、光谱信息失真且计算效率有待提高。与IHS 类似的还有Brovey 算法。文献［5］中提出IHS 与小波变换结合的方法，与传统IHS 变换相比能改善融合效果。文献［18］中将两幅图像从RGB 颜色空间变换到YIQ 颜色空间，再结合Curvelet 变换进行融合。彩色空间映射法常见的2 种方法是TNO、MIT，分别由荷兰TNO 和美国MIT 林肯实验室开发［17］。TNO 方法易实现实时处理，色彩较自然。MIT 方法可实现实时处理，色彩自然，响应时间短。

2.2 基于特征级和决策级的融合方法

多传感器特征级图像融合是对不同源图像各自的特征进行融合，得到新的特征矢量，最后以图像的形式输出。方法包括基于统计/推理的方法和基于知识的方法。基于贝叶斯理论融合法源于多传感器信息融合的方法，最终通过计算最大后验概率得出融合结果［19-20］。D -S 证据理论具有处理不确定信息的能力，可用于选择融合权值。文献［19］中，图像经小波分解后对高频分量采用基于D -S 证据理论，对区域方差、区域能量、区域信息熵3 个特征进行特征级融合，实验证明此方法融合效果良好，能较大程度保留图像信息。聚类法利用模糊数学中的概念解决分类问题，在特征级图像融合中得到应用。马尔可夫随机场(MRF)的本质是通过图像特征对图像进行标记，解决图像分类问题。文献［7］中提出基于最大后验概率和马尔可夫随机场的融合方法，在实验中与聚类法特征级融合比较，融合结果证明MAP-MRF 的效果更好。

神经网络法是将提取的特征作为输入，对特征向量进行分类［21］。可用于图像融合的神经网络有BP 神经网络、RBF神经网络、PCNN 神经网络。文献［22］中，首先对源图像进行NSCT 变换，再针对高频信号的梯度特征用PCNN 进行融合，融合结果与基于传统NSCT 法进行比较，证明PCNN 可改善传统NSCT 法的准确度。文献［23］中，在融合阶段用交叉视觉皮质模型(PCNN 的简化)对低频信号的边缘特征图像进行融合，优点是无需训练。模糊逻辑法是将模糊数学理论应用于图像融合中。文献［24］中，将图像经过NSCT 变换后，用模糊逻辑分别对低频和高频信号特征融合，融合效果良好。

目前基于决策级图像融合的研究仍然处于理论和算法的发展阶段，未形成完整的理论体系，只能用现有的方法对决策级融合进行尝试。因此，本研究只总结常用的像素级和特征级融合方法，如表2 所示。

2.3 融合方法的最新进展

ICA 是20 世纪90年代开始发展的信号处理技术，最初用于盲源信号分离。近几年，国内外学者逐渐把独立成分分析(ICA)应用于图像融合领域。ICA 方法能有效约减特征维数，保持特征的高阶相互独立型［13］，在特征提取方面更具优势，可提高图像融合质量。2008年Mitianoudis 等人提出一种ICA 灰度图像融合算法，并对融合规则进行改进，提出了自适应加权融合方法。2014年，骆媛、金伟其等人提出一种动态ICA 域融合方法［25］。

2006年，Donoho、Candes、Tao 等人提出的CS(Compressive Sensing)理论，该理论的核心思想在于对可压缩信号离散化时，使用测量矩阵，获得比稀疏表示更少的信号测量值，可高效表示可压缩信号，并能有效地重建信息［4］。这一特点有望在图像融合中减少内存需求，提高融合效率，满足实时性的要求。2008年，Wan 等人将CS 理论用于图像融合。将新理论应用于图像融合领域使图像融合方法仍有较大的发展空间。文献［26］中，王瑞等人引入CS 理论，在达到一定融合质量同时降低计算量，通过实验验证了此方法的合理性。文献［4］中，图像经NSCT 分解后，对高频子带系数应用CS理论，实验证明此方法能有效提高计算效率。

图像融合质量受2 个因素制约:融合方法和配准质量。然而目前大部分融合方法都是假定图像预先配准好，再进行独立开发。实际上，将配准和融合结合起来是具有一定优势的。2013年M.Ghantous 和M.Bayoumi 提出将配准和融合结合的方法:MIRF。此方法利用配准和融合过程相同的操作(文献中为DT-CWT［9］)，进行算法优化，对可见光图像和红外图像进行融合。通过与传统方法比较，MIRF 具有提高融合效率、补偿配准错误的优点。

3 图像融合的质量评价标准

融合图像的质量反映所采用融合方法的合理性，有利于融合方法的不断完善，因此其评价问题一直是图像融合领域研究的重点。质量评价可分为主观评价和客观评价。前者通过观察者比较融合图像和源图像，人为判断融合结果。此方法简单，但无法比较、分析性能近似的融合方法。因此仍需要客观评价加以辅助。客观评价可以分为4 类:基于清晰度、基于光谱逼真度、基于信息量、基于纹理信息［27］。如表3 所示。

表2 像素级和特征级融合方法

表3 客观评价指标

大多数的融合评价方法基于灰度图像的统计特征，没有充分利用彩色图像的颜色信息。针对彩色图像融合评价尚未形成完整的体系，尤其是客观评价方法方面，仍有很大的发展空间。

4 结论

1)虽然可以对融合方法进行独立开发，但实际应用中图像配准的质量对图像融合有极大影响。因此，提高融合方法对配准错误的容错性是个必然趋势。2013年M.Ghanto 和M.Bayoumi 将配准和融合结合的尝试具有一定参考价值。此外，将其他信号处理或图像处理技术应用于图像融合中，有可能提高图像融合质量，如ICA、CS 理论。这为图像融合方法的发展提供新的思路。

2)在融合质量评价方面，每个客观评价方法都存在局限性，仍然不能取代主观评价的作用。这是因为人的视觉感知能力复杂，无法用简单的公式代替。现阶段可采用主、客观结合的方法对融合方法进行评价。尤其是针对彩色融合图像的评价方面，进一步发展基于人眼视觉特性的仿生理论评价方法有望改善融合质量评价方法。

［1］王跃华，陶忠祥.一种基于NSCT 变换的红外与可见光图像融合算法［J］. 光学与光电技术，2012，10(4):81-84.

［2］骆媛，王岭雪，金伟其，等.微光(可见光)/红外彩色夜视技术处理算法及系统进展［J］.红外技术，2010，32(6):337-344.

［3］叶仕通.结合图像特征比的红外与可见光图像融合算法［J］.激光与红外，2013，43(11):1234-1239.

［4］柳翠寅，罗洪礼，李晓峰.基于压缩感知的红外与可见光图像融合［J］. 四川大学学报: 工程科学版，2014，46(5):88-95.

［5］钱国栋，邹珍军，许宁.遥感图像多模型融合处理与分析［J］.北京测绘，2014 (5):19-25.

［6］王江涛，韩萍.医学图像融合的临床应用与新进展［J］.医学影像学杂志，2009，19(4):476-478.

［7］倪翠，关泽群，王斌，等.对马尔可夫随机场特征级图像融合的改进［J］.计算机工程与应用，2011，47(32):211-214.

［8］张余宽，张弓.剪切波域梯度取大策略的SAR 与红外图像融合［J］.信息与电子工程，2012，10(5):589-593.

［9］Ghantous M，Bayoumi M.MIRF:a multimodal image registration and fusion module based on DT -CWT［J］.Journal of Signal Processing Systems，2013，71(1):41-55.

［10］Metwalli M R，Nasr A H，Allah O S F，et al.Image fusion based on principal component analysis and high-pass filter［C］//Computer Engineering ＆ Systems，2009. ICCES 2009.International Conference on.IEEE.2009-7.

［11］Mitianoudis N，Stathaki T.Pixel-based and region-based image fusion schemes using ICA bases［J］.Information Fusion，2007，8(2):131-142.

［12］Mitianoudis N，Stathaki T.Optimal contrast for color image fusion using ICA bases［C］//Information Fusion，2008 11th International Conference on.IEEE.2008:1-7.

［13］岳晋，宦若虹，上官晋太，等.一种新的ICA 域图像融合算法［J］.光电工程，2008，35(5):129-134.

［14］刘贵喜.多传感器图像融合方法研究［D］.西安:西安电子科技大学，2001.

［15］黄伟. 像素级图像融合研究［D］. 上海: 上海交通大学，2008.

［16］储彬彬，庞璐璐，漆德宁，等.基于多尺度分析的图像融合技术综述［J］.航空电子技术，2009，40(3):29-33.

［17］金伟其，王岭雪，赵源萌，等.彩色夜视成像处理算法的新进展［J］.红外与激光工程，2008，37(1):147-150.

［18］张强，郭宝龙.一种基于Curvelet 变换多传感器图像融合算法［J］.光电子·激光，2006，17(9):1123-112.

［19］姚丽莎，赵海峰，罗斌，等.基于证据理论的小波域多特征医学图像融合［J］. 计算机应用，2012，32(6):1544-1547.

［20］周芳，王鹏波，韩立岩.多源知识融合处理算法［J］.北京航空航天大学学报，2013，39(1):109-114.

［21］周芳丽.多传感器图像融合算法研究［D］.长沙:湖南大学，2012.

［22］李美丽，李言俊，王红梅，等.基于NSCT 和PCNN 红外与可见光图像融合方法［J］. 光电工程，2010，37(6):90-95.

［23］许占伟，张涛.基于NCT 的特征级图像融合［J］.Computer Engineering，2011，37(16):209-211.

［24］郑义军，任仙台.基于NSCT 与模糊逻辑的图像融合方法［J］.计算机工程与应用，2011，47(11):171-218.

［25］骆媛，金伟其，王岭雪，等.基于源图像分析的动态ICA域灰度图像融合方法［J］.北京理工大学学报，2014，34(4):407-411.

［26］王瑞，杜林峰，陈俊丽，等.结合随机投影和稀疏表示的图像融合方法［J］.上海交通大学学报:自然版，2014，48(10):1421-1427.

［27］蔡怀行，雷宏. SAR 与可见光图像融合效果客观评价［J］.科学技术与工程，2011，11(15):3456-3461.