可见光与红外图像融合研究现状及展望＊

任海鹏

（91550部队20分队 大连 116023）

1 引言

1.1 图像融合概念

图像融合是指按照一定的规则，把同一目标或同一场景的多个传感器的成像或单一传感器的多次成像进行一定的处理，生成一幅信息更全面、精确和稳定的新图像，包含了多个图像的冗余信息和互补信息。

可见光与红外图像融合属于典型的图像融合，是指综合和提取可见光与红外图像的特征信息，使得同一场景图像既保留可见光图像高的空间分辨率和丰富的纹理细节信息，又显示场景中热目标区域[1～2]。

1.2 图像融合研究意义

红外成像具有被动工作、抗干扰性强、目标识别能力强、全天候工作等特点。但随着复杂战场环境中目标灵活性和机动性的不断提高，伪装和隐身能力的不断增强，加之红外图像本身存在着对比度低、边缘模糊、信噪比低、成分复杂等缺点，使得目标检测识别变得更加困难。相比之下，可见光传感器是利用光的反射率成像的，具有光谱信息丰富、分辨率高、动态范围大等优点，但其缺陷是在夜视和低能见度环境下的对比度低，成像效果不理想[3]。

与单独使用红外或可见光图像均存在诸多不足相比，可见光与红外图像融合技术能够有效地综合和发掘它们的特征信息，增强场景理解，突出目标，有利于在隐藏、伪装、迷惑的情况下更快、更精确地探测和识别目标，甚至获取目标的状态信息等[4～5]。

1.3 图像融合应用进展

目前，可见光与红外图像融合系统已经以星载、机载、车载及舰载等方式广泛应用于空间监测、军事侦察、医学成像、目标识别、安全监控机场安检和森林消防等领域[2～10]。

1.3.1 夜视系统

2002年，英国Octec公司和 Waterfall Solution公司[6]联合开发了用于警用直升机上的图像融合系统，该系统可将红外和彩色可见光视频图像融合，其输出图像具有近似于可见光图像的自然彩色效果。2005年，美国的William[7]提出了一种服务于夜间驾驶、基于离散Haar小波变换的图像融合算法，这种方法可以把来自照相机不同波段的三个图像融合在一起。

2007年，BAE公司[8]从美军获得设计开发数字ENVG的合同，这种夜视镜可将从红外和可见光传感器获得的视频图像进行数字融合，并呈现在彩色显示屏上，而且能够通过通信手段在多个士兵间实现图像资源共享。

1.3.2 安全监控

2003年，美国Lehigh大学[9]研发了用于武器检测的红外和彩色可见光图像融合系统，该系统同样能够产生具有自然效果的彩色融合图像。2007年，美国Infrared Solutions公司[10]研制了基于红外和可见光图像融合技术的商用相机，该产品在预防性维护和过程监控方面具有很大的应用价值。

1.3.3 人脸检测

美国的Aglika[11]研究了基于红外和可见光图像融合的人脸识别。他提出了基于像素、在小波域内实现，并且使用遗传算法来决定如何合并红外和可视化信息的融合方法。新加坡的Jiang[12～13]研究了用于人类检测的红外和可见光图像融合问题。研究中提出了一种简单有效的图像融合方案，这种方案采用多级技术来完成图像融合，以实现更好的人类监测和监视，大大降低了在图像融合时丢失图像细节信息的可能性。

2 可见光与红外图像融合的层次及过程

2.1 图像融合的层次

一般来说，图像融合流程主要包括：图像预处理、图像配准、图像融合、特征提取以及识别与决策，如图1。按信息抽象程度，图像融合一般分为三个层次：像素级图像融合、特征级图像融合、决策级图像融合。图像融合的这三种不同层次的融合不是互相独立的，在实际的应用中，可能同时在不同的融合层次上进行融合。

图1 可见光与红外图像融合流程图

2.2 图像融合的特殊性

与可见光图像灰度层次分明，纹理细节信息丰富，边缘“陡”相比，红外图像具有空间分辨率低，纹理特征不明显，图像边缘平滑等特点，二者特征的显著差异既增强了图像融合的互补性，也给图像融合过程带来了有别于一般图像融合的困难和挑战，如难以直接利用图像灰度信息进行红外和可见光匹配等，使得可见光与红外图像融合过程多结合有效的图像特征提取、配准和融合分类进行，特别是在融合过程中，往往将红外图像显著的热目标特征主动融进可见光图像丰富的背景信息中，达到丰富背景信息中凸显热目标特征的视觉效果。

3 可见光与红外图像融合算法

目前报道的图像融合算法很多，但并不都适用于红外与可见图像融合。本部分重点介绍可用于可见光与红外图像融合的算法，图2为采用不同图像融合算法获得的融合图像[14～20，23]。

3.1 像素级图像融合算法

像素级图像融合可大致分为三大类：空间域简单代数法、基于变换域的图像融合和基于多尺度分解的图像融合。在像素级图像融合过程中，诸多融合算法很少独立运行，往往根据融合目的不同和源图像性质差异组合应用。

3.1.1 空间域简单代数法

空间域简单代数法主要包括简单的图像融合方法和基于统计的图像融合方法。简单的图像融合方法是直接对源图像中的各对应像素分别进行选择、平均或加权平均、多元回归或其它数学运算等处理后，最终合成一幅融合图像。这类融合方法具有算法简单、融合速度快的优点，但直接使用往往难以取得满意效果，可作为基础算法运用到复杂融合方法中。

图2 原始图像和不同融合算法得到的融合图像

采用统计方法进行图像融合是从信号与噪声的角度考虑图像融合问题的，它在建立成像传感器统计模型的基础上，确定融合优化函数，进行参数估计，通过融合处理来降低或消除融合图像中的噪声成分，增强融合图像的信噪比。

3.1.2 基于变换域的图像融合算法

目前基于变换域的图像融合算法是研究热点，常用的变换域图像融合方法有：MIT融合法、假彩色图像融合法、主成分分析法，还有基于其他图像变换（如DCT）的融合算法。

MIT融合法以中心－环绕分离网络为基础，应用生物视觉拮抗特征融合红外和可见光图像，对融合结果的颜色进行了重新映射，使得融合图像具有适合人眼观察的自然色彩。这种算法结构灵活、适用性广，可根据输入图像传感器的模式和数目对算法结构进行调整。

基于彩色（或假彩色）空间描述变换的图像融合算法是在人眼对颜色的敏感程度远超过对灰度等级的敏感程度这一视觉特性的基础上提出的融合算法。其关键是要融合图像的可视效果尽量直观，一般是通过彩色映射的方法将输入图像映射到另一个彩色空间中，得到一幅假彩色的融合图像。

3.1.3 基于多尺度分解的图像融合算法

一幅图像经过多分辨率分解可得到一组不同分辨率的图像表示，不同分辨率下的图像包有对应尺度的关键信息。基于多分辨率分解的图像融合方法其融合过程就是在不同尺度、不同空间分辨率上分别进行的。按采用的多尺度分解方法不同可分为：传统的基于金字塔变换的图像融合算法和基于小波变换的图像融合算法。

金字塔变换融合法最早由Burt等[14～15]于1983年提出，是现在较为常用的图像融合方法，用于图像编码中，是一种多尺度、多分辨率的方法。在这类算法中，原图像不断地被滤波，形成一个塔状结构。金字塔图像融合算法可以在不同尺度、不同空间分辨率上有针对性地突出各图像的重要特征和细节信息，从而有可能达到更加符合人或机器视觉特性的融合效果。

与金字塔图像融合算法相比，小波变换也是一种多尺度、多分辨率分解，但是是非冗余的[16～17]。小波变换的图像融合算法，容易提取原始图像的结构信息和细节信息，具有完善的重构能力，保证了图像在分解过程中没有信息损失和冗余信息产生。不足之处是融合过程中小波对应的分解和重构滤波器系数及分解尺度的选择，对影像融合的效果有很大的影响。

3.2 特征级图像融合算法

特征级融合是将由多源数据中分别提取的特征汇总在一起形成新的特征集，以后据此再进行决策。一个特征图像融合系统主要包括四部分：信息的获取、信息加工和处理、特征提取和信息融合。特征级融合的常用方法主要有：基于梯度特征、纹理特征和模糊特征区域的多尺度图像融合[18]。

3.2.1 基于梯度特征的方法

图像的梯度特征反映了图像的一种变换系数特征。图像的梯度在各个像素点进行计算，每个像素点反映四个方向的梯度，分别是横向、纵向以及两个对角线方向。为了在图像各个尺度上反映图像的这些梯度特征，必须在这种梯度算子与传统的拉普拉斯金字塔多尺度变换方法之间建立一种特殊的联系。

3.2.2 基于纹理特征的方法

利用梯度特征的多尺度变换的图像融合方法仅仅考虑了图像在不同尺度的图像变换系数特征，而没有考虑各个尺度上的纹理特征。纹理有三个主要标志：1）某种局部的序列性在比该序列更大的区域内不断重复；2）序列是由基本部分非随机排列组成的；3）各部分大致是均匀的统一体，在纹理区域内的任何地方都有大致相同的结构尺寸。

3.2.3 基于模糊特征区域的方法

在每幅图像当中，由于其中的每个像素都是属于图像的某一个区域，基于模糊区域特征的图像融合方法是在多分辨率分析的基础上，根据图像每层的低频分量进行K均值聚类，将低频图像分解成重要区域、次重要区域以及背景区域；图像各个区域针对不同属性进行模糊化，根据每个区域各自的模糊隶属度来决定每一部分区域的融合策略，最终得到融合图像的多分辨率表示，再对其进行多分辨率反变换就可以得到图像的融合结果。

3.3 决策级图像融合算法

决策级融合是在信息表示的最高层次上进行融合处理。它基于一些认识模块，模拟人的识别、分析、推理的思维过程，也称为符号级或判决级融合。其缺点是预处理代价高，且需要一整套成熟的信息优化理论、特征提取方法以及丰富的专家知识。

3.3.1 神经网络法

神经网络法有大规模并行处理、连续时间动力学和网络全局作用等特点，将存储体和操作合二为一。Newman等[19]提出了六种不同类型的双模态神经元用于可见光和红外图像的融合。Fechner等[20]提出基于多层前向神经网络的图像融合方法，通过训练多层前向神经网络识别前视红外图像中感兴趣的像素，将其融入可见光图像中。

3.3.2 贝叶斯估计方法

贝叶斯理论是Bayes于1763年提出的，其基本原理是：给定某假设的先验似然估计，随着新的证据（观测数据）的到来，贝叶斯方法可以更新该假设的似然函数[3]。贝叶斯推理是处理随机模式的重要方法，因此针对不同的应用背景和各种方法的不足，不少学者致力于基于贝叶斯决策理论的融合方法的研究。但该方法需先验知识，且当多个可解的假设和多个条件相关时显得很复杂。

3.3.3 Dempster－Shafer推理方法

D－S证据理论是对概率论的进一步扩充，适用于专家系统、人工智能、模式识别和系统决策等领域的实际问题。作为Bayes推理的延伸，D－S理论无须预先知道有关的先验概率就可进行证据融合。但问题是怎样才能有效地处理矛盾的证据和幂指数增长的计算量等[18]。

3.4 静态融合向动态融合的延伸

近年来，静态图像的融合问题得到广泛研究，动态图像融合也因安全监控、人脸识别、工业监测、智能交通等领域的迫切需求而逐渐成为热门研究领域。Oliver等[13]提出了基于离开小波框架变换的多传感器动态图像融合算法，但该算法依然是对多传感器获得的序列图像按静态图像的融合方法处理的。

敬忠良[23]将序列图像超分辨率复原和运动目标检测理论用于多传感器动态图像融合中，较好地利用了序列图像在时间轴上的运动信息。这种融合算法利用了两种成像传感器所成图像的空间灰度信息和序列图像在时间轴上的运动信息，融合后的序列图像既有较好的目标指示特性，又有高清晰度的背景信息，有利于提高监控人员对目标情景的感知能力。

4 结语

4.1 存在的问题

可见光与红外图像由于相关性小，其配准相当复杂，目前尚有许多难点问题。有针对性地研究具有自动配准功能的红外和可见光图像，是提高整体融合效率和性能的前提。虽然有一些评价图像融合效果的指标和方法，但这些指标和方法只是反映图像融合效果的普通的、一般性的理论，目前还不能有效反映出融合效果与特定应用目的的实际接近程度。

此外，目前对于多源动态图像融合算法的研究较少。如果以静态图像融合方法对多传感器获得的序列图像逐帧进行融合处理，则不能利用序列图像在时间轴上的运动信息来指导图像融合过程，如何利用多传感器序列图像中的运动信息目前还是一个难点。

4.2 新的研究思路

在追求实时性和可靠性的同时，图像融合技术的研究开始强调融合图像应具有符合人类视觉感知的自然色彩效果和良好的颜色恒常性。目前研究人员主要还是用主观方法来评价彩色图像融合的质量，开发考虑人类视觉特性和图像色彩自然性的客观评价方法已成为必然趋势。对于特定场景和特定目标的融合系统开发，在先验知识驱动下，应实现自动、快速、准确融合。

4.3 发展趋势

在实际应用中，可见光与红外融合的源图像来源广泛，应用目的多种多样，很难仅凭某一种算法就能达到融合目的。因此，必然带来融合算法或融合图像的优选问题。是根据源图像性质和应用目的选择算法进行图像融合，还是在遍历所有算法形成各自融合图像后进行优选，或者二者兼而有之。

可见光与红外图像融合是现代信息技术与模式识别、人工智能、图像分类、目标检测与识别等多学科交叉、综合、延伸产生的新的科学研究方向，科学技术的发展必将使图像融合技术在越来越多的领域得到深入广泛的应用。随着网络技术的飞速发展，大规模、分布式相结合的图像融合系统已经成为信息融合技术发展的重要趋势。

[1]钱小燕，韩磊，王帮峰.红外与可见光图像快速融合算法[J].计算机辅助设计与图形学学报，2011，23（7）：1211－1216.

[2]Riley T，Smith M.Image fusion technology for security and surveillance applications[A].Proc.SPIE，2006，6402：1－12.

[3]刘从义.可见光与红外动态图像融合方法及应用研究[D].上海：上海交通大学，2007.

[4]Smith M I，Heather J P.Review of image fusion technology in 2005[A].Proc SPIE，2005，5782：29－45.

[5]Constantinos S P，Pattichis M S，Tzanakou E M.Medical imaging fusion applications：An overview [A].Conference Record of the 35th Asilomar Conference on Signals，Systems and Computers.2001，2：1263－1267.

[6]M.I.Smith，A.N.Ball，D.Hooper.Real－time image fusion：A vision aid for helicopter pilotage[A].Proc.SPIE，2002，4713：30－41.

[7]William F H.Application of the Discrete Haar Wavelet Transform to image fusion for nighttime driving[A].Intelligent Vehicles Symposium，2005：273－277.

[8]http：／／www.baesystems.com／Newsroom／NewsReleases／2007／autoGen＿10772913162.html.

[9]Xue Z，Blum R S.Concealed weapon detection using color im－age fusionA.The 6th International Conference of Information Fusion，2003，1：622－627.

[10]Schmidt R.Benefits of IR／visible fusion [A].Proc.SPIE，2007，6541：1－6.

[11]马东辉，薛群，柴奇，等.基于图像信息的红外与可见光图像融合方法研究[J].红外与激光工程，2011，40（6）：1168－1171.

[12]王岭雪.基于生物视觉特性的夜视图像彩色融合技术研究[D].北京：北京理工大学，2003.

[13]许 辉，袁轶慧，常本康.可见光与红外融合图像反射与辐射光谱分析[J].红外技术，2011，33（7）：420－423.

[14]Burt P J，Adelson E H.The Laplacian pyramid as a compact image code[A].IEEE Trans Commun，1983，31（4）：532－540.

[15]Meek T R.Multi resolution image fusion of thematic mapper imagery with synthetic aperture radar imagery [D].USA：Utah State University，1999.

[16]崔岩梅.一种基于小波变换的多尺度多算子图像融合方法[J].光学技术，1999（4）：37－39.

[17]李树涛，王耀南.基于树状小波分解的多传感器图像融合[J].红外与毫米波学报，2001，20（3）：119－222.

[18]王润生.信息融合[M].北京：科学出版社，2007：219－220.

[19]Newman E A，Hartline P H.Integration of visual and infrared information in bimodal neurons of rattlesnake[J].Optic tectum.Science，1981，213：789－791.

[20]Fechner T，Godlewski G.Optimal fusion of TV and infrared images using artificial neural networks[A].Proceedings of SPIE，1995，2492：919－925.

[21]付冬梅，王文涛.基于红外热图像的分区域RANSAC匹配算法[J].计算机与数字工程.2010（3）.

[22]张良，邵琳.图像融合在高光谱遥感数据处理中的应用[J].计算机与数字工程.2010（2）.

[23]敬忠良，肖刚，李振华.图像融合—理论与应用[M].北京：高等教育出版社，2007：179－180.