基于边缘检测小波变换的红外与可见光图像融合方法＊

李 茜，郭 佳，郭小云

引 言

随着现代科学技术的发展，单一传感器提供的信息已不能全面反映探测对象的目标特性，单一的探测模式也逐渐向多波段多频谱协同探测模式发展。其中，红外成像传感器和可见光成像传感器是两种常用波段的传感器，采用两者数据融合处理技术，利用信息的互补性，可提高系统的空间分辨率、全天候工作能力以及目标检测和抗干扰能力，有效扩展系统目标探测的空间和时间覆盖范围［1］。

近年来，对同一场景的可见光与红外图像的融合已成为国际上的研究热点，各种方法不断出现。对于像素级图像融合，其算法主要可分为以下三种：简单算法，塔形分解基础上的图像融合及小波分解基础上的图像融合。本文在论述以上方法理论的基础上，针对现有的红外与可见光图像融合方法的不足，提出了一种基于边缘检测的小波变换图像融合方法，并对融合效果进行了评价。

1 图像融合算法

1.1 图像融合的简单方法

图像融合的简单方法是直接对参加融合的各对应像素进行选择、平均、加权平均等简单处理后，融合得到新的图像。它是一种典型的图像融合算法，其特点是不对各源图像进行任何的分解或变换。

简单的融合方法主要有：

（1）选大像素灰度值；

（2）选小像素灰度值；

（3）像素灰度值的平均或加权平均（简称加权平均）。

由于简单的图像融合方法会造成融合图像对比度下降，因此它的使用范围及其有限，只适合对图像质量要求不高的场合，并且该算法的融合过程参杂了人工的干预，对目标的自动识别造成一定影响［2］。

1.2 基于塔形分解的图像融合方法

图1所示为基于塔形分解的融合过程，这种图像融合方法的特点是多尺度、多分辨率，且其融合过程是在不同尺度、不同空间分辨率、不同分解层上分别进行的。

基于塔形分解的图像融合方法主要有：

（1）基于比率塔形分解；

（2）基于梯度塔形分解；

（3）基于对比度塔形分解；

（4）基于拉普拉斯塔形分解。

与图像融合的简单方法相比，经该方法融合的图像质量有了明显的改善，但是，使用该方法进行融合后的图像，图像数据总量有所增加，这是由于在进行塔形分解的过程中产生了冗余分解。其中，图像的比率、拉普拉斯和对比度塔形分解没有方向性［3－4］。

1.3 基于小波分解的图像融合方法

如图2所示为基于小波分解的图像融合方法，是一种图像的多尺度、多分辨率分解方法。小波分解是非冗余的，因此，经过小波分解后不会增加图像数据总量。小波分解还具有方向性，这使得在针对人眼的视觉特性对不同方向的高频分量具有不同分辨这一视觉特性时，获得的图像的视觉效果显著增加［5－6］。

图1 基于塔形分解的图像融合过程Fig.1 Image fusion based on pyramid decomposition

图2 基于小波分解的图像融合处理方法Fig.2 Image fusion based on wavelet decomposition

基于小波分解的图像融合方法具体过程如下：

（1）分别对每一幅参加融合的图像进行小波分解，进而形成图像的多尺度表示，采用不同的基小波或者小波变换方式，将得到不同的、具有多分辨的图像；

（2）分别对各分解层进行融合处理，每一个分解层具有其唯一的融合算子，融合后将得到多尺度图像。不同的融合规则、规则的优劣性将会对融合速度与质量产生直接影响；

（3）采用小波逆变换对图像进行处理变换，即第一步的逆变换后获得融合图像。

2 一种基于边缘检测的小波变换图像融合方法

前面所叙述的融合方法是针对整幅图像进行，没有考虑到区域信息，而图像的边缘是图像最重要的特征，边缘像素虽然只占少数部分，但却包含了图像的大部分信息。因此，图像边缘的检测和提取一直是图像融合的研究热点，本文在现有的红外与可见光图像融合方法的基础上［7］，提出了一种新的小波变换图像融合方法，此方法基于边缘检测，主要针对红外与可见光图像进行融合处理。具体融合方法如下：

（1）设A 可见光图像，B为已配准的红外图像，分别对其进行小波分解，得到各自的多分辨率结构；

（2）对小波分解后的A、B图像的顶层低频近似分量取加权平均值，作为融合图像在该尺度上的低频分量；

（3）选取垂直边缘检测因子、水平边缘检测因子、45°对角线边缘检测因子、－45°对角线边缘检测因子分别对变换后不同尺度下的高频系数在对应的不同方向上对边缘进行检测，得到不同尺度下高频系数的边缘图像；

（4）图像融合的关键在于高频成分的融合，图像进行小波分解后，其丰富的边缘信息包含于高频子带中。为了使参加图像融合的所有边缘特征都包含在融合图像中，即实现边缘点的融合，将对相应尺度下的边缘图进行或运算，参加运算的两幅图像所有边缘点都会全部存在于融合结果中；

（5）对已确定的低频分量和高频分量按照步骤1进行小波逆变换，即可得到最终的融合图像。

图3为可见光图像，图4为经过增强配准后的红外图像，选取db6小波作为基小波对图3和图4分别基于小波分解和本文算法进行融合试验，其结果如图5、图6所示。

图3 可见光图像Fig.3 Visible light image

图4 经增强配准后的红外图像Fig.4 Infrared image after enhancement and registration

图5 红外与可见光图像基于小波分解的融合结果Fig.5 Fusion result of infrared and visible light image based on wavelet decomposition

图6 红外与可见光图像基于本文算法的融合结果Fig.6 Infrared image of infrared and visible light image based on this algorithm

通过融合效果的对比可以看出，采用本文提出的算法融合图像，结果中不仅包含了可见光图像的特征信息（直升飞机机身以及背景的细节信息），而且包含了红外图像的特征信息（由于直升机螺旋桨下端的发动机在工作中会发热，因此在红外图像中体现出高灰度值的特征），提高了图像的分辨效果和人眼对场景目标的发现和识别概率，融合效果较为理想。

3 图像融合效果评估

评价图像融合效果的方法主要有客观评价法和主观评价法两种。以人作为观察者，对图像质量的好坏做出主观定性的评价方法为主观评价法［8］。如表1所示为红外与可见光图像融合的五级质量尺度和妨碍尺度评分表。

参考主观评价尺度评分表，对上述方法融合结果，通过专业与非专业人员的主观评价统计，得到主观评价为5分的四种方法，分别为像素值灰度值选大、db6小波变换、sym6小波变换和基于边缘检测的小波变换。然而主观评价受到心理因素、观察人员水平、观察条件与环境等多方面影响，因此需要引入客观评价作为对主观评价正确性的补充。

通过建立融合图像与理想图像之间的量化评价公式，客观评价可以增强判断的准确性和提高判断速度。同时，为了弥补各种方法的缺陷，可引入多量化判据，获得更客观的结论。选取以上四种主观评价为5分的融合方法，依据其图像的信息熵、平均交叉熵MCE、均方根交叉熵RCE、标准差、平均梯度以及峰值信噪比PSNR（基准图像选取可见光图像）六个参数对其进行客观评价［9］，其结果如表2所示。

从表2中可以看出，针对可见光与红外图像融合，经本文提出的图像融合方法融合后的图像，其图像信息熵较大，含有更为丰富的信息量；MCE 和RCE 较小，融合图像时可以提取更多的信息；融合图像的平均梯度和标准差较大，对比度以及清晰度更高；同时，其PSNR 也较大，融合图像中噪声得到了较好的抑制。

表1 红外与可见光图像融合的主观评价尺度评分表Tab.1 Subjective evaluation scale rating form of infrared and visible light image fusion

表2 红外与可见光图像融合的客观评价参数表Tab.2 Objective evaluation parameter list of infrared and visible light image fusion

4 结 论

在现有的红外与可见光图像融合方法之上，提出了一种新的图像融合方法，该方法是基于边缘检测的小波变换方法。同时，论文针对融合效果进行了评价。实验结果表明，经该方法对红外与可见光图像的融合可以提供更多、更有效的信息，提高了图像的分辨效果和人眼对场景目标的发现和识别概率，融合效果较为理想。

［1］ 佘二永.多源图像融合方法研究［D］.湖南：国防科学技术大学，2005.

［2］ 马金福.多源图像融合技术及应用研究［D］.西安：西安科技大学，2009.

［3］ 程英蕾，赵荣椿，李卫华，等.基于像素级的图像融合方法研究［J］.计算机应用研究，2004（5）：169－172.

［4］ 王文武.像素级图像融合技术研究［D］.武汉：华中科技大学，2005.

［5］ 刘贵喜，杨万海.基于小波分解的图像融合方法及性能评价［J］.自动化学报，2002，28（6）：927－934.

［6］ 甘重斗.基于图像处理技术的自动报靶系统的设计与实现［D］.兰州：兰州大学，2007.

［7］ 刘 坤，郭 雷，李晖晖.像素级多传感器图像融合的研究［J］.计算机工程与应用，2007，43（12）：59－61.

［8］ 殷兵云.多传感器图像融合方法研究［D］.西安：西安电子科技大学，2009.

［9］ 景娟娟，吕群波，周锦松，等.图像融合效果评价方法研究［J］.光子学报，2007，36（增刊）：313－316.