采用目标提取和NSCT的红外与可见光图像融合

桑高丽 ，宣士斌 ，2，赵 波 ，郑增国

1.广西民族大学 数学与计算机科学学院，南宁 530006

2.广西混杂计算与集成电路设计分析重点实验室，南宁 530006

图像融合是将两个或两个以上的传感器在同一时间（或不同时间）获取的关于某个具体场景的图像或者图像序列信息加以综合和处理，以得到一个关于此场景质量更高的图像，即通过对多幅图像信息的提取与综合，产生对同一场景或目标更全面、准确和可靠的图像描述[1]。经过融合处理得到的图像可以弥补单一源图像的信息量不足问题，更符合人眼或机器的视觉特性。

由于红外图像和可见光图像各有自己的优、缺点，例如，红外图像可在场景内定位具有较高温度的物体，发现被隐蔽的热源，但是对于温差不大的背景信息不太敏感。而可见光图像则可以提供背景信息，受关照和遮挡等因素的影响，不能发现与背景颜色相近或隐藏的目标。将二者融合，可以使得红外图像和可见光图像的优势互补，实现在背景中定位热源目标的功能。红外图像与可见光图像融合已成为近年来图像研究领域的热点之一，广泛应用于目标检测、目标识别和目标跟踪等方面[2-3]，在机器视觉、天文探测、红外遥感军事侦察、监视和制导等领域也得到广泛应用。

常用的红外图像和可见光图像融合规则分为基于像素点、窗口以及感兴趣区域3类[4]。其中基于像素点融合是目前应用最广泛、实现也最简单的融合规则（如小波系数取小，小波系数取大法等），这类方法的缺点是计算数据量大，实时性差，加之图像的特征也不是由单一像素表征，因此基于像素点的融合规则由于没有考虑像素点的邻域信息会导致对图像特征表征的失真；而基于窗口的融合规则利用窗口内的邻域特征指导设计融合规则，考虑的是局部范围内的邻域特征（如基于拉普拉斯金字塔变换的图像融合算法研究[5-6]）；基于区域或目标的融合规则是将特征级融合和像素级融合结合在一起，使用分割的方法将感兴趣区域图像划分为不同的区域 ，根据不同区域的特点指导像素级融合，与前两种方法相比，基于区域或目标的融合规则能获得最好的融合效果。目前基于区域方面的图像融合算法已得到广泛的研究[7-9]，但由于对图像信息量考虑不足，现有融合方法在光照不足、目标隐藏或目标和背景颜色接近时易出现目标信息减弱或丢失的现象，不能满足人们对信息获取的需求。

本文采用基于目标提取和NSCT相结合的融合方法，首先对红外图像做基于区域生长法的目标提取，得到目标区域和非目标区域，然后对红外图像和可见光图像分别做基于NSCT的多尺度分解，分别对位于目标区域和非目标区域的的低频和高频系数采用不同的融合规则。本文还对融合结果与现有的融合方法进行对比，实验表明，本文算法更好地保留了目标信息和细节信息，清晰度高，也具有较高的信息量。

1 融合算法相关理论介绍

本文通过区域生长的方法对红外图像进行目标提取；然后采用NSCT对源图像分解。

1.1 区域生长法原理介绍

由于红外成像是热辐射成像，而一般目标和背景具有较大的温差，所以根据红外成像的特点，目标区域具有较高的温度可以很容易被捕捉得到，并且同一目标的温差一般都是均匀且稳定的，因此，温度相近的部分通常被认为是同一目标或背景。

区域生长的基本思想是将具有相似性质的像素集合起来构成区域[10]。首先对每个需要分割的区域找出一个种子像素作为生长的起点，然后将种子像素周围邻域中与种子有相同或相似性质的像素（根据事先确定的生长或相似准则来确定）合并到种子像素所在的区域中。而新的像素继续做种子向四周生长，直到再没有满足条件的像素可以包括进来，一个区域就生长而成了。区域生长法的具体步骤如下：

（1）选择或确定一组能正确代表所需区域的种子像素（本文选取最亮的点为种子）。

（2）确定在生长过程中能将相邻相素包含进来的准则，常用的生长准则和方法有三种，即基于区域灰度差、基于区域内灰度分布统计性质、基于区域形状。考虑红外图像目标与背景相对比较稳定的基本特征，本文采用基于区域灰度差的区域生长准则提取目标。

（3）确定让生长过程停止的条件或规则，生长过程的停止是通过设定门限来实现的，图像特征各异，门限的设定也不能一概而论，通常最佳门限值是经过大量反复的实验确定的。

图1是本文提取目标的实验结果。

图1 本文实验结果

1.2 非降采样Contourlet变换（NSCT）

NSCT是一种具有平移不变性和良好方向选择性的分解算法，主要由两部分组成，非降采样不可分离双通道滤波器组和非降采样方向滤波器，图2展示了NSCT的基本结构图，它们在子带内对二维的频率平面进行了划分，如图2所示。

图2 NSCT分解示意图

其中，非抽样方向滤波器组利用L级树形结构的扇形滤波器组把整个频域划分成2L个楔状区域。由于NSCT采用了具有各向异性（Anisotropic）的轮廓波基作为图像的分解基元，因此具有多方向选择性[7]。

2 采用目标提取和NSCT的红外与可见光图像融合方法

基于区域生长的目标提取技术可以把红外图像分割为目标区域和背景区域，然后利用NSCT的多尺度、多方向的分解特性，抽取出目标区域和背景区域的重要信息，再根据目标区域和背景区域特性的不同而采用不同的融合规则。图3是算法的流程图。

图3 基于目标提取和NSCT的图像融合算法流程图

图像融合的目的是为了解决单一图像信息量不足，使得融合后的图像更利于人眼和机器识别及后续处理。信息熵是图像所含信息量的一个重要测度，信息熵越大，表示图像包含的信息量越多，图像效果越好[10]。已有算法的融合结果存在不同程度的源图像的信息丢失，使得融合结果在信息含量上存在不足，所以基于上述考虑，提出基于局部信息熵的最大选择融合策略。

基于目标提取和NSCT的红外图像与可见光图像融合方法分为以下几个步骤：

（1）设有两幅图像，红外图像A和可见光图像B都已经配准完毕。

（2）对红外图像运用区域生长法进行目标提取，得到目标区域和背景区域。

①目标区域

目标区域具有较高的像素值，所以能量值高于其他区域，为了保证红外图像的热目标信息能够最大限度加入到融合图像，所以目标区域直接选取红外图像A的分解系数作为融合系数。

②背景区域

因为可见光图像包含大量的背景信息，而背景信息可以提供目标的局部位置信息，又多尺度分解的低频信息是对源图像的粗略成像，即可见光图像B的低频系数包含了大量的背景细节信息，所以选取可见光图像的低频系数作为融合图像的低频系数。

鉴于之前的分析和对信息量的考虑，在高频子带的处理中，选择基于窗口的局部信息熵的融合方法。

其中L为图像总的灰度级数，Pi为灰度值为i的分布概率，其取值范围是[0,1,…,L-1]。如若只对图像的某一区域定义熵，则为局部熵，在此定义窗口的大小为3×3，即是在此窗口范围内信息熵的值。由熵的定义可知，图像的局部熵反映了该局部所含有信息量的大小，描述了图像的局部性质。

（5）通过对上面得到的融合系数做NSCT反变换，基于目标提取和NSCT的融合图像就最终得到了。

3 实验结果与分析

为了验证本文算法的有效性，本文选择了三组红外与可见光图像做实验。为了和已有算法效果做对比，在此选择五种不同的融合方法：小波系数取小法，对于小波分解得到的各层小波系数，融合规则是选取较小的作为融合系数；小波系数取大法对于小波分解得到的各层小波系数，融合规则是选取较大的作为融合系数；基于拉普拉斯金字塔变换的图像融合法[5]（以下简称拉普拉斯法），采用基于窗口（窗口大小为3×3）平均梯度的融合规则；基于NSCT的红外与可见光图像融合法[7]（简称NSCT法），则是依照区域匹配度量和显著性度量规则进行融合；提升方向波变换法[11]，用提升波对图像进行多尺度分解，然后选择具有较强各向异性信息分量的融合规则。在实验的过程中，各种方法多尺度分解为相同的层数：3层。

例1背景相对简单的单目标红外与可见光图像（见图4），此组图像的背景信息仅为灌木丛和石子，比较简单，红外图像中目标清楚且唯一。

第一组实验对象见图4（a）和图4（b），观察发现在图4（a）红外图像中，目标清晰可见，背景模糊；图4（b）的可见光图像中，目标被遮挡不可见。图4（c）～（h）分别为小波系数取大法，小波系数取小法，Laplace法，NSCT法，提升方向波变换法和本文算法的融合结果，观察结果发现，图4（c）目标几乎完全丢失，使用简单的小波系数取大法虽然能看到目标和背景，但对比度较差。拉普拉斯金字塔法和提升方向波变换法得到的效果较好，背景和目标都比较清晰，但背景和目标的亮度都有一定程度的减弱。使用NSCT法目标信息和背景信息亮度有明显加强，但是失真现象严重，不利于人眼观察。图4（h）相比前面的几种方法，很好地保留了红外图像的目标信息和可见光图像的背景信息，视觉效果好。

图4 红外和可见光图像融合实验1

图5 红外和可见光图像融合实验2

为了更客观地对上述几种方法的融合效果进行评价，本文分别计算以上融合结果的信息熵、标准差、相关系数等以比较各种算法。标准差反映了图像灰度偏离灰度均值的程度，可以用来评价图像反差的大小，标准差越大，则灰度级分布越分散，图像包含的信息量越大[12]。相关系数衡量的是图像之间的相关程度，其值越接近于1，表示融合结果与源图像越相近，越少的失真度，融合效果越好。表1是第一组图像的客观评价性能。由表1可知，本文算法所得图像的信息熵和标准差最大、与源图像有较大的相关度。说明本算法的综合融合效果优于其他5种融合方法。

表1 融合性能的客观评价1

例2具有复杂背景的单目标红外与可见光图像（见图5），可见光图像中背景信息有栅栏，烟囱，平房，山路等，红外图像中目标清晰且唯一。

图5是本文算法和其他四种不同的算法的效果图，很显然简单的逻辑方法（灰度取大和取小）降低了融合图像整体的对比度，并且使得融合图像中存在着严重的信息丢失现象，如图5（c）中烟囱的部分信息丢失，人的红外信息全部丢失。图5（d）中栅栏信息存在缺失。而Laplace金字塔的融合结果图5（e）与前面两种方法相比对比度提高，包含的细节信息也明显增多，但是在房檐处存在严重的不连续性失真现象，目标信息有明显减弱的现象。图5（f）和（g）分别是NSCT法和提升方向波变换法的融合结果，得到的图像对比度较低，目标和背景区域都有不同程度的信息减弱。图5（h）是本文算法融合结果，相比于前面几种算法，既很大程度上提取了红外图像中的目标信息，又很好地保留了可见光图像中背景的细节和轮廓信息，视觉效果最好。

同理，计算上述融合图像的客观评价指标（见表2），本算法所获图像的信息熵较大，标准差最大、与原红外图像和可见光图像的相关系数最大，综合指标最优，说明本文方法的综合融合性能优于其他传统的小波变换法等5种融合方法。

表2 融合性能的客观评价2

例3复杂背景下大目标的红外与可见光图像（见图6），背景信息有栏杆，草丛，树木等，红外目标较大，且有部分颜色与背景相近。

图6 红外和可见光图像融合实验3

图6是本文的第三组实验，图6（a）为红外图像，可以看到目标的衣服和背景极为接近，在可见光图像图6（b）中，由于目标和背景比较相近而导致目标不容易识别，但是目标信息仍然是可见的。图6（c）和源可见光图像相比，除了对比度有些许降低外，几乎没有什么改善。图6（d）、（e）和（g）虽然都不同程度地保留了红外和可见光图像的信息，但是通过对比发现，都有不同程度的信息缺失。图6（f）信息量明显不足。图6（h）目标信息和背景信息最为完整，易与观察和识别。但是也存在不足之处，由于目标信息与背景相近，以致于提取的目标信息不完整，所以在此目标信息有块现象存在，针对这类目标与背景比较相近，以及多目标的情况是今后要继续研究的工作。

本组图像的融合性能评价参数计算如表3，再次说明了本文算法的有效性。

表3 融合性能的客观评价3

4 结论与展望

本文在进行红外与可见光图像融合时候，先运用目标提取的方法，然后在NSCT的基础上，提出了基于局部信息熵的融合规则，较好地解决了融合图像的信息含量不足的问题。下一步的工作包括本文中出现的目标与背景颜色相近的红外图像与可见光图像的融合，以及同一场景中多目标红外与可见光图像融合的算法研究。

[1]王春华，马国超，马苗.基于目标提取的红外与可见光图像融合算法[J].计算机工程，2010，36（2）：197-200.

[2]付立冬，姜学军，谭小波.红外图像特征提取方法研究[J].科技信息，2009（15）.

[3]刘宝源.红外与可见光图像融合技术研究[D].武汉：华中科技大学，2009.

[4]刘坤，郭雷，陈敬松.基于区域分割的序列红外图像融合算法[J].红外与激光工程，2008，38（3）：553-557.

[5]陈浩，王延杰.基于拉普拉斯金字塔变换的图像融合算法研究[J].激光与红外，2009，39（4）：339-442.

[6]李振华，敬忠良，孙韶媛，等.基于方向金字塔框架变换的遥感图像融合算法[J].光学学报，2005，25（5）：598-602.

[7]刘刚，许林峰.基于非降采样Contourlet变换的红外与可见光图像融合及稳健性分析[J].控制与决策，2010，25（4）：623-626.

[8]何国栋，梁栋，姚红，等.基于非抽样Contourlet变换的红外图像和可见光图像融合算法[J].微电子学与计算机，2009，26（2）：8-11.

[9]Liu Kuna，Guo Lei’a，Li Huihuia，et al.Fusion of infrared and visible light images based on region segmentation[J].Chinese Journal of Aeronautics，2009，22：75-80.

[10]陈方昕.基于区域生长法的图像分割技术科技信息[J].科技信息，2008（15）：58-59.

[11]刘启海，林玉池，冯伟昌，等.采用提升方向波变换的异源图像融合新算法[J].红外与激光工程，2010，39（2）：358-362.

[12]柴奇，杨伟，管怡，等.一种改进的可见光与红外图像融合算法[J].红外技术，2008，30（2）：87-90.