基于改进的NSCT红外可见光图像融合算法

杨 彬，黄润才，王从澳

(上海工程技术大学电子电气工程学院，上海 201600)

0 引 言

多传感器图像融合是多个传感器对于同一场景所捕捉到的图像信息，利用各个传感器不同工作原理将多种图像优势互补而综合起来得到一幅对该场景描述更加清晰完整的图像[1]。红外和可见光图像融合在图像融合范畴也是不可或缺的。红外传感器主要是依靠它的热辐射，可以较为容易地得到与背景温度差较大的目标，因而红外图像抗干扰能力强，但相比之下比较缺乏目标场景的细节信息。可见光传感器得到的图像在细节信息方面保存较为完好，然而可见光传感器易受天气等外界因素所干扰[2-4]。综合两者可知，红外图像和可见光图像具备良好的互补特性，将红外传感器全天工作抗干扰特性和可见光传感器保留光谱信息特性相结合，可以得到对目标场景更加清晰全面的图像[5-7]。

目前，图像融合技术发展迅速，多尺度几何变换因简单实用、时频局部化等优点而广受欢迎[8]。小波变换的局部分解能力适合人眼进行观测，因而在图像分析和融合方面应用较为广泛。但是正交小波变换会在重建图像中产生振铃效果，仅能分解有限的方向信息，并且基于Mallat方法的正交小波变换对于图像的边缘和多方向信息处理较差[9]。基于这些问题，随后有学者提出了轮廓波变换(Contourlet Transform， CT)[10-12]，Contourlet变换善于捕捉图像平滑的轮廓信息和方向的纹理信息，也正好改善了小波变换的这些问题。接着非下采样轮廓波变换(Non-Subsampled Contourlet Transform， NSCT)[13-15]的提出正好可以消减Contourlet变换的Gibbs效应，在分解和重构的过程中因为NSCT没有直接对图像进行上、下采样操作，所以各子带图像具有和源图像一样的大小尺寸，这样NSCT在具备了Contourlet变换多尺度多方向的特点基础上，同时还具备平移不变性，是一种对于图像分析和融合的优良方法。2008年非下采样剪切波变换(Non-Subsampled Shear wave Transform， NSST)[16-18]被提出，在NSCT基础上，将方向滤波器替换成剪切波滤波器，则在NSCT基础上还具有方向数不受限制的优势。

当然，融合规则的选取在融合图像的质量好与否也占据不小地位。传统的融合规则譬如加权平均法和绝对最大值法，这些规则在融合过程中会比较容易损失源图像的目标细节信息，所以这里采用NSCT和PCA相结合的图像融合方法。在低频系数选用PCA算法可以保留源图像背景的主要信息。在高频系数中，相对来说最高层次系数表达的是更为详细的信息，这也就意味着更多的独立性，因此选用绝对最大值选择规则进行融合，而对于一般高频系数，利用绝对最大值与区域标准差选择系数。最后通过实验来验证该算法的有效性。

1 相关背景

1.1 NSCT

非下采样轮廓波变换NSCT由非下采样金字塔滤波器组(NSP)和非下采样方向滤波器组(NSDFB)这2个部分构成[19-22]。简单来说，NSCT过程首先使用NSP分解源图像得到低频和高频系数，并且NSDFB用于分解NSP每个阶段的高频子带，得到的各子带图像都和源图像大小尺寸一样，这也印证了NSCT的平移不变特性。NSCT的分解框图如图1所示。

图1 非下采样Contourlet变换

1.2 PCA

PCA(Principal Component Analysis，主成分分析方法)是一种统计学中常用来分析数据的方法，主要用来降维。所谓降维，顾名思义就是在能保存原始数据信息的基础上将高维数据绘制到低维，删除噪声和一些不重要的数据，使得可以方便且高效地处理数据[23]。PCA的主要思想是想找到一种映射关系，可以将n维的数据特征绘制到m维数据特征(m

2 图像融合算法

简单来说，本文算法融合过程是利用NSCT对源图像进行分解，低频部分拥有了主要的轮廓和背景信息，同时也保留了映射的不确定关系，高频部分拥有主要的细节和目标信息[24]，这也是人眼易于观察的部分。当然，融合规则的选取在融合图像的质量好与坏也占据不小地位，本文选用的融合算法如图2所示，主要步骤如下：

图2 本文融合算法流程图

1)使用NSCT分别分解源图像X1和X2，得到低频系数L1和L2以及高频系数S1和S2。

2)对低频系数L1和L2运用PCA变换融合规则，由于低频部分拥有主要的轮廓、背景信息，采用PCA方法能够保留源图像背景的主要信息。

3)在高频子带中，相对来说最高层次系数表达的是源图像中最为细节的信息，选用绝对最大值选择规则进行融合。而对于一般高频系数，选用绝对最大值与区域标准差选择系数，使图像更符合人眼视觉效果。

4)将步骤2和步骤3所得到的子带图像进行逆变换得到融合后的图像。

2.1 自适应高斯模糊隶属度

为了融合经过NSCT分解得到的高频系数，本文运用自适应Gaussian隶属度函数。隶属度函数是用来定量描述不同的目标类型及其对应的像素和每个图像系统内部的不确定性[25]，这里可以通过分配频率系数来计算隶属度进而调整红外和可见光图像分解系数之间的权重，则自适应Gaussian隶属度函数可表示为：

(1)

2.2 低频系数融合规则

由NSCT分解得到的低频系数，拥有主要的轮廓、背景等信息，这里选用主成分分析法对低频方面进行融合，因为主成分分析法能够突出图像的主要信息，对于细节信息不明显的低频分量融合效果较好。

(2)

由加权系数可得融合图像F：

(3)

2.3 高频系数融合规则

NSCT分解得到的高频子带系数图像，拥有着主要的目标、细节信息。在高频子带中，相对来说较高层次系数表达的是源图像中最为细节的信息，可选取像素绝对值取大法融合规则，而相比之下低层次系数代表了较为粗糙的信息，可选取绝对最大值与区域标准差融合规则。

对于最高层次子带系数，分解尺度J的融合系数为：

(4)

对于低层次高频子带系数，利用区域标准差来求出加权系数，标准差的大小和图像质量成正相关，这里选用窗口模板为3×3。区域标准差可表示为：

(5)

(6)

根据Gaussian自适应性，高频系数加权系数可定义为：

(7)

其中，kl为权重因子的调整参数，δIR和δVIS分别为红外和可见光图像的自适应性Gaussian隶属度。可得融合后图像为：

(8)

对于高频系数的融合，这里采用了非线性共轭梯度下降和线搜索算法，可以更好地增强融合细节。梯度下降(Gradient Descent)为迭代法的一种，广泛用于求解机器学习的模型参数，GD的迭代过程如下：

1)初始化：迭代次数k=0；线性搜索数值接近参数m=0；线性搜索参数t=1；g0=f(m0);Δm0=-g0。

2)迭代：

①当‖gk‖2>收敛准则的梯度，k<迭代次数收敛条件；

②回溯线搜索：

t=βt

m=m+1

mk+1=mk+tΔmk

gk+1=f(mk+1)

Δmk+1=-f(mk+1)+γΔmk

k=k+1

λ=λδ

3 实验结果及分析

对于本文选用的NSCT和PCA相结合的融合算法，为了验证其有效性，选取在相同场景下获得的标准IR和VIS图像进行测试，测试图像均是从标准图像数据集中获取。测试平台：Inter(R) Core(TM) i5-5200U CPU，2.20 GHz，NVIDIA GeForce 820 M显卡，Windows10系统，在Matlab R2016a软件上进行实验。本文选取3组已配准的红外和可见光图像进行实验，选取基于小波变换的图像融合(WT)[7]、基于NSCT变换的图像融合[14]、基于PCA的图像融合[18]、结合轮廓波和导引滤波增强的图像融合(CT_GF)[10]和结合NSCT和形态顺序触发算子图像融合(NSCT_MS)[17]这5种融合算法作为对比，对于改进的NSCT方向滤波器采用dmaxflat7滤波操作，每级分解方向数为8，实验结果如图3～图5所示。

(a) IR (b) VIS

(c) WT (d) NSCT

(e) PCA (f) NSCT_MS

(g) CT_GF (h) NSCT_PCA图3 第一组融合图像

(a) IR (b) VIS

(c) WT (d) NSCT

(e) PCA (f) NSCT_MS

(g) CT_GF (h) NSCT_PCA图4 第二组融合图像

(a) IR (b) VIS

(c) WT (d) NSCT

(e) PCA (f) NSCT_MS

(g) CT_GF (h) NSCT_PCA图5 第三组融合图像

图3～图5是本文算法的3组实验，第一组融合图像对象是夜晚拍摄街道的一角，融合图像对比实验如图3所示。可以看到，图3(e)整体的亮度偏低，很难观察到整个街道处的细节信息；图3(c)、图3(d)、图3(f)、图3(g)在图3(e)基础上对于整体亮度有一定的提升，但是在行人、广告牌和汽车细节方面处理得还不够好，图片看起来较为模糊；而本文算法对比前面几幅图像来看，整体图片亮度有了明显的提升，而且对于行人、广告牌和汽车细节方面处理也比前几种更好，图片整体细节和视觉效果都比较好。第二组融合图像对象是白天拍摄的海平面上的游船，如图4所示。可以看出，与图3类似，图4(e)也是整体亮度偏低；图4(c)、图4(d)、图4(f)、图4(g)相较于图4(e)在整体亮度上有了较大提升，但是目标信息还是不够明显，周围的海平面也比较模糊；而本文算法在整体亮度上表现较好，在海平面和船体方面相比前几种融合算法更加清晰，也有着更好的图像视觉效果。第三组融合图像是户外的一角，如图5所示，可以看到图5(e)也是整体偏暗，图5(c)、图5(d)、图5(f)、图5(g)视觉相对较好，不过树木房屋也有不同程度的模糊，而本文方法在整体亮度、树木、房屋和人方面效果都比较好，有着更好的视觉效果。

为了不因为人眼直接观察导致的误差影响到融合图像的评价，本文还需要使用客观条件指标来对融合图像进行评判。这里使用信息熵(Information Entropy， IE)、平均梯度(Average Gradient， AG)、空间频率(Spatial Frequency， SF)和标准差(Standard Deviation， SD)这4种图像指标对3组图像进行客观评价。这些指标都是对图像的定量分析，对应的值越大说明图像融合效果越好。如表1～表3所示，本文算法仅在平均梯度上比文献[17]的方法略低，信息熵、空间频率和标准差均比其他算法要高，也就是说融合图像信息较多，在图像边缘和轮廓信息方面处理较好。综上，本文算法在主观和客观上都有比较良好的表现，在融合过程中可以保留更多的原始信息，即验证了本文算法的可用性。

表1 第一组融合图像客观评价

表2 第二组融合图像客观评价

表3 第三组融合图像客观评价

4 结束语

本文提出了一种基于NSCT和PCA变换的红外和可见光图像融合算法。首先NSCT分解红外可见光图像得到低频子带和高频子带图像，低频系数拥有了主要的轮廓、背景等信息，PCA能够突出图像的主要信息，对于细节信息不明显的低频分量融合效果较好，所以选用主成分分析法对低频系数进行融合。高频子带系数拥有了主要的目标、细节等信息，在高频子带中，相对来说较高层次系数表达的是源图像中最为细节的信息，选用绝对最大值选择规则进行融合。而对于一般高频系数，选用绝对最大值与区域标准差选择系数，使图像更符合人眼视觉效果，最后经过逆变换得到融合后的图像。实验结果表明，主观上和客观上都印证了该方法的可用性。然而在经过NSCT得到的低频系数中可能会存在非常少量的高频信息，低频系数中PCA可以很好地突出图像的主要信息，则下一步还需要探究PCA融合中如何与其他算法有效协同的问题。