基于稀疏表示和NSCT-PCNN的红外与可见光图像融合

夏景明, 陈轶鸣, 陈轶才, 何 恺

(1.南京信息工程大学电子与信息工程学院，南京 210044; 2.华北电力大学机械工程学院，河北 保定 071000)

0 引言

红外成像传感器是通过目标场景的热辐射成像，具有较强的识别伪装能力，但是成像清晰度较低。可见光成像传感器是通过目标场景的反射成像，具有较高的空间分辨率和清晰度，但是易受到恶劣环境因素的影响[1]。因此，将红外与可见光图像进行融合，充分利用其信息的互补性，在军事作战、资源探测、安全监控等多领域有广泛的应用价值[2]。

非下采样轮廓波变换(Non-Subsampled Contourlet Transform,NSCT)具有多尺度、多方向、各向异性以及平移不变性等优点[3]，但是经过 NSCT分解获得的低频子带系数不稀疏，稀疏表示(SR)可以捕捉低稀疏度低频子带更深层面的几何结构特征，采用字典中较少原子项的线性组合来最优表示信号[4]。脉冲耦合神经网络(PCNN)模拟动物的视觉系统，具备了动态、捕获以及时间序列等特性，可以将输入的高频子带融入人眼的视觉特性，从而提取更多的特征信息[5]。

因此，NSCT变换、稀疏表示以及PCNN模型的图像融合方法得到越来越多的关注。文献[6]在NSCT变换的基础上提出了一种红外与可见光图像融合算法，该算法能够得到较为理想的融合图像，但其对低频子带系数融合选择了“加权平均”方案，不能够充分表达源图像的整体结构信息。文献[7]在改进NSCT变换的基础上，提出了关于PCNN模型的图像融合方法，该方法能够较好地保持图像结构，使融合图像更符合人类的视觉神经系统，但融合图像的互信息相对较小。文献[8]提出了一种基于稀疏表示的可见光与红外图像融合方法，该算法选用“最大元素绝对值”融合规则完成了稀疏编码的融合，且融合结果优于经典算法，但其没有考虑到图像更深层次的结构特征。针对上述讨论提到的问题，同时考虑到PCNN神经元具备的基本特性，本文提出了一种基于稀疏表示和NSCT-PCNN的红外与可见光图像融合算法，即NSCT-SR-PCNN算法。

1 基本理论

1.1 NSCT变换

NSCT变换包括非下采样金字塔(NSP)分解和非下采样方向滤波器组(NSDFB)分解两个步骤，NSP分解是通过非下采样塔式滤波器组将源图像迭代分解为低、高频子带，保证NSCT变换多尺度特性的过程。NSDFB是一个双通道非下采样滤波器组，将NSP分解得到的高频子带图像进行l级NSDFB方向分解，可以得到2l个方向各异的子带图像。

1.2 稀疏表示

稀疏表示是指假设自然信号可以由过完备字典D∈Rn×k中的少量原子的线性组合表示或逼近，那么信号x的稀疏系数的算式为

(1)

式中：D为过完备字典；A为信号x的稀疏系数，‖A‖0为A的L0范数；ε为逼近误差容限。NSCT-SR-PCNN算法通过K奇异值分解(K-SVD)算法学习样本集得到冗余字典，采用批量正交匹配追踪(Batch-OMP)优化算法估计稀疏系数A[9]。

1.3 脉冲耦合神经网络

PCNN是具有全局耦合性和同步脉冲性的反馈性神经网络模型[10]，其简化模型的数学表达式为

(2)

式中：n为迭代次数；Iij为刺激信号；Wijkl为神经元之间的突触连接权系数；Yij为外部输入信号；Uij为内部状态信号；β为链接强度；θij为神经元阈值；Fij和Lij分别为反馈输入和链接输入；αL和αθ均为时间常数；VL和Vθ均为放大系数。

2 基于NSCT-SR-PCNN算法的红外与可见光图像融合算法

NSCT-SR-PCNN算法首先采用NSCT变换分别对配准后的源图像进行分解，得到源图像的低频、高频子带，然后在低频系数部分采用稀疏表示的规则进行融合，在高频系数部分采用PCNN神经元模型的规则进行融合，最后采用NSCT逆变换对融合后的子带系数进行重构，获得红外与可见光融合图像。

2.1 低频子带系数融合规则

低频子带系数融合是采用稀疏表示融合实现的，首先从待融合图像中取块构成训练样本集，利用K-SVD算法训练过完备字典，其次采用文献[11]提出的Batch-OMP算法求解稀疏系数，最后根据图像丰富度将稀疏系数进行融合，主要步骤如下。

1) 将尺寸为M×N的源图像A和B通过NSCT变换分解为低频子带和高频子带。

2) 选用尺寸为n×n的窗口，按照步长为S个像素的要求，将低频子带LA和低频子带LB进行滑窗处理得到(N+n-1)×(M+n-1)个低频子带子块；另外，将低频子带子块排成列向量，得到样本集矩阵VA和VB。

4) 利用K-SVD算法对样本矩阵进行迭代运算，获取低频子带系数过完备字典D。

(3)

6) 融合均值矩阵的选择算式为

(4)

(5)

8) 将融合样本集矩阵VF的列排成低频子带子块，将低频子带子块重构得到低频子带的融合系数。

采用稀疏表示实现低频子带系数融合的具体流程如图1所示。

图1 低频子带SR融合流程Fig.1 SR fusion process of low-frequency subband coefficients

2.2 高频子带系数融合规则

根据人类视觉系统特性可知，空间频率(SF)反映了图像局部区域特性和细节的信息量，因此对于高频子带系数的融合可以采用SF来刺激PCNN神经元模型，即

(6)

其中，窗口大小为3×3，Rij和Cij算式分别为

(7)

(8)

在PCNN 模型中，β的取值决定了神经元耦合关系的强弱，高频子带系数融合选择能够衡量邻域特征信息的拉普拉斯能量(EOL)和标准差(SD)分别作为PCNN 对应神经元的链接强度值，EOL和SD算式为

(9)

(10)

式中：f(u,v)为(u,v)的像素值；w是大小为l×l的窗口。

基于PCNN简化模型的融合选用SF作为神经元反馈输入来激励每个神经元，同时选用EOL和SD作为对应神经元的链接强度值。根据PCNN神经元模型的捕获特性可以得到对应的点火图，将点火图进行加权可以得到新点火图。最后，将新点火图作为标准，选择合适的高频融合系数。具体实现步骤如下。

2) 根据式(9)和式(10)计算高频子带系数HA和HB的EOL和SD(记为βAE，βAS，βBE和βBS)，并将其分别作为相应神经元的链接强度值。

3) 初始化设置：Lij(0)=Uij(0)=0，θij(0)=1，此时神经元处于熄火状态，即Yij(0)=0，产生的脉冲数为Oij(0)=0。

4) 根据式(2)计算Li j[n]，Ui j[n]，θi j[n]和Yij[n]。

5) 累计PCNN简化模型迭代运行的输出：OAE，OAS，OBE和OBS，采用加权函数获得高频子带系数HA和HB对应的新点火映射图OA和OB：OA=w1OAE+w2OAS，OB=w3OBE+w4OBS，wi(i=1,2,3,4)的算式为

(11)

6) 比较新点火映射图像素处的点火时间输出阈值(点火频数)，高频子带融合系数HF(i,j)的算式为

(12)

采用PCNN神经元模型实现高频子带系数融合的具体流程，如图2所示。

图2 高频子带PCNN神经元模型融合流程Fig.2 PCNN fusion process of high-frequency subband coefficients

3 实验结果与分析

为了验证本文算法的有效性，选取了3种对比算法进行红外与可见光图像融合实验，并且选用了相关系数(CC)、边缘信息传递因子(QAB/F)[12-14]、视觉信息保真度(VIFF)、结构相似模型(SSIM)[15]和以“秒”计的运行时间(RT)5个指标对融合结果进行客观的质量评价。其中，将文献[16]、文献[17]以及文献[18]提出的图像融合方法分别简称为NSCT算法、PCNN算法以及NSCT-PCNN算法。

各种算法的融合结果如图3～图5所示，各种算法的客观质量评价指标如表1～表3所示。

图3 第1组红外与可见光图像融合结果Fig.3 Fusion results of the 1st set of infrared and visible images

图4 第2组红外与可见光图像融合结果Fig.4 Fusion results of the 2nd set of infrared and visible images

图5 第3组红外与可见光图像融合结果Fig.5 Fusion results of the 3rd set of infrared and visible images

表1 第1组红外与可见光图像融合的质量评价Table 1 Fusion quality evaluation of the 1st group of infrared and visible images

表2 第2组红外与可见光图像融合的质量评价Table 2 Fusion quality evaluation of the 2nd group of infrared and visible images

表3 第3组红外与可见光图像融合的质量评价Table 3 Fusion quality evaluation of the 3rd group of infrared and visible images

从图3～图5的人眼视觉效果上看，4种算法都能够将红外目标信息和可见光背景信息进行融合，但是各融合图像对源图像整体和细节信息的表达各不相同。第1组融合结果中，图1c和图1e对于左下角的树木表达出现了虚假边缘现象，图1d的整体表达引入了方块现象。第2组融合结果中，图2c对于目标轮廓的表达模糊不清，图2d的左上角出现横纵交错的多数带条，图2e在目标的上方引入了灰度带。第3组融合结果中，图3c背景信息高度模糊，图3d目标信息轮廓不清，背景信息引入了带条，图3e背景信息纹理不清，出现多数光斑现象。各组融合结果的图1f、图2f和图3f完整地表达了红外图像目标的亮度特征和可见光图像背景的纹理、轮廓以及边缘特征，符合人类的视觉效果。

从表1～表3的评价指标来看，虽然在第2组融合结果中，NSCT-SR-PCNN算法的VIFF指标略低于NSCT-PCNN算法，在第3组融合结果中，NSCT-SR-PCNN算法的CC指标略低于NSCT算法，但3组中除RT外，其余评价指标均明显优于对比算法的评价指标。从表1～表3的RT评价指标来看，PCNN算法的运行时间最短，NSCT算法、NSCT-PCNN算法和NSCT-SR-PCNN算法运行时间较长，图像经NSCT分解再处理消耗大量时间，融合效率降低。因此，本文提出的NSCT-SR-PCNN算法从人类的视觉效果和综合客观评价指标上来看，其融合效果更优，融合性能更高，但融合效率有待提高。

4 结束语

NSCT-SR-PCNN算法将NSCT分解、SR模型以及PCNN模型相结合，解决了稀疏表示容易产生“斑块”现象的问题，同时避免了图像能量和方向信息的丢失，融入了多尺度信息、对比度信息以及人眼视觉信息，提高了刻画图像特征信息的能力。从实验结果与分析中可以看出：NSCT-SR-PCNN算法虽然并不是各项质量评价指标均为最优值，但是综合各项质量评价指标则居于第一位，该算法可以较好地提取红外图像的目标信息，也可以较好地保留可见光图像的场景信息，融合结果高度符合人眼的视觉特性。

当然，NSCT-SR-PCNN算法也存在需要改进的地方，比如，可以通过在线字典学习训练的方法获取过完备字典D，这将是需要继续研究的方向。

参考文献

[1] 张莹,李言俊,张科,等.基于NSCT的红外与可见光图像融合[J].计算机工程与应用,2011,47(3):196-198.

[2] 赵飞翔,陶忠祥.基于NSCT的红外与可见光图像融合[J].电光与控制,2013,20(9):29-33.

[3] 陈木生,蔡植善.基于 NSCT 的红外与可见光图像融合方法研究[J].激光与光电子学进展,2015,52:061002-1-061002-6.

[4] 首照宇,胡蓉,欧阳宁,等.基于多尺度稀疏表示的图像融合方法[J].计算机工程与设计,2015,36(1):232-235.

[5] 刘雯敏,陈秀宏.基于PCNN和非线性滤波万有引力的医学图像融合[J].计算机工程与应用,2014,50(24):191-198.

[6] 张强,郭宝龙.一种基于非下采样Contourlet变换红外图像与可见光图像融合算法[J].红外与毫米波学报,2007,26(6):476-480.

[7] GONG J M,WANG B B,QIAO L.Image fusion method based on improved NSCT transform and PCNN model[C]//IEEE Conference Publications on ISCID,2016:28-31.

[8] 张生伟,李伟,赵雪景.一种基于稀疏表示的可见光与红外图像融合方法[J].电光与控制,2017,24(6):47-52.

[9] 欧阳宁,郑雪英,袁华.基于NSCT和稀疏表示的多聚焦图像融合[J].计算机工程与设计,2017,38(1):177-182.

[10] 赵景朝,曲仕茹.基于Curvelet 变换与自适应PCNN的红外与可见光图像融合[J].西北工业大学学报,2011,29(6):849-853.

[11] 赵海峰,鲁毓苗,陆明,等.基于快速稀疏表示的医学图像压缩[J].计算机工程,2014,40(4):233-236.

[12] QU G H,ZHANG D L,YAN P F.Information measure for performance of image fusion[J].IET Journals and Magazines on Electronics Letters,2002,38(7):313-315.

[13] PIELLA G,HEIJMANS H.A new quality metric for ima-ge fusion[C]//IEEE Conference Publications on Image Processing,2003:173-176.

[14] LIU Z,BLASCH E,XUE Z Y.Objective assessment of multi-resolution image fusion algorithms for context enhancement in night vision:a comparative study[J].IEEE Transactions on PAMI,2012,34(1):94-109.

[15] 张小利,李雄飞,李军.融合图像质量评价指标的相关性分析及性能评估[J].自动化学报,2014,40(2):306-315.

[16] 郭明,符拯,奚晓梁.基于局部能量的NSCT 域红外与可见光图像融合算法[J].红外与激光工程,2012,41(8):2229-2235.

[17] 陈浩,朱娟,刘艳滢,等.利用脉冲耦合神经网络的图像融合[J].光学精密工程,2010,18(4):995-1001.

[18] 郝文超,贾年.NSCT域内基于自适应PCNN的红外与可见光图像融合方法[J].西华大学学报：自然科学版,2014,33(3):11-14.

[19] LI S,YANG B,HU J.Performance comparison of diffe-rent multi-resolution transforms for image fusion[J].Information Fusion,2011,12(2):74-84.

[20] SHABANZADE F,GHASSEMIAN H.Multimodal image fusion via sparse representation and clustering-based dictionary learning algorithm in nonsubsampled contourlet domain[C]//IEEE Conference Publications on IST, 2016:472-477.