结合模糊逻辑和SCM的NSDTCT域红外和可见光图像融合

赵 杰，李易瑾，刘帅奇

(河北大学 电子信息工程学院，河北 保定 071000) (河北省数字医疗工程重点实验室，河北 保定 071000)

1 引 言

图像融合是指从同一场景的多幅图像中得到最理想的信息，并将其合并生成更符合人类视觉感知的新图像的过程.红外和可见光图像融合以其优势已广泛应用于军事、医疗和民用等领域.红外技术可以在复杂的环境中根据不同对象发射的不同热辐射信息有效地捕捉隐藏的热源目标，能很好地应对光照、气候、遮蔽物等因素的影响，具有识别伪装的能力，但由于红外图像对场景的亮度变化不够敏感，导致分辨率差，使得背景非常模糊；可见光图像可以提供更多符合人类视觉感知的纹理细节信息，能更好的体现目标所在环境的全貌，但它易受天气、光照等因素的影响，可能会丢失许多场景信息，不具有检测伪装目标的能力[1].因此，红外和可见光图像融合能够提供二者的互补信息，获取丰富的场景信息，以达到最佳视觉感知.

随着近几年的发展，许多学者提出了红外与可见光图像融合的多种算法.基于替代技术[2]的算法，例如独立分量分析(ICA)、主成分分析(PCA)和IHS的方法，其缺点是融合的结果可能会导致频谱失真.基于分割[3]的算法，其融合性能强烈依赖于分割算法，不能保证融合结果的质量.基于神经网络[4]的算法，包括脉冲耦合神经网络(PCNN)[5]的方法和人工神经网络(ANN)的方法，PCNN中需要设置大量的参数，ANN在使用前也需要大量的训练样本，计算复杂.基于数学形态学[6]的算法在图像融合过程中经常有图像细节信息地损失[7].相对于上述算法，MST[8,9]以其在图像融合中多尺度、多分辨率的特性，更受欢迎.常见的包括金字塔变换(PT)[10]、离散小波变换(DWT)[11]、平稳小波变换(SWT)[12]、Contourlet变换(CT)[13]和NSCT[14]，然而，LP，PT和小波变换不能有效地表示线和曲线的不连续性，CT作为二维多尺度几何分析工具，可以有效地表示边缘和其他各向异性曲线，但它缺乏平移不变性，在融合结果中容易产生频谱混叠和伪吉布斯现象.为了克服CT的这种缺陷，NSCT显示了更好的性能[15]，但它进行了下采样操作，运算时间较长，进而提出了非下采样方向滤波器和双树复轮廓波变换(NSDFB-DTCWT)相结合的改进方法，构造了非下采样双树复轮廓波变换(NSDTCT)，作为多尺度分解工具，它具有高度的方向选择性、各向异性和平移不变性等特点[16]，非常适用于图像处理过程. NSDTCT现主要用于图像去噪，在红外和可见光图像融合领域的研究还属于探索阶段.

一个良好的融合方法还与融合规则有关.近几年来，模糊逻辑成功运用到图像处理的各个领域，并取得理想的效果.本文将模糊逻辑这一方法应用于红外和可见光图像融合，利用模糊逻辑集合的不确定性，灵活处理不确定的问题(如区分背景、目标的边缘、轮廓等)，将模糊隶属函数(Membership Function，MF)应用于低频融合方法中，能智能的突出红外目标并且保留可见光的细节，提高了融合图像的对比度.因此，本文提出结合模糊逻辑和SCM的NSDTCT域红外和可见光图像融合新算法.与传统的融合方案相比，该算法既能充分有效地利用源图像的轮廓信息，又能保持源图像的细节信息.在低频中，采用局部区域能量与模糊逻辑结合的融合方法：首先，用一个S函数去提高原始红外图像的对比度；然后，计算原始红外图像的局部能量；最后，通过构造高斯模糊隶属度函数方法得到权重系数.在高频中，提出了由像素清晰度和显著性作为SCM外部输入的融合规则，这种融合规则比单一使用清晰度或显著性激励SCM效果好很多.SCM与PCNN相比，最大的优点就是降低了计算的复杂程度，节省了时间，是PCNN的简化.

该算法应用在红外和可见光图像融合中，在主观和客观上都获得较理想效果.

2 非下采样双树复轮廓波变换(NSDTCT)

双树滤波器的方法既能保留双树复轮廓波中复轮廓波的良好特性，又能保证其完美重建.因此，我们结合NSCT的非下采样方向滤波器和DTCWT变换来构造具有更好方向选择性、平移不变性和抗混叠性的多尺度、多分辨变换NSDTCT[16].首先，将源图像通过方向滤波器处理，得到每个方向上的子带；然后，将DTCWT应用于各方向子带，得到两个低频子带和六个高频子带，我们可以像小波变换一样，通过重复上面步骤得到低频子带金字塔.对NSDTCT的重建是以相反顺序进行的.NSDTCT的示意图如图1所示.

3 模糊逻辑

模糊逻辑应用于红外和可见光图像融合领域，提供了一个基于感官测量和人类知识库的数学模型的非线性映射系统过程[17].首先，使用合适的隶属函数将输入模糊集映射到输出模糊集；其次，将清晰的数字输入值转化为语言变量，采用预先定义的if-then规则产生模糊响应去模糊化输入形式，进而输入到模糊推理系统中；最后，从模糊集中恢复清晰的输出值.模糊逻辑最大的优点是不需要监督模式识别技术的训练步骤，也没有多目标参数优化过程中使用的无监督机器学习算法[18]，简单便利.

图1 NSDTCT的示意图Fig.1 Schematic diagram of NSDTCT

低频子带融合的目的是保持红外图像的目标和可见光图像的背景细节，模糊逻辑善于表达界限不清晰的问题，所以确定像素区域属于目标或是背景是一个典型的模糊问题.针对低频子带系数的特点，将模糊逻辑运用到图像融合中，将智能地突出红外目标并且保留可见光背景细节，减少噪声干扰.本文的模糊函数是由具有很好平滑性的高斯函数构造的，有利于增强源图像对比度，获得质量更好的融合图像.

4 SCM基本原理

在SCM中，每个神经元都由接收域、调制域和脉冲发生器3部分组成[19].SCM数学模型如下：

Fij(n)=Sij

(1)

(2)

(3)

(4)

Eij(n)=gEij(n-1)+hYij(n-1)

(5)

式(1)是进料输入表达式；式(2)是连接输入表达式；式(3)是SCM的连接域和调制域表达式；式(4)是输出脉冲Yij(n)的表达式；式(5)是神经元的动态阈值Eij(n)表达式.

其中，Uij(n)是神经元在像素位置(i，j)第n次迭代时的内部活动；Sij是外部激励；VL是震级标度项；Wijkl是连接权重矩阵；根据(2)式，Yij(n)的大小由Uij(n)和Eij(n)共同决定，Yij(n)只能为1或0；f是Uij(n)的衰减系数，g和h分别是Eij(n)的衰减系数和活动系数.

当SCM没有激活神经元时，神经元的Uij(0)能量等于0，输出脉冲Yij(0)也等于0，网络不发放脉冲.第一次迭代后，Uij(n)的值为Sij，产生外部激励.随着迭代次数n增加，Uij(n)逐渐变大，每当Uij(n)>Eij(n)时，神经元被激活并产生一个脉冲，即一次点火状态，设Tij(n)为神经元的点火信息，赋时矩阵如下：

Tij(n)=Tij(n-1)+Yij(n)

(6)

赋时矩阵可看作是人眼对外界刺激强度的主观感受.将点火次数作为融合规则进行图像融合，由于像素清晰度能较好地表达图像的边缘细节信息，本文提出了由像素清晰度和显著性共同激励SCM去融合经过NSDTCT分解得到的高频系数，以减少融合图像的信息损失.与PCNN相比，SCM的内部活动项与外部激励有更直接的关系，更符合人类视觉感知.因此，有机地结合SCM和NSDTCT变换的优势，为改善红外和可见光图像的融合质量提供新思路.

5 基于模糊逻辑和SCM的NSDTCT域图像融合规则

融合过程的基本流程图如图2.主要步骤如下.

图2 融合算法Fig.2 Fusion algorithm

1)利用 NSDTCT变换对增强的红外图像A和原始的可见光图像B进行分解，获得低频系数和一系列高频系数；

2)低频系数采用局部区域能量和模糊逻辑结合的方法；高频系数提出了由像素清晰度和显著性作为SCM的外部输入的融合规则.

3)最终的融合图像F由逆NSDTCT变换获得.

5.1 低频融合规则

首先，用一个S函数去提高原始红外图像的对比度；然后，计算局部区域能量，用局部区域能量得到模糊函数中的权重系数；最后，得出融合后的低频系数.

5.1.1 基于S函数增强红外图像对比度

S函数被定义为：

(7)

其中，

(8)

A(i，j)是红外图像的像素灰度值；S(i，j)是对比度拉伸之后的灰度值；μ是红外图像A的平均值；k是拐点参数.

5.1.2 局部区域能量模型

首先，选择3×3的窗口计算出原始红外图像的局部区域能量；然后，利用高斯模糊函数计算加权系数，获得红外图像的局部区域能量变换矩阵EA：

(9)

其中，

(10)

(11)

EA(i，j)是变换后的局部区域能量值；CA(i，j)是红外图像的矩阵；sign(i，j)是局部区域能量的符号参数；(a，b)是局部窗口在a，b位置的坐标.

公式(12)给出了基于模糊逻辑的红外和可见光图像的低频融合规则，定义如下：

(12)

在高斯函数的基础上，构造了在像素位置(i，j)的背景隶属度ωB(i，j)和目标隶属度ωT(i，j)：

(13)

ωT(i，j)=1-ωB(i，j)

(14)

k∈(1，3)，根据经验，通常选择1.5.

式(11)给出了局部窗口在(i，j)的高斯加权矩阵Wg(a，b)，高斯矩阵的坐标原点为中心点.计算局部能量变换矩阵EA(i，j)的均值Eμ及方差Eθ去替代上式中的均值μ及方差θ.

进而，

(15)

(16)

由式(12)求出最后的低频子带系数.

5.2 高频融合规则

公式(17)是用来确定任意方向尺度上的子带清晰度X(i，j)，n×n表示图像总像素个数.

(17)

其中，

(18)

τ表示重新调整，确保X能在[0，1]范围内动态变化.

(19)

此外，一个局部的显著性定义如下：

(20)

其中，Wk是全局显著性，表示在(i，j)周围的对比度.

(21)

D是整个图像区域；γ是像素(i，j)位置3×3的邻域；σ2=100.

这种清晰度和显著性的定义如下：

Z(i，j)=X(i，j)+Y(i，j)

(22)

然后将获得的Z(i，j)作为SCM网络的外部输入来激励神经元并产生脉冲，当n达到最大迭代次数时，迭代停止，从而计算求得总点火次数Tij(n) ；并将点火次数作为高频系数选择原则，利用(23)式计算各方向尺度上的高频系数：

(23)

最后，把求得的高频系数与低频系数通过逆NSDTCT变换重构出融合图像F.

6 实验结果与分析

本实验分别对“Dune”、“UN camp”、“Queen′s Road”和“Octec”四组红外和可见光融合图像通过文献[20]基于DT-CWT、文献[21]基于NSDTCT、文献[22]基于NSCT-SF-PCNN、文献[19]基于CST-SCM和文献[23]基于NSST-SSSID的融合方法与本文方法进行比较.五种比较方法与本文的NSDTCT分解方向数均为{2，3，3，4}.SCM参数设置如下：f=0.8，g=0.7，h=20；Wijkl=[0.1091，0.1409，0.1091；0.1409，0，0.1409；0.1091，0.1409，0.1091]；迭代次数n=40[19].经过多次实验验证，最终选定文献[19]给出的参数，它得到的实验结果是最好的，更适合本文算法，而且也便于进行算法比较.客观评价上用指标QAB/F、互信息MI及熵IE衡量.QAB/F表示从源图像中提取的边缘信息量；MI表示融合结果中保留的源图像原始信息量的多少；IE表示图像的信息量.这3个值越大，融合效果越佳.

图3 融合结果Fig.3 Fusion results

如图3，从左至右分别是 “Dune”、“UN camp”、“Queen’s Road”和“Octec”的融合结果，从上至下分别是原始红外图像、可见光图像、基于DT-CWT、基于NSDTCT、基于NSCT-SF-PCNN，基于CST-SCM、基于NSST-SSSID和本文的融合方法.通过比较融合图像可以看出，在“Dune”中，(a)(e)(i)的背景及边缘细节比较模糊，且对比度不高，(m)和(q)相对于(a)(e)(i)整体对比度得到了提高，但(m)的目标人物不清晰，不容易识别.(q)在一定程度上出现了伪影，而本文方法(u)中的目标与背景(路的纹路、周围灌木的层次感)都能很好地分辨，且对比度高、细节丰富，融合效果较理想.在“UN Camp”中，(b)(g)(r)中遮挡房屋的树叶以及人周围的树林存在不同程度上的模糊，目标人物和背景信息的灰度值接近，基本看不出原有的概貌.(f)(n)相比于(b)(g)(r)有一定的改善，在整体上感觉是清晰的，包括人，树，房屋都得到了改善，但是人物目标和背景的对比度不是很高，目标人物反而没有原图清晰，不利于识别.而本文得到的融合图像(v)在整体上有很强的对比度，无论是背景(房屋，树木，山路，尤其是树木，有很好的层次感)，还是目标人物都比较好地保留了源图像的纹理细节信息，尤其是目标人物，亮度明显，很容易识别.在“Queen’s Road”中，(o)(s)(w)图像整体对比度比(c)(g)(k)提高了很多，但(s)图像的轮廓和细节上也出现了模糊(如广告牌，马路，路灯等)，融合效果不是最佳的，而本文方法(w)中，可以很清晰地辨别图中的目标及背景，尤其是广告牌和人的亮度达到了不错的视觉效果.“Octec”中，各种方法再次进行比较，(d)(h)(t)方法对比度低，树的轮廓和房屋的门窗比较模糊，损失严重.(l)(p)很好地改善了融合效果，但是目标人物亮度较低，不易被发现，而本文方法(x)的目标人物是比较清晰的，而且保留了树木枝叶和房屋的细节信息，提高了融合质量.

通过对四组图简单的主观分析，可以看出本文的融合效果是比较理想的，通过表1用客观指标对融合结果进行评价.

表1 红外和可见光融合方法的客观评价Table 1 Objective evaluation of infrared and visible fusion methods

由表1可以看出，NSDTCT作为很好的尺度分解工具，有良好的时频局部化特性，可以改善图像的清晰程度.因此，本文算法的MI和IE比其他算法高，且QAB/F的值也比较理想.因为在低频融合中采用局部区域能量和模糊逻辑的规则时，没有很好的引入图像的空间连续性，可能会丢失一些源图像有用的边缘信息，而文献[23]的SSSID 应用景深和相似性区域，能较好的提取低频的细节信息；高频上，SCM需要的参数较少，相对于PCNN，没有β参数进行调节，所以SCM的参数设置很重要，本文的参数是根据参考文献提供的数据进行对比实验得到的，可能不是最佳的，所以本文QAB/F比文献[23]低一些.总体上来说，和主观评价是基本一致的.所以，本文提出的方法在主观和客观上都有很好的表现，融合结果既保留了红外图像清晰的热目标，又保留了可见光图像丰富的背景细节，为红外和可见光图像的融合提供了新方法，可以很好的应用到红外和可见光图像的融合领域中去.

7 小 结

本文提出了一种NSDTCT域的模糊逻辑和 SCM结合的图像融合新算法.通过NSDTCT分解大大增加了低频系数，从而降低了在图像融合中高频系数的影响，有利于保持源图像信息，实现感知更好的图像融合.低频系数采用局部区域能量和模糊逻辑的融合规则，高频系数采用像素清晰度和显著性激励SCM的融合规则.实验结果表明，针对“Dune”、“UN camp”、“Queen’s Road”和“Octec”的红外和可见光融合图像，该方法与现有的基于DT-CWT、基于NSDTCT、基于NSCT-SF-PCNN、基于CST-SCM和基于NSST-SSSID的融合方法相比，在视觉效果和客观评价(MI、IE)标准上都有一定的改善.

[1] Zhang Bao-hui.The infrared and visible image fusion system and application research[D].Do-ctor，Nanjing University of Science&Technol-ogy，2013.

[2] Yang S Y，Wang M，Jiao L C.Fusion of multispectral and panchromatic images based on support value transform and adaptive principal component analysis[J].Inform Fusion，2012，13(3)：177-184.

[3] Wan T，Canagarajah N，chim A.Segmentation driven image fusion based on alphas
Table modeling of wavelet coefficients[J].IEEE Trans.Multimedia，2009，11(4)：624-633.

[4] Xiang T Z，Yan L，Gao R R.A fusion algorithm for infrared and visible images based on ad-aptive dual-channel unit-linking PCNN in NSCT domain[J].Infrared Phys.Technol，2015，69：53-61.

[5] Zhu Qiang-bo，Ding Shi-fei.Self-adaptation NSCT-PCNN image fusion based GA optimization[J].Journal of Chinese Systems，2016，37(7)：1583-1587.

[6] Bai X Z.Infrared and visual image fusion through feature extraction by morphological sequential toggle operator[J].Infrared Phys.Technol，2015，71：77-86.

[7] Bai X Z，Zhang Y.Detail preserved fusion of infrared and visual images by using opening and closing based toggle operator[J].Opt.Laser T-echnol，2014，63：105-113.

[8] Adu J H，Gan J H，Wang Y，et al.Image fusion based on nonsubsampled contourlet transform for infrared and visible light image[J].Infrared Phys.Technol，2013，61：94-100.

[9] Kong W W.Technique for gray-scale visual light and infrared image fusion based on nonsubsampled shearlet transform[J].Infrared Phys Technol，2014，63：110-118 .

[10] Jiao Du，Wei Sheng-li，Bin Xiao，et al.Union laplacian pyramid with multiple features for medical image fusion[J].Neurocomputing，2016，194(19)：326-339.

[11] Yong Yang．A novel DWT based multifocus image fusion method[J].Procedia Engineering，2011，24：177-181.

[12] Beaulieu M，Foucher S，Gagnon L.Multispectral image resolution refinement using stationary wavelet transform[J].Proceedings of 3rd IEEE International Geoscience and Remote Sensing Symposium，2003：4032-4034.

[13] Yang Yong，Wan Wei-guo，Huang Shu-ying，et al.Multi-focus image fusion by combining HVS and cycle spinning contourlet transform[J].Journal of Chinese Compute Systems，2016，37(6)：1348-1354.

[14] Li X S，Li H F，Yu Z T，et al.Multifocus image fusion scheme based on the multiscale curvature in nonsubsampled contourlet transform domain[J].Opt.Eng，2015，54(7)：73-115.

[15] Zhang Bao-hua，Lv Xiao-qi.Multi-focus image fusion algorithm based on compound PCNN in NSCT domain[J].Journal of Chinese Computer Systems，2014，35(2)：393-396.

[16] Ying M，Liu W，Zhao X，et al.Image denoising using trivariate prior model in nonsubsampled dual-tree complex contourlet transform domain and non-local means filter in spatial domain[J].Optik，2013,124(24)：6896-6904.

[17] Yin Song-feng，et al.Infrared and visible image fusion based on NSCT and fuzzy logic[J].Mechatronics and Automation(ICMA)，2010，4(7)：671-675.

[18] Rahman M A，Liu S，Wong C Y，et al.Multi-focal image fusion using degree of focus and fuzzy logic[J].Digital Signal Processing，2016，1(185)：1-19.

[19] Wang Cong，Qian Chen，Sun Wei，et al.Infrared and visible images fusion based on SCM and CST[J].Infrared Technology，2016，38(5)：396-402.

[20] Anantrasirichai N，Achim A，Kingsbury N G，et al.Atmospheric turbulence mitigation using complex wavelet-based fusion[J].IEEE Transactions on Image Processing，2013，22(6)：398-408.

[21] Liu Shuai-qi，Zhao Jie，Geng Peng，et al.Medical image fusion based on nonsubsampled direction complex wavelet transform[J].International Journal of Applied Mathematics and Machine Learning，2014，1(1)：21-34.

[22] Qu Xiao-bo，Yan Jing-wen，Xiao Hong-zhi，et al.Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks innonsubsampled contourlet transform domain[J].Acta Automatica Sinica，2008，34(12)：1508-1514.

[23] Liu Shuai-qi，Zhu Zhi-hui，Li Hui-ya，et al. Multi-focus image fusion using self-similarity and depth information in nonsubsampled shearlet trans-form domain[J].International Journal of Signal Processing，Image Processing and Pattern Recogni-tion，2016，9(1)：347-360.

附中文参考文献：

[1] 张宝辉.红外与可见光的图像融合系统及应用研究[D].南京理工大学，2013.

[5] 朱强波，丁世飞.GA优化自适应NSCT-PCNN图像融合[J].小型微型计算机系统，2016，37(7)：1583-1587.

[13] 杨 勇，万伟国，黄淑英,等.结合HVS和循环平移Contourlet变换的多聚焦图像融合[J].小型微型计算机系统，2016，37(6)：1348-1354.

[15] 张宝华，吕晓琪.一种复合型PCNN的NSCT域多聚焦图像融合方法[J].小型微型计算机系统，2014，35(2)：393-396.

[19] 王 聪，钱 晨，孙 伟，等.基于SCM和CST的红外与可见光图像融合算法[J].红外技术，2016，38(5)：396-402.