基于MSPCNN与FCM的红外与可见光图像融合

邸 敬，王国栋，马 帅，廉 敬

基于MSPCNN与FCM的红外与可见光图像融合

邸 敬，王国栋，马 帅，廉 敬

（兰州交通大学 电子与信息工程学院，甘肃 兰州 730070）

针对红外和可见光图像融合存在的轮廓信息不全、边缘及纹理细节信息缺失等问题，提出一种改进简化脉冲耦合神经网络（Improved Simplified Pulse Coupled Neural Network, MSPCNN）和模糊C-均值（Fuzzy C-mean, FCM）图像融合算法。首先，将红外和可见光图像用非下采样剪切波算法（Non-Subsampled Shearlet Transform，NSST）分解为高低频子带；然后对分解后的高频子带采用MSPCNN融合，用一种高斯分布权重矩阵进行处理，增强细节信息和对比度；接着，将得到的低频子带图像使用FCM聚类算法进行聚类中心提取，设置聚类中心近似阈值简化过程，实现背景分类提取；最后利NSST进行逆变换，从而完成红外和可见光的图像融合过程。通过客观评价指标计算，本文所提方法在平均梯度、标准差、平均相似度等参考指标上相对于其他同类型算法均有改善提高，由于模型参数的简化，算法运行速度相对于其他算法得到提升，算法更适用于复杂场景。

图像融合；非下采样剪切波算法；脉冲耦合神经网络；模糊C-均值

0 引言

在一些存在云、烟、雾等恶劣环境的时候，即使是光照不是很好的条件下，红外图像仍然可以对需要的目标图像有一定的检测能力[1]，缺陷是在成像后，分辨率较低，在一些细节方面并不能很好地呈现，且背景模糊[2]的目标。可见光图像相较于红外图像可以使捕获的目标相对清晰，含有充分细节信息，目标成像后的分辨率较高，但是当环境恶劣或者光照不足时会导致成像效果变差，产生严重干扰[3]。因此采用多尺度分解技术提取两种图像各自高低频子带的特征信息，通过对两种特征的有效结合，既可以使目标细节信息充足而且使场景清晰，在天气恶劣的情况下能够实时、精准地对目标进行成像[4]。目前，红外与可见光图像融合的应用场景是军事、安全、空间、医学和目标识别等领域[5]。

非下采样剪切波（Non-Subsampled Shearlet Transform, NSST）算法是一种多尺度变换方法，相较于其他算法，它的功能更加完备，有各向异性、物体平移不变性以及多分辨率较好等优势[6]，当图像边缘处存在伪吉布斯现象时，NSST可以有效解决，应用NSST在图像融合上的算法经过对高低频子带的处理之后，得到的融合图像效果优于轮廓波变换、小波变换[7]以及非下采样轮廓波变换（Non-Subsampled Contourlet Transform, NSCT）[8]等传统多尺度变换方法。近些年，各种融合方法不断涌现，尤其是利用NSST变换的分析法先实现图像分解[9]，其具备多尺度、平移不变性、方向多样化等优势。文献[10]提出的融合算法是通过将NSST与脉冲耦合神经网络（Pulse Coupled Neural Network, PCNN）联合，该算法对提取后的高频子带图像使用自适应PCNN进行处理，可以保留图像细节信息，但该方法相对实现复杂且参数难以设置。PCNN作为第三代人工神经网络[11]具有神经元的动态性、脉冲发放的同步化以及动态性、乘性调制作用等6个特征，基于此，PCNN倍受关注具有很大的发展前景。文献[12]提出NSCT与PCNN神经网络模型结合的图像融合算法，该算法使用加权滤波优化PCNN处理之后的高频子带，使得最终融合效果明显提升，缺点是实时性较差且计算复杂度高，不易应用到实际环境中。文献[13]提出的融合算法是基于PCNN与IFS（Iterator Function System），该算法对PCNN的点火时间进行优化缩减，并应用到高频子带，更好地保留了图像边缘特征，但在实际操作中需要人工提前对参数进行设置，操作相对困难。模糊C-值（Fuzzy C-mean, FCM）是一种对样本先进行模糊归属的划分方法，属于无监督模式算法的一种[14]，其分类性能相对优异。文献[15]提出NSST和FCM结合的融合算法，低频子带使用FCM进行迭代分类处理，可以较好保留原图背景信息，但FCM迭代过程相对复杂，算法运算速率受到影响[16]。

针对上述问题，在高低频子带融合过程中，若是将传统PCNN模型直接应用其中并不能很好地使低频子带中的信息完整保留，因此，本文提出一种基于MSPCNN-FCM的红外与可见光图像融合改进算法。该算法先通过NSST对图像进行分解提取得到高子带图像和低频子带图像，这些子带图像分别来自红外和可见光图像，随后利用MSPCNN对高频子带图像进行融合处理，通过FCM对所提取到的低频子带图像进行融合处理。

1 数学模型

1.1 NSST变换

Guo和Labate针对NSCT计算复杂度过高无法应用在实时性要求高的场合的问题提出Shearlet变换[17]，但是Shearlet变换在图像处理时利用下采样在图像边缘产生吉布斯效应。Easley等在Shearlet变换上进行改进[18]，在处理图像时避免了下采样，因此NSST变换被提出。图1表示的是NSST分解过程的框架，可划分为多尺度分解与方向局部化两个步骤[19]，在多尺度分解的过程中，需要对最开始的图像进行分解，采用非下采样金字塔变换（NSP）原始图像分解成高低频子带图像，不存在中频子带。将所得到的低频子带图像再次通过NSP分解，当达到提前设置的分解次数时结束分解操作[20]，因此当原始的二维图像经过次NSP分解后，得到的高频分量会有个，而低频图像仅有一个，这些图像的尺寸大小与源图像的一致；而方向局部化则表示在经过多次NSP分解后所得到的高频子带图像处，先构造一个剪切波滤波器（Shear-wave Filter, SF），将二者进行卷积后会得到所有方向的详细信息。为了保证变换过程中的平移不变形，将SF应用到剪切波变换，利用其平移不变性实现伪极化网格系统映射到笛卡儿坐标系统，避免下采样过程。

图1 NSST变换分解过程

1.2 MSPCNN模型

通过模拟动物视觉皮层系统处理信号的过程，一种新型的神经网络模型——脉冲耦合神经网络模型被提出。为了区别于传统神经网络，对图像进行处理的操作时，PCNN不用训练样本的步骤，可以极大地提高运行速度，有效提升了图像处理的时效性。然而PCNN模型结构复杂、参数复杂。针对此，采用一种基于高斯分布的权重矩阵设置方法，将传统PCNN模型中的权重矩阵参数和链接强度参数合并为一个参数，提出改进简化的MSPCNN。针对图像高频部分，使用MSPCNN算法能够有效地保证高频子带融合效果，并且因为参数的简化，算法运行速度得到提升。具体模型如图2所示。

图2 MSPCNN模型

数学方程式为：

式中：代表迭代次数；U代表活动项，位于神经元内部；Y表示神经元的输出值；E表示神经元的门限或者称为神经元动态点；S表示神经元所收到的外部激励；是反馈输入区的加权矩阵。

1.3 FCM均值算法

FCM算法是属于质心算法的一种，图像处理过程中不用预分类，识别模式属于无监督。处理过程中，第一步确定样本对不同类的隶属度，当需要描述边缘像素时，就利用提前赋予的隶属度实现完整描述，通过迭代算法得到的数据可完成自动分类，由此可以看出FCM算法的优点是对于性能分类的能力较强。FCM算法在分类之前需要计算出相对应的欧氏距离，需要应用某个最优准则去优化目标函数。

设个数据样本＝{1,2, ……, x}是样本集，其中，x表示样本中所包含的元素，代表样本集中存在的个数，通过FCM算法可将样本集划分成个子集1,2, ……, X，在隶属度下求解满足要求的划分方式可以转换为求数学规划的方法。目标函数的数学公式为：

约束条件为：

2 融合过程

本文的融合方法是先用NSST对红外与可将光图像进行分解得到各自相对应的高低频子带图像。针对目前算法不能很好地保留图像局部的边缘和细节信息，高频子带采用MSPCNN进行处理，低频子带采用FCM算法进行处理，高低频子带融合过程同步进行。最后使用逆NSST变换合成最终融合图像。算法的具体处理流程如图3所示。

1）利用NSST变换提取红外和可见光图像各自对应的高低频子带图像。

2）对经NSST分解得到的高频子带采用MSPCNN进行融合，采用一种高斯分布的权重矩阵控制内部活动项以及神经元点火过程之后的动态阈值变化值。将提取的高频图像特征作为MSPCNN的刺激输入，可以充分保留图像的细节信息，得到新的融合高频子带图像。

3）对得到的低频子带采用FCM进行融合处理，计算选取聚类中心和数据隶属度并进行分类，设置聚类中心近似阈值简化计算过程，处理结束得到新的融合低频子带图像。

4）将各自进行处理的融合高低频子带图像经过逆NSST变换，输出获得所需的红外与可见光融合图像。

2.1 高频融合过程

高频子带图像反映源图像的边缘、轮廓等信息。输入激励的选取优化可以增强融合图像的整体信息和对比度。本文对高频融合规则采用MSPCNN模型，提取高频子带信息并简化参数，提升高频融合效果。选用高频子带绝对值作为MSPCNN的激励记为I和V，并将其作为MSPCNN网络中的反馈输入。即：

U[]＝I, Y[]＝V(6)

将高频分量输入之后，采用一种基于高斯分布的权重矩阵设置方法，它将传统PCNN模型中的权重矩阵参数和链接强度参数合并为一个参数，该参数控制邻域神经元与中心神经元的作用力的大小，其表达式如下：

图3 MSPCNN与FCM结合的图像融合模型

为了更好地控制内部活动项的大小，增加了调节参数，通过大量实验该参数可被设定为：

＝e－2(8)

为了更好地调节动态阈值的大小，引入了动态阈值调节参数，该参数的表达式为：

＝e－4(9)

为了更加精确控制神经元点火以后动态阈值的变化值，引入了乘积因子和加性因子，它们的表达式如下：

＝¢＋¢8(10)

＝1 (11)

式中：¢表示整幅图像的大津阈值；¢8的主要作用是用来对动态阈值进行微调。最后根据内部活动项的变化规律对幅度参数进行设置，该参数的表达式为：

＝e－＋e－2＋e－3＋e－4(12)

2.2 低频融合过程

源图像的背景信息等需要从低频子带图像中提取，为了准确、快速地提取所需的目标和背景信息。FCM需要反复计算选取聚类中心和数据隶属度并进行分类，具体计算公式如下：

计算样本x对于类A的隶属度u和个聚类中心{v}：

设I＝{|2≤＜;d＝0}，对于所有的类，∈I,u＝0。

式中：是参考点的数值。

为简化选取过程，提出一个聚类中心近似阈值D进行辅助选取，用于表示第x个像素点到其他任一像素点的距离。D的表达式为：

通过不断计算D值来确定不同的下一个聚类中心，距离聚类中心越近的像素点D值越小，可以排除成为聚类中心的可能，通过和阈值大小的比较可以减少原算法计算聚类中心的迭代次数，降低算法所需要的时间，提升运行速度。通过简化迭代过程，可以快速获取到全部的聚类中心，同时计算样本对于各个中心的隶属度，完成整个聚类划分过程实现低频子带特征提取与融合。

3 实验结果与分析

为验证本文算法的可行性与有效性，实验中分别选取单人、多人、物体、有雾、人物被遮挡以及人的细节6组不同的红外与可见光图像场景进行融合，并与其他6种算法进行比较，对性能进行数值上体现比较。从主观感受与客观指标两方面分别对融合图像进行评价：主观感受方面对本文算法得到的融合图像与其他6种算法得到的融合图像进行视觉效果比较；客观方面从平均梯度（Average，AVG）、结构相似性（Structure Similarity, SSIM）、边缘保留因子（Questions about Behavioral Functions，AB/F）、峰值信噪比（Peak signal-to-noise ratio，PSN）、空间频率（Spatial frequency，SF）、图像清晰度（Full Definition，FD）以及时效性7个方面进行评价。对比的6种算法为：基于PCA的融合方法，基于NSCT-PCNN的融合方法、基于NSST-PCNN的融合方法、基于PCNN-IFS的融合方法，基于NSST-FCM的融合方法，基于NSST-PA-PCNN的融合方法。

3.1 主观评价

从图4对比结果中可以直观看出，第一组基于PCA方法得到的融合图像对比度和清晰度低，图像边缘在不同场景中都较为模糊，所提取目标表现过暗，并且会出现一些伪影现象，且运算效率不高，本文算法在保证对比度和清晰度的同时极大提升了算法效率。第二组基于NSCT-PCNN方法得到的图像不能完全提取所需要的背景细节信息，人物细节模糊，本文算法可以保留所需的可见光背景。第三组基于NSST-PCNN方法得到的融合图像缺失了部分红外目标信息，本文算法可以很好地提取所需红外目标信息，并保证相对应的背景信息。第四组基于PCNN-IFS方法得到的融合图像对比度和灰度层次感相对不足，本文算法可以比较好地提升对比度信息。第五组基于NSST-FCM方法得到的融合图像虽然能有效地突出所提取的前置目标信息，但丢失了部分细节、纹理信息。第六组基于NSST-PA-PCNN方法得到的融合图像存在部分人造伪影。相比较，本文算法对所需要提取的目标纹理保留得较为完整，且有效地表现出需要标注的区域。

图4 不同算法在6种不同场景下的融合图像

3.2 客观评价

为了客观地评价图像的融合效果，本文采用了上文所述的客观评价指标，计算6种对比算法和本文算法的指标值，计算结果如表1所示。

表1 不同方法的客观评价指标均值

从表1中可以看出：本文算法在6组不同的融合图像上分别能对不同客观指标做到优化提升，以第一个场景为例，本文算法的AVG、SSIM以及PSN均优于其他几种算法，SF和FD仅次于基于NSST-FCM的方法，而AB/F低于基于PCNN-IFS的方法、基于NSST-FCM的方法，与主观视觉观察到的图像相呼应。本文算法在最终融合图像中表现良好，能够有效地提取高低频子带信息并体现在最终融合图像中，突出两种源图像的各自特点。

记录本文算法和其他6组对比算法的运行时间，统计结果如表2所示，本文算法相比其他6组实验，运行速度在不同场景都能做到相应优化。由于本文改进的MSPCNN对于参数的减少、FCM迭代过程的优化有效降低了计算复杂度，时效性具有明显优势。通过对主观效果图的直接观察以及对计算得出的客观指标评价比对，可以看出本文算法在最终融合图像效果胜于表中所列其余算法。

表2 不同算法在6种不同场景下的融合时间

4 结论

本文算法先用NSST分解提取红外与可见光图像的高低频子带，然后对高低频子带采用不同的方法同步进行融合：对于高频部分使用改进简化的MSPCNN模型进行处理，在保证所需要的提取信息时，简化模型参数提升运行速度，保证得到的高频子带图像融合效果；对于低频部分使用FCM进行处理，设置阈值简化迭代，快速实现对于提取的低频子带图像融合。实验结果观察最终融合图像的主观表现，计算对比客观指标的数据，综合评估下可以验证本文算法的可行优异性。

[1] WANG Z G, WEI W, SU B. Multi-sensor Image fusion algorithm based on multiresolution analysis[J]., 2018, 14(6): 44.

[2] SHEN Yu, CHEN Xiaopeng, YUAN Yubin, et al. Infrared and visible image fusion based on significant matrix and neural network[J]., 2020, 57(20): 56.

[3] González José R, Damião Charbel, Moran Maira, et al. A computational study on the role of parameters for identification of thyroid nodules by infrared images (and comparison with real data) [J]., 2021, 21(13): 4459.

[4] XING Xiaoxue, LIU Cheng, LUO Cong, et al. Infrared and visible image fusion based on nonlinear enhancement and NSST decomposition[J]., 2020(1): 125.

[5] ZHANG Kang, HUANG Yongdong, YUAN Xia, et al. Infrared and visible image fusion based on intuitionistic fuzzy sets[J]., 2020(4): 85.

[6] LIU Zhanwen, FENG Yan, CHEN Hang, et al. A fusion algorithm for infrared and visible based on guided filtering and phase congruency in NSST domain[J]., 2017, 97(6): 23.

[7] 王丽丽, 刘辉, 郭肇禄. 图像融合在域内的算法研究进展[J].计算机技术与发展, 2021, 31(11): 8-14.

WANG Lili, LIU Hui, GUO Zhaolu. Research progress of image fusion algorithm in domain [J]., 2021, 31(11): 8-14.

[8] 徐慧娴, 黄坤超, 陈明举, 等. 基于深层次多分类生成对抗网络的红外与可见光图像融合方法[J/OL].电子测量技术, 2022, 3: 1-10.

XU Huixian, HUANG Kunchao, CHEN Mingju, et al. Infrared and visible image fusion method based on deep multi classification to generate countermeasure network [J/OL]., 2022, 3: 1-10

[9] 许丽娜, 周丹丹, 高翾, 等.一种结合GIHS、NSST和PCA的全色多光谱影像融合方法[J/OL]. 武汉大学学报: 信息科学版, 2022, 3: 1-17.

XU Lina, ZHOU Dandan, GAO Zhen, et al. A panchromatic multispectral image fusion method combining GHIS, NSST and PCA [J/OL].: Information Science Edition, 2022, 3: 1-17.

[10] 李向阳, 曹宇彤, 陈笑, 等. 基于自适应NSST-PCNN的红外与可见光图像融合方法研究[J]. 长春理工大学学报: 自然科学版, 2021, 44(5): 12-18.

LI Xiangyang, CAO Yutong, CHEN Xiao, et al. Research on infrared and visible image fusion method based on adaptive nsst-pcnn [J].: Natural Science Edition, 2021, 44(5): 12-18.

[11] SHEN Yu, YUAN Yubin, PENG Jing. Research on near infrared and color visible fusion based on PCNN in transform domain[J].2021, 41(7): 65.

[12] 刘帅, 王磊, 郝永平, 等. 基于NSCT与改进PCNN的红外与可见光图像融合方法研究[J]. 光电技术应用, 2021, 36(4): 60-65.

LIU Shuai, WANG Lei, HAO Yongping, et al. Research on infrared and visible image fusion method based on NSCT and improved PCNN [J]., 2021, 36(4): 60-65.

[13] 戴文战, 王琪. 基于PCNN与IFS的可见光与红外图像融合方法[J]. 光电子·激光, 2020, 31(7): 738-744.

DAI Wenzhan, WANG Qi. Visible and infrared image fusion method based on PCNN and IFS [J].2020, 31(7): 738-744.

[14] WU Chenwen, MA Ning, JIANG Yufan. Weighted FCM clustering algorithm based on jeffrey divergence similarity measure[J]., 2021, 58(8): 67

[15] 巩稼民, 刘爱萍, 张晨, 等. 基于FCM与ADSCM的红外与可见光图像融合[J]. 激光与光电子学进展, 2020, 57(20): 222-230.

GONG Jiamin, LIU Aiping, ZHANG Chen, et al. Infrared and visible image fusion based on FCM and adscm[J]., 2020, 57(20): 222-230.

[16] ZHANG Hongna, YAN Wei, ZHANG Chunyou, et al. Research on image fusion algorithm based on NSST frequency division and improved LSCN[J]., 2021, 26(5): 53.

[17] GUO K, Labate D. Optimally sparse multidimensional representation using shearlets[J].s, 2007, 39(1): 298-318.

[18] Easley G, Labate D, LIM W Q. Sparse directional image representation using discrete shearlet transform[J]., 2008, 25(1): 25-46.

[19] YAN Peizhou, ZOU Jiancheng, LI Zhengzheng, et al. Infrared and visible image fusion based on NSST and RDN[J]., 2021, 28(1): 35.

[20] TAN Wei, ZHANG Jiajia, XIANG Pei, et al. Infrared and visible image fusion via NSST and PCNN in multiscale morphological gradient domain[J].VI, 2021, 11353: 54.

Infrared and Visible Image Fusion Based on MSPCNN and FCM

DI Jing，WANG Guodong，MA Shuai，LIAN Jing

(School of Electronic and Information Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China)

Aiming at the problems of incomplete contour information, missing edge and texture details in infrared and visible image fusion, A Improved Simplified Pulse Coupled Neural Network (MSPCNN) and Fuzzy C-mean (FCM) image fusion algorithm is proposed. First, infrared and visible images were decomposed into high and low frequency sub-bands using the Non-Subsampled Shearlet Transform (NSST).Then MSPCNN is used to fuse the decomposed high frequency subband, and a Gaussian distribution weight matrix is used for processing to enhance the detail information and contrast. Then, the obtained low-frequency sub-band images were extracted by using FCM clustering algorithm, and the approximate threshold of clustering center was set to simplify the process to achieve background classification extraction.Finally, the inverse transformation of NSST is carried out to complete the infrared and visible image fusion process.Through objective evaluation index calculation, compared with other algorithms of the same type, the method proposed in this paper has been improved in terms of average gradient, standard deviation, average similarity and other reference indexes. As the running speed of simplified algorithm of model parameters has been improved, the timeliness of the algorithm in this paper has been improved compared with other algorithms, and the algorithm is more suitable for complex scenarios.

image fusion, non-subsampled shearlet transform, pulse coupled neural network, fuzzy C-mean

TP391.9

A

1001-8891(2023)01-0069-08

2022-06-29；

2023-01-12.

邸敬（1979-），女，甘肃兰州人，硕士，副教授，硕士生导师，主要从事图像检测识别、信号处理技术和宽带无线通信方面的研究。E-mail: 46891771@qq.com。

甘肃省科技技术资助（22JR5RA360）；国家自然科学基金（62061023，61941109）；甘肃省高等学校创新能力提升项目（2019B-052）；甘肃省杰出青年基金（21JR7RA345）。