基于双分支卷积神经网络的红外与可见光图像局部融合算法

许云英，杨 瑞，贺天福，刘尚为，范太然，徐晨晨

基于双分支卷积神经网络的红外与可见光图像局部融合算法

许云英，杨 瑞，贺天福，刘尚为，范太然，徐晨晨

（江苏海洋大学 电子工程学院，江苏 连云港 222005）

红外图像和可见光图像均存在一定的局限性，依靠单个种类图像无法满足工程实际需求，可通过引入图像融合技术，获取高质量的融合图像。为更好保障输出信息特征的多样性，本文引入一种双分支卷积神经网络实现红外与可见光图像局部融合；在双分支卷积神经网络基础上，同时从红外图像、可见光图像得到跨渠道信息、渠道内信息种特征，增加了融合图像的信息量。采用整数小波变换方法进行图像压缩。建立颜色空间模型时，合理调节因子的数值，获得理想的融合图像。实验结果表明，与现有方法相比，本方法融合后图像边缘信息得到充分保留，图像细节得到增强，红外与可见光图像融合效果更好。

双分支卷积神经网络；红外与可见光图像；梯度下降理论；小波变换；图像插值；图像融合

0 引言

红外图像在很多重要领域发挥着重要的作用。红外图像通过热像仪获取[1]，红外图像可以反映超越人眼的红外波段信息，转换为可见信息映射至图像，但是红外图像对比度以及细节表现能力不足[2]。可见光图像具有较好分辨率，对于目标图像的纹理边缘信息具有较好的反映效果，但是成像质量受到外界因素影响较大[3]。因此，红外图像和可见光图像均存在一定的局限性，依靠单个种类图像无法满足工程实际需求，可通过引入图像融合技术，获取高质量图像。

王兴龙、朱芳等[4]提出通过双通道PCNN（Pulse Coupled Neural Network）处理高频子带，同时低频子带处理方法为小波变换，该方法使图像融合效果得到提升。陈潮起等[5]提出的红外图像与可见光图像融合方法是基于多尺度低秩分解。通过多尺度方式低秩分解图像，将图像分解为多层次局部以及全局低秩图，结合最优融合规则，该方法通过多层次的融合可有效补偿图像信息，图像融合效果显著。沈瑜等[6]提出通过构建多尺度几何变换模型快速融合图像。以上各种方法在图像融合整体效果上有所提升，但在图像细节和边缘信息保留方面还有提升空间。

随着深度学习研究的日新月异，卷积神经网络框架层次不穷，卷积神经网络具有较强的特征提取功能，在目标检测与识别融合领域发挥了重要作用[7]。利用双分支卷积神经网络可以更好地完成检测。任立成等[8]提出一种基于特征融合的双分支模块更新跟踪算法，通过构架分类和回归两个分支，实现一种高置信度的模板更新策略，使跟踪稳定，并且能更好地适应快速移动和遮挡。吴佼华等[9]将双分支神经网络在SAR（Synthetic Aperture Radar）与多光谱图像融合中应用，增加了融合图像细节信息，得到高分辨率质谱（Mass Spectrum）图像。薛盼盼等[10]提出双分支特征提取，构建低帧频分支和高帧频分支，获得更多的空间语义信息。张雪等[11]提出双分支网络分别进行全局和局部特征提取，更好地进行车辆重识别。

但目前利用双分支卷积神经网络实现红外与可见光图像融合方面的研究还很少，基于以上研究，本文提出双分支卷积神经网络进行红外与可见光图像融合，以期获得更多的特征信息。该方法，由渠道内分支和跨渠道分支组成，然后将两个分支结果进行叠加，形成最终的融合图像，可以保留更多的图像信息，保障了融合图像特征的多样性，减少信息量损失；同时本文采用整数小波变换方法压缩图像，达到缩减图像储存空间目的，运用二值自适应算术编码对变换后的数据进行压缩；通过图像插值方法实现图像配准；建立颜色空间模型，合理调节因子的数值，完成特征提取，实现较好的融合结果。

1 基于双分支卷积神经网络的红外与可见光图像局部融合

1.1 双分支卷积神经网络

本文提出从红外图像、可见光图像同时获取两种特征，如图1所示，分别是跨渠道信息和渠道内信息[12]，构成跨渠道分支和渠道内分支，和并两种特征，得到最终融合图像。本文提出的双分支卷积网络可获取的融合图像信息量更多，融合图像信息特征的多样性加强，信息量损失减少。

在本文提出的双分支卷积神经网络中，将标注任务和标注者引入到神经元结构。公式为：

式中：x是第个输入；w是权重值；是偏置值；是神经元激活函数。对T的结果进行分析后可以发现，其主要呈现为线性关系，将T的结果映射引入到函数中[13]。在双分支的卷积神经元网络中，输入值在这一网络中被设定为，权值矩阵在这一网络中被设定为，偏置矩阵在这一网络中被设定为，输出在这一网络中被设定为h,b，反向传播期望输出值在这一网络中被设定为()[14]。样本量在这一网络中被设定为，损失函数在该研究中被设定为，接下来可以选择采用以下表达式来表示损失函数平方误差：

对以及初始化[15]，更新神经网络中的参数，详见图2所示。

图1 二分支卷积单元

图2 神经网络中的梯度下降图

结合梯度下降方向获得、，更新、的值。公式如下：

1.2 图像压缩

在本文方法中为减少图像储存空间，采用整数小波变换IWT（Integer Wavelet Transform）的方法对图像进行处理[18]。小波变换可以通过以下步骤实现：

假设输入初始图像信号为s，其中∈＋，通过小波变分解图像信号序列，形成偶数以及奇数两种不同形式：

1,l0＝even(s)＝2l(5)

1,l0＝odd(s)＝2l＋1(6)

小波对偶提升方式为预测因子的构造，技术序列预测依照于偶数序列[19]，预测误差计算方式如下所示：

假设做次对偶提升和基本提升可得：

1,l＝1,l/(8)

1,l＝1,l(9)

式中：1,l指做次对偶提升后得到的偶数图像序列；1,l指的是次对偶提升后得到的基本提升值。

用以上方案对图像进行压缩，将可见光图像序列的前一帧作为后一帧的参考图像，从而进行谱间预测，以消除谱间的相关性[20]。接着对处理后所获得的残差图像进行整数小波变换处理，图像压缩框如图3所示。

图3 图像压缩方案框架

其中运用二值自适应算术编码对整数小波变换后的数据进行压缩，去除小波系数存在空间相关性，与其他编码相比较，该方法能自动控制进位扩散并且对硬件要求不高[21]。通过上述框架完成对图像的压缩处理。

1.3 图像配准

本文方法为更好地实现图像融合、保证融合后图像清晰程度，在图像序列融合之前，需要进行配准处理。在不同场合、时间、位置等条件下，获取图像之间的几何关系，确定两幅图像之前的几何变换。同时为了避免采集到的图像出现模糊不清或失真情况[22]，采集红外光谱图像后，需要通过红外光谱成像系统，实施图像校正，校正图像的公式如下所示：

式中：、、、分别代表初始图像、白板校正图像、黑板校正图像、被校正过的图像。通过红外光谱仪对红外光谱图像中样本的光谱信息进行提取，该过程在校正图像后进行，光谱值为使用红外光谱的平均值。

本文所提方法为了使表征结果更加符合人体眼球的视觉特征，把视觉传达下红外图像RGB颜色空间模型替换成HSV空间模型，通过颜色特征统计使其变为特征矢量，将红外图像不同颜色分量组合为统一特征矢量，表现形式为：

＝9＋3＋(11)

这样、、三种分量在红外图中就能够在一维矢量中分布开来。视觉传达上红外图像区域颜色最多链接区域R，可通过颜色C中同一种颜色构成的最大链接区域字块表述，其满足：

area(R)＝{(Max(Area(R,C8)))} (12)

式中：C8表示落入色彩C的红外图像像素数目，实行链接标记，(Max(Area(R,C8)))表示落入色彩C红外图像像素建造的最大链接区域的像素数量[23]。经过估算红外图像边缘像素以st为中心的不同领域的色彩粗糙度来表征边缘区域的剧烈程度，并通过红外图像整体的最大链接区域的均匀色彩粗糙度来表征该区域和周围区域色彩的变化程度：

以视觉传达红外图像的子块分割为基本，把一幅红外图像分割成×种子块，提取出红外图像所有子块内不同色彩的链接区域和边缘的粗糙度，估算出红外图像和所有分块之间的类似度，把通过分块处理的红外图像的类似度设定成所有分块类似度的均值，即：

式中：S表示红外图像某种子块之间的类似度；b表示以分块作为基础的红外图像的类似度。

图像配准需要对比图像灰度值转换空间坐标点，使其呈现离散分布状态[24]。促使经过变换的点无法正好落在网格节点上面，本文通过双线性差值的方法进行坐标值估计[25-26]。具体如图4所示。

图4 双线性差值方法

以下分别给出对应点和的灰度值，具体如以下公式所示：

()＝(¢－)[()－()]＋() (15)

()＝(¢－)[()－()]＋() (16)

此时(¢,¢)坐标处对应的灰度值为(¢,¢)：

(¢,¢)＝(¢－)[()－()]＋() (17)

利用图5给出插值。

图5 PV插值

根据上述理论，即可完成视觉传达下红外图像的优化设计。

1.4 图像特征提取

在本文方法中为更好地进行图像融合，对可见光图像构建图像空间结构的颜色特征[27]，建立颜色空间模型。

IHS颜色空间模型：在IHS颜色空间中，I代表图像亮度，H代表颜色，S代表图像色彩的深浅度。颜色空间表征方式如图6所示。

图6 IHS颜色空间

为解决IHS进行变换时较为费时且效率较低的问题，提出一种快速IHS变换方法，其表达式为：

式中：＝－，＝0＋0＋0，代表黑白影像的灰度值；0、0以及0代表色彩影像的不同波段，new、new以及new代表完成融合后的图像。

通过均值标准差实施归一化处理，得出表达式即：

式中：¢代表配准结束后的高分辨率黑白影像；代表未配准时的高分辨率黑白影像；HRP代表未配准时的影像均值；HRP代表未配准时的方差；LRI代表未配准时较低分辨率的均值；LRI代表未配准时低分辨率的分量方差。

Brovery变换法：其影像方式主要根据较高分辨率的色彩影像和多光谱影像共有的波谱区间为基础[28]，其表达式为：

式中：0、0以及0所描述的是色彩影像的不同波段；描述的是未配准时的高分辨率黑白影像。

在本文方法中为了更好地突出主体和客体的不同，提出对上述公式进行改进，得出其表达式为：

从式(21)中可得出，改变值，实现不同颜色空间模型。在＝1情况下，代表Brovery变换方式；在®¥情况下，则代表IHS变换方式，根据调节值进一步操控两种方式间的变化。综上所述，通过适当改变数值，进一步增强两者之间的对比度，对所表达的具体内容予以最好的传达，实现更加符合人眼视觉效果的融合图像。

1.5 图像融合

本文利用整数小波变换对输入数据进行分解，高频分量采用能量重组，低频分量进行绝对值最大规则融合，最后进行小波重建，将图像转换为图像，完成图像融合。

1.6 评价指标

本文方法采用绝对均方亮度表征图像亮度，AMSLE（Absolute Mean Square Luminance Error）值越小，表示图像亮度维持效果越好，表征图像融合效果越好，形成图像质量越高，计算方式如下所示：

AMSLE＝|Meanf－MeanG|(22)

式中：Meanf表示输入图像的亮度均值；MeanG表示输出图像的亮度均值。

本文方法重点选用均方根误差来准确衡量图像的配准精度，以下给出具体的计算式：

式中：(,)表示参考图像中的特征点；(¢,¢)为校正前后待配准图像中相对应的特征点；为最终的特征点对数。

2 实验分析

本文方法为了验证图像融合性能，分析红外与可见光图像融合效果，进行了实验分析。为了突出本文方法的有效性，实验通过对本文方法、文献[4]方法、文献[5]方法以及文献[6]方法进行对比。实验中所利用的光源线是成像镜头构建的红外光谱正向系统，采集红外光谱图像，实验操作系统为Windows XP系统，其运行内存为16 GB，CPU为intel酷睿i7-7700，设定红外光谱图像的分辨率为330pixel×267pixel。本文实验选择的图像来自OTCBVS数据库，该数据库中共包含13个子数据集合。

将红外光谱成像系统曝光时间、控制平台移动速度和物镜尺寸进行合理调节，再收集红外光谱图像。把物镜的尺寸调节至90cm，曝光的时间调节到1/5722，平台的移动速度调整到35.8mm/s，曝光时间、移动速度与物镜的高度都是通过较多实验后得出的准确数值。

图7是一组源图像，左侧是红外图像，右侧是可见光图像。图8是由图7的红外图像和可见光图像进行融合得到的图像进行实验分析，从左到右依次是文献[4]方法、文献[5]方法、文献[6]方法、本文方法所得的实验结果，从上到下依次对该组图像的人物、路况和树枝细节进行对比。由图8可以看出，本文方法从不同角度观测图像边缘均较明显，证明图像边缘信息得到充分保留，图像细节信息增强。经所提方法处理后，不同光谱之间区分分明，主要原因在于所提方法综合了粒子群算法与特征提取方法，较单一特征的设计精准度要高。

如表1所示，在同等实验条件下，相比其他方法，本文所提方法的均方误差、均方亮度误差以及模糊熵均达到了更好的结果，均方亮度误差达到0.98，模糊熵值最高达到6.23，融合处理后的图像视觉信息显著性更高，所得图像信息质量更优。

图7 实验数据集中的一组红外图像（左侧）和可见光图像（右侧）

图8 红外与可见光融合图像在细节部分的实验对比

表1 本实验的结果对比

与文献[4]方法相比，本文方法在时间上增加11.7%，但是均方亮度误差提升达36.4%，模糊熵提升了32.8%，均方误差提升18.2%；与文献[5]方法相比，本文方法时间增加相对较多，但是在均方亮度误差、均方误差方面提升效果最好，分别达到51.2%、23.8%，同时模糊熵提升了4.7%。总体而言，本文方法在时间花费有一定程度增加的情况下，其它指标均获得了更好的结果，能获得更优质的融合图像。本文方法更适用于对融合图像质量要求较高的场合。

为了进一步验证所提方法的优越性，均方根误差对比结果如表2所示。

表2 不同方法的均方根误差

详细分析表2可知，本文所提方法的均方根误差在4种方法中为最低，均方根误差最低为0.01，说明图像的配准效果更好，图像融合效果更好，主要原因在于本文所提的双分支卷积网络可获取得输出信息量更多，保障了输出信息特征的多样性，减少信息量损失。

实验结果表明，融合后图像边缘信息得到充分保留，图像细节信息增强，模糊熵值最高达到6.23，均方根误差最低为0.01，则说明图像的配准效果好，证明红外与可见光图像的融合达到了更好的效果。

3 结论

本文引入双分支卷积神经网络，保障了输出信息特征的多样性，减少信息量损失；采用整数小波变换方法压缩图像缩减图像储存空间；基于图像插值法配准图像，保障融合图像呈现较强清晰度；根据合理调节因子的数值，获得最佳颜色空间模型，获取到较理想的融合结果。融合后图像边缘信息得到充分保留，图像细节信息增强，图像的配准效果好，红外与可见光图像融合效果好。实验结果表明：采用本文方法红外与可见光图像融合图像精度有所提升，细节信息增强，更加符合人眼视觉效果。

[1] 朱莹, 夏亦犁, 裴文江. 基于改进的BEMD的红外与可见光图像融合方法[J]. 计算机科学, 2020, 47(3): 124-129.

ZHU Ying, XIA Yili, PEI Wenjiang. Infrared and visible image fusion method based on improved BEMD[J]., 2020, 47(3): 124-129.

[2] 苏金凤, 张贵仓, 汪凯. 结合鲁棒主成分分析和非下采样轮廓波变换的红外与可见光图像的压缩融合[J]. 激光与光电子学进展, 2020, 57(4): 84-93.

SU Jinfeng, ZHANG Guicang, WANG Kai. Compression and fusion of infrared and visible images combined with robust principal component analysis and non-subsampled contourlet transform[J]., 2020, 57(4): 84-93.

[3] 邓秋菊, 王宁. 非下采样轮廊波变换的红外与可见光图像融合[J]. 激光杂志, 2020, 41(4): 92-95.

DENG Qiuju, WANG Ning. Infrared and visible image fusion based on non-subsampling contour wave transform[J]., 2020, 41(4): 92-95.

[4] 王兴龙, 朱芳. 基于双通道PCNN的NSST域红外与可见光图像融合[J]. 平顶山学院学报, 2020, 35(2): 55-61.

WANG Xinglong, ZHU Fang. Fusion of infrared and visible light images in NSST domain based on dual-channel PCNN[J]., 2020, 35(2): 55-61.

[5] 陈潮起, 孟祥超, 邵枫, 等. 一种基于多尺度低秩分解的红外与可见光图像融合方法[J]. 光学学报, 2020, 40(11): 72-80.

CHEN Chaoqi, MENG Xiangchao, SHAO Feng, et al. A fusion method of infrared and visible light images based on multi-scale low-rank decomposition [J]., 2020, 40(11): 72-80.

[6] 沈瑜, 陈小朋, 苑玉彬,等. 基于显著矩阵与神经网络的红外与可见光图像融合[J]. 激光与光电子学进展, 2020, 57(20): 76-86.

SHEN Yu, CHEN Xiaopeng, YUAN Yubin, et al. Fusion of infrared and visible light images based on saliency matrix and neural network [J]., 2020, 57(20): 76-86.

[7] 张贵仓, 苏金凤, 拓明秀. DTCWT域的红外与可见光图像融合算法[J]. 计算机工程与科学, 2020, 42(7): 1226-1233.

ZHANG Guicang, SU Jinfeng, TUO Mingxiu. Infrared and visible light image fusion algorithm in DTCWT domain [J]., 2020, 42(7): 1226-1233.

[8] 任立成, 刘勇, 张建林, 等. 基于特征融合的双分支模板更新跟踪算法[J]. 国外电子测量技术, 2021, 40(5): 14-21.

REN Licheng, LIU Yong, ZHANG Jianlin, et al. Two-branch template update tracking algorithm based on feature fusion [J]., 2021, 40(5): 14-21.

[9] 吴佼华, 杨学志, 方帅,等. 基于双分支卷积神经网络的SAR与多光谱图像融合实验[J]. 地理与地理信息科学, 2021, 37(2): 22-30.

WU Jiaohua, YANG Xuezhi, FANG Shuai, et al. Experiment of SAR and multispectral image fusion based on double-branch convolutional neural network [J]., 2021, 37(2): 22-30.

[10] 薛盼盼, 刘云, 李辉, 等. 基于时域扩张残差网络和双分支结构的人体行为识别[J/OL]. 控制与决策: 1-10. [2021-09-29]. https://doi.org/ 10.13195/j.kzyjc.2021. 0648.

XUE Panpan, LIU Yun, LI Hui, et al. Human Behavior Recognition Based on Time Domain Dilated Residual Network and Dual Branch Structure [J/OL].: 1-10. [2021-09-29]. https ://doi.org/ 10.13195/j.kzyjc.2021.0648.

[11] 张雪, 孟令灿, 聂秀山. 基于双分支网络特征融合的车辆重识别方法[J]. 数据采集与处理, 2021, 36(3): 468-476.

ZHANG Xue, MENG Lingcan, NIE Xiushan. Vehicle re-identification method based on dual-branch network feature fusion [J]., 2021, 36(3): 468-476.

[12] 贺双龙, 杨斌. 基于局部结构和视觉显著特征的红外和可见光图像泊松重构融合算法[J]. 南华大学学报: 自然科学版, 2020, 34(5): 62-70, 76.

HE Shuanglong, YANG Bin. Poisson reconstruction fusion algorithm for infrared and visible light images based on local structure and visual salient features [J]., 2020, 34(5): 62-70, 76.

[13] 周哓玲, 江泽涛. 结合脉冲耦合神经网络与引导滤波的红外与可见光图像融合[J]. 光学学报, 2019, 39(11): 132-139.

ZHOU Weiling, JIANG Zetao. Fusion of infrared and visible light images combined with pulse-coupled neural network and guided filtering[J]., 2019, 39(11): 132-139.

[14] 刘明君, 董增寿. 基于多特征的红外与可见光图像融合[J]. 激光杂志, 2019, 40(10): 81-85.

LIU Mingjun, DONG Zengshou. Fusion of infrared and visible light images based on multi-features [J]., 2019, 40(10): 81-85.

[15] 王宁, 周铭, 杜庆磊. 一种红外可见光图像融合及其目标识别方法[J]. 空军预警学院学报, 2019, 33(5): 328-332.

WANG Ning, ZHOU Ming, DU Qinglei. An infrared and visible light image fusion and its target recognition method[J]., 2019, 33(5): 328-332.

[16] 宫睿, 王小春. BEMD分解和W变换相结合的红外与可见光图像融合[J]. 中国图象图形学报, 2019, 24(6): 987-999.

GONG Rui, WANG Xiaochun. Fusion of infrared and visible light images combined with BEMD decomposition and W transform[J]., 2019, 24(6): 987-999.

[17] 张雷雷, 王铎. 基于局部能量和邻域信息的红外与可见光图像融合[J]. 光电技术应用, 2019, 34(3): 19-22.

ZHANG Leilei, WANG Duo. Fusion of infrared and visible light images based on local energy and neighborhood information[J]., 2019, 34(3): 19-22.

[18] 荣传振, 贾永兴, 吴城,等. 红外与可见光图像分解与融合方法研究[J]. 数据采集与处理, 2019, 34(1): 146-156.

RONG Chuanzhen, JIA Yongxing, WU Cheng, et al. Research on infrared and visible image decomposition and fusion methods [J]., 2019, 34(1): 146-156.

[19] 冯鑫. Tetrolet框架下红外与可见光图像融合[J]. 光子学报, 2019, 48(2): 76-84.

FENG Xin. Fusion of infrared and visible light images under Tetrolet framework[J]., 2019, 48(2): 76-84.

[20] 朱平哲. 基于DCT与PSO的可见光与红外图像融合方法[J]. 新疆大学学报: 自然科学版, 2018, 35(4): 452-458.

ZHU Pingzhe. Visible light and infrared image fusion method based on DCT and PSO [J].: Natural Science Edition, 2018, 35(4): 452-458.

[21] 孔玲君, 张志华, 曾茜, 等. 基于NSST和SWT的红外与可见光图像融合算法研究[J]. 包装工程, 2018, 39(19): 216-222.

KONG Lingjun, ZHANG Zhihua, ZENG Qian, et al. Research on infrared and visible light image fusion algorithm based on NSST and SWT [J]., 2018, 39(19): 216-222.

[22] 邱泽敏. 结合区域与边缘特征的红外与可见光图像融合算法[J]. 红外技术, 2018, 40(5): 449-454.

QIU Zemin. Infrared and visible image fusion algorithm combining region and edge features[J]., 2018, 40(5): 449-454.

[23] 朱亚辉. 聚类分析的红外与可见光融合质量指标相似性研究[J]. 计算机系统应用, 2018, 27(2): 216-222.

ZHU Yahui. Research on the similarity of infrared and visible light fusion quality indicators based on cluster analysis[J]., 2018, 27(2): 216-222.

[24] 吴冬鹏, 毕笃彦, 马时平, 等. 边缘和对比度增强的NSST域红外与可见光图像融合[J]. 红外技术, 2017, 39(4): 358-364.

WU Dongpeng, BI Duyan, MA Shiping, et al. Edge and contrast enhanced fusion of NSST domain infrared and visible light images [J]., 2017, 39(4): 358-364.

[25] 傅志中, 王雪, 李晓峰, 等. 基于视觉显著性和NSCT的红外与可见光图像融合[J]. 电子科技大学学报, 2017, 46(2): 357-362.

FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Fusion of infrared and visible light images based on visual saliency and NSCT[J]., 2017, 46(2): 357-362.

[26] 李昌兴, 王志强. 基于视觉特性的红外与可见光图像融合[J]. 西安邮电大学学报, 2016, 21(6): 98-102.

LI Changxing, WANG Zhiqiang. Fusion of infrared and visible light images based on visual characteristics [J]., 2016, 21(6): 98-102.

[27] 周华兵, 侯积磊, 吴伟, 等. 基于语义分割的红外和可见光图像融合[J]. 计算机研究与发展, 2021, 58(2): 436-443.

ZHOU Huabing, HOU Jilei, WU Wei, et al. Fusion of infrared and visible light images based on semantic segmentation[J]., 2021, 58(2): 436-443.

[28] 张蕾. 采用改进平均梯度与自适应PCNN的图像融合[J]. 计算机应用与软件, 2021, 38(3): 218-223.

ZHANG Lei. Image fusion using improved average gradient and adaptive PCNN [J]., 2021, 38(3): 218-223.

Local Fusion Algorithm of Infrared and Visible Light Images Based on Double-Branch Convolutional Neural Network

XU Yunying，YANG Rui，HE Tianfu，LIU Shangwei，FAN Tairan，XU Chenchen

(School of Electronic Engineering, Jiangsu Ocean University, Lianyungang 222005, China)

Both infrared and visible images have certain limitations, and relying on individual types of images cannot meet the practical needs of engineering. Instead, high-quality fused images can be obtained by introducing image fusion techniques. To better guarantee the diversity of the output information features, this study introduces a dual-branch convolutional neural network to achieve local fusion of infrared and visible images. Based on the dual-branch convolutional neural network, red and blue features are obtained from infrared images and visible light images simultaneously, thereby increasing the amount of information in the fusion image. The integer wavelet transform method is used for image compression. When the color-space model is built, the value of the t-factor is adjusted to obtain an ideal fusion image. The experimental results show that the edge information of the image after the fusion of this method is fully preserved, image detail information is enhanced, and fusion effect of infrared and visible images is improved, compared with the existing methods.

two-branch convolutional neural network, infrared and visible light images, Gradient descent theory, wavelet transform, image interpolation, image fusion

TP391.4

A

1001-8891(2022)05-0521-08

2021-09-23；

2022-05-03

许云英（1990-），女，硕士研究生，研究方向：图像处理。E-mail：371739272@qq.com。

杨瑞（1976-），男，副教授，研究方向：智能信息处理、程序分析及测试等。E-mail：yangrui@jou.edu.cn。

江苏海洋大学电子工程学院研究生科研创新项目（DZXS202006）。