基于区域概率密度与PCNN的红外与可见光图像融合算法

任旺 李宁 赵东宸

（北方民族大学计算机科学与工程学院 宁夏回族自治区银川市 750021）

1 导论

单一传感器成像信息不全面并且容易受到限制，不同传感器成像信息具有互补性和冗余性并且存在一定的差异性。把互补信息从不同传感器成像结果中合成和提取出来，通过图像融合得到在客观和视觉方面都更可靠的图像和更为精确的图像。通过热红外辐射传感器成像为红外图像，捕捉地物的热辐射能量得到。热红外辐射传感器可以在不会受到光照条件的影响下探测物体释放的热辐射能量分布，但是热红外辐射传感器对亮度变化的敏感度低，得到的红外图像的场景细节信息稀少。通过可见光传感器捕捉物体和场景的光学反射成像为可见光图像，得到包含较多的背景和细节信息的可见光图像，但容易受到能见度低或者光照差等外界因素的影响导致成像的图像效果差。红外图像会存在图像细节信息稀少、边缘模糊、对比度低的问题，可见光图像会容易受到环境影响，这样会对在实际中应用产生误导。红外图像与可见光图像通过图像融合可以融合得到红外目标信息突出和场景细节纹理信息的融合图像。融合图像的有用信息的分析能力得到了增强。在计算机视觉领域，图像融合是热点问题之一，近几十年来，图像融合在遥感图像[1]、目标探测[2]等方面受到广泛应用。

图像融合一般可以分类成像素级融合，特征级融合，决策级融合[3]。像素级图像融合可以根据融合处理域进行分类，主要分类成基于空间域的融合方法和基于变换域的融合方法。基于空间域的常见融合方法有加权平均的方法和取大值等方法；基于变换域的常见方法是通过多尺度变换工具进行图像融合处理。常见的多尺度变换工具包括小波变换(wavelet，WT)[4]和非下采样轮廓波变换(Nonsubsampled contourlet transform，NSCT)[2]等。NSCT 变换[5]对图像分别经过非下采样金字塔滤波器(NSPFB)和非下采样方向滤波器(NSDFB)分解得到变换域低频子带分量和高频子带分量，NSCT变换具有平移不变性。脉冲耦合神经网络(Pulse Coupled Neura Network，PCNN)在图像处理领域越来越受到人们的关注，因其脉冲耦合的特性被应用到图像融合方向并且有很好的应用前景。本文提出了一种基于区域概率密度和PCNN 的红外与可见光图像融合算法，并证明了算法的有效性。

图1：图像camp 融合结果

图2：图像Kaptein 融合结果

2 基于区域概率密度与PCNN的红外与可见光图像融合算法

2.1 脉冲耦合神经网络模型

Eckhorn[6]在1990年针对其在猫的大脑皮层发现的脉冲同步的现象，为了模拟这种科学现象，提出了一种具有脉冲同步连接的模型。PCNN 的简化基础模型如下：

Fk,l接收从外部馈送入PCNN 中的系数Sk,l的值。Lk,l是PCNN模型中的链接输入。外部馈送输入、链接输入、链接强度β 结合通过公式（3）得到内部活动水平Uk,l。Wk,l,p,q是链接权重。动态阈值θk,l和内部活动水平Uk,l进行比较判断是否进行点火行为。Yk,l记录点火状态，当Yk,l=1 时表示脉冲成功并记录点火状态，否则记录点火失败并记录为Yk,l=0。SF-PCNN 模型中的Sk,l是先对系数进行计算空间频率(SF)值然后馈送输入到PCNN 中。在图像融合处理中，融合结果由经过迭代n 次后输出的总点火状态得到。

2.2 自适应调整确定链接强度β

链接强度在PCNN 应用中是一个关键参数，具有一定的重要性。领域像素独立时，链接强度值为0。自适应调整链接强度可以在减少设定参数的复杂度的同时，根据区域的关联性自适应调整链接强度值。所以由细节层的区域概率密度对PCNN 的链接强度进行自适应调整：

其中，τ 的取值为0.001，p(Li,d)是区域概率密度，LA,d和LB,d分别表示可见光图像和红外图像的细节层系数。

2.3 自适应调整处理区域大小

融合图像的效果会受到处理区域的大小的影响。处理区域大小的值包括低频子带的第二次分解的区域大小和区域概率密度的区域大小。区域大小通过视觉和客观两方面的综合分析并设置成可以得到更好的融合图像的值，规定对可见光和红外图像的边缘强度值进行比较来自适应确定处理区域大小。区域大小通过公式（8）自适应调整：

其中，r 是区域大小。EA和EB分别是可见光图像和红外图像的边缘强度值。

2.4 融合规则

低频子带的基础层通过基于区域概率密度的方法进行融合。其中，区域概率密度通过公式（9）得到，基础层融合系数通过公式（10）得到：

其中，r是计算区域概率密度的区域大小，mL,i是均值，是方差。LA,b和LB,b分别表示可见光图像和红外图像的基础层系数。

低频子带的细节层通过基于SF-PCNN 的方法进行融合。其中，链接强度由区域概率密度得到。把低频子带的细节层的空间频率SF 馈送输入到PCNN 中，通过PCNN 的总点火次数结果，得到细节层的融合结果。细节层融合系数通过公式（11）得到：

其中，Z(Li,d)是总点火数，LA,d和LB,d分别表示可见光图像和红外图像的细节层系数，LF,d表示低频子带的细节层融合结果。

3 实验结果与分析

对本文算法的有效性通过仿真实验进行验证。对已配准的两组标准真实场景红外与可见光图像进行仿真实验。本文中的对比算法有NSCT、NSST-PCNN[7]、SAL[8]算法。其中，NSST-PCNN 算法和SAL 算法中的参数和原论文中一致；NSCT 算法的高频融合规则采取取大值的方法，低频融合规则采取平均加权的方法。本文算法的仿真实验环境为MATLAB2017a。

表1：图像camp 的不同融合算法的客观评价指标比较

表2：图像Kaptein 的不同融合算法的客观评价指标比较

第一组仿真实验图像采用camp 红外与可见光图像。图1所示的是第一组实验结果，图1(a)和图1(b)分别是可见光图像和红外图像。图1(c)是NSCT 的融合结果，图1(d)是NSCT-PCNN 的融合结果，图1(e)是SAL 的融合结果，图1(f)是本文算法的融合结果。可见光图像细节信息丰富且对比度高，红外图像中红外目标人物显著。但是可见光图像中人物辨识度低，外红图像中场景细节信息稀少。由图1(c)～(f)所示，四种方法都成功地实现了红外和可见光图像融合。图1(c)的融合结果细节信息丰富但红外目标人物昏暗导致辨识度低。图1(d)的融合结果红外目标边缘模糊且辨识度低，场景细节信息稀少。图1(e)的融合结果的融合结果较好，但清晰度和对比度较低。图1(f)的融合结果边缘细节信息丰富，红外目标人物辨识度高且对比度高。

第二组仿真实验图像采用Kaptein 红外与可见光图像。图2所示的是第二组实验结果，图2(a)和图2(b)分别是可见光图像和红外图像。图2(c)是NSCT 的融合结果，图2(d)是NSCT-PCNN 的融合结果，图2(e)是SAL 的融合结果，图2(f)是本文算法的融合结果。可见光图像中灌木丛等细节部分信息丰富且对比度高但人物辨识度低；红外图像中除了红外目标人物显著之外的场景区域模糊辨识度低且对比度低。由图2(c)～(f)所示，四种方法都成功地实现了红外和可见光图像融合。图2(c)和图2(e)的融合结果细节信息丰富但红外目标人物部分有显著的昏暗区域导致辨识度低，并且天空的视觉效果差。图2(d)的融合结果红外目标显著但场景区域对比度低。图2(f)的融合结果边缘细节信息丰富，红外目标人物辨识度高且场景区域对比度高。

本文采用的客观评价指标为：标准偏差(SD)、信息熵(EN)、边缘强度(ED)、边缘信息保持度(Qab/f)、视觉信息保真度(VIFF)[9]这五个指标。根据表1 和表2 中本文算法的融合图像的客观评价指标值分析可以得到以下结果:本文算法的融合图像的SD、EN、ED、Qab/f、VIFF 的值高，说明灰度级分布分散并且对比度高；细节信息量包含度高；融合图像的边缘清晰；融合质量好并且边缘信息从源图像保持度高；视觉效果好。本文融合结果在主观和客观评价基本一致，本文算法有效且具有较好的融合效果。

4 结论

本文针对红外与可见光图像融合研究，提出了一种基于区域概率密度与PCNN的红外与可见光图像融合。基于区域概率密度的方法作为低频子带的基础层融合规则，基于SF-PCNN 的方法作为低频子带的细节层融合规则，通过参考SF 特征对高频子带进行处理。通过两组仿真实验结果对本文算法的有效性进行验证。