结合稀疏表示与FFST-PCNN的红外/可见光图像融合

谈 玲， 于 欣

(南京信息工程大学 计算机与软件学院， 南京 210044)

0 引 言

红外与可见光图像的融合有利于获取目标信息和场景信息，并已广泛应用于计算机视觉、目标探测与识别、军事、视频监控等领域[1-2]。文献[3]中提出的多尺度分解工具与SR结合的融合算法，能够将能量从源图像转到融合图像，提高融合结果的对比度。

近年来，基于FFST、SR和PCNN模型的图像融合算法受到越来越多的关注。文献[4]中提出的基于改进NSCT的可见光与红外图像的融合方法，具有良好的方向各异性以及方向选择性，但是仍然无法高效地描述图像内部的几何特征，不能完全具备平移不变性。本文提出了一种基于SR与FFST-PCNN的红外与可见光图像融合算法FFST-SR-PCNN。该方法相关研究已经在医学图像融合中开展，效果很好，在主观视觉效果与客观评价指标方面都得到了较好的结果。

1 相关理论

1.1 稀疏表示

稀疏表示的模型[5-6]可以通过下式得到：

(1)

1.2 脉冲耦合神经网络

PCNN[8]简化模型的数学表达式为：

(2)

式中：n为迭代次数；Iij为刺激信号；Yij、Uij分别为外部输入和内部状态；Fij为反馈输入；Lij为链接输入；Wijkl为神经元之间的连接权系数；β、θij、αθ分别为链接强度、可变阈值的输入及可变阈值的衰减时间常数；VL、Vθ分别是链接输入的放大系数与阈值的放大系数。

2 图像融合算法

针对目前小波变换会导致细节的信息丢失，并且当红外与可见光图像融合时信息会相互干扰，导致综合性能不佳的问题[9]，本文提出了一种基于SR与FFST-PCNN的红外与可见光图像融合算法FFST-SR-PCNN。该方法在快速有限剪切波变换的基础上，在脉冲耦合神经网络方面进行了改进，以期获得具有更丰富细节特征的红外与可见光融合图像。

2.1 FFST变换

剪切波变换作为多尺度几何的分析工具，克服了小波变换的缺点，它具有比轮廓波变换更好的方向敏感性[10-11]。本文所提出的FFST-SR-PCNN算法结合了稀疏表示与FFST-PCNN，能够提取图像的细节信息，从而获得更丰富的信息。

离散剪切波：

(3)

其频域表达式为：

exp(-2πi〈ω,tm〉/N)

(4)

式中：

[N/2]-1,i=1,2}

(5)

由此离散剪切波可表示为：

(6)

式中：j=0,1，…,j0-1,-2j+1≤2j-1,m∈ϑ。

由于FFST不存在下采样过程，因此具备了平移不变性。FFST还具有非常好的局部化特性和方向敏感性。

2.2 低频系数融合规则

首先，用K-SVD算法训练样本集从而得到过完备字典D；然后利用OMP优化算法估计稀疏系数；最后根据图像的特征自适应融合稀疏系数。具体的实现步骤如下：

(1) 利用FFST分解尺寸为M×N的源图像A和B，得到低频系数与高频系数。

(2) 使用步长为S和大小为n×n的滑动窗口来进行低频系数LA、LB的分块处理，获得(N+n-1)×(M+n-1)个图像子块，然后把图像子块转化为列向量获得样本的训练矩阵VA和VB。

(3) 采用K-SVD算法迭代样本矩阵，获得低频系数的过完备字典D。

(4) 利用OMP算法估计VA和VB的稀疏系数，得到稀疏系数的矩阵αA和αB。第i列稀疏系数的矩阵根据下式进行融合

(7)

(5) 用融合后稀疏系数的矩阵αF乘过完备字典D，融合样本的训练矩阵

VF=DαF

(8)

(6) 将VF的列转化为数据子块，并且重建数据子块来得到低频融合系数。

基于SR的低频系数融合过程如图1所示。图中:LA、LB为低频系数；n×n为滑动窗口的大小。

图1 基于稀疏表示的低频系数的融合过程

2.3 高频系数融合规则

在PCNN模型中，β的值决定神经元耦合关系的强度，SF为：

(9)

式中：窗口大小为3×3；

(10)

(11)

基于PCNN简化模型的高频系数融合规则采用像素本身作为神经元的反馈输入激励每个神经元，并选择SF作为神经元的链接强度值,并根据点火次数选择高频融合系数，具体实现步骤如下：

(1) 根据式(9)计算高频系数HA、HB的邻域空间的频率SFA、SFB，并将空间频率作为神经元的链接强度值。

(2) 初始化设置。Lij(0)=Uij(0)=θij(0)=0，此时，神经元处于熄火状态，即Yij(0)=0，产生的脉冲数为Oij(0)=0。

(3) 根据式(2)计算Lij[n]、Uij[n]、θij[n]和Yij[n]。

(4) 比较图像素处点火时间的输出阈值(点火的频数)OA、OB，高频的融合系数,

(12)

3 实验结果与分析

为了验证FFST-SR-PCNN算法的性能，选择4种比较典型的算法作为对比。采用空间频率SF、平均梯度AG、互信息MI、信息熵EN及边缘信息传递因子QAB/F(高权重评价指标)[12]5个指标进行客观评价。对比算法1为基于离散小波的变换[13]；算法2为基于NSCT和PCNN的算法[14]；算法3为基于引导滤波的方法[15]；算法4为基于双边和高斯混合滤波的方法[16]。

图像融合的实验选择3组大小为256×256的红外与可见光图像为待融合图像，各算法融合图像结果如图2～4所示。

(a) 红外

(b) 可见光

(c) 算法1

(d) 算法2

(e) 算法3

(f) 算法4

(g) FFST-SR-PCNN

图2 第1组融合结果

(a) 红外

(b) 可见光

(c) 算法1

(d) 算法2

(e) 算法3

(f) 算法4

(g) FFST-SR-PCNN

图3 第2组融合结果

(a) 红外

(b) 可见光

(c) 算法1

(d) 算法2

(e) 算法3

(f) 算法4

(g) FFST-SR-PCNN

图4 第3组融合结果

从图2～4的人眼视觉效果来看。第1组融合结果中，图2(c)对比度较低，广告牌、行人等细节信息相对模糊，且存在块效应。图2(d)、(e)对比度较高，图像更清晰，但广告牌等细节部分的融合效果相对较差，图2(f)对比度较低，融合效果不理想。第2组融合结果中，图3(c)对于目标轮廓的表达模糊不清，对比度较低，且融合结果存在块效应，图3(d)、(e)出现了空间不连续的问题，影响了整体的融合效果，图3(f)对于目标以及灌木等场景的细节信息保留比较好，相对来说，FFST-SR-PCNN算法获得的融合结果的目标更加清晰可辨。第3组融合结果中，图4(c)对比度较低，清晰度不足，图4(f)对比度较低，视觉效果较差，图4(d)、(e)相对来说更加清晰，图像的对比度更高，相比之下，FFST-SR-PCNN算法获得的信息更加完整和准确。各组融合结果的图2(g)、图3(g)和图4(g)完整地表达了红外图像目标的亮度特征和可见光图像背景的纹理、轮廓以及边缘特征，符合人类的视觉效果。

各算法客观质量的评价指标如表1～3所示，从表1～3的客观质量评价指标来看，虽然在第1组的融合结果中，FFST-SR-PCNN算法的EN指标略低于算法2，在第2组融合的结果中，FFST-SR-PCNN算法的EN指标略低于算法4，但3组中除了这两个指标外，其它的指标明显比对比算法的指标要高。

表1 第1组客观质量评价指标

表2 第2组客观质量评价指标

表3 第3组客观质量评价指标

4 结 语

FFST-SR-PCNN算法能够避免图像能量以及方向信息的丢失，融入了多尺度、对比度及人眼视觉等信息，来提高融合结果的总体性能。在与其他4种比较算法的对比实验中，FFST-SR-PCNN算法的单项评价指标基本都排名在第1位；从综合评价指标来看，FFST-SR-PCNN算法效果最好。总的来说，FFST-SR-PCNN能够较好地提取出红外图像的目标信息，也可以较好地保留住可见光图像的场景信息，融合的结果与人类的视觉特征符合，具有良好的视觉效果。

FFST-SR-PCNN还可以在低频系数融合方面进行改进，如过完备字典可以采用在线学习的方式，这将是下一步的研究方向。