基于低秩稀疏表示的红外与可见光图像序列融合方法

王文卿，高钰迪，刘 涵，谢 国，焦鹏飞

(1.西安理工大学 自动化与信息工程学院，陕西 西安 710048；2.陕西省复杂系统控制与智能信息处理重点实验室，陕西 西安 710048)

随着传感器技术的快速发展，不同类型的成像传感器可提供不同特性的图像数据。单一图像数据的特性难以满足用户需求。图像融合作为一种增强技术，实现了多类图像数据的有效结合，为后续处理或者决策提供信息丰富且鲁棒的图像数据[1]。

红外与可见光图像融合是图像融合研究的重要内容之一，被广泛应用于极端环境下的视频监控、目标检测与识别等研究领域。可见光传感器探测目标场景的光谱反射特性，具备较高的空间分辨率和清晰的纹理细节信息，但其受光线条件的限制，无法在特殊环境下，例如夜晚、云雾天气或遮挡物，捕获清晰的场景图像。近红外传感器探测目标场景的热辐射能量分布，不受光照环境的限制。然而红外图像清晰度和对比度较低，像素分辨率限制图像的细节表现能力，成像质量受外界干扰严重，导致红外图像边缘信息模糊[2]。图像融合技术能够将红外图像的目标信息与可见光图像的纹理细节信息有效结合，为图像的解译与识别提供信息保障。

基于多尺度分解的融合方法是最具代表性的红外与可见光融合技术,其主要实现步骤可归纳如下：1)利用多尺度变换算法将输入图像进行分解，获得其多尺度表示系数；2)设计融合策略实现表示系数融合；3)对融合的多尺度表示系数进行逆变换，从而得到最终融合图像。图像融合中常用的多尺度变换方法有：Laplace金字塔、小波变换、曲波变换、轮廓波变换、剪切波变换、边缘保存分解方法等[3-6]。为了提高融合图像的质量，常用融合策略有：基于系数、窗口与区域的活跃度测量方法、最大值选择与基于加权平均的系数组合方法、基于窗口或区域的一致性验证方法等[5]。

近年来，稀疏表示理论因其优秀显著性信息表达能力在图像处理领域得到广泛应用，并被成功用于红外与可见光图像融合。基于稀疏表示的红外与可见光图像融合方法主要从三个方向展开研究：1)字典构造；2)稀疏编码；3)融合规则设计。传统的固定基字典，如离散余弦字典[7]、多尺度几何分析字典[8]，简单且有效。基于学习的字典构造方法比固定基字典展现出更强的适应性和鲁棒性。常见的字典学习方法有K-SVD，最优方向法，在线字典学习，多尺度字典学习等[2]。为了获取图像的精确稀疏表达，正交匹配追踪[9]，同时正交匹配追踪[8]，联合稀疏表示模型[10]，卷积稀疏表示[11]等稀疏编码模型被应用于红外与可见光图像融合。稀疏系数的非零元素表征图像块的显著性特征，因此在融合规则方面往往采用最大值选择策略与加权平均融合策略来获取最优融合系数[5]。

本文针对场景中运动目标被遮挡的红外与可见光图像序列展开研究。考虑图像序列背景高度相关特性，利用低秩稀疏表示理论将红外图像序列与可见光图像序列各自分解为低秩分量与稀疏分量。然后针对低秩分量与稀疏分量的特点，采用不同的融合策略分别将红外与可见光的低秩分量与稀疏分量融合。本文算法的主要贡献如下：1)相较于传统融合方法直接将红外与可见光图像融合带来的运动目标信息能量弱化的问题，本文算法利用低秩稀疏分解首先将运动目标信息与背景分离，完整保留了运动目标信息；2)利用绝对值最大选择融合策略，实现了稀疏分量的有效融合，保证了目标信息的完整性。实验结果证明本文算法在Nato-camp与Bristol Eden Project数据集上具有优秀的融合性能。

1 低秩稀疏表示

低秩稀疏表示理论[12]是近年来提出的先进图像表示模型，被广泛应用视频背景建模、图像恢复、音乐词曲分离、图像矫正与去噪、图像对齐等领域。对于某类观测的图像序列，假定任意一帧图像表示为m维向量x∈Rm×1。若该图像序列包含n帧图像，那么可以用n个向量组成的矩阵X=[x1,x2,…,xn]∈Rm×n来表示该图像序列。低秩稀疏表示理论能从高度相关且被稀疏噪声污染的观测数据中恢复出本质上低秩的数据。针对图像序列，借助低秩稀疏表示理论，可将矩阵X分解为两个分量：

X=L+S

(1)

式中：L表示低秩分量(具有极大相似性的背景部分)，S表示稀疏分量(噪声或者分布范围较小的运动目标或者前景部分)。通过求解优化问题(2)，可从观测数据X中恢复出低秩矩阵L。

(2)

式中：rank(L)表示矩阵L的秩；‖S‖0表示矩阵S的l0范数，其意义是计算矩阵S中非零元素的个数。rank(L)与‖S‖0均为非凸函数，这使得优化问题(2)成为NP-hard问题。通过凸松弛方法，式(2)可转化为如下优化问题：

(3)

式中：‖L‖*=∑jσj(L)表示核范数，其中σj(L)表示低秩矩阵的第j个奇异值；‖S‖1表示矩阵S的l1范数。利用增广Lagrange乘子方法[13]可有效求解凸优化问题(3)。

2 本文算法

面向红外与可见光图像序列，考虑图像序列间背景信息的高度相关性，以及运动目标的稀疏性，结合低秩稀疏表示理论与Laplace金字塔变换方法，提出了本文算法，其具体流程见图1。根据流程图，可将本文所提融合算法归纳为三步。

2.1 低秩稀疏分解

在对红外与可见光图像序列进行低秩与稀疏分解前，首先分别将红外与可见光图像序列中每一帧图像变成pq维向量，其中p和q分别表示每帧图像的行数与列数。假定X=[x1,x2,…,xn]∈Rpq×n表示红外图像序列，其中xi表示第i帧红外图像，而Y=[y1,y2,…,yn]∈Rpq×n表示可见光图像序列，其中yi表示第i帧可见光图像。利用低秩稀疏分解方法，可将红外图像序列与可见光图像序列各自分解为低秩分量和稀疏分量。假定L1=[l1,1,l2,1,…,ln,1]与S1=[s1,1,s2,1,…,sn,1]分别表示红外图像序列的低秩分量与稀疏分量，其中li,1和si,1分别表示第i帧红外图像的低秩分量与稀疏分量，L2=[l1,2,l2,2,…,ln,2]与S2=[s1,2,s2,2,…,sn,2]分别表示可见光图像序列的低秩分量与稀疏分量，其中li,2和si,2分别表示第i帧可见光图像的低秩分量与稀疏分量。通过求解如下优化问题(4)与(5)，可得到低秩分量与稀疏分量的估计值。

图1 本文算法流程图

(4)

(5)

图2(a)和(b)分别表示Nato-camp图像序列中某帧红外图像与可见光图像，图2(c)和(d)分别表示该帧红外图像与可见光图像的低秩分量，图2(e)和(f)分别表示该帧红外图像与可见光图像的稀疏分量。红外图像中前景人形目标清晰，但背景纹理细节信息丢失严重。而可见光图像具有清晰的细节纹理信息，但树林却将人形目标完全遮挡。通过低秩稀疏分解后，红外图像的背景与人形目标完全分离。可见光图像的绝大部分信息集中于低秩部分，而稀疏分量中含有极少的信息。图3为Bristol Eden Project图像序列中某帧红外与可见光图像的低秩稀疏分解。红外图像见图3(a)，其背景信息模糊，但目标清晰可见。可见光图像见图3(b)，其具有清晰细节纹理信息，但目标被树林遮挡，无法分辨。低秩稀疏分解后，红外图像的背景与目标完全分离，见图3(c)和(e)。可见光低秩分量(图3(d))保留了大部分信息，而其稀疏分量(图3(f))包含了少许细节特征信息。

图2 红外与可见光图像低秩稀疏分解 (Nato-camp)

图3 红外与可见光图像低秩稀疏分解(Bristol Eden Project)

2.2 基于Laplace金字塔变换的低秩分量融合

低秩分量蕴含着图像的绝大部分信息。红外低秩图像缺乏纹理细节信息，而可见光低秩图像拥有清晰的纹理细节信息。因此，为了保证可见光的纹理细节信息不丢失，本文采用Laplace金字塔方法将低秩分量进行融合[14]。具体实现步骤如下。

(6)

类似的，可见光图像低秩分量的Laplace金字塔，定义为：

(7)

2)利用不同的融合规则分别对Laplace金字塔的最顶层和其余各层进行融合。对于LPK,1和LPK,2,采用如下方式进行融合：

LPK,f=(LPK,1+LPK,2)/2

(8)

其中LPK,f表示Laplace金字塔第K层的融合结果。对于第k层图像，采用基于一致性验证的最大值选择融合规则[15]。该融合规则的实现步骤如下。

a)假设存在滤波窗口W，其大小为s×s。利用二维顺序统计量滤波选取滤波窗口内绝对值最大的像素值作为该窗口区域的活跃度值。通过对LPk,1与LPk,2进行滤波，可得到两幅图像主特征的描述图Ak,1和Ak,2。

b)利用如下公式得到二值决策图：

Wk,1=(W*(Ak,1>Ak,2))>floor(s×s/2)

(9)

Wk,2=1-Wk,1

(10)

式中：floor表示向下取整函数，*表示卷积操作，Wk,1表示红外低秩分量的第k层Laplace金字塔的加权图，Wk,2表示可见光低秩分量的第k层Laplace金字塔的加权图。因此，Laplace金字塔第k层的融合结果可通过如下公式表示：

LPk,f=Wk,1LPk,1+Wk,2LPk,2

(11)

3)从Laplace金字塔顶层开始，通过式(12)，逐层依次递推，可恢复出Gauss金字塔，并最终得到低秩分量的融合结果为Li,f。

(12)

2.3 基于绝对值最大策略的稀疏分量融合

由图2～3可看出，红外图像的稀疏分量主要包含目标信息，而可见光图像的稀疏分量中蕴含少量的细节信息。因此，我们采用绝对值最大策略构建权重图：

(13)

Wi,2(p,q)=1-Wi,1(p,q)

(14)

式中Ti,1=W1*abs(Si,1)，Ti,2=W1*abs(Si,2)；W1是大小为r×r的全1矩阵；*表示卷积操作；Wi,1与Wi,2分别表示第i帧红外与可见光图像稀疏分量的权重图。因此，融合稀疏分量可以通过如下公式得到：

Si,f=Wi,1Si,1+Wi,2Si,2

(15)

通过上述步骤，可得到每帧图像的低秩分量融合结果与稀疏分量融合结果。最终融合图像Fi可以表示为：

Fi=Li,f+Si,f

(16)

3 实验结果与分析

本文所有融合算法在Nato-camp图像序列[16]与Bristol Eden Project图像序列[17]上进行验证。Nato-camp数据集中包含31帧红外图像与31帧可见光图像。Bristol Eden Project数据集中包含32帧红外图像与32帧可见光图像。在测试实验前，每一对红外与可见光图像经过严格配准。

图4中，(a)与(b)分别表示红外源图像与可见光源图像，(c)～(h)分别表示Laplace金字塔融合方法、曲波变换融合方法、双树复小波变换融合方法、向导滤波融合方法、基于卷积稀疏表示融合方法与本文算法的结果图。由图4中可以看出，Laplace金字塔融合方法、双树复小波变换融合方法与基于卷积稀疏表示的融合方法能有效地提高融合图像的分辨率，保留可见光图像的纹理细节信息。但这三种算法的融合结果图中人形目标与红外源图像的人形目标相比，灰度值有较大的差异。曲波变换融合方法的结果图整体上显得很模糊，分辨率较低，且人形目标不够清晰。向导滤波融合方法的结果图中人形目标非常清晰，但丛林区域的纹理细节信息丢失严重，显得很模糊。相比于五种融合算法的结果图，本文算法的结果图人形目标非常清晰，且纹理细节信息同样很清晰，分辨率很高。从人类视觉的角度，本文算法的性能要优于其它五种融合算法。

图4 红外与可见光图像融合结果 (Nato-camp)

为了测试融合算法的性能，本文算法与比较算法均在31帧红外与可见光图像对上实现。图5为六种融合算法在31帧测试数据上的五种客观评价指标数值结果曲线图。表1列出了六种融合算法在31帧测试数据上的五种客观评价指标数值结果平均值，其中最优平均数值结果被标记为粗体。对于五种客观评价指标，熵值越大越好，而Qw、Qe、Qabf和VIF等指标值越接近于1越好。图5(a)为熵的数值结果曲线图，蓝色曲线表示本文算法。本文算法的31幅融合图像中大部分图像具有最优熵值，但有少许图像的熵值要低于对应向导滤波方法融合图像的熵值。图5(b)与(c)为Qw和Qe指标的数值结果曲线图。本文算法的大部分融合图像拥有最优的Qw和Qe的数值结果。但少量融合图像的Qw和Qe的数值要比其它对比算法融合图像的Qw和Qe的数值小。图5(d)为Qabf评价指标的性能曲线，可以看到蓝色曲线整体处于黑色曲线与青色曲线之下。图5(e)为VIF指标的性能曲线，可以看出蓝色曲线全部处于其余五种曲线之上，这说明本文算法的31幅融合结果均具有最优VIF值。通过表1可以看出，本文算法拥有最优的熵、Qw与VIF客观评价指标平均值。本文算法的Qe均值要略小于双树复小波的Qe均值。至于Qabf评价指标，本文算法在六种算法中排在第三位，其均值比Laplace金字塔融合方法和向导滤波融合方法的均值要小。综上所述，从视觉评估与客观评价的角度，本文算法在31帧序列图像上表现出很好的融合性能。

图5 六种融合算法的客观评价指标数值结果 (Nato-camp)

表1 六种融合算法的客观评价结果平均值(Nato-camp)

图6中，(a)与(b)分别表示Bristol Eden Project数据集的某帧红外与可见光图像,(c)～(h)分别表示五种对比算法与本文算法的融合图像。红外源图像的分辨率较低，但运动目标清晰可见。可见光图像分辨率很高，纹理细节清晰，但因树木遮挡使得目标无法分辨。由图中可以看出Laplace金字塔方法、曲波变换方法、双树复小波变换方法与卷积稀疏表示方法有效保留了可见光图像的高分辨率信息，但目标物体的分辨率不高，信息被弱化。向导滤波方法的融合图像分辨率非常差，细节信息不清晰，但目标物清晰可见。相较于其它五种融合算法结果，本文算法的融合图像不仅分辨率高，细节信息清晰，且目标可视度高，易于识别。

图7为六种融合算法在32幅融合图像上的客观评价数值结果，其中蓝色曲线代表本文算法。图7(a)～(c)与(e)中蓝色曲线均在其它五种融合算法评价曲线之上，这表明从熵、Qw、Qe与VIF四项客观评价指标来看，本文算法具备最优性能。图7(d)为Qabf的性能曲线。蓝色曲线处于黑色曲线下方，表明本文算法在Qabf指标上明显低于向导滤波算法。表2列出了五种客观评价指标数值结果平均值。除了Qabf指标外，本文算法的其余四项客观评价指标平均值要明显高于比较算法的对应客观评价指标平均值。总之，无论是从视觉效果，还是客观评价指标，本文算法对于实现红外与可见光多帧序列图像融合具有优秀性能。

图6 红外与可见光图像融合结果(Bristol Eden Project)

表2 六种融合算法的客观评价结果平均值 (Bristol EdenProject)

Tab.2 Objective evaluation mean valuesby six fusion methods (Bristol Eden Project)

融合方法评价指标熵QwQeQabfVIFLaplace金字塔6.3990.7740.6900.4770.397曲波变换6.3890.7470.6290.3840.376双树复小波变换6.5570.7700.6960.4130.453向导滤波5.8860.5480.4640.5780.073卷积稀疏表示6.2730.7600.6730.4820.322本文算法6.7690.7850.7280.4800.562

图7 六种融合算法的客观评价指标数值结果(Bristol Eden Project)

4 结 论

针对场景中运动目标被遮挡的红外与可见光图像序列，本文提出了基于低秩稀疏表示的图像融合方法。利用低秩稀疏表示理论，将红外图像与可见光图像的背景与目标进行分离，然后针对背景与目标特性，采用不同融合方法分别实现红外与可见光低秩分量融合与稀疏分量融合。本文算法在保证背景图像细节纹理清晰的同时，还能保证目标信息的完整性。实验结果证明了本文算法的可行性与有效性。本文算法适用于运动目标被遮挡的红外与可见光图像序列融合，为目标检测、识别与监控提供了技术支持。