基于混合l0l1层分解的红外光强与偏振图像融合算法

包达尔罕，高文炜，杨金颖

（西安微电子技术研究所，陕西 西安 710054）

0 引言

红外光强图像利用景物的热辐射差异成像，反应景物的辐射特征，图像主要反应景物的亮度和轮廓特征[1-2]。红外偏振图像利用红外线的偏振特性成像，主要反应景物的边缘、细节特征[3-4]。两类图像融合能够更全面地描述景物的特征，更有利于后续图像处理，在安全监测、雾霾天气目标探测、战场态势感知等领域有重要应用。

目前，红外光强与偏振图像融合算法主要分为基于空间域和基于多尺度变换两类。空间域融合算法直接对源图像进行融合，主要有加权平均、基于分块和主成分分析（Principal Component Analysis，PCA）等[5-6]，空间域融合算法操作简单、运算速度快，但是容易损失图像的细节和对比度特征。多尺度变换能够将不同尺度下的特征有效地分离，对低频特征和高频特征采用不同的融合规则，基于多尺度变换的融合算法有利于图像细节特征的融合，减少图像信息损失，常见的多尺度变换融合算法有离散小波变换（Discrete Wavelet Transform，DWT），但是其不具备平移不变性和缺乏各向异性，针对这一问题，研究人员提出了其它多种不同多尺度变换，如非下采样轮廓波（Non-subsampled Contourlet Transform，NSCT）和非下采样剪切（Non-subsampled Shearlet Transform，NSST）[7-10]，能够具有平移不变性和分解的多方向性，能够更好提取图像的细节特征，但是运算速度较慢。区别于小波类多尺度变换，基于边缘保持滤波器多尺度变换在滤除图像的高频特征同时有效地保留图像的边缘特征，运算速度快，因此，基于边缘滤波的多尺度几何变换融合算法受到越来越多的关注，如基于双边滤波、基于引导滤波及基于最小二乘边缘保持滤波等的融合算法[11-12]，都取得了较好的融合效果。混合l0l1层分解是一种新的图像分解模式[13]，可以有效地将图像分解为基层和细节层，较好地保持图像的边缘特征，而且相对于基于边缘保持滤波的层分解，能够有效地克服光晕现象和过度增强。

综上所述，多尺度变换融合算法能够较好地分离图像的不同特征，有利于特征的融合，减少融合图像信息的损失，结合混合l0l1图像分解的优势，本文提出基于混合l0l1层分解的多尺度变换的红外光强与偏振图像融合算法，利用混合l0l1层分解的优势，对两类图像进行的混合l0l1层分解多尺度变换，提取图像的不同特征，对低频特征图像采用指数局部高斯分布相似度融合，对高频特征图像采用PCA 合成多特征图像融合的方法进行融合，有效地融合两类图像间多种互补性特征。图1 为本文融合算法流程图。

1 基于混合l0l1 层分解的多尺度变换

混合l0l1层分解模型结合l0和l1两类范数的优势，能够将图像分解为基层和细节层，同时较好地保留图像的结构特征，其公式如下[13]：

式中：p为像素坐标；N为图像像素个数，第一项(SP－BP)2是为了强制接近原图像，基层的空间特性被定为l1梯度稀疏项是沿x和y方向的偏导数运算。细节的空间特性被定为l0梯度稀疏项的表示函数F(x)：

通过求解式(1)可以得到一幅图像的基层和细节层。其分解模式如下：

式中：B1为图像基层；D1为图像的细节层。

图像的多尺度分解能够将不同尺度的特征分离，因此，结合多尺度分解和l0l1层分解模式，实现基于混合l0l1层分解的多尺度变换，有效地提取图像的细节特征并保留图像的结构特征，如下式：

式中：Bk＋1和Dk＋1分别为图像低频子带图像和高频子带图像，k＝0, 1, …,N，k＝0 时B0为原图像I，重构公式为：

图1 融合算法流程图Fig.1 Flow chart of fusion algorithm

2 融合规则

利用第1 章多尺度变换方法对红外光强与偏振图像进行分解，获得低频和高频特征子带图像，对于不同特征图像采用不同的融合规则。

2.1 低频特征融合规则

对于红外光强图像来讲，图像整体较亮，灰度值变化成正态分布，而红外偏振图像（偏振度图像）反映的是图像的对比度特征，图像整体亮度较低，偏振特性强的部分在图像中较亮，图像灰度值成偏态分布，因此，本文采用局部高斯分布提取图像的结构特征，如下式：

式中：μm(i,j)为高斯分布隶属度；um为基层图像的局部均值；Bm为低频图像；u为图像灰度均值；σ为图像标准差，m为IR 时，BIR为红外光强低频图像，m为RP，BRP为红外偏振低频图像。从式(8)中可以看到，对于红外图像来讲由于其整体变化比较平稳，因此，其隶属度值较大，而对于红外偏振图像来讲偏振态较强的部分与图像的均值差异较大，其隶属度值较小，如果直接采用分布值作为权重容易损失图像偏振信息，因此，本文首先计算两类图像的高斯分布相似度公式如下：

从式(10)中可以看到，当相似度较高的时候，由于红外光强图像的灰度值应该远大于红外偏振图像，也就是说该处具有较强的红外辐射特性，应该保留红外光强图像特征，红外光强图像具有较大权重，同时红外光强图像体现场景的整体结构特征，决定着融合图像的视觉效果。因此，本文完整保留红外光强图像的基层，将红外偏振图像注入其中，当相似度较小的时候说明该处具有明显的偏振特性，红外偏振图像具有较大权重，本文采用指数高斯相似度确定权重，如式(11)，表1 为低频特征融合规则伪代码，最终低频特征融合图像如下：

式中：F1为低频特征融合图像。

表1 低频特征融合规则伪代码Table 1 The pseudo code of the low-frequency feature fusion rule

2.2 高频特征融合规则

高频子带图像主要包含图像的纹理、边缘及局部区域等特征，空间频率（Spatial Frequency，SF）能够较好的描述图像的细节特征，局部能量可以描述图像局部的绝对强度，局部区域越亮能量越高，因此，本文采用局部空间频率（Local Spatial Frequency，LSF）描述纹理和细小边缘特征，如式(13)采用局部能量（Local Energy，LEG）描述局部区域特征，如式(16)：

式中：LRF 为局部行频率；LCF 为局部列频率，其公式如下：

式中：Dmk为高频子带图像。

利用加权比例作为融合权重，如式：

式中：H1k为高频子带图像局部空间频率加权融合图像，H2k为高频子带图像局部能量加权融合图像。

通过式(17)和式(18)每层高频子带图像可以获得两个不同的特征融合图像，为了将不同特征融合图像合成一副图像，本文采用PCA 对两类图像进行融合，PCA 能够有效地将两类图像的主要信息集合在一起，最终高频子带图像融合结果如式(19)，表2 为高频特征融合规则伪代码。

式中：M为不同特征融合图像组成的列向量构成的矢量矩阵，λ1和λ2分别为M的协方差矩阵C的最大特征值对应特征矢量的第一个矢量值和第二个矢量值。

3 实验结果与分析

图2 为红外光强与偏振图像，其中(a1)与(b1)来源于文献[14]，(a2)与(b2)来源于文献[15]，(a3)与(b3)来源于文献[16]，(a4)与(b4)来源于文献[17]，(a5)与(b5)、(a6)与(b6)为实际拍摄图像。本文采用5 种融合算法与本文算法相对比，分别为拉普拉斯变换（Laplace Transform，LP）、稳态小波（Steady Wavelet Transform，SWT）、非下采样剪切波与脉冲神经耦合网络（Pulse Coupled Neural Network）结合（NSST-PCNN）、支持度变换（Support Value Transform，SVT）[18]和引导滤波（Guide Filter，GFF）[19]。图3 为融合结果。

表2 高频特征融合规则伪代码Table 2 The pseudo code of the high-frequency feature fusion rule

图2 红外光强与偏振图像Fig.2 Infrared intensity and polarization images, (a1)-(a4) Infrared intensity images, (b1)-(b4) Infrared polarization images

图3 不同融合算法融合图像Fig.3 The fusion images of different fusion algorithms

从图3 中可以看到，不管是文献中图像还是实际拍摄的图像，本文算法融合图像都具有较好的亮度、细节、边缘及区域对比度特征，比如图3 中本文算法融合图像较好地保留了水面、建筑物边缘、车前窗等偏振较强的区域，同时融合图像整体视觉效果最好，而其他融合算法没有很好地保留红外光强图像的亮度特征和红外偏振图像的细节等特征，视觉效果相对较差，因此，本文融合算法能够较好地将红外光强与偏振间多种互补特征较好地融合到图像中。

为了进一步说明本文融合算法的有效性，采用灰度均值（u）、标准差（σ）、信息熵（M）、差异相关性和（Rab/F）等指标对融合图像进行评价[20]，Rab/F越大表明融合图像与源图像越相似，如式(20)：

式中：k＝1, 2，Dk和Sk分别为融合图像与原图差异图和原图像；分别为Dk和Sk均值；Rab/F是相关性差异和。表3～8 为不同融合图像指标值。

表3 第一组红外光强与偏振融合图像指标值Table 3 The fusion image index values of the first group of infrared light intensity and polarization

表4 第二组红外光强与偏振融合图像指标值Table 4 The fusion image index values of the second group of infrared light intensity and polarization

表5 第三组红外光强与偏振融合图像指标值Table 5 The fusion image index values of the third group of infrared light intensity and polarization

表6 第四组红外光强与偏振融合图像指标值Table 6 The fusion image index values of the fourth group of infrared light intensity and polarization

表7 第五组红外光强与偏振融合图像指标值Table 7 The fusion image index values of the fifth group of infrared light intensity and polarization

表8 第六组红外光强与偏振融合图像指标值Table 8 The fusion image index values of the sixth group of infrared light intensity and polarization

从表3～8 中可以看到，本文融合算法整体上具有较高的灰度均值、标准差、信息熵，说明本文算法融合图像较好地保留了红外图像的亮度特征，红外光强与偏振图像的对比度和细节特征。标准差越大图像对比度越高，红外偏振图像具有较强的对比度特征，其标准差值较大，第四组GFF 的标准差较高，主要是由于GFF 只融合了红外偏振图像；本文算法差异相关性差异和值最高，说明本文算法融合图像与源图像相似性最高，表明本文算法能够较好的将两类图像特征迁移到融合图像中，较好地保留图像信息。对于实际拍摄的图像本文融合算法的指标值同样较高，具有较好的融合效果，表明本文融合算法具有较强的适应性。

表9 和表10 为融合算法融合实际拍摄图像的运算时间，混合l0l1层分解采用变分方法获得细节图像和基层图像，相对LP、SWT、SVT 和GFF 运算时间长，同NSST-PCNN 相比运算时间短，虽然整体上时间相对较长，但其融合算法效果较好，且从实验结果来看运算时间还是较快的，具有实际应用的能力。

表9 图2 中(a5)和(b5)融合时间Table 9 The fusion operation time of the figure 2 (a5) and (b5) s

表10 图2 中(a6)和(b6)融合时间Table 10 The fusion operation time of the figure 2 (a6) and (b6) s

总之本文融合算法能够较好地融合红外光强与偏振图像间互补信息，获得较好的融合图像，运算时间也较短，具有较好的融合效果。

4 结论

本文提出基于混合l0l1层分解的红外光强与偏振图像融合算法，利用混合l0l1层分解的优势，对红外光强与偏振图像进行多尺度分解；采用指数局部高斯分布作为红外偏振图像的低频特征图像融合权重，将其注入红外光强图像的低频图像中，较好地融合红外光强与偏振图像中结构特征；对高频子带图像采用主成分分析和基于空间频率和能量的两类特征融合图像，有效地保留了高频子带图像的细节、局部区域等特征；通过实验对比，表明本文融合算法较好地保留了红外光强与偏振图像间多种互补性特征，明显提高了融合图像质量。