基于NSST和联合稀疏表示的红外与可见光图像融合算法

武警工程大学信息工程系　罗　杰　孔韦韦

基于NSST和联合稀疏表示的红外与可见光图像融合算法

武警工程大学信息工程系罗杰孔韦韦

针对当前采用NSST变换的红外与可见光图像融合算法中低通子带系数过小导致的融合质量不高的问题，提出一种基于稀疏表示的改进融合算法。首先对源图像做NSST变换分别得到低频和高频两个子带系数，然后低频部分根据稀疏表示算法得到的特有系数确定融合权重，高频部分采用尺度分层表示与平均梯度相结合的方案，最后对两部分的融合结果做NSST逆变换得到最终融合图像。仿真实验结果表明，相较与传统的基于NSCT、NSST以及采用单尺度稀疏表示的融合方法，本方法在红外与可见光图像的融合质量更好，效果更明显。

数字图像融合；红外与可见光；非下采样剪切波变换；联合稀疏表示

1　引言

数字图像融合技术是通过图像处理工具和计算机技术，对多源传感器获得的图像运用相应的融合算法和规则，将源图像的光谱信息和典型特征尽可能地传递到融合图像中加以整合，从而获得对目标场景的更为直观和准确的描述的综合性技术［1］。由于数字图像融合得到的图像具有冗余小、实时性高和互补性强等特点，能够更好地适应人眼的视觉特性和满足计算机处理的需要，因此在遥感探测、导弹制导、医学诊断和安全监控等诸多方面有着较为广泛的应用。

近年来，图像融合技术的发展日新月异。基于多分辨率多尺度的几何分析工具给图像融合领域的发展带来了新的思路，作为其中典型的代表，非下采样剪切波变换（NSST）以其良好的时频特性、稳定的平移不变性和各向异性受到了广大学者的青睐。然而，研究人员发现经过NSST变换得到的图像低通子带系数较小，其稀疏度不足以满足对低通子带系数融合的要求。

本文结合联合稀疏表示的分析工具提出了一种基于NSST的图像融合方法。利用NSST的多尺度性和多方向性将源图像从频域和空间域两个方面划分为低通子带图像和若干个带通方向子带图像。通过联合稀疏表示理论提取低频子带系数的特有系数和冗余系数，根据特有系数的活跃程度加以统计处理，得到融合结果。仿真实验结果表明，针对红外与可见光图像和多聚焦图像，该方法无论是主观视觉评价还是客观指标分析上都具有明显的优势。

2　NSST变换

NSST是目前数字图像融合领域较为新颖的多分辨率处理方法，该方法通过利用非下采样金字塔滤波器组［2］（non-subsample pyramid filter bands，NSPFB）和非下采样Shear滤波器组（nonsubsample shearlet filter bands，NSSFB）完成对源图像的多尺度多方向分解。首先采用NSPFB将原始图像在频率上层层剥离，有效保证了分解的层次性和融合的质量［3］。然后采用NSSFB对带通子带图像进行方向分解，得到各个尺度层上不同方向的子带图像。

NSST在多方向分解中创新性地使用了NSSFB，它通过灵活运用一维子带滤波器进行滤波处理，从而在图像的多方向分解过程中避免了金字塔分解和分析滤波中的临界采样操作，进而有效确保了图像的平移不变性［4］。所以NSST的优越性体现在图像失真较少，Gibbs现象得到有效遏制等方面。K级NSST分解总共经历了K次尺度分解和K次方向分解，每次所得带通子带图像做shear方向滤波，而低通子带图像都作为下一级的源图像输入。当分解层数为K时，最终将得到1个低通子带图像和个带通子带图像，其中n为方向分解的维度。

3　低通子带系数融合规则

联合稀疏表示是由信号之间的相关性和学习得到的统一字典实现的，所有输入信号都可以借助联合稀疏表示由特有部分和冗余部分组成［5］。由于源图像都是关于同一场景同一目标的描述，因此在NSST变换后，所得的低通子带图像也存在相关性，也可以利用联合稀疏表示理论实现系数的最稀疏性，对输入信号L存在一组由其中元素构成的线性组合能对该信号做出近似的表示，则有：

其最优稀疏值ac和aui的求解可采用OMP算法得到。定义低频子带系数中特有系数的活跃度x和特有系数aui所占总体系数a的权重i如下：

因此，低频子带系数可由稀疏系数表示为：

4　带通子带系数融合规则

带通子带图像是源图像的高频部分，反映了原始信号的边缘纹理信息和线性特征。平均梯度反映图像边缘纹理处灰度的变化程度，常被用作图像清晰程度的衡量指标，其定义如下：

式中，F（i，j）表示图像区域中第i行j列的灰度值，M，N分别为图像区域的总行数和总列数。定义融合权重

CH（x，y）、CA（x，y）和CB（x，y）分别代表融合后图像、红外及可见光图像的高频子带系数。

图3　仿真实验结果对比图

5　实验结果与分析

将本文提出的方法与传统的基于NSCT的图像融合方法、基于NSST的图像融合方法以及基于稀疏表示的SOMP图像融合方法进行比较。从变换域到稀疏表示多个方面比较了本文方法的优劣，实验采用的均为经过配准的图像。实验结果如图3所示。

从图3中可以看出，相比与其他几种方法，NSCT融合结果中人物目标与周围建筑物对比度较小，边缘纹理特征不够明显。基于NSST方法的融合结果中各物体与背景的对比度得到加强，单是在栏杆和道路等地物的清晰度上还有所欠缺；基于稀疏表示SOMP算法的融合实验中人物较为突出，但是对于建筑物和树叶等细小细节处边缘轮廓的平滑现象过于明显；本文方法则将图中亮度差别较大的特征物体融合到了最终图像中，人物的轮廓清晰明显，树木和道路等地物纹理清楚层次感强，具有良好的视觉特性。

表1　客观指标评价表

为了能够更客观地评价融合方法的性能优劣，本文选取了几种较为常用的衡量图像质量的指标信息熵（IE）、标准差（SD）、平均梯度（AG）和边缘强度（EI）对融合结果进行分析。表1为各个方法的客观评价指标。从表中可以看出，相较于变换域的融合方法NSCT和NSST以及在图像尺度上直接采用稀疏表示的方法SOMP相比，本文提出的方法既能提升图像的对比度，增强图像的细节表现力，又能够对源图像进行多尺度多方向的分析，提升子带系数的稀疏度，加强对于特有信息的提取，具有更加良好的融合效果。

6　结论

本文提出了一种基于NSST和联合稀疏表示的图像融合算法，针对多尺度分解后低通子带系数稀疏度低，不利用特有信息提取这一问题，采用联合稀疏表示方法获取学习字典，并对得到的特有系数和冗余系数依据活跃程度赋予融合的权重。红外与可见光的仿真实验结果表明，该方法同时具有NSST分解特性、平移不变性和稀疏表示的特征保留性，在主、客观评价中均取得了明显优势，具有可行性和实用性，是一种行之有效的方法。

［1］赵飞翔，陶忠祥.基于NSCT的红外与可见光图像融合［J］.电光与控制，2013，09：29-33.

［2］王跃华，陶忠祥.一种基于NSCT变换的红外与可见光图像融合算法［J］.光学与光电技术，2012，04：81-84.

［3］张蕾，金龙旭，韩双丽，吕增明，李新娥.采用非采样Contourlet变换与区域分类的红外和可见光图像融合［J］.光学精密工程，2015，03：810-818.

［4］邢雅琼，王晓丹，雷蕾，宋亚飞.基于NSST域灰度关联分析的多聚焦图像融合方法［J］.系统工程理论与实践，2015，09：2380-2386.

［5］王珺，彭进业，何贵青等.基于非下采样Contourlet变换和稀疏表示的红外与可见光图像融合方法［J］.兵工学报，2013（07）：815-820.

罗杰（1992—），湖北襄阳人，硕士，现就读于武警工程大学。

孔韦韦（1983—），讲师，硕士生导师。