面向双模态红外图像差异的拟态融合方法

王学霜，王肖霞，吉琳娜，郭小铭

（中北大学 信息与通信工程学院，山西 太原 030051）

0 引言

双模态红外图像是指红外光强图像和红外偏振图像，其中红外光强图像是红外热成像技术通过探测景物红外辐射强度形成的[1]，而红外偏振图像是利用红外偏振成像技术在红外热成像基础上获得多方向偏振量得到的[2]，两者在医学、农业、消防、军事等领域都发挥巨大的作用[3-4]。红外光强图像有明显的亮度和外表轮廓，红外偏振图像有清晰的边缘和纹理细节，两者构成互补信息，使双模态红外图像的融合成为近年来研究的重点内容[5]。目前双模态红外图像融合算法的融合方式较为单一，存在图像融合效果不明显甚至差的问题，因此如何有效利用双模态红外图像互补信息，实现图像信息的高质量融合成为亟待解决的问题。

图像融合方法主要包括多尺度变换和非多尺度变换的融合方法，其中也存在对经典方法的改进及混合融合[6]。Li[7]提出了一种基于引导滤波的加权平均技术，以利用空间一致性融合基础层和细节层；Liu[8]结合多尺度变换和稀疏表示提出了一种通用的图像融合框架；Liu[9]利用连体卷积网络集成红外和可见光图像的像素活动信息。这些融合方法虽然可以获得较好的融合性能，但由于融合方式的单一性，不能实现图像融合的自适应性。针对此类问题，为便于对图像差异信息的有效融合，Hu[10]构建差异特征来定向描述双模态红外图像的互补信息，并验证能够用差异特征引导融合，为研究差异特征融合，实现双模态红外图像互补信息的有效融合奠定基础。

针对上述问题，本文结合差异特征驱动融合机制，提出了一种拟态融合方法。差异特征的有效融合使双模态红外图像互补信息得到有效利用，能够从中获得更全面的融合信息。

1 研究方法

面向双模态红外图像差异的拟态融合方法主要包括两部分，主差异特征的选择，各层变元和拟态结构的确定。其中主差异特征选择模块用于确定图像组的主差异特征类型，各层变元和拟态结构的确定模块用来对应主差异特征类型的高层变元、低层变元、基层变元和拟态结构。具体方法流程如图1所示。

图1 面向双模态红外图像差异的拟态融合方法流程Fig.1 Flow chart of mimic fusion method for dual-mode infrared image difference

1.1 主差异特征的选择

从成像影响因素、物体辐射特性、目标探测效果角度分析双模态红外图像特点[11]，双模态红外图像特征中亮度、边缘与纹理特征差异明显，因此从中进行差异特征的选择。亮度特征有平均能量（average energy,AE）、熵（entropy,EN）、对比度（contrast,CD）；边缘特征有标准差（standard deviation,STD）、边缘强度（edge strength,ES）、边缘丰度（edge abundance,EA）、平均梯度（average gradient,AG）；纹理差异特征有Tamura 对比度（Tamura contrast,TCD）、均匀度（homogeneity degree,HD）、清晰度（definition,DF）。

特征差异度是用来描述双模态红外图像差异特征的差异程度，范围[0～1]，如公式(1)所示：

式中：Dif 代表特征差异度；Df 代表差异特征值；I 和P 分别代表红外光强与偏振图像；w1、w2分别为红外光强、偏振图像的权重；σ是一个极小的常数用于防止分母为0。

将多样本图像划分为32×32 尺寸的局部图像，从中随机选择64 组计算亮度、边缘和纹理特征的差异度如图2所示，通过观测64 组样本图像特征差异度的分布情况对图像特征进行粗筛，确定双模态红外图像的差异特征。亮度特征中，AE 与CD 的差异度值较高且存在较大的幅值范围，但是EN 差异特征差异度较低，对两类图像的差异表示不明显，因此选择AE 和CD 作为亮度差异特征；边缘特征中，由于EA与AG 相比于STD 与ES 来说，它们存在高差异度值的数量较多，STD 与ES 的特征差异在图像中不明显，因此选择EA 和AG作为边缘差异特征；纹理特征中，TCD 和DF 差异特征存在高的差异度和较大的幅值，而HD 差异度值的变化趋势与TCD 相近且大多数值较低于TCD 差异度值，因此选择TCD 和DF 作为纹理差异特征。

图2 亮度、边缘和纹理特征下的特征差异度Fig.2 Feature difference under brightness,edge and texture features

利用主差异特征类型选取规则，获取图像的3 种主差异特征类型。将亮度特征和边缘纹理特征设为两组，先分别得到两组中包含主差异特征的个数MTea如式(3)所示，两组的差异特征按差异度排序后，分别选择对应个数的差异特征，得到主差异特征类型。

1.2 各层变元和拟态结构的确定

1）特征融合度

在确定差异特征与各层变元、拟态结构的关系时，需要选择出图像融合效果较好的组合，除了对视觉效果的判断以外，还要进行客观描述。在图像不失真的情况下，差异特征值越高代表图像质量越好，由于对差异特征值直接比较并不直观，为了更方便地观测出双模态红外图像差异特征的融合效果，采用特征融合度来描述在不同变元组合下差异特征的融合情况，选择变元分层结构中融合主差异特征效果较好的变元，如公式(4)所示：

式中：xi为不同变元融合得到差异特征值；n为各层变元的总数；yi为计算所得差异特征的特征融合度数值。yi＞0 认为变元所对应图像差异特征拥有较好的融合效果，且数值越大融合效果越好，yi＝1 时融合效果最好；反之认为融合效果不好，并且数值越小融合效果越差。

2）各层变元的确定

拟态融合的组成结构包括拟态变元和拟态结构，将拟态变元分为高层变元、低层变元和基层变元，构造拟态融合方法的拟态变元集合，具体如表1所示。其中高层变元代表各类多尺度分解算法；低层变元代表高低频融合规则；基层变元则代表融合参数。

表1 拟态变元集Table 1 Set of mimic variables

在各层变元中，由于高层变元包含低层和基层变元，因此依次确定差异特征与高层变元、低层变元和基层变元的关系。

建立单一差异特征与高层变元类间的关系，确定高层变元类。固定低层与基层变元，在不同高层变元类内各选一种高层变元分别进行6 类差异特征的融合，比较融合后对应差异特征的特征融合度值，由于同类型的高层变元分解方式相似，因此至少选择前2个特征融合度最大的高层变元类，来确定单一差异特征的高层变元类，如式(5)所示：

式中：DF(n)代表第n个差异特征，HVkn表示与差异特征n对应的第k个高层变元类，其中n＝1,2,…,6，k＝1,2,…,K。

建立单一差异特征与高层变元类内的关系，确定类内高层变元。确定高层变元类后，将类内所有高层变元进行差异特征的融合，分别计算6 类差异特征不同高层变元的特征融合度，保留特征融合度大于0 的高层变元，确定单一差异特征的类内高层变元，如式(6)所示：

式中：j＝1,2,…,J为差异特征对应的类内高层变元个数的变量。

建立单一差异特征与低层变元的关系。固定基层变元，将差异特征对应高层变元的所有低层变元组合情况进行差异特征的融合，先进行主观判断，剔除融合失真、视觉效果差的变元组合情况后，再计算特征融合度，选择特征融合度值大于0 的低层变元，确定低层变元，如式(7)所示：

式中：LV 代表低层变元，h＝1,2,…,H为高层变元下低层变元个数的变量。

建立单一差异特征与基层变元的关系。将不同基层变元代入式(7)下得到的高层和低层变元组合中，选择在高层和低层变元相同的情况下，不同基层变元中差异特征的特征融合度最大值，确定差异特征对应的基层变元，变元分层结构也由此确定，如式(8)所示：

式中：BV 代表基层变元；l＝1,2,…,L为低层变元下基层变元个数的变量。

3）拟态结构的确定

拟态结构代表高层变元的组合方式，常见的拟态结构为串联式、并联式和内嵌式结构。串联式结构（tandem structure,TS）将前一级高层变元的输出作为后一级高层变元的输入，同时要保证第二级后各高层变元输入的合理设计；并联式结构（parallel structure,PS）不同高层变元具有相同的输入，对图像同时进行融合，最后将不同融合结果合成获得并联式结构的融合结果；内嵌式结构（embedded structure,ES）是由不同高层变元层层嵌套获得最终融合结果，其内部输出能作为其他高层变元的输入，其他高层变元能够嵌入其中，当内部融合结束后，外部高层变元将内部不同融合结果组合得到内嵌式结构的融合结果。

确定变元分层结构后，建立主差异特征类型与拟态结构的关系，即确定对高层变元的组合结构，从而形成变体。由式(3)的主差异特征类型选取规则得到图像的主差异特征，对应出各层变元后，按照不同拟态结构对高层变元进行组合，计算各拟态结构不同主差异特征类型融合结果的特征融合度，确定特征融合度最大值占比最高的拟态结构，形成变体，如式(9)所示：

式中：MDF代表主差异特征类型；MS表示拟态结构；E表示变体；y表示高层变元的个数，s＝1,2,…,S，代表拟态结构个数的变量。

2 实验及结果分析

2.1 实验结果

通过对图3 中6 组双模态红外图像进行实验来验证本文拟态融合方法的融合效果，图像组中第一行为红外光强图像，第二行为红外偏振图像。本文在拟态变元集中高层变元类内选择具有代表性的多尺度融合方法，例如金字塔变换类内有拉普拉斯金字塔（Laplacian pyramid,LP）[12]、低通比率金字塔（low-pass ratio pyramid,RP）[13]等；小波变换类内包括离散小波变换（discrete wavelet transform,DWT）[14]、双树复小波变换（dual-tree complex wavelet transform,DTCWT）[15]等；方向滤波类包括非下采样剪切波变换（non-subsampled Shearlet transform,NSST）[16]等；边缘保持类内包括导向滤波（directed filtering,GF）[7]、L0边缘保持滤波（L0 edge-preserving filtering,LEP）[17]等。低层变元中的融合规则组合表示为（高频规则_低频规则）。基层变元中的融合参数包含在融合算法内，如LP、RP、DWT 等存在分层参数n，NSST 算法中剪切波的方向参数（dcomp)、尺度参数（dsize)，GF 的滤波参数（filter）等。

图3 实验图像Fig.3 Experimental images

首先由式(1)计算得到6 组图像差异特征的特征差异度，再利用式(3)结合特征差异度确定各组图像的主差异特征类型，结果如表2所示。

表2 主差异特征类型Table 2 Main difference feature types

根据确定的变元分层结构，对应出6 组图像主差异特征类型的各层变元。由于图像组的主差异特征类型不同，对应的变元也不相同，最后确定的各层变元如表3所示。

表3 图像组的各层变元Table 3 Variables of each layer of image group

选择拟态结构，确定高层变元合适的组合方式，从而形成变体。分别对6 组双模态红外图像的不同高层变元按不同拟态结构组合，计算在3 种拟态结构组合下融合结果的特征融合度，如图4所示。

图4 6 组图像的特征融合度Fig.4 Feature fusion degree of six groups of images

由于串联式结构在融合过程中，每次串联时融合图像的选择对融合结果起关键作用，因此在串联时需要选择合适的图像输入进行融合；并行式结构在最后融合时权重的不同影响着融合的质量，本文权重取均值，从图中结果可以看出差异特征融合效果不理想；内嵌式结构中图像的融合质量与高层变元的嵌套位置有关，当图像分解后需要选择合适的高层变元对高频或低频分量进行融合。观测图4 不同图像组差异特征的特征融合度结果，得出a、b、c、d、f 图像组的特征融合度最大值串联式结构占比最高，因此确定拟态结构为串联式结构；e 图像组中特征融合度最大值占比最高的是内嵌式结构，因此其作为e 组图像的拟态结构。

最后的实验结果如图5所示，其中(1)组为拟态融合方法形成变体后最终得到的融合结果，对比实验使用LP_SR[8]与CNN[9]算法，实验结果分别为(2)组与(3)组。

图5 红外光强与偏振图像融合结果Fig.5 Fusion results of infrared light intensity and polarized images

2.2 结果分析

1）主观分析

从视觉效果来看，a(1)右上角建筑的边缘和纹理部分比a(2)和a(3)更明显，b(1)中汽车刮雨器附近的细节比b(2)和b(3)更多，c(1)栏杆处的视觉效果比c(2)和c(3)好，d 和e 组图像在方法1 下的结果亮度比在方法2 和方法3 下结果的亮度高，其中e(1)图中坦克炮筒部分的边缘比e(2)和e(3)图像清晰，f(1)结果的纹理比f(2)和f(3)的纹理更明显。

2）客观分析

利用9 种常用评价指标对6 组图像的3 种不同融合结果进行比较，如表4所示。虽然评价指标结果的最大值没有都在(1)组图像中，但整体来说，利用(1)组方法所得融合图像的常用评价指标结果最优值总体所占比重比其他两种方法得到融合图像的评价指标结果大得多，高达77.8%，其中(2)组中算法评价指标最优值占 5.6%，(3)组中算法评价指标最优值占16.6%。因此从常用指标评价结果可知，针对图像差异的拟态融合方法能够实现较好的融合效果。

表4 评价指标结果Table 4 Evaluation index results

用拟态指标进行评价，分析拟态融合方法的优势。融合有效度是比较双模态红外图像各类差异特征融合效果的评价指标，其作用是评价融合方法对源图像差异信息的融合情况，如式(10)所示：

式中：I 和P 分别为红外光强与偏振图像；T 代表差异特征的编号；Df 为差异特征值；FD 代表差异特征的融合度。wI,T和wp,T代表权重因子，为了说明源图像中差异特征较大者其重要性也越大，反之越小。

用3 种融合方法得到的6 组双模态红外图像融合结果的融合有效度如表5所示。通过观察差异特征融合有效度的最大值分布可知，(1)中方法对差异特征的融合效果总体比其他两种方法对差异特征的融合效果好。另外观察表中数据可知(1)中方法的融合有效度都为正值，而(2)组所用方法的融合有效度在b、c、e图像组中存在负值，(3)组所用方法的融合有效度在a、b、c、e 图像组中存在负值，代表本文方法可以通过对融合策略进行自适应选择，实现对源图像差异特征的有效融合，而其他方法存在对源图像差异特征的无效融合

表5 融合有效度结果Table 5 Fusion effectiveness results

3 结论

本文提出一种面向图像差异的拟态融合方法，该方法通过确定变元分层结构，根据图像主差异特征类型确定各层变元和拟态结构，实现对变体的获取，达到融合双模态红外图像互补信息的目的，实现了对融合算法的针对性选择和图像的自适应性融合，从主客观进行评价，特别是拟态评价指标的结果得出本文方法实现了对图像差异信息的有效融合和图像融合的自适应性，提高了图像的融合质量。本文研究为下一步面向图像区域划分，提高局部区域融合质量的拟态融合研究提供参考。