基于ＮＳＳＴ和稀疏表示的多聚焦图像融合方法

摘要：为使融合图像保留丰富的细节和纹理信息，提出了一种基于非下采样剪切波变换（NSST）和稀疏表示的多聚焦图像融合方法。鉴于稀疏表示能够有效地捕捉图像中的结构信息这一优势，并充分考虑像素间的区域相关性，低频子带系数采用稀疏表示和区域能量相结合的融合策略，以及加权平均的融合规则．高频子带系数采用区域能量取大的融合规则。实验结果表明，该方法融合图像清晰度高，能够更好地保留图像细节信息。

关键词：非下采样剪切波变换；稀疏表示；区域能量；多聚焦图像；图像融合

中图法分类號：TP391 文献标识码：A

１ 引言

由于光学镜头景深的限制，成像系统无法获取场景中全部目标均清晰的图像，这不利于后续图像的理解与处理。多聚焦图像融合技术的出现有效解决了这一难题。多聚焦图像融合通过一定的算法，可以把２ 幅或多幅图像融合成所有目标均清晰的图像［１～２］ 。

目前，多聚焦图像融合技术已广泛应用于机器视觉、目标识别、医学、军事等领域。

多尺度变换是目前最常用的像素级融合方法。

其中，小波变换在时域和空域均有良好的局部化特性，能够获得良好的融合效果，但小波变换在图像细节提取方面效果欠佳。针对小波变换的不足，研究者提出了轮廓波变换［３］ 。轮廓波变换具备良好的非线性逼近能力，能够更稀疏地表示图像，但因其在变换过程中存在采样操作，容易产生伪吉布斯效应。非下采样剪切波变换（ＮＳＳＴ）完全继承了轮廓波变换的优点，且在变换过程中不存在采样操作，其计算效率更高，具有方向敏感性、平移不变性等优点。因此，作为一种有效的图像分解工具，ＮＳＳＴ 被广泛应用于图像去噪、图像增强等图像处理领域。

在基于多尺度变换的融合方法中，研究者大多把研究焦点放在高频子带系数融合规则的设计上，低频子带系数一般采用“取平均”的融合规则。“取平均”策略虽然实现简单，但是容易丢失源图像中的有用信息，且降低图像的对比度。因此，本文将研究重点放在低频子带系数融合规则的设计上。利用过完备字典的冗余性，稀疏表示可以捕捉图像的各种结构特征，有效地对图像进行表示［４］ 。鉴于稀疏表示在图像表示方面的优势，并充分考虑像素间的区域相关性，本文对低频子带系数进行稀疏表示，提取系数的区域能量特征，同时采用加权平均的融合规则。高频子带系数采用区域能量取大的融合规则。通过图像仿真实验，并与经典的图像融合方法相比，结合主观图像质量评价与客观评价指标，均表明了本文方法的可行性与有效性。

４ 实验及结果分析

４．１ 实验设置

将本文融合方法在多聚焦图像上进行仿真实验。

待融合图像的大小为２５６×２５６，图像格式为ｂｍｐ。为进一步验证本文方法的有效性，将其与３ 种经典传统的多聚焦图像融合方法进行对比：基于轮廓波变换和脉冲耦合神经网络的图像融合方法［５］（方法１）、基于非下采样剪切波变换的图像融合方法（方法２）、基于拉普拉斯变换的图像融合方法［６］（方法３）。其中，对比方法的参数设置为：方法２ 的分解层数为３，每层子带数为６，６，６，低频子带系数融合规则采用取平均值，高频子带系数融合规则采用区域能量取大法；方法３的分解层数为３，低频子带系数融合规则采用取平均值，高频子带系数融合规则采用取大法。本文方法的参数设置为：分解层数为３，每层子带数为６，６，６，图像分块大小为８×８，滑动步长为４。

４．２ 实验结果

花豹图像的源图像及融合结果图像如图２ 所示，花豹图像的客观评价指标如表１ 所列。

图２（ａ），２（ｂ）分别是待融合的近聚焦图像与远聚焦图像。图２（ｃ）～图２（ｆ）是本文方法和对比方法的融合结果图像。从主观视觉效果上来看，方法１ 的融合图像“花豹的爪子”比较模糊，出现伪影。方法３ 的融合图像对比度和图像清晰度较低。方法２ 和本文方法的融合图像清晰度高，含有更多的细节纹理信息。

为定量地对融合图像进行评价，本文引入标准差、平均梯度、空间频率、信息熵、边缘转换率等指标［７］ 。标准差可以反映图像像素值的分布，平均梯度表示图像的清晰度，空间频率反映图像在空间域的总体活跃程度，信息熵表示图像包含的信息量，边缘转换率表示源图像到融合图像的边缘转化率。表１ 给出了花豹融合图像的客观评价指标（加粗为最优值）。

从表１ 可以看出，本文方法在标准差、平均梯度、空间频率、信息熵和边缘转换率上均具有最优值，方法２与本文方法在高频子带系数融合规则上相同，由于本文方法对低频子带系数融合规则的设计，使得本文方法的客观评价指标优于方法２，从主观视觉和客观指标评价上均证明了本文方法的有效性。

５ 结束语

本文提出了一种基于ＮＳＳＴ 和稀疏表示的多聚焦图像融合方法，通过ＮＳＳＴ 这一有效的分解工具提取待融合图像的系数，并充分利用稀疏表示和区域特征的优势设计低频子带系数融合规则。通过多聚焦图像实验表明，本文方法能够保留更多的图像纹理和细节信息。下一步研究重点将放在算法对其他类型图像（医学图像、遥感图像、红外与可见光及彩色图像）的适用性上。

参考文献：

［１］ 王磊，齐争争，刘羽．深度学习多聚焦图像融合方法综述［Ｊ］．中国图象图形学报，２０２３，２８（１）：８０?１０１．

［２］ 刘明君，董增寿，张凤珍．基于改进的非下采样剪切波变换多聚焦图像融合技术的研究［Ｊ］．仪表技术与传感器，２０１７（９）：１１４?１１７．

［３］ 张旭，陈华锋．数字全息和轮廓波变换相融合的激光图像水印技术［Ｊ］．激光杂志，２０２２，４３（１０）：２０２?２０７．

［４］ 张洲宇，曹云峰，丁萌，等．采用多层卷积稀疏表示的红外与可见光图像融合［Ｊ］．哈尔滨工业大学学报，２０２１，５３（１２）：５１?５９．

［５］ 赵贺，张金秀，张正刚．基于ＮＳＣＴ 与ＤＷＴ 的ＰＣＮＮ 医学图像融合［Ｊ］．激光与光电子学进展，２０２１，５８（２０）：４５３?４６２．

［６］ 黄福升，蔺素珍．基于拉普拉斯金字塔变换方法的多波段图像融合规则比较［Ｊ］．红外技术，２０１９，４１（１）：６４?７１．

［７］ 杨艳春，李娇，王阳萍．图像融合质量评价方法研究综述［Ｊ］．计算机科学与探索，２０１８，１２（７）：１０２１?１０３５．

作者简介：张翠英（ １９８８—）， 硕士， 助理实验师， 研究方向： 图像处理。