基于压缩感知的NSCT图像融合

代鹏，许海山

(福州大学 机械工程及自动化学院，福建 福州 350116)

0 引言

图像融合是最重要的图像处理技术之一，它利用多传感器对同一场景中的不同图像获取互补和冗余的信息，使场景具有更全面、准确的解释[1]。它是计算机视觉、医学图像、军事、遥感等领域中有关信息融合技术的最前沿研究热点之一[2-3]。初期的图像融合算法大多是基于空间域的分析[4]，一般采用加权平均法和主成分分析(PCA)算法。此后，许多研究人员开始尝试从多尺度分析入手。1983年BURT等人提出了金字塔图像分析算法，并在此变换域内分别对图像的各子带系数进行融合[5]。1990年，ZHOU Y T 将对比度金字塔变换应用于图像融合，并加入了非下采样算法[6]。到了90年代，各种小波变换的融合技术涌现。MALLET S G提出了完整小波表示的数学模型[7]。RANCHIN T和WALD L于1993年首次将标准离散小波应用到遥感图像的融合中[8]。之后，各种基于小波融合方法被广泛应用[9-10]。随着多尺度分析理论的发展，出现了大量新的图像多尺度图分析处理方法[11-12]。与传统方法相比，这些方法具有更好的方向识别能力和图像稀疏表示能力。2002年，DO M N和VETTERLI M开发出了一种更趋于真实的二维图像的描述方法—轮廓波变换法(CT)[13]。CT变换具有很好的局部特性和多向性，可以提供不同频率和尺度的子带分解系数。它能更稀疏地表示图像的轮廓曲线，使图像纹理细节的能量部分更加集中。2006年，DA CUNHA A L在CT变换的基础上提出非下采样轮廓波变换(nonsubsampled contourlet,NSCT)理论[14]，去除了对信号的上下采样操作，构建非下采样金字塔变换(NSP)和非下采样方向滤波器组(NSDFB)，消除了Gibbs现象，并且使算法拥有平移不变性。

近年来，出现了许多基于非下采样轮廓波变换(NSCT)的图像融合算法。与传统多焦点图像融合算法相比，一种基于改进的NSCT双通道脉冲耦合神经网络(PCNN)的新算法被提出来[15-16]，该算法可以提高融合效果。KONG W W提出了一种基于NSCT和改进的Spiking皮层模型(ISCM)的多聚焦图像融合方法。基于NSCT-ISCM的新型图像融合技术在主客观性能两方面都优于目前流行的图像融合技术[17]。ZHANG Q提出了一种基于NSCT和压缩感知(compressive sensing,CS)的红外和可见光图像自适应融合方法，在光照条件较差的情况下更有效[18]。LI H F提出了一种基于NSCT和低层视觉特征的红外与可见光图像融合方案，该方案也可以获得优越的效果[19]。因此基于NSCT的图像融合算法在多焦点图像融合中具有许多优势。在鲁棒主成分分析(RPCA)和NSCT中，稀疏矩阵用于基于低频子带系数和高频子带系数指导融合规则[20]，该方法可以将背景信息保留在可见图像中。稀疏表示(SR)方法引入图像融合后[21-22]，也被用于NSCT域进行图像融合[23]，融合后的图像保留了较好的结构相似性和细节。WANG Z S利用形态顺序开关算子(MSTO)提取NSCT分解子带的明暗图像特征，然后混合融合，可有效抑制原图像的噪声和伪边缘[24]。WU C M提出了双NSCT和PCNN算法(Dual NSCT-PCNN)[25]，该算法可完全提取可见光图像的纹理信息，解决了纹理细节不能完全融合的问题。现有NSCT图像融合算法可以很好地融合图像，但需处理的数据量较大，算法运行较慢，尤其在融合较大图像或尺度分解级数与方向分解级数较大时。针对这些不足，本文将NSCT的图像融合算法与压缩感知理论结合，以减少NSCT图像融合所需处理的数据量，提高算法运行速度。

1 NSCT理论

NSCT是一种优异的二维图像多尺度分解工具。NSCT不但继承了轮廓波变换对图像多尺度、多方向分解的优良特性，同时弥补了轮廓波变换中所缺失的平移不变性。NSCT变换中先后使用非下采样的金字塔(NSP)分解滤波器和非下采样的方向滤波器组(NSDFB)对二维图像进行分解，其过程先利用NSP对源图像进行多尺度的分解，然后再采用NSDFB对高频分量进行多方向分解，从而获得不同尺度、不同方向下的子带图像。NSP每次将图像分解为一个低通子带图像和一个带通子带图像，随后的分解都是在低通子带上迭代进行。NSDFB的多方向分解在NSP多尺度分解结束后进行，NSDFB将NSP每级分解得到的带通子带分解成多个不同方向的子图像，以提取更加精确的方向性信息。由于NSCT的分解过程中使用的是非下采样的金字塔滤波器，因而具有平移不变性，这使得分解后的所有子图像大小均相等。

图1是应用NSCT对图像分解的示意图。

图1 NSCT分解的结构示意图

1.1 NSCT低频系数融合

本文针对待NSCT变换低频子带的融合图像，采用基于区域平均能量自适应加权算法。待融合图像A和B低频子带的区域能量可以描述为：

(1)

(2)

其中：w表示区域窗口掩模；M×N的大小可以选择3×3或者5×5。本文选择3×3的模板，w=[1,2,1;2,3,2;1,2,1]/15。权重系数定义如下：

(3)

(4)

其中k0为调整权重系数的参数。因此，融合后的低频系数可以定义为

(5)

1.2 NSCT高频系数融合

高频子带系数反映了图像的边缘、曲线等局部特性，反映更多的独立性信息。针对此特性，对高频子带采取绝对值最大原则。较大的绝对值往往对应着更清晰的亮度变化，因此该融合准则可以很好地突出图像的细节特征。在最高尺度J分解层的融合系数为

(6)

2 压缩感知

对于可压缩或可稀疏的信号,压缩感知能以远远低于Nyquist的采样频率,通过观测矩阵进行非自适应采样，然后利用重构算法准确重构原始信号[26]。传统信号处理是先进行采样，再进行压缩，最后还需进行解压，如此会增大采样、传输、存储的压力；而压缩感知处理系统的采样过程与测量过程同时进行，减小了数据的采集、传输、存储量。

若一个一维离散信号x长度为N，可通过正交基Ψ展开为x=Ψα。若x在正交基Ψ下有k个不为0的值(其中k<

尽管要从y中解出α仍不容易，但由于系数α是稀疏的，其个数大大减小，使得方程组可以通过相应的重构算法求解出来。其中，测量矩阵Φ需满足限制性等距(RIP)准则。

3 基于NSCT-CS变换的图像融合

本文所研究的改进NSCT图像融合算法的主要思想是：首先，通过NSCT变换分解输入的两幅源图像，分别得到各自的低频子带系数及高频带通系数；低频系数由于不具有稀疏性，所以直接对其使用融合规则进行融合，得到融合后的低频系数；高频系数具有稀疏性，可运用压缩感知对其进行测量，对测量值采用对应的融合规则进行融合，再采用重构算法对融合后的高频系数进行重构得到重构后的高频融合系数；最后，通过NSCT算法对低频融合系数和重构后的高频融合系数进行逆变换，从而获得融合后的图像。图2为改进的NSCT图像融合算法流程。

图2 改进的NSCT图像融合算法流程图

4 实验结果与分析

为了验证本文提出的改进NSCT图像融合算法的稳健性和有效性，将改进NSCT与其他融合算法进行了比较，如离散小波变换(DWT)算法、Contourlet变换(CT)算法和传统NSCT融合算法结果进行对比。采用扫描电镜图像来确定所提出的图像融合算法的好坏。扫描电镜图像是一种具有纳米分辨率的高精度仪器。在纳米尺度上，环境振动、温度变化等因素容易导致样品的倾斜和漂移，最终导致样品的表面形貌畸变和测量误差。图像融合技术可以减少测量误差，消除表面漂移。如图3所示，两对图像可以在不同的测量条件下从四幅图像中进行配准，利用图像融合技术，对两幅已配准的图像进行融合，可以获得更准确的图像。

图3 图像误差校正示意图

本实验选取多孔氧化铝膜(PAA)作为测试样品进行扫描电镜观察。它具有典型的高度有序的纳米孔阵列结构，可以用来校准扫描电镜。两对(-1°和+1°、-2°和+2°)扫描电子显微镜(SEM)图像经SURF算法进行配准。如表1所示，采用峰值信噪比(PSNR)和均方根误差(RMSE)来评估SURF算法的准确性。结果表明，SURF算法提高了图像的对比度，使配准的图像更加清晰。

表1 两组配准后SEM图像的峰值信噪比

为了验证改进NSCT方法在高分辨率图像纠错中的可行性，将多角度配准后的SEM图像分别进行DWT、CT、NSCT和NSCT-CS的融合。图4为4种方法的SEM图像融合结果。改进后的NSCT与传统NSCT融合算法相比，信息熵、平均梯度、空间频率均有所增加，如表2所示。然而，相关系数和结构相似度却相差无几。通过分析，得出的原因有以下两点：首先，本文算法是基于NSCT融合算法优化得到的，本质上滤波器的结构并没有发生变化，只是对相关的融合规则进行了改进。此外，更重要的一点是，本文在原有NSCT变化的基础上引入压缩感知理论，对数据量进行了适当的压缩，如图4(d)中的融合图像就是将高频信息进行了60%的压缩，在数据量减少的前提下，仍然能够实现传统NSCT 的融合效果，甚至在客观数据上优于NSCT的融合效果，验证了本文算法的优势所在。

图4 各算法对不同倾斜角SEM图像的融合结果

表2 不同融合方法的客观定量分析

总体来说，将4幅PAA扫描电镜源图像进行配准，获得足够匹配精度的待融合图像，然后再对其进行融合实验，可得到一幅校正图像。融合后的图像误差更小，精度更好。由此可得到孔径和距离更为精确的多孔氧化铝样品，也有助于样品表面形貌的重构。因此，通过本文提出的图像融合算法对精确配准过的SEM图像进行误差校正，可以获得更为精确的样品形貌图像。

5 结语

NSCT具有良好的各向异性及平移不变性，但待融合图像经NSCT分解后，其高频信息的数据量随分解级数和分解方向数呈指数增长，为此提出一种基于压缩感知的NSCT图像融合方法，减少融合数据量。该方法在SEM图像的图像融合应用中具有明显的优势。改进的NSCT图像融合算法可以有效地保存源图像的重要信息，具有较强的细节维护能力。对于高分辨率仪器来说，校正测量误差、减少纳米级的图像漂移是非常重要的。基于压缩感知的NSCT算法的图像融合是一种潜在的、前瞻性的图像处理技术，可用于提高高精度仪器的测量精度。