结合自适应PCNN的非下采样剪切波遥感影像融合

成飞飞,付志涛,黄 亮,2,陈朋弟,黄 琨

1. 昆明理工大学国土资源工程学院，云南 昆明 650093； 2. 云南省高校高原山区空间信息测绘技术应用工程研究中心，云南 昆明 650093

图像融合是图像处理领域的一个重要研究课题，具有很大的研究潜力和广阔的发展前景。图像融合技术是从多个传感器或多种方式获取的图像中提取重要信息，然后通过特定的处理方法和融合策略进行组合得到融合图像，可以获得单一传感器无法提供的信息，已被广泛应用于红外和可见光融合，医学影像融合和遥感影像融合等多源影像融合领域中[1-2]。在遥感影像融合中，高分辨的影像可以为现代遥感技术提供保障[3]，其中全色(PAN)与多光谱(MS)影像融合是热点和难点问题，它们具有不同的成像模式和特点。多光谱图像具有丰富的光谱信息，但其空间分辨率较低，而全色影像具有较高的空间分辨率，但缺乏足够的光谱信息。利用MS和PAN影像各自优势将两种不同的影像融合在一起，不仅能够提高全色影像的光谱信息，而且能提高多光谱影像的空间细节信息，融合后的影像具有更强的解译能力，从而提高信息提取的准确性和稳健性。

综合来看，影像融合划分方法主要分为基于空间域的融合方法和基于变换域的融合方法[4-5]。其中，基于空间域的影像融合主要有主成分分析、比值变换及IHS等方法，这些方法计算简单，速度快，虽然可以改善影像的空间细节信息，但会造成严重的光谱失真和纹理损失，现在空间域的方法与其他方法结合使用[6-7]。随着小波变换被广泛应用于影像融合[8-9]领域，但其方向有限和缺乏平移不变性，融合会造成空间细节信息的损失和光谱失真，随后人们提出多种方法来解决小波变换融合中方向有限和缺乏平移不变性的问题。文献[10]提出基于曲波变换的遥感影像融合方法，该方法在保留原始影像重要信息和抑制噪声方面比小波变换方法更好。文献[11]提出基于粒子群优化算法优化轮廓波变换，在保证MS光谱信息同时提高了影像的清晰度。虽然轮廓波变换继承了曲波变换的各向异性，但仍然没有改变其缺乏平移不变性，之后又通过不断研究在轮廓波和剪切波基础上提出NSCT和NSST。NSCT变换是对轮廓波变换的改进，在影像分解和重建过程中没有进行下采样操作，解决了轮廓波和剪切波中的平移不变性问题。文献[12]利用NSCT方法充分提取了原影像中的方向信息，有效地消除了伪吉布斯现象。NSST通过剪切波变换改进得到，具有良好的影像稀疏表达和低成本计算的能力，适合于MS与PAN影像的融合[13]。

NSST的出现为影像融合提供了解决思路。近年来，基于NSST变换的影像融合方法受到了广泛关注，脉冲耦合神经网络作为重要的融合策略得到广泛应用。文献[14]将PCNN应用于低频系数，并利用PCNN的点火发射次数，通过加权射击能量融合规则对低频系数进行融合，该方法在不增加计算时间的情况下，能够同时保持空间细节和光谱特征。文献[15—16]采用Sigmoid函数对PCNN模型输出的各子带系数迭代过程中的点火输出幅度进行计算，使得融合结果能够较好的保持光谱分辨率的同时，有效利用了影像中地物边缘和细节信息，但是以上方法中PCNN模型的自由参数不能自适应计算。

针对以上问题，本文提出一种结合参数自适应脉冲耦合神经网络(PA-PCNN)模型和保持能量(EA)细节的NSST遥感影像融合方法：①本文采用的NSST分解方法既能很好地保留原始影像的特征，又能有效地减少影像信息的冗余，降低影像处理的复杂度和计算量。②针对高频子带融合策略中采用了自适应的PA-PCNN参数模型，可以对所需要的参数进行自适应调整，使模型的适应能力大幅度增强，更好地适应于复杂遥感影像的融合。低频采用能量的融合策略，进一步减少了纹理和背景信息的丢失，使得融合结果更接近原始影像。最后，将所提方法与SE[17]、DGIF[18]和COF[19]、PA-PCNN[20]4种融合方法进行比较来验证本文方法的有效性和优越性。

1 基本理论

1.1 非下采样剪切波变换

NSST将非下采样金字塔变换与剪切滤波器结合，提供一个最优的稀疏表示，可以更加有效地描述图像信息。利用NSST进行影像融合处理，既能很好地保留原始影像的特征，又能有效地减少影像信息的冗余，降低影像处理的复杂度和计算量。NSST实现主要有多尺度分解和方向局部化两部分组成，非下采样剪切波多个尺度多个方向的子带分解如图1所示。其中NSLP指非下采样金字塔滤波器多尺度分解，q指多尺度分解层数，SF指剪切滤波器方向局部化。NSST不仅具有多尺度特性，而且具有较强的平移不变性和方向敏感性，因此，本文将采用NSST对全色与多光谱影像进行分解。

图1 非下采样剪切波多个尺度多个方向的分解子带Fig.1 Decomposed sub-bands with multiple scales and directions of non-subsampled shearlet transform

1.2 脉冲耦合神经网络

PCNN最早由文献[21]提出，有传统影像处理算法无法比拟的先天优势，无须学习和训练即可从复杂的背景中提取有效信息。目前基于PCNN的大部分自由参数(如链接强度、振幅和衰减系数等)还不能完全自适应，需要手动调整[22]。为了克服传统PCNN模型难以设置自由参数、降低标准PCNN模型的复杂度以及提高计算速度问题，文献[23]提出一种自适应的策略，文献[20]将其应用到图像融合领域，得到了良好的试验效果，这种融合策略目前已经成功应用到红外和可见光[24]图像融合领域。

2 本文方法

2.1 YUV变换

色彩融合技术是一种典型的技术，YUV[25]具有亮度信息和色彩信息分离特性的一种方法。其中“Y”表示亮度分量，“U”和“V”表示颜色分量，用来描述影像色彩及饱和度，并指定像素的颜色。RGB-YUV变换的具体步骤如下。

(1) 采用YUV变换从原始多光谱影像的颜色分量中分离出Y、U、V。

(2) 融合MS的Y分量与PAN影像，得到融合Y′分量。

(3) 将分量Y′与分离的色度U分量V分量进行YUV-RGB变换，实现影像融合。

本文方法如图2所示，具体步骤如下。

(1) 对MS影像进行RGB-YUV变换，分离出影像的亮度分量Y。

(2) 利用NSST对PAN和MS影像的Y分量分别进行分解，得到相应的高频子带(HA,HB)、低频子带(LA,LB)。

(3) 采用PA-PCNN和EA的融合策略分别对高频和低频子带系数进行处理。

图2 本文融合方法流程Fig.2 Flow chart of fusion method

(4) 分别对处理后的系数进行NSST逆变换，得到融合后Y′亮度分量，然后将Y′、U和V进行YUV-RGB变换，得到最终的融合影像。

2.2 高频子带融合

高频子带系数不仅提供了影像多尺度信息，而且还包含了丰富的原影像空间细节信息。本文方法在文献[20]的基础上提出了一种适合遥感影像的融合方法。该方法借助PA-PCNN模型在医学影像融合方面的优越性，将自适应PA-PCNN方法引入遥感影像融合领域，将高频子带系数与自适应计算PCNN参数的方法结合，其中PA-PCNN中模型中有4个自由参数，所有参数可以自适应的计算，公式为

af=log(1/σ(S))

(1)

(2)

VE=e-af+1+6λ

(3)

(4)

式中，σ(S)表示范围[0，1]的输入影像S的标准差；S′表示归一化Otsu阈值；Smax输入图影像的最大强度；VE动态阈值E的振幅；ae、af表示E、F的指数衰减系数；λ表示加权链接强度。有关参数更多细节信息可参考文献[20,25]。

Tij[N]=Tij[N-1]+Yij[N]

(5)

(6)

2.3 低频子带融合

低频子带包含影像的纹理、结构等信息，其融合策略对最终融合质量影响重大，通常采用较为简单的平均融合规则来处理低频子带系数，但这样不仅降低了融合影像的对比度，而且损失原影像的一些有用信息。因此，低频系数选择的融合规则是否准确决定了融合影像的质量。为了充分保留NSST分解后低频子带包含的有用信息，在低频子带融合中采用一种能量属性(EA)融合策略[26]，该融合策略分为3个步骤。

(1) 计算低频子带的固有属性值，计算公式为

IPA=μA+MeA

(7)

IPB=μB+MeB

(8)

(2) EA函数中EA和EB由式(9)和式(10)计算

(9)

(10)

(3) 低频子带的融合通过加权平均值获得

(11)

式中，LF表示低频子带加权平均值。

3 试验数据与结果分析

3.1 评价指标

为了更好地验证方法的优越性和泛化能力，本文分别选用了资源三号(ZY-3)、高分二号(GF-2)和Worldview(WV)3种不同空间分辨率多幅遥感影像进行试验，试验数据的分辨率见表1。裁剪为30对影像集，并对影像进行了辐射校正、重采样和影像配准的预处理工作。本文选取了空间频率(SF)、相对无量纲全局误差(ERGAS)、相关系数(CC)、视觉信息保真度(VIFF)、基于梯度的融合性能(QAB/F)和结构相似度测量(SSIM)等6种客观评价指标来评价影像融合的质量。

3.2 参数分析

为了更好地适应复杂的遥感影像，本文各选取ZY-3、GF-2和WV的2组影像主要针对NSST的分解层数q进行参数分析试验。NSST分解层数参数分析结果如图3所示，此次试验中，设置NSST分解层数q为1—5层，迭代次数N固定为110，α固定为4，根据经验设置了16、8、4方向数。由图3可以看出，随着q的增加，SF、ERGAS、VIFF、QAB/F和SSIM基本趋于上升的趋势，CC趋于略有下降的趋势，当q=4之后变化比较平稳，当q>4时，VIFF和SSIM部分结果略有下降的趋势。因此考虑到当q增加时，时间成本也会随之增加，通过试验分析，本文将NSST分解层数q设置为4，PA-PCNN迭代次数和调节参数根据文献设定[20,26]，N设置为110，调节参数α设置为4。

表1 试验数据的分辨率

图3 NSST分解层数结果Fig.3 Results of NSST decomposition layers

3.3 资源三号数据

3.3.1 试验数据

第1组数据来源于ZY-3卫星，其中空间分辨率多光谱影像(MS)为5.8 m，PAN影像为2.1 m，分别裁剪了像素大小为512×512像素的10组影像进行试验，部分试验影像如图4所示。

图4 资源三号试验影像Fig.4 ZY-3 experimental image

3.3.2 试验结果分析

下面给出ZY-3卫星10组影像对MS和PAN影像在不同算法下融合的试验结果，选取了其中2组影像的试验结果进行展示，图5显示了SE[17]、DGIF[18]和COF[19]、PA-PCNN[22]和本文算法的融合结果，表2给出了5种融合方法的客观评价结果。

图5 第1组影像融合结果Fig.5 Results of the first group of imaging experiments

将较低分辨率ZY-3影像数据作为第1组试验。图5(a)—(e)为影像融合结果，其清晰程度相比原来的多光谱影像都有提高，其中SE、COF和DGIF方法融合后的整体细节信息不清晰，而且SE融合视觉效果一般，COF方法出现严重伪影。在红色矩形框区域可以清楚看出PA-PCNN和本文方法融合后纹理信息更加清晰，色彩信息更加丰富，更加符合人眼视觉系统。ZY-3影像融合的客观评价结果见表2，由表2可以看出，本文方法在SF、ERGAS、CC、VIFF、QAB/F和SSIM评价指标优于其他4种方法，说明本文采用的融合策略是可行的，在主观和客观评价中总体获得最优的效果，融合后影像空间和光谱信息更加丰富。

表2 试验1不同方法的客观评价

3.4 高分二号数据

3.4.1 试验数据

第2组数据来源于GF-2卫星，其中空间分辨率多光谱影像(MS)为4 m，PAN影像为1 m，分别裁剪了像素大小为512×512像素的10组影像进行试验，部分试验影像如图6所示。

3.4.2 试验结果分析

下面给出GF-2卫星10组MS和PAN遥感影像在不同算法下融合的试验结果，选取了其中2组影像的试验结果进行展示，图7显示了5种不同算法的融合结果，表3给出了5种融合方法对影像融合的客观评价结果。

将高分辨率高分二号影像数据作为第2组试验。图7(a)—(e)为影像融合结果，其清晰程度相比原来的多光谱影像都有一定的提高，其中SE融合提升效果较小，COF出现局部伪影、DGIF融合后的纹理结构不清晰，存在一定的颜色失真，PA-PCNN和本文方法融合后纹理结构清晰，色彩信息丰富，红色矩形框区域本文方法比PA-PCNN方法影像细节也更加清晰，GF-2影像融合的客观评价结果见表3，通过表3可以看出，本文方法在SF、ERGAS、CC、VIFF、QAB/F指标优于其他4种方法，表明融合影像的信息量丰富，说明本文采用的适合高分辨率的影像融合，可以更准确地保留原始影像光谱信息及空间细节信息。相比ZY-3试验，SSIM达到一个次优的效果，说明本文方法对较高分辨的SSIM相比PA-PCNN弱一些，但总体上还是达到一个最好的效果。

图6 GF-2试验影像Fig.6 GF-2 experimental image

图7 第2组影像融合结果Fig.7 Results of the second group of experimental images

表3 试验2不同方法的客观评价

3.5 Worldview数据

3.5.1 试验数据

第3组数据来源于WV卫星，其中空间分辨率多光谱影像(MS)为1.2 m，全色影像为0.3 m，分别裁剪了像素大小为512×512像素的10组影像进行试验，部分试验影像如图8所示。

3.5.2 试验结果分析

下面给出WV卫星10组MS和PAN影像在不同算法下融合的试验结果，选取了其中2组影像的试验结果进行展示，图9显示了5种不同算法的融合结果，表4给出了5种融合方法对影像融合的客观评价结果。

将高分辨率WV影像数据作为第3组试验，图9(a)—(e)为影像融合结果，其清晰程度相比原来的多光谱影像都有很大提高，在红色矩形框区域可以清楚PA-PCNN和本文方法更加清晰。WV影像融合的客观评价结果见表4，通过表4可以看出，本文方法在SF、ERGAS、CC、QAB/F和SSIM指标优于其他4种方法，表明融合影像的信息量丰富，显著信息多，与原影像相关性强，信息损失量较小，说明本文采用的融合策略，可以更准确地保留原始影像纹理信息和细节信息。相比ZY-3和GF-2试验,本文方法VIFF取得了相对较差的结果，说明对于低分辨率影像灰度值变化小，轮廓清晰度较低，视觉的保真度一般，但本文方法总体上优于其他方法的融合效果。

图8 WV试验影像Fig.8 WV experimental image

图9 第3组影像融合结果Fig.9 Fusion results of the third group of images

表4 试验3不同方法的客观评价

综上所述，本文通过对不同分辨的遥感影像进行试验验证本文方法的泛化能力，通过试验说明针对不同分辨率的遥感影像适应性不同，客观评价也很难达到所有指标均最优。融合的过程就是综合平衡视觉效果和各种客观指标以达到最优的融合效果。通过以上分析，本文方法面对不同分辨率影像仍然能达到综合最优的效果，说明本文融合算法具有较强的泛化能力，不仅适用于较低分辨率影像融合，同样适用于较高分辨率影像融合。

4 结 论

提出基于PA-PCNN模型和保持能量属性融合策略的NSST遥感影像融合算法。该方法将PA-PCNN模型引入遥感影像高频子带系数的融合中，PCNN模型中的自由参数均可根据PA-PCNN模型自适应计算，克服了手动设置自由参数的困难，更好地实现空间和光谱信息融合。通过与4种具有代表性的融合方法对比，大量试验结果表明，本文提出的方法在视觉感知和客观评价方面整体优于SE、COF、DGIF、PA-PCNN方法，说明本文融合算法不仅适用于低分辨率全色和多光谱影像融合，而且同样适用于高分辨率全色和多光谱影像融合。本文方法不仅克服了PCNN的不足，而且可以适应复杂的遥感影像，使得在融合领域的适应性大大增强，后续笔者将致力于设计更有效的融合策略来提高算法的时间效率，提升融合低分辨率影像的能力。此外，随着深度学习已经广泛应用影像领域，在未来的研究中，笔者将重点研究遥感影像融合的深度学习方法。