基于相位一致性与PCNN的SAR和多光谱图像融合算法

余 艳,杨学志,方 帅,董张玉

(1.合肥工业大学 计算机与信息学院,安徽 合肥 230601; 2.工业安全与应急技术安徽省重点实验室,安徽 合肥 230601; 3.合肥工业大学 软件学院,安徽 合肥 230601; 4.智能互联系统安徽省实验室,安徽 合肥 230601)

多源遥感图像融合是指将同一区域中不同传感器的多幅遥感图像融合成一幅新图像的过程[1]。来自不同传感器的图像具有其自身独特的优势,其中多光谱图像中包含的光谱信息对目标识别与地物分类至关重要。但热带地区通常被云层覆盖,因此限制了光学图像的使用。合成孔径雷达(synthetic aperture radar, SAR)图像由于其特殊的成像机制,具有后向散射的介电特性,可以穿透云层、薄雾和植被,表征丰富的地表纹理和结构特征[2]。对SAR和多光谱图像进行融合,可以获得具有高空间分辨率和光谱分辨率的融合图像,有利于增强图像的检测和识别性能。多源图像的互补性在遥感应用中具有很大的潜力,将SAR和多光谱图像的结构特征及光谱信息进行融合成为当今遥感图像融合的热点之一。

随着开源SAR数据的快速增长,目前已有大量有关SAR和多光谱图像融合方法。传统的融合算法可以分为2类:

(1) 基于空间域的方法。例如,强度-色调-饱和度(intensity-hue-saturation,IHS)变换、主成分分析(principal component analysis,PCA)、brovey变换等。这些方法只是简单的成分替换,容易造成融合图像光谱扭曲以及图像纹理特征保持不佳等现象。

(2) 基于变换域的方法。常用的多尺度分解重构方法有小波变换、contourlet变换(contourlet transform,CT)、非下采样contourlet变换(non-subsampled contourlet transform,NSCT)[3]、非下采样shearlet变换(non-subsampled shearlet transform,NSST)[4]等。这些融合算法都是将图像转换到频域进行处理,相对于空间域的方法,此类算法光谱失真较少。由于多尺度分解重构方法在图像融合中的优越性,NSCT已广泛应用于各种图像融合之中,但由于NSCT自身结构原因、分解的方向数有限以及会产生吉布斯现象的缺点,NSST孕育而生。与NSCT相比,NSST具有更灵活的结构,更高的计算效率,分解的方向数无限制以及抑制吉布斯现象等优势。

脉冲耦合神经网络(pulse coupled neural network,PCNN)[5]产生于对动物视觉神经元细胞活动的模拟,是一种反馈型神经网络模型。PCNN具有无需训练、全局耦合与脉冲同步发放等特性,许多学者将PCNN模型与NSST结合使用,以获得更好的融合效果。例如,文献[6]提出了在NSST域的自适应PCNN的图像融合算法,利用PCNN全局耦合性和脉冲同步性选择高频子带系数,融合的图像在主观视觉和客观评价上均取得了较好的效果;文献[7]提出在NSST域内将改进的拉普拉斯能量和作为PCNN的输入,梯度能量作为PCNN的链接强度,在一定程度上提升了融合图像的清晰度。

大多数NSST域的融合算法都未将SAR和多光谱图像的结构特征进行综合考虑,本文根据图像的空间结构与纹理特征,提出一种相位一致性和PCNN相结合的SAR和多光谱图像融合算法。首先对多光谱图像进行IHS变换,将变换后的I分量与SAR图像进行直方图匹配。然后对其进行NSST变换,得到低频系数和高频系数,在低频部分采用基于相位一致性的融合规则,对SAR图像和I分量的低频系数进行相位一致性计算,根据得到的相位一致性值选择不同的融合系数,有针对性地提取图像的特征信息,并且避免融合图像出现光谱失真;在高频部分采用PCNN融合规则,采用SAR图像和I分量的高频系数作为神经元的反馈输入,并选择区域空间频率(spatial frequency,SF)作为神经元的链接强度,采用软限幅sigmoid函数确定PCNN点火幅度,利用点火幅度总和取大原则确定高频融合系数,从而更好地提高图像融合的性能。最后对得到的高、低频系数进行NSST逆变换和IHS逆变换。实验结果表明,本文方法在主观视觉和客观评价上均取得了较好的效果。

1 NSST和PCNN

1.1 NSST

Shearlet变换是文献[8]在传统仿射系统基础上提出的一种新的多分辨率分析工具。当维数n=2时,合成仿射系统可定义为:

M(ψ)={ψj,l,k(x)=|detA|j/2ψ(SlAjx-k),

j,l∈Z,k∈Z2}

(1)

为了使Shearlet变换具备平移不变性,文献[9]提出了NSST变换。NSST的离散化过程可分为尺度分解和方向分解,分别采用非下采样金字塔(non-subsampled pyramid,NSP)和改进的剪切滤波器来实现,NSST的分解如图1所示。

图1 NSST的分解示意图

首先,原图像可以由NSP分解成大小相同的低频子带和高频子带,在每一级NSP分解后,将低频分量进行迭代以获得图像的奇异点。因此,对二维图像进行k级NSP分解后,可以得到一幅低频子带图像和k幅高频子带图像,这些子带图像的大小与原图像相同,但尺度不同。然后,利用改进的剪切滤波器对高频分量进行多方向分解,整个过程直接通过二维卷积来实现,将Shearlet中的标准剪切滤波器从伪极化网络系统映射到笛卡尔坐标系,避免了下采样过程,保证了平移不变性,有效地克服了Shearlet变换产生的伪吉布斯效应。最后,对每个方向子带系数进行傅里叶逆变换,得到最终的NSST系数。

1.2 PCNN

PCNN模型的每个神经元由接受域、调制域和脉冲发生域3个部分组成。原始的PCNN模型在用于图像处理方面需调整的参数较多,文献[10]提出了简化的PCNN模型，如图2所示。

图2 PCNN简化模型

数学模型为:

(2)

其中:(i,j)为像素位置,每个像素对应一个神经元;n为迭代次数;Sij为外部输入;Fij为神经元的反馈输入;Lij为链接输入;Uij为神经元的内部活动项;θij为动态阈值;Yij为PCNN的输出;αL、αθ为时间衰减常数;VL、Vθ分别为链接输入放大系数和阈值放大系数;ωij,pq为神经元的突触连接权系数;β为链接强度。

2 图像融合算法

2.1 低频融合规则

原图像经过NSST变换后,得到的低频图像包含原图像的光谱信息和空间信息,是原图像的近似图。针对低频图像,大多传统的方法只考虑图像光谱信息保持,未考虑图像特征信息保持。相位一致性可以有效地提取图像的特征信息,本文在低频图像的低频部分引入相位一致性,可以有针对性地筛选图像低频部分的特征信息,增强图像的空间结构与纹理特征,提高整幅融合图像的质量。因此,在低频分量上,利用图像的相位一致性值来选取低频系数。

相位一致性可以表示整幅图像的特征信息,并已被证实用于提取图像特征信息具有优势。文献[11]利用log-gabor滤波器,提出了二维图像的相位一致性模型，即

P(x)=

(3)

其中:Wo(x)、To分别为频率扩展的加权因子和噪声补偿;Ano(x)、ΔΦno(x)分别为在滤波方向o、小波分解尺度n上的幅度和相位偏差度量函数;ε为很小的正常数,避免分母为0。

本文利用相位一致性作为低频部分系数选择的衡量准则,其融合规则如下:

(4)

其中:LI(i,j)为多光谱图像亮度分量I在(i,j)处的低频系数;LS(i,j)为SAR图像在(i,j)处的低频系数;LF(i,j)为融合后的低频系数;PI(i,j)、PS(i,j)分别为I分量和SAR图像低频分量在(i,j)处的相位一致性值,其取值范围为[0,1],P(i,j)值越大,表示图像该像素点的特征信息越好;T为阈值,当I分量与SAR图像在(i,j)处的相位一致性差值大于阈值时,选择相位一致性值较大一方的低频系数,当两者的相位一致性的绝对值小于阈值时,表明在该像素点I分量和SAR图像相位一致性值相差不大,故采用改进的加权平均法进行融合,可以有效保持融合图像的光谱信息和空间信息。本文将T设为0.2,a、b分别设为0.6、0.4。

2.2 高频融合规则

经NSST分解后的高频部分包含原图像大部分的细节信息,以边缘、纹理、轮廓等为主,反映了图像的变化情况。传统的高频部分采用简单的绝对值取大规则,这种方法将像素当作孤立的点进行处理,忽略了像素点之间的相关联性,难以充分提取原图像的细节信息。为解决此问题,在高频部分引入PCNN,充分利用其全局耦合与脉冲同步发放等特性,并根据点火幅度总和表征图像信息的丰富程度,可以有效提取图像的边缘纹理等细节信息。

通常,PCNN神经元的链接强度为β固定值,并未考虑人眼视觉系统的敏感性以及图像自身的特点,严重忽略了图像局部特征之间的差异。通过建立图像静态特性与神经元动态特性的直接联系,根据区域特征自动修正模型中的链接强度,提高融合方法的普适性。空间频率SF反映空间域图像的总体活跃程度[2],与链接强度呈正相关,其空间频率值越大,表示图像越清晰,质量越好。为此,采用区域空间频率,并使用sigmoid函数将其归一化到[0,1],作为PCNN模型中的β值,β的定义式为:

βij=1/1+e-Sij

(5)

(6)

(7)

(8)

其中：Rij、Cij分别为图像的行频率和列频率;Xi,j为图像在(i,j)处的系数。

当前,基于PCNN的融合算法大多以输出的PCNN点火次数总和选取图像融合系数,采用硬限幅函数,使输出结果非0即1,不能体现点火幅度的差异。文献[12]提出了通过一个软限幅sigmoid函数确定PCNN点火幅度,将输出的点火幅度和作为系数选择的依据,输出幅度为:

(9)

其中，Tij(n)为图像在(i,j)处的点火输出幅度,取值范围为[0,1]。n次点火输出幅度总和为:

Zij(n)=Zij(n-1)+Tij(n)

(10)

基于PCNN模型的高频部分融合规则,利用SAR图像和I分量的高频系数作为神经元输入,并选择SF作为神经元的链接强度,根据软限幅sigmoid函数确定PCNN点火幅度,采用点火幅度总和取大原则确定高频融合系数。具体融合步骤如下:

(1) 采用SAR图像和对I分量的高频系数作为PCNN神经元的激励。

(2) 初始化设置。PCNN的各参数初值设定为Lij(0)=Uij(0)=θij(0)=0,n=1。

(3) 根据(2)式计算模型的PCNN各参数,并根据(9)式、(10)计算点火输出幅度总和Zij(n),其中Zij(0)=0。

(4) 当迭代次数n

(5) 计算决策矩阵。计算公式为:

根据决策矩阵来确定融合后的高频系数：

2.3 本文方法流程图及步骤

在图像融合方法中,关键是选择融合规则,使两幅图像能够有效地融合在一起。本文将NSST与IHS变换相结合,并在低频部分采用基于相位一致性融合规则,高频部分采用PCNN融合规则,有效地提高了图像融合的质量。图像融合流程如图3所示。

图3 图像融合流程

图像融合具体步骤为:

(1) 图像预处理。包括SAR图像去噪及SAR和多光谱图像的配准。

(2) 对多光谱图像进行IHS变换,得到I分量、H分量及S分量,并对SAR图像和I分量进行直方图匹配。

(4) 采用基于相位一致性融合规则融合低频分量得到融合后的低频分量LF(i,j)。

3 实验结果与分析

为了验证本文方法的有效性和优越性,选择了IHS变换[13]、IHS-NSCT[14]、IHS-WV-SR[15]、NSCT-SM-PCNN[16]、IHS-NSST-SR[17]这5种融合算法进行对比,并采用主观评价和4种客观评价指标对融合图像进行检测。本文采用2组数据进行实验,多光谱图像均为30 m分辨率的Landsat-8图像;SAR图像为同时期同一区域,10 m分辨率的哨兵一号图像。在融合前,首先对SAR和多光谱图像进行配准处理,并将多光谱图像重采样到与SAR图像相同分辨率,然后对SAR图像采用文献[18]提出的BM3D方法进行去噪处理。现以2组大小分别为900×900、700×700的SAR和多光谱图像为例,图像进行融合算法的比较与分析,如图4、图5所示。本文实验参数设置如下:在NSST域,分解滤波器设为maxflat,分解层数为3层,方向数为[2 3 3];在PCNN模型中设

Nmax=200,αL=1.0,VL=1.0,

αθ=0.2,Vθ=20,

从主观视觉效果来看,图4c、图5c为IHS变换的融合图像,具有严重的光谱失真,对地物信息的解译十分不利;图4d、图5d为IHS-NSCT的融合图像,融合图像在轮廓边缘表现较好,光谱信息保持上比IHS方法有明显提高;图4e、图5e为IHS-WV-SR的融合图像,在轮廓、纹理、边缘等细节上保持较好,但在建筑等高亮区域出现较为明显的光谱畸变;图4f、图5f为NSCT-SM-PCNN的融合图像,光谱信息损失较小,但融合图像的清晰度较差;图4g、图5g为IHS-NSST-SR的融合图像,其清晰程度比原多光谱图像有明显提升,融合图像整体效果较好,但在部分区域存在光谱扭曲现象;图4h、图5h为本文方法的融合图像,视觉效果明显优于其他5种方法,融合图像空间结构信息表现更好,细节信息有所加强,光谱保真度高。

图4 第1组实验原图及各方法融合结果

为了更加客观评价融合图像的质量,选取了相关系数(correlation coefficient,CC)、平均梯度(average gradient,AG)、信息熵(entropy,EN)、标准差(standard deviation,SD)4个客观评价指标[19]。其中,CC反映融合图像与参考图像之间的相关程度,其值越接近1,表示相关程度越高;AG反映融合图像中纹理变换的特征,其值越大表示图像清晰度越好;SD为融合图像对比度的度量；EN为衡量融合图像信息丰富程度的一个重要指标,SD、EN均为值越大,融合图像效果越好。

第1组、第2组图像各方法的客观评价指标见表1、表2所列。IHS融合算法的CC较低,表明存在较大的光谱扭曲度;IHS-NSCT融合算法的各项指标都有所提升,表明融合图像中的光谱信息和空间信息保持较好;与IHS-NSCT融合算法相比,IHS-WV-SR融合算法在各项指标上均表现不佳,表明该方法在获取图像信息能力及光谱保持方面较差;NSCT-SM-PCNN融合算法在光谱保持方面表现较好,但与IHS-NSCT融合算法相比较,该方法的AG、SD和EN有所下降,融合图像中包含的信息丰富程度及图像清晰度还有待增强。IHS-NSST-SR融合算法的清晰度较高,CC值较小,融合图像的空间细节信息表现较好,但无法很好地保持图像的整体效果及光谱信息。本文方法与其他5种方法相比,融合图像效果有明显的优势,在图像的空间细节保持以及光谱信息保持均有大幅度提升,CC、EN值的提升也说明图像光谱失真度最小,包含的信息量最多,融合图像质量最优。综合来看,本文方法在主观和客观评价方面的总体效果均优于其他5种方法,较好地实现了融合图像在光谱保持和空间细节保持上的均衡。

表1 第1组图像各方法的客观评价指标

表2 第2组图像各方法的客观评价指标

4 结 论

本文提出了一种相位一致性和PCNN相结合的SAR和多光谱图像融合方法,将NSST和IHS变换相结合,在低频分量中,利用相位一致性提取图像低频分量的特征信息,并根据两幅图像的特征信息来选择低频部分的融合系数,有针对性地提取了低频图像细节信息,并且避免了融合图像出现光谱失真;在高频分量中采用PCNN算法进行融合,根据点火幅度总和取大原则确定高频系数,有效提取了图像的边缘纹理等细节信息。实验结果表明,本文提出的算法在主观评价和客观评价上均优于其他5种算法,提升了融合图像空间分辨率和光谱分辨率的同时,更好地保留了图像的空间结构和纹理特征,是一种有效的SAR和多光谱图像融合方法。