基于Swin-Transformer与生成对抗网络的地震随机噪声压制方法

周鸿帅,程冰洁,徐天吉

(1.成都理工大学地球勘探与信息技术教育部重点实验室,四川成都610059;2.电子科技大学资源与环境学院,四川成都611731;3.电子科技大学长三角研究院(湖州),浙江湖州313000)

随机噪声广泛分布在采集的地震数据中,它们与有效信号混叠,掩盖了地震数据的有效细节信息,严重影响地震数据的信噪比与分辨率,阻碍后续地震数据处理及资料解释,所以如何有效消除随机噪声,最大限度保留有效信息是提高地震数据处理解释准确性的关键步骤之一。目前地震数据随机噪声去除方法主要分为两类,即基于先验知识的传统去噪方法与基于网络训练的深度学习类方法。

传统去噪方法主要包括时域去噪、变换域去噪与稀疏表示去噪。时域去噪类方法利用地震数据在时域的分布特点构造滤波函数去除噪声,例如非局部均值滤波[1]。变换域类去噪方法建立在固定基函数上,利用数学模型将地震信号转换至变换域,利用变换域的稀疏性对信号进行去噪,主要包括傅里叶变换[2]、小波变换[3]和曲波变换[4]等。稀疏表示类方法使用字典代替传统的固定基函数,具有一定的自适应处理能力,其中包括K-奇异值分解(K-SVD)[5]和在线字典学习(ODL)[6]等。以上方法受制于各自的缺陷,对数据特征提取能力较弱,在面对噪声分布复杂、噪声干扰严重的地震数据时,往往会出现噪声压制不足及损伤有效信号的情况,不能满足勘探精度的要求。

深度学习类方法包括基于卷积神经网络[7]的去噪方法,基于生成对抗网络[8]以及基于Transformer[9]的去噪方法。与基于先验知识的传统方法不同,深度学习类方法通过构造端到端的映射关系,或是从数据内部挖掘信息,依靠大量数据,用网络的模式,以损失函数为指标学习含噪到无噪的映射关系,得到一个能够一定程度自适应去噪的网络模型。目前在地震数据去噪领域,深度学习方法已有诸多应用成果。韩卫雪等[10]将卷积神经网络应用于去除地震数据随机噪声,应用效果优于传统地震数据去噪方法。WANG等[11]对地震数据进行预处理,使用残差深度卷积神经网络去噪,残差学习[12]解决了网络梯度消失的问题,使网络层数更深,特征提取能力更强。WANG等[13]详细讨论了损失函数对网络模型性能的影响,指出L1,L2损失会导致结果过度平滑,产生虚高的峰值信噪比(PSNR)与结构相似性(SSIM)值。在噪声干扰严重的地震数据中,弱细节信息会因过度平滑而丢失,形成同相轴假象。张岩等[14]使用联合误差定义损失函数,并使用扩充卷积,以不同尺寸的卷积核提取地震数据特征,提高了地震数据去噪效果。杨翠倩等[15]提出一种结合全局上下文和注意力机制的深度卷积神经网络。实验结果表明,网络能够更有效压制随机噪声,并保留更多局部细节信息。徐彦凯等[16]使用由两个子网络组成的双通道网络模型,并在下通道子网络中引入空洞卷积增大感受野,增加了对有效信号的保护。ALSAIARI等[17]使用生成对抗网络对图像去噪,对抗损失的加入使网络有效恢复了细节信息。俞若水等[18]使用深度卷积生成对抗网络(DC-GAN)去除瑞雷波信号随机噪声,取得了较好的效果。吴学峰等[19]在传统对抗损失的基础上,添加循环一致性损失,提升了网络训练的稳定性。

以上方法均基于卷积神经网络,是目前地震数据去噪领域的主流应用方法,利用多层卷积提取地震数据的主要特征,取得了优于传统方法的应用效果。但卷积以卷积核为基础,是一种局部操作,受限于卷积核的感受野,缺少对数据的全局特征分析,因此在特征提取能力上仍有较大提升空间。Swin-Transformer是图像领域新发展起来的方法,在地震数据处理领域还鲜有研究。DOSOVITSKIY等[20]提出Vision Transformer(VIT),将Transformer应用于图像分类任务,该方法把图像块比作自然语言处理(NLP)中的token,使用标准Transformer编码器处理token,并据此进行图像分类。LIU等[21]提出Swin-Transformer,使用窗口自注意力机制,降低了Tansformer的计算复杂度。LIANG等[22]将Swin-Transformer应用于图像复原任务,在图像去噪任务中取得了良好的效果。

本文借鉴图像处理领域技术,引入Swin-Transformer方法,针对L1,L2损失函数造成过度平滑而引起地震数据局部构造变形的问题,融入生成对抗网络的思想,提出ST-GAN(Swin-Transformer and Generative Adversarial Networks)网络模型。在ST-GAN网络模型中,Swin-Transformer作为生成网络对地震数据去噪。Transformer的注意力模块是一种自适应滤波,权重由两个区域的相关性决定,能有效提取数据的全局特征,并能与卷积神经网络优势互补,提升网络的特征提取能力。判别网络基于卷积神经网络,损失函数由L1损失与对抗损失一同构成,使网络在有效压制随机噪声的同时保留和恢复更多的细节信息。

1 方法原理与网络结构

1.1 方法原理

1.1.1 卷积神经网络

卷积神经网络是一种局部操作,一般由输入层、卷积层和输出层构成。输入为地震数据图像,输出为特征图,卷积层通过卷积核完成对输入数据的局部特征提取。运算过程如图1所示,运算表达式为:

图1 卷积运算示意

y=wx+b

(1)

式中:x是输入数据中的元素矩阵;w是卷积核;b是偏置;y是特征提取结果。

1.1.2 生成对抗网络

生成对抗网络的核心思想是博弈,它由生成网络(Generator)和判别网络(Discriminator)组成。如图2 所示,生成网络从输入的含噪地震数据中生成去噪地震数据。判别网络的输入有两部分,一是生成网络的结果,二是映射目标。判别网络判断输入是生成网络的结果还是真实的映射目标,即估计样本属于某类的条件概率分布。

图2 生成对抗网络

1.1.3 多头自注意力机制

自注意力机制[23](Self-Attention)是Transformer的核心模块,可以捕捉各向量之间的相关关系,是一种全局操作。

在Self-Attention计算中,向量根据同其余向量之间的相关关系权重进行加权求和。如图3所示,a1,…,ai是各个patch转化的向量序列。ai首先经过Wq,Wk,Wv共3个权值共享的初始化矩阵转换为qi,ki,vi,提升向量在匹配计算中的鲁棒性。qi,ki相互匹配,经激活函数Softmax得到相关关系权重向量,与vi加权求和即得到Self-Attention值。qi,ki,vi3个向量中的元素继续划分为qij,kij,vij构成多个Head,对每一个head做Self-Attention,即为多头自注意力机制(Multi-headed Self-Attention)[24]。

图3 多头自注意力机制

计算公式为:

(2)

式中:qi=aiWq,ki=aiWk,vi=aiWv。Qij=(q1j,q2j,…,qij),Kij=(k1j,k2j,…,kij),Vij=(v1j,v2j,…,vij);d为向量长度。

1.1.4 Swin-Transformer

Swin-Transformer(Swin-T)采用窗口多头自注意力模块(W-MSA/SW-MSA),与Transformer的全局自注意力计算不同,Swin-T在非重叠的局部窗口内进行多头自注意力计算(图4)。图4a 为全局自注意力,图中每一个patch与其余patch进行自注意力计算。图4b为窗口自注意力(W-MSA),其每一个patch之间的自注意力计算在窗口内(即图中红色方框)进行。图4c为移位窗口自注意力(SW-MSA),窗口进行了移动,不同窗之间的信息得到融合。

图4 窗口自注意力示意a 全局自注意力; b 窗口自注意力; c 移位窗口自注意力

窗口形式的计算将全局计算的二次复杂度转化为线性复杂度,大大降低了计算成本,拥有更加优异的扩展性。

1.2 网络结构及损失函数

1.2.1 Swin-Transformer网络结构

图5是Swin-Transformer(Swin-T)的网络结构,该网络完成对含噪地震数据的去噪处理。网络的核心部分由若干个残差Swin-T块(RSTB)构成,RSTB则由多个残差连接的Swin-T层(STL)与卷积层构成。

图5 Swin-Transformer网络结构

地震数据首先经过卷积神经网络进行特征提取,所得特征图由图6所示转换为二维向量矩阵。在RSTB中,向量矩阵依次经过残差连接的LN层(LayerNorm)与多头自注意力模块(MSA),以及残差连接的LN层与多层感知机(MLP)。

图6 Patch转向量矩阵

LN层完成对数据的归一化,提升网络的稳定性。在MSA模块中,向量矩阵中的各向量相互匹配计算注意力权重,MSA与SW-MSA交替使用。残差连接提升了网络的深度,有效缓解了梯度消失问题。MLP融合向量不同维度的信息,使网络能够提取更多的非线性特征和组合特征信息,加强网络的表征能力。

1.2.2 ST-GAN网络模型及损失函数

ST-GAN网络模型结构如图7所示,其中:包含卷积神经网络,生成对抗网络与Swin-T。Swin-T作为生成对抗网络中的生成网络,判别网络基于卷积神经网络,判别结果作为损失函数的一部分指导生成网络更新。

图7 ST-GAN网络模型结构

卷积神经网络通过卷积核提取地震数据的浅层局部特征。Swin-T通过自注意力模块使Patch相互匹配,得到不同数据块之间的相关关系。卷积神经网络的局部操作与Swin-T的全局操作相互补充,提升了网络模型对数据的特征提取能力。生成对抗网络为整个网络提供了新的训练策略,判别网络的加入使生成网络更新不再局限于某一种损失函数,而是以网络的形式对生成网络的结果进行判定,进而反馈信息指导生成网络更新。生成对抗网络提升了网络模型对地震数据细节信息恢复的能力。

损失函数是网络训练的重要组成部分,依据网络生成结果与映射目标之间的差异反馈信息指导网络更新。在地震数据去噪任务中一般使用L1,L2损失函数。基于目标值与预测值差异的损失函数通常能得到较好的结果,但同时也会产生过度平滑,存在PSNR与SSIM指标虚高的问题。在噪声干扰严重的地震数据中,弱细节信息会因过度平滑而丢失,形成同相轴假象。

针对该问题,对损失函数进行了调整,融入生成对抗网络的思想,增添了对抗损失。对抗损失可以使网络提取更深层次的潜在特征,从而有效恢复细节信息,避免因过度平滑造成同相轴假象。

整体的损失函数构成为:

Loss=lam*Lcon+beta*Ladv+(1-lam)*Lcha

(3)

式中:Lcha[25]是L1损失函数的变体,用于计算的目标值与预测值之间绝对差值的总和,如(4)式。它增添了常量ε,使函数拥有更高的稳定性。Lcon[26]是内容损失,用于计算地震数据的深层特征提取结果之间的差异,它能够提升网络对细节信息恢复的能力,如(5)式。其中,φ为特征提取网络,l为层数,Ladv为对抗损失,如(6)式。其中,D为判别网络。

(4)

(5)

(6)

1.3 网络训练与测试

训练数据集的质量很大程度上决定网络模型的性能。利用合成地震数据构建训练集与测试集,经过对无噪的合成地震数据添加噪声水平为15,20,25的高斯白噪声,构造含噪到无噪的映射关系。训练时对数据按照步长为1,大小为6464进行滑动裁剪,同时进行幅值归一化处理,并使用旋转和翻转进行数据增强。裁剪后样本数量总计为5720,训练集与测试集按照8∶2的比例进行划分,使地震数据特征充分覆盖训练集与测试集,保证网络模型训练的有效性。部分训练样本如图8所示。其中,包含断层、薄层和褶皱等多种不同地质模型。

图8 训练集中部分样本

图9是不同网络模型(包括DnCNN,Swin-T,ST-GAN)的训练损失函数值变化趋势。其中,DnCNN与Swin-T使用的损失函数为L1范数损失。从图9可以看出,Swin-T模型的损失函数值不仅起始值最小,而且在整个训练过程中一直低于DnCNN。在融入生成对抗网络后,损失函数增添了对抗损失,整体网络模型结构及损失函数的构成更为复杂,从图9中展示的曲线可以看出,ST-GAN网络模型的初始损失函数值略高于Swin-T模型,但在整体上仍低于DnCNN,这表明网络模型在训练中能够迅速收敛。

图9 不同网络模型训练损失函数变化趋势

测试集上的峰值信噪比(PSNR)和结构相似性(SSIM)性能曲线如图10a和图10b所示。随训练轮次的增加,各个网络的PSNR与SSIM都显著提升,这表明网络在去噪性能上得到了增强。对比曲线之间的差异,Swin-T网络的PSNR和SSIM比DnCNN分别高2dB和0.07。表明在有限的训练轮次下,Swin-T网络的特征提取能力以及去噪性能比DnCNN更加优异。在融入生成对抗网络之后,ST-GAN网络模型的PSNR与SSIM较Swin-T略微下降。

图10 峰值信噪比(a)与结构相似性(b)

这是由于在仅使用L1损失作为损失函数的情况下,过度平滑效应会导致虚高的PSNR和SSIM值。如图11所示,DnCNN与Swin-T的结果图上均显示出不同程度的平滑,导致地震图像中的局部构造发生变形,形成同相轴假象。ST-GAN网络模型融入生成对抗网络,在损失函数上增添了对抗损失,降低了PSNR与SSIM值,但同时提升了网络对细节信息的恢复能力。如图11e所示,地震数据局部构造恢复良好。

图11 测试集结果a 原始数据; b 含噪数据; c DnCNN; d Swin-Transformer; e ST-GAN

2 实际应用

为测试ST-GAN网络模型的去噪性能,选用Marmous模型作为测试对象。图12a为Marmous模型的局部地震成像剖面;图12b为相应的含噪局部地震成像剖面。其含有噪声水平为25的随机噪声,PSNR为22.62dB,SSIM为0.2946。从图12中可以看出,地震剖面上含有曲线同相轴以及破碎带,受噪声干扰,同相轴连续性差,破碎带中弱信号被噪声掩盖,难以识别有效信息。我们使用传统去噪方法(包括小波变换和字典学习)、经典去噪网络(DnCNN)、Swin-T与ST-GAN网络模型对含噪信号进行处理,并对噪结果进行对比分析。

图12 局部地震成像剖面a 无噪局部地震成像剖面; b 含噪局部地震成像剖面

表1为不同方法处理结果的峰值信噪比与结构相似性。分析表1可以得出,传统方法的PSNR与SSIM明显低于深度学习类方法。说明在去噪效果方面,深度学习类方法优于传统方法。将经典去噪网络DnCNN与Swin-T进行对比,Swin-T的PSNR与SSIM比DnCNN分别高3.14dB与0.0962,说明Swin-T的去噪性能优于DnCNN。而在融入生成对抗网络后,PSNR与SSIM相比较Swin-T降低了1.66dB与0.0446,但仍比DnCNN高出1.48dB与0.0516。

表1 不同方法去噪后的PSNR与SSIM

图13a与图13b分别为小波变换与字典学习两种传统方法的去噪结果,其中小波变换使用小波阈值去噪,字典学习采用小批量在线字典学习去噪。分析图示结果可知,小波阈值去噪与字典学习均成功去除了大部分噪声,但在噪声干扰严重的弱信号区域仍有较多噪声残留,导致特征不明显,难以辨识有效信息。

图13 不同去噪方法处理后的结果a 小波变换; b 字典学习; c DnCNN; d Swin-Transformer;e ST-GAN

图13c至图13e依次为DnCNN,Swin-T以及ST-GAN网络模型的去噪结果。相比较传统的去噪方法,深度学习类方法在对噪声的去除上已经有了明显提升,边缘清晰,噪声残留少。但DnCNN压制噪声的过程中,同样对噪声与有效信号交叠严重的弱信号区域恢复不足,将有效信号作为噪声一同去除,导致局部构造信息丢失。由图13d可以看出,Swin-T在对噪声压制的性能上进一步提升,噪声残留少,同相轴连续清晰,并且PSNR与SSIM值均比其它方法高,但与图12a对比可以发现,去噪结果有着明显的过度平滑,细节信息未能正确恢复,一些同相轴信息属于假象。图13e为ST-GAN网络模型的去噪结果。对比其余4种方法的去噪结果,ST-GAN网络模型在滤除更多噪声的同时,避免了因过度平滑产生虚假同相轴的现象发生,减轻了对有效信号的损害,信号的局部结构以及有效信息得以正确恢复,证明了ST-GAN网络模型的优势。

图14为不同方法去噪后的残差剖面。图14a中含有较多的地震数据有效信息,说明小波变换去噪时损伤了有效信号。图14b中存在少量地震数据信号,噪声含量较少,说明字典学习去噪时对噪声压制不足。图14c与图14d噪声含量多,但同样包含地震数据细节信息,说明DnCNN与Swin-T在压制噪声的同时损伤了有效信号,无法正确恢复细节信息。图14e 含噪量较高的同时,只在局部区域包含较少的地震数据信号,说明ST-GAN网络模型在有效压制噪声的同时拥有更加优异的细节恢复和保持能力。

图14 不同方法去噪后的残差剖面a 小波变换; b 字典学习; c DnCNN; d Swin-Transformer; e ST-GAN

图15显示了原始数据、含噪数据以及不同去噪方法的二维中心化频谱分析的结果。频谱图的中心为低频,离中心越远,频率越高,图像颜色代表能量大小,能量延伸方向一定程度指示地震数据剖面中同相轴方向与变化趋势。

图15 原始数据、含噪数据以及不同去噪方法处理后的二维中心化频谱分析a 原始数据; b 含噪数据; c 小波变换; d 字典学习; e DnCNN; f Swin-Transformer; g ST-GAN

从图15a中可以看出,地震数据的能量主要集中在低频,并向左上与右下方向延伸。经噪声干扰后(图15b),地震数据的能量在中心点处向四周弥散,整体能量衰弱。图15c是小波变换去噪后的频谱分析结果。能量四周弥散,未能正确收敛,高频能量缺失,说明去噪过程中损伤了地震数据有效信号。图15d 是字典学习去噪处理后的频谱分析结果,能量向左上与右下延伸,高频能量有所恢复,说明地震数据细节信息得到了一定恢复,但在低频中心处仍有能量发散,说明地震数据仍有噪声残留。图15e为DnCNN去噪处理后的频谱分析结果,高频能量恢复不足。图15f为Swin-T去噪处理后的频谱分析结果,图中低频区域能量集中,且明显向左上与右下方向延伸,与图15a相比,图15f中的能量过度收敛和过度延伸,说明在去噪过程中,有虚假的同相轴产生,细节信息被破坏。图15g为ST-GAN网络模型去噪处理后的频谱分析结果,图中低频能量收敛,高频能量恢复良好,未出现能量弥散与过度延伸现象,说明了该方法在有效压制噪声的同时对地震数据细节信息恢复良好,显示了ST-GAN网络模型的有效性。

3 结论

1) Transformer是全局操作,能与卷积神经网络优势互补。Transformer中的注意力单元是一种自适应滤波,匹配权重由两个patch间的相关性决定,拥有更强的建模能力。相比较小波变换、字典学习和DnCNN网络,Swin-Transformer拥有更强的特征提取能力,去噪效果更优。

2) ST-GAN引入生成对抗网络,损失函数由对抗损失与L1损失一同构成,提升了网络的细节恢复能力,缓解了L1损失造成的过度平滑问题。在噪声干扰严重的弱地震信号区域,局部细节纹理有效恢复,地震数据分辨率得以提高。

ST-GAN需要人工构建数据集进行训练,训练集的质量极大程度影响网络去噪性能。由于地震数据噪声复杂度高,因此如何构建映射关系使网络得到有效训练是ST-GAN网络模型的关键问题。在以后的工作中,将建立更加有效的训练集,以及改进网络使其拥有更强的鲁棒性与特征提取能力是进一步研究的方向。