基于U-Net深度神经网络的地震数据去噪研究

2020-04-17 03:39张攀龙张田涛岳景杭张庆松
金属矿山 2020年1期
关键词:采空区卷积噪声

张攀龙 李 尧 张田涛 岳景杭 董 锐 曹 帅 张庆松

(1.山东大学齐鲁交通学院,山东济南250061;2.山东大学岩土与结构工程研究中心,山东济南250061;3.齐鲁交通发展集团有限公司建设管理分公司,山东济南250061)

目前,我国矿产资源埋藏普遍较深,开采方式以地下开采为主[1]。在资源开采的早期阶段,工艺流程不规范、不先进导致开采方式的规划设计存在一定的盲目性,极少对采空区进行充填等后续操作,导致大量采空区存在。而该类缺乏详细资料标明的遗留采空区往往隐伏于采场下危及人员和设备安全,造成了重大安全隐患[2]。因此,精确探明隐伏采空区的位置、规模和形态,一方面对于指导矿山安全生产,大幅降低人员伤亡和经济损失具有重大意义,一方面对于推进深部矿产资源开发,提高采矿生产单位效益和资源利用率也大有裨益[3]。此外,由于矿产资源在开采后围岩被扰动,采空区的物理性质与其周围区域会存在较大差异,如弹性结构、电磁等,从而可以从物性差异的角度通过地球物理手段进行采空区探测[4]。当前,高效精确的物探技术,包括地震勘探、电法勘探、重力勘探和电磁勘探等都可以用于探测复杂的地下结构[5]。在该类方法中,由于地震波勘探法的高效便捷、环境影响小、探测范围广等优势被广泛应用于不良地质体探测,如隐伏采空区勘探等方面[6]。

在实际工作环境中,随着采空区域地质构造日趋复杂,工程人员在试验中所获取的地震勘探信号噪声也越来越复杂,能否有效去除采空区地震数据中的噪声已逐渐成为影响数据处理可靠性的关键因素之一[7]。多年来,不少学者一直致力于研究和改进地震信号的噪声去除方法。地震信号的噪声可以分为规则信号和不规则信号两类,去除时也应该根据不同的噪声类型和特点选取合理的方法[8-9]。近年来,传统去噪方法发展十分迅速,其中针对规则噪声的经典去噪方法包括基于FT 变换的方法、F-K 滤波法、F-X 滤波法,小波变换去噪法以及基于线性Radon 变换的噪声去除法;针对随机噪声的经典去噪方法包括K-L 变换法、F-X 域预测滤波法、奇异值分解和多项式拟合去噪法等。近年来又发展了时频分析域的曲波(Curvelet)变换法,S变换法、匹配追踪(MP)等去噪方法。在前人研究的基础上,二代曲波(Curvelet)变换于2002年被Candès 等提出[10],极大提高了曲波变换的计算速度。2003 年Pinnegar 等[11]从S 变换的窗函数入手,创造性地提出了一种双曲窗函数的广义S变换。在实际数据处理中,上述方法取得了一定的效果但也存在各自的不足,给信号去噪工作带来了很大难度。此外,随着人们对地震资料的高信噪比、高分辨率和高保真度的要求提高,传统方法的去噪能力越来越无法满足要求,亟需在其他领域另辟蹊径,寻求去除数据噪声的新思路、新方法。

目前,随着当前社会智能化程度的不断提高,机器学习已经被广泛运用于解决工程和科学领域的各种复杂问题。它吸取了人工智能、概率统计、控制和信息论、神经生物等学科的成果,是一种数据驱动的非线性算法。随着机器学习的快速发展,目前学术界涌现出相当多的智能算法,例如支持向量机、随机森林、贝叶斯网络、人工神经网络等方法。在机器学习的基础上,越来越多的领域开始引入深度学习算法来解决相关问题。数十年来,从最初神经元的引入到深度学习的不断发展,该领域一直受到不同学科领域学者的广泛关注。神经网络的概念可以追溯到1943 年McCulloch 和Pitts 的研究,他们关注点主要在于神经网络的强大计算能力[12]。1958 年,Rosenblatt F 创造性地提出了感知器的概念,开启了神经网络算法的研究[13]。之后,Rumelhart 等[14]提出了神经网络的反向传播算法。然而,由于计算的局限性,该类算法大多停留在理论阶段。进入21 世纪,Hinton等[15-17]发表了一系列研究论文并提出了深度学习的概念,使得神经网络算法重新成为专家学者关注的焦点。

在这其中,深度学习是一种近年来热门的多层神经网络学习算法,通过模拟人脑的分层模型结构,对输入的数据逐级提取从底层到高层的特征,从而建立一种数据驱动的非线性映射关系。近年来,已经有越来越多的学者开始使用深度学习方法来开展地震勘探领域的研究工作,包括数据处理、断层识别、断层扫描等。例如Zhang等[18]分别基于机器学习和深度学习方法实现了地质断层的自动识别和定位;Cao 等[19]使用改进的深度置信网络(DBN)从测井数据中识别碳酸盐,准确率高达83%,同时使用该网络处理地震数据以获取更多的信息;Huang等[20]设计了一个大数据平台,将卷积神经网络和不同机器学习模型相结合来提高断层的识别准确率;Olivier等[21]提出了一种基于稀疏加权的矩阵分解方法,通过有监督机器学习从相干背景噪声源中分离出有源干扰信号;Jia 等[22]提出了一种基于支持向量回归(SVR)的智能蒙特卡洛机器学习方法,用于地震数据的智能插值处理。此外,在国际勘探地球物理学家学会(SEG)第88 届年会上,也涌现出了相当多的将深度学习和地震勘探技术相结合的研究成果,这说明借鉴其它新兴学科领域的新研究方法来处理地球物理领域的相关问题是可行的。

本研究以金属矿山巷道采空区地震探测为研究背景,以地震数据研究为主要落脚点,在充分考虑网络运行速度和去噪效果的基础上,采用大量随机模型正演得到的模拟数据加入高斯白噪声作为网络输入,通过U-Net深度学习神经网络进行训练并输出去噪结果,形成由加噪数据到原始正演数据的非线性映射关系。该神经网络由卷积层、反卷积层、ReLU层和池化层组成,并由卷积子网和反卷积子网构成一种对称式的网络结构。训练完成后,分别采用主观和客观评价方法对噪声去除结果进行评估。

1 问题描述

由于在实际地震探测中获取的数据均含有不同程度的现场干扰噪声,这些噪声对后续的数据处理和成像均有很大的影响,为了进一步提高探测的准确度,去噪过程必不可少。

地震数据去噪的主要目的是从含有被噪声掩盖的数据中获得数据的原始信息,去噪越彻底,恢复的原始信息越全面,越有利于后续的数据处理和分析。地震数据去噪过程可表示为

其中,g( x,y )为含有噪声的数据,为加入了高斯白噪声的地震记录;f( x,y )为不含任何噪声的地震记录;η( x,y )为添加的噪声数据[23]。地震数据去噪就是要将添加部分的噪声尽可能多地去除,得到原始输入数据的估计,并使得结果尽可能接近模型正演数据。

根据所研究问题的特点,本研究发现,地震去噪过程实际上是寻找加噪数据和期望数据之间的非线性映射关系的过程。深度学习方法的优势在于能够挖掘海量数据之间复杂关系,因而可以将其引入地震数据去噪中。去噪过程中的关键点在于构建高质高量的数据集以及选取适宜的神经网络。首先深度学习是以海量数据为基础,挖掘数据抽象特征和寻找复杂映射关系的一类新方法,大量的数据有利于充分挖掘加噪数据和原始数据之间的非线性关系,对于提升去噪效果作用显著。另外采用合理的网络结构不仅可以减少GPU 运算时间和内存占用,而且在学习噪声数据特征与充分整合映射关系方面具有显著优势,因此寻求合适的神经网络结构对于去噪问题的解决至关重要。

结合上述分析,采用深度学习方法的地震数据去噪过程如图1 所示。输入端是加噪之后的正演数据,通过网络学习后得到去噪结果。比较期望输出(也就是标签)和实际输出的差值(损失函数值),并逐层反向传播梯度从而更新网络参数,以达到学习目的即损失函数值最小,此时可以认为实际输出最接近预测输出,从而达到去噪目标。

2 神经网络原理

2.1 卷积神经网络

卷积神经网络(Convolution Neural Network,CNN)最初是根据人类天然形成的视觉系统提出的,在进行图像识别和特征提取方面具有天然优势。1989 年LeCun 最早提出“卷积”一词用来描述该神经网络结构,卷积神经网络也由此得名[24]。卷积网络最大的特点是输出的特征图与输入图之间形成非线性的对应关系,因此可以将卷积神经网络视为一种复杂的滤波器。CNN 主要通过卷积、池化和全链接等操作来学习图像在不同方面的特征,这与通过人类视野认知图像的过程较为符合。人类在观察学习一幅图像时,首先关注它的亮度、对比度、颜色等宏观信息,其次是棱角、线条等局部信息,然后是对几何形状、花纹等更复杂信息的提取,最后才在人脑中形成关于图像的认知。图2 为典型卷积神经网络的主要组成部分。在图像去噪领域,随着卷积神经网络的不断发展,也涌现出了一大批包括BMD[25]、NCSR[26]、WNNM[27]等在内的多种图像去噪算法,该类算法的去噪结果都优于传统图像去噪算法的处理效果。

2.2 U-Net深度神经网络

U-Net深度神经网络是卷积神经网络的一种,它最早被应用于医学图像的语义分割。得益于卷积神经网络在图像处理领域的种种优势,它目前已经成为深度学习领域重要的应用方法之一。该网络模型是一种改进的全卷积网络结构,因该结构画出来形似字母U 而得名。典型的U-Net 神经网络如图3 所示。压缩通道(Contracting Path)和扩展通道(Expansive Path)(分别称之为编码和解码)是该神经网络的主要结构。其中,压缩通道是典型的卷积神经网络结构,通过重复采用卷积、池化等不同操作步骤将输入的图像进行处理。每经过一次卷积,特征图的维数增大一倍以便于网络从不同层次提取图像特征。而每经过一次池化操作,特征图的尺寸变小,一方面减小了网络的复杂程度,另一方面有助于提取图中的主要纹理特征。对于扩展通道,首先进行一次与卷积操作逻辑相反的反卷积运算,然后将对应步骤的压缩通道得到的特征图进行拼接,重新组成一个二倍于该特征图维数的新特征图,再采用卷积层进行上采样,并不断进行重复,最终输出与原来输入图像大小一致的结果图。这种适用于图像处理的网络结构同样可以用来处理类似数据形式的地震探测数据,因为图像只是矩阵可视化之后的结果,二者本质上并无区别。

U-Net网络结构具有如下特点:

首先,该模型可认为是一个编码和解码的网络结构,其中压缩通道是一个编码器,主要用于提取图像不同层次的结构特征,例如边角、颜色、线条、纹理等信息;扩展通道则是一个解码器,主要用于还原图像的结构信息。并且该网络层与层之间通常采用较多的卷积核进行运算,这样能够充分挖掘数据之间的联系,有利于模型全面多样地学习图像特征。

其次,该网络模型的对称式结构让卷积和反卷积操作更加直观、合理,另外多次进行的拼接操作不仅能从形式上还原数据,也帮助模型能够从图像的细部特征学习得到更加接近于预测结果的输出图。

最后,该模型在训练时采用批量学习方式可以大大加快学习进度,缩短训练时间。该网络采取有监督学习模式,从含噪数据中随机获取小批量的数据集当作训练数据,计算与训练后的输出数据之间的网络损失,并通过随机梯度优化法进行网络参数调整。

2.3 卷积层

卷积是全卷积神经网络U-Net 的核心步骤。本研究将每个模型正演得到的地震数据视为二维矩阵处理,因此所用到的卷积为二维卷积,即采用离散的二维滤波器(卷积核)与二维矩阵进行卷积操作。二维卷积公式为[20]

该函数在生物学上类似于神经元信号激励,其优点在于不容易产生梯度爆炸现象,具有一定的稀疏性,导数计算速度快。

此外,在训练过程中,不同的卷积核可以提取图像矩阵中不同的特征,例如边角、曲线、颜色结构等信息,在深层卷积神经网络中,卷积操作可以提取出从低级到高级的不同复杂特征。另外考虑到对特征图进行卷积运算后会减小下一层特征图的大小,为了避免该影响,在卷积运算前先采用补边的方式进行扩展,具体方式根据卷积核尺寸不同而略有不同。例如卷积核尺寸为kernel size,则需要扩展的零矩阵尺寸为上下左右各(kernel size-1)/2 行或列。具体过程如图4 所示。卷积操作时将卷积核从左上角向右滑动,滑动步长设定为1 个像素点,范围为W×H,分别为特征图的宽和高。

为了使得输入和输出的数据形式不发生变化,在经过压缩通道后,需要使用反卷积和拼接操作对数据进行扩展,如图3中部和右侧箭头所示。

2.4 池化层

池化别名下采样或者降采样,它是在上一步训练的基础上将特征图降维,压缩数据量和减少参数量的一种主要手段,采用该方法可以明显减少过拟合的可能性并且提高模型的鲁棒性。池化一般可以分为平均池化和最大池化。前者是对邻域内特征点取平均值,可以较好地保留整体数据信息,更明显地突出背景信息。后者是对数据邻域内的特征点取最大值,这样可以尽可能多地保留图像的纹理和结构特征,更能反映整体的结构信息,二者各有优势。图5所示分别是为最大池化和平均池化的处理过程。

本研究选择最大池化方法。根据地震数据的特征可知,科研人员关注的重点在于同相轴本身斜率以及出现的位置,对于除此之外的背景区域关注度并不高。因此,当选择最大池化方法时,可以更有效地提取同相轴的位置和形态信息,同时弱化不相干的背景信息,尽可能完整地保留图像的结构特征。

2.5 深度加权

地震数据虽然在本质上与图像数据类似,但两者也有一定的区别。具体表现为:一方面,地震数据呈现出明显的纵向和横向关联性,纵向关联是指同一道的数据在时间纵轴上具有连续性,横向关联是指同一时刻各个道集接收到的数据也具有一定的相关性;另一方面,一般而言通过试验或者正演获取的地震数据反映的浅层信息更为准确丰富,但是由于地震波的衰减特性和大地的滤波特性,实际上检波器收集到的深层信息十分有限。

为了更好地提取深层次的反射信息,在该网络输入数据时除了加噪的地震数据外,增加了一个深度加权信息层(与输入数据大小一致的矩阵,越靠近底部数值越大),使得输入数据的通道数变为2,从而在学习过程中使网络更能充分地挖掘深部信息,提高数据去噪效果。

3 训练和测试细节

深度学习的训练过程需要大量的数据输入和快速高效的计算平台。一方面海量的数据有助于充分挖掘复杂的非线性映射关系,另一方面数据量的提升对于计算平台的性能也提出了更高的要求。而在当前的计算硬件中,由于图形处理单元(Graphics Processing Unit,GPU)在高效并行和密集运算方面显现出巨大优势,已经逐渐成为深度学习的首选计算平台。因此本研究选用在GPU 上实现地震数据去噪的网络学习,所采用硬件为两张NVIDIA Tesla P100协同工作,同时使用Pytorch深度学习框架进行训练。

3.1 数据集

基于本研究探测金属矿山采空区的工程背景,在获取训练所需的数据集时,一方面考虑到模型的合理性,采用按照一定规则“随机”生成的地下采空区地质模型作为正演数据来源;另一方面,考虑到地震波在实际地层中的传播,采用二维弹性波正演方法获取数据集。该数据集一共包括1 000 个随机生成的采空区模型,并获得了2 000组正演数据(包括X和Y 方向),其中包括1 600 组训练数据和200 组验证数据。为进一步评估该网络的去噪性能,又将剩余的200组数据用于去噪结果评价和测试。

图6 所示是生成的代表性地质模型。图7 对应正演获取的数据结果。为了更直观地看出采空区反射信息,所采用的训练数据均为在原始数据基础上去掉直达波之后的结果。

3.2 数据预处理

在获取了训练数据以后,针对本研究去噪问题,需要向该数据集中加入噪声。在实际地震数据中,噪声的来源和分布比较复杂。为简单起见,本研究对去掉直达波后的地震数据加入高斯白噪声,并以此作为输入数据。高斯白噪声从统计学上来看是随机噪声的一种,且频谱分量均服从均匀分布,幅度服从高斯分布,在处理未知分布的噪声时可以认为是一种相对理想的信号[28-29]。此外,由于不同地质模型获取的数据大小存在差异,为了消除由于数据来源不同引起的差异化并便于进行综合对比,将所有获取的数据按照如下规则进行归一化处理:

式中,D为归一化之前的数据;Dmin为该数据组的最小值;Dmax表示该数据组的最大值;Dˉ为归一化后的数据。

3.3 损失函数

在循环迭代过程中,为了更新、调整层与层之间的权重值,需要有一个参数用来估计实际输出数据和预期输出数据之间的不一致程度,即损失函数。它是一个非负值函数,函数值越小代表实际输出和预期输出越接近,学习效果越好,最终的训练目的是使得误差函数趋近于0。本研究采用均方误差函数MSE来作为网络更新的损失函数,具体公式为

式中,Yij为实际输出数据;为预期输出数据;W和H分别表示数据体的宽和高。

3.3 网络超参数设置

本研究神经网络的具体参数设置为:①初始学习率设置为0.1,衰减系数为0.9;②动量参数为0.9;③权重衰减系数为0.000 1;④卷积核尺寸为3*3,卷积步长为1;⑤优化器为随机梯度下降法。

4 训练结果分析

4.1 U-Net神经网络的去噪结果

从输入数据到预测结束,1 600 组正演数据训练过程共计花费35 h,迭代中的批量大小为8,处理一组数据平均耗时70 s。得到的去噪结果如图8所示。

由图8可知:经过网络训练后基本上所有的噪声干扰都被去除,放大图形细节后依然很难看出噪声存在。

图9 为网络训练过程中的误差曲线图。从该图可以看出随着迭代次数的增加,误差整体呈现逐渐降低的趋势。其中在前45 次迭代过程中,误差下降幅度是整个训练过程中最大的一部分。在第75次迭代之后,误差基本不再有较大范围的变动而趋于稳定,推测原因是在网络训练的初期,学习范围较小导致数据包含的特征较少,因此学习效率很高。但是随着迭代次数的增加,数据范围逐渐变大使得数据特征提取变得越来越困难,因此后期误差基本不再发生变化。

图10为网络验证过程中的误差曲线图。从该图可以看出随迭代次数的增加,误差曲线走势基本和图9 训练过程误差走势图一致。这是因为每训练完一次迭代之后,就进行一次验证,此时采用的网络参数都是按照训练集中的数据学习得来的,不会有很大出入。但由于更换数据集(训练集到验证集),得到的损失函数曲线也不如训练集中的曲线光滑。

4.2 F-X方法的去噪结果

为了对比U-Net神经网络的去噪结果,采用传统F-X预测滤波方法对同样的加噪数据进行去噪,结果如图11所示。

由图11 可知:尽管F-X 预测滤波法可以在一定程度上去除噪声,但是在没有反射波存在的背景部分去噪效果不理想;另外,观察第4部分可以发现,去掉的部分数据其实也包含了很多有效的反射波信息,这在一定程度上违背了去噪的初衷,即在不影响数据质量的情况下去除无关信息。

4.3 去噪效果评价和对比

由以上两种方法的去噪结果可以直观看出,神经网络的去噪效果优于传统F-X 方法。此外,本研究还采用主观评价和客观评价相结合的方式对两者的去噪效果进行评估。主观评价是邀请10名不相干人员从人眼直观感受方面对两种方法的去噪效果进行判断。随机抽取了10幅加噪数据图以及对应的神经网络去噪图像和F-X 预测滤波去噪后的图像分发给众人(结果图中并不显示使用哪种方法),同时采用满分10 分的打分制来评价去噪效果,最终汇总并求平均值如表1 所示。可以发现前者的评分明显高于后者,说明从主观方面来看,使用深度神经网络的去噪效果更优。

?

客观评价采用结构相似性指标(Structural Similarity,SSIM)作为评判标准。该指标可从图像的亮度、对比度和结构三方面进行相似程度判断,分值范围为0~1,越接近1 说明两幅图像越相近。计算公式为[30]

其中,x和y分别为两幅图像的数据;μx和μy分别为指x 和y 图像的均值;σxy为x 和y 图像的协方差和分别为x 和y 图像的方差;c1和c2为两个常数,避免除零。

本研究采用SSIM评价去噪结果和未加噪数据的相似程度,所得结果如表2所示。

?

此外,本研究还采用了信噪比对两种方法的去噪效果进行进一步评价。定义去噪后结果与正演模拟数据的差值为信号所含噪声,模拟数据与噪声能量的比值作为信噪比,可以利用该参数衡量去噪效果,信噪比越高证明去噪效果越好。计算公式为[31]

分析表1、表2可知:尽管评价去噪结果的手段和对象不同,但是3 种方法的评价结果却相当吻合,即使用U-Net 深度神经网络方法得到的去噪结果明显优于使用传统F-X滤波法的去噪结果。

5 结 语

有效的地震数据去噪是后续数据处理、分析、成像等步骤的基本前提和关键所在。本研究通过采用U-Net 深度神经网络方法对加入高斯白噪声的采空区地震波正演数据进行去噪处理,并在训练过程中进行深度加权以提取深层反射信息,获得了相较于传统F-X 预测滤波方法效果更好的去噪结果,表明该网络对于地震数据去噪处理具有很强的适用性。后续研究中一方面采用更多的不同种类、不同强度的噪声进行训练并继续改进网络结构,例如椒盐噪声或者实际噪声等;二是通过调整训练数据集大小、数据格式和网络超参数来寻找最高效的训练手段;此外,当前采用的训练仍然是有监督学习,需要提供大量与输入数据对应的期望输出数据,可以继续借鉴深度学习的思路并考虑使用无监督学习方法实现海量无标签数据的特征学习,从而提高该方法对于实际数据处理的适用性。

猜你喜欢
采空区卷积噪声
老采空区建设场地采空塌陷地质灾害及防治
瞬变电磁法在煤矿采空区探测中的应用
基于3D-Winograd的快速卷积算法设计及FPGA实现
噪声可退化且依赖于状态和分布的平均场博弈
卷积神经网络的分析与设计
从滤波器理解卷积
基于傅里叶域卷积表示的目标跟踪算法
控制噪声有妙法
某矿山采空区处理方案
回风井底附近采空区防灭火技术探讨