周少辉 蒋海昆 李 健 曲均浩
郑晨晨1) 李亚军1) 张志慧1) 郭宗斌1)
随着社会经济的快速发展,近年来各种组合爆破、矿区塌陷以及地质灾害等非天然地震事件的记录逐渐增多,仅2018年就发生多次造成重大人员伤亡和财产损失的非天然地震事件,如山东郓城龙郓煤矿 “10·20”冲击地压事件、金沙江两岸滑坡致堰塞湖事件等。与此同时,随着中国数字地震观测系统技术的高速发展,台站密度逐渐增大,地震监测能力明显提高,除能够监测各类天然地震事件外,也能够有效捕获到更多各类震动事件的信号。然而一直以来,各类事件发生后的快速识别主要是靠监测速报人员根据自身经验判定,并没有普适的事件类型判据,故曾多次出现天然地震与非天然地震识别困难的情况,如2015年山东平邑ML3.9石膏矿塌陷事件等。为了在震后第一时间向政府和社会提供准确的信息并平息不必要的社会恐慌,有必要探寻震后快速识别各类事件的方法。
近年来,许多学者对天然与非天然地震的识别分类方法开展了相关研究,例如运用多变量统计分析、BP神经网络、v-SVC算法、逐步代价最小决策法等识别地震和工业爆破(边银菊等,2002; Fahetal.,2002; 黄汉明等,2010; 张博,2013; 王军,2018),采用可视化方法来识别地震与人工爆破(田野,2015),利用卷积神经网络通过对梅尔频率倒谱图的学习识别地震与爆破(陈润航等,2019)等。
以上研究各有特色,均取得了良好效果。但由于问题本身的复杂性,以上研究并未将事件记录的全部信息直接用于事件判定,而是首先从事件记录中提取某些特征,即对数据进行了降维处理,这不但增加了处理过程的复杂性,且损失了大量的原始信息,易陷入局部最优的情形。同时,以上研究找寻出的识别判据往往需要确定事件的时空等基本参数后才能进一步通过计算求得,响应及时性不高。因此,为尽可能缩短事件发生到确认事件类型所需的时间,有必要从事件记录的全部信息中直接提取可识别天然地震与非天然地震事件的特征,系统研究天然地震与非天然地震之间具有普适特点的识别标准,并将其实用化,为实际地震速报工作提供技术支撑。
目前,深度学习在图像识别、语音检测、机器翻译、自动驾驶等领域均取得了较好的应用效果。对于图像信号分类判定,深度学习可直接对图像记录所包含的全部组合信息进行学习,信息量更足,且比人工提取的单一特征更接近实际(孙志军等,2012; Moyano,2017; 孙瑜阳,2018)。三通道的测震连续波形数据在数据量和数据特征上与图像数据有一定的相似性; 同时,国内外已有部分学者率先将深度学习方法应用于直接从原始地震波形中提取震相特征以识别地震信号(Peroletal.,2018; Rossetal.,2018; 贾佳等,2019; 赵明等,2019)。蒋一然等(2019)利用深度学习技术设计出2种分类器,并实现了地震P波、S波震相与到时的精确识别拾取。以上研究表明,利用深度学习识别非天然事件具有可行性。
为快速高效识别天然与非天然地震事件,本文在前人研究的基础上应用深度学习技术,尝试使用可自动提取并可组合底层特征的卷积神经网络模型(付超等,2018)实现对事件原始波形记录的学习。研究中,选取记录质量较高、未被噪声淹没的包含事件记录全部信息的地震波形作为模型训练与测试的输入数据进行深度学习训练,而非预先提取若干判据或部分数据进行降维使用。之后,使用训练好的卷积神经网络结构建立识别天然地震与爆破、塌陷事件类型的分类器,并对其进行以单个事件为单元的事件类型判定测试,全面评估卷积神经网络在事件类型判定识别中的实际效果,为事件类型的自动识别提供相关参考。
卷积神经网络是人工神经网络的延伸与发展,其通过反向传播算法训练网络中各个参数的权重,进而实现对原始数据的深度学习并获取其普适特征(陈超等,2019)。卷积神经网络除具有容错性较好、自适应性与自学能力较强等传统神经网络所具备的优点外,其自身具有可将图像直接作为网络输入、可自动识别图像特征、参数估计数量较少、采用权值共享网络结构以降低模型复杂度等优势,使得其识别图像的效率和准确度均非常高。
卷积神经网络的主要模型结构由卷积层、降采样层(也称池化层、下采样层)与全连接层构成。在卷积层中,主要使用可学习的卷积核与上一层输出的特征图进行卷积运算,然后通过激活函数传递给下一层。卷积层中各输出特征图可通过式(1)计算:
(1)
在降采样层中实现对输入特征图的降采样操作,以减少网络需要学习的参数量且需同时保证保留有用的图片特征信息。一般而言,常用的降采样方法主要有最大池化法(取局部接受域中值最大的点)、均值池化法(取局部接受域中的所有值的均值)和随机池化法(随机选取局部接受域中的某一值)等。降采样层中各输出特征图可通过式(2)计算:
(2)
其中,down为降采样函数,每一输出特征图均对应一个b与权重系数β。
全连接层位于网络结构的尾端,实现对前面逐层变换与映射提取特征的回归分类处理; 每个神经元通过一组权值被连接到上一层特征面的局部区域,随后对该局部区域进行加权并传递给激活函数即可获得相应输出,现有研究往往采用softmax函数提供分类输出功能。
目前性能较好的主流卷积神经网络结构主要有LeNet-5(LeCunetal.,1998,2014)、AlexNet(Krizhevskyetal.,2012)、VGG(Simonyanetal.,2014)和GoogLeNet(Szegedyetal.,2015)等。其中,早期研发的LeNet-5结构虽然在手写字符识别领域取得了巨大成功,但其所需训练集规模较大,且存在过拟合以及对计算机硬件要求高等问题,并不适用于理论研究过程中的图片识别。因此,本文采用AlexNet、VGG和GoogLeNet 3种结构进行训练测试对比。
1.1.1 AlexNet卷积神经网络结构模型
Krizhevsky等(2012)提出的AlexNet卷积网络结构主体包含8个学习层、5个卷积层和3个全连接层,共包含约65万个神经元以及6i000万个可训练参数。同时,为实现训练更深的网络,其采用RELU函数作为激活函数,以此避免在训练过程中当输入的x过大或过小时函数输出趋于饱和(即非常接近1或-1)的问题; 同时,由于RELU函数属于非线性的非饱和函数,这种扭曲线性函数不但保留了非线性的表达能力,而且由于其具有线性性质,能够有效避免斜率过小导致的收敛速度慢等问题,提高了训练速度。此外,为防止加深网络时引起过拟合现象,在训练过程中采用Dropout技术将中间层的某些神经元随机置为0(即删除某些神经元),使模型更具有稳健性,进而减少过拟合及陷入局部最优的问题,保证卷积神经网络的学习能力和泛化性能。
在该方法中,图像特征的提取与分类通过训练一个端对端的卷积神经网络实现,且采用Dropout技术解决网络在训练过程中的过拟合以及陷入局部最优的问题。值得注意的是,Dropout技术需在图像处理过程中不断增加训练集样本,大量实验证明,l20万个训练样本才足以成功训练一个网络,这显然对计算机硬件要求很高,故AlexNet卷积网络结构采用多GPU并行训练的方法将网络分布在2个GPU上,即每个GPU中放置一半核(或神经元)。这种结构使模型的训练速度提升了几倍,大大减少了训练时间,提高了图像识别的效率。
1.1.2 VGG卷积神经网络结构模型
增加网络结构的深度能够有效提升图像分类的准确率(Bengioetal.,2013),理论上深度网络结构不仅可以促进特征的重复利用,同时也能够获取高层表达中更抽象的特征。Simonyan等(2014)在AlexNet的基础上进一步开发出一种全新的网络结构模型——VGG,该模型主要通过在现有的网络结构中不断增加具有3×3卷积核的卷积层以增加网络的深度。大量实验表明,VGG模型的网络层数为16~19层时(即VGG16~VGG19网络结构模型)模型的性能最优。
VGG模型的结构非常简洁,其使用连续的几个3×3卷积核代替AlexNet中一个具有较大卷积核的卷积层。显然,对于给定的输入图片,使用更小的卷积核多次扫描图片以组合特征的性能远远优于单纯使用一个大卷积核。因此,VGG模型不仅可减少参数的数量,且能够使决策函数更具判别性,在一定程度上提升了神经网络的效果。但由于VGG模型的深度较深,网络结构也较为复杂,因此,在训练过程中需耗费更多的计算资源,训练时间长,并且不能无限制地加深网络,因为在网络加深到一定层数之后就会出现训练效果退化、梯度消逝或梯度爆炸等问题。
1.1.3 GoogLeNet卷积神经网络结构模型
AlexNet、VGG等结构往往通过增大网络结构的深度以获取最佳训练效果,但一味地增加深度也会带来很多负面作用。因此,Szegedy等(2015)提出从其他角度来提升训练效果,即高效利用计算资源,基于相同的计算量提取出更多特征,进而提升训练效果。
为提取更多的图片特征,GoogLeNet卷积神经网络结构分别采用1×1、3×3、5×5i3种不同类型的卷积核,首先找寻图像的最优局部稀疏结构,随后通过增加网络的宽度和深度,最终实现在保持计算量基本不变的前提下提取更多特性,进而提升训练效果。同时,为了优化网络质量,采用Hebbian原理和多尺度处理,该结构大大提升了计算资源的利用率。但该结构的网络结构比较复杂,对硬件要求较高,训练时间长。
快速高效识别天然地震和爆破、塌陷事件的分类器主要由2个模块组成: 基于单个事件的单个台站波形记录的训练模块和基于单个事件的多个台站波形记录的测试模块。
图1 基于单个事件的单个台站波形记录的训练模块图Fig. 1 Training block of a single station waveform record based on a single event.
图1 为基于单个事件的单个台站波形记录的训练模块图,训练模块的核心步骤主要包括:
(1)从研究数据中以单个事件的单个台站记录波形为基本单位截取波形,且提取其中记录较好、特征明显的有效波形,进而形成训练波形。
(2)对训练波形添加相应的事件类型标签。
(3)对各类型事件波形按8︰2的比例随机分为训练集与测试集。
(4)分别使用不同结构的卷积神经网络进行训练与测试。在单次识别训练过程中,根据迭代次数随机选择计算测试集代价函数Loss(所有样本点预测值与真实值之差的和,也称测试集Loss)和准确率的次数。当测试集代价函数曲线不再下降且其识别准确率几乎不变时停止训练。随后根据训练结果,通过改进迭代次数、梯度下降速度等参数反复训练,直至每一类网络取得最优识别结果为止。
(5)评估各类卷积网络结构的效能。
根据上述训练结果,即可初步获得各类卷积神经网络结构对各类事件自动识别的效果,进而选择最优卷积神经网络结构的训练结果建立天然地震事件与爆破、塌陷事件的波形识别分类器,对各类事件进行识别判定。
图2 为基于单个事件的多个台站波形记录的测试模块图,测试模块的核心步骤主要包括:
(1)以单个事件为基本单元,通过预处理获取震中距最小的5个台站的波形记录,组成测试波形部分。
(2)使用训练模块得到的分类器,以事件为识别单元对测试波形进行分类识别。对每个事件均采用综合判定方法进行识别,5个台站中有3个以上台站的波形被识别出的事件类型即为本事件的判定类型。
(3)分析一系列事件的最终判定结果并计算出该卷积神经网络分类器识别事件类型的准确率,评估该方法的实际效果。
图2 基于单个事件多个台站波形记录的测试模块图Fig. 2 Test block of multiple station waveform records based on a single event.
本文利用山东地震台网中心2015年1月—2018年12月记录的M>0.7事件的波形记录进行训练,观测台站为128个,各台站记录的波形均包括垂直、EW、SN 三分向。2015年1月—2018年12月山东地震台网记录的M>0.7事件共1i653个(图3),其中包括天然地震1i384个、爆破132个、塌陷137个。近年来,山东地区存在长岛震群、乳山震群及邹城塌陷等短时间内集中发生的事件。2015年1月—2018年12月,长岛震群共包括798个M>0.7地震,乳山震群共包括257个M>0.7地震,邹城塌陷共包括100个M>0.7塌陷事件。为避免由于某一区域的事件过多而淹没其他区域事件的识别特征并保证训练过程中样本的普适性,在长岛震群、乳山震群、邹城塌陷事件中分别随机选取20个事件的记录波形进行训练,最终共选取558个事件记录进行训练。
图3 2015年1月—2018年12月山东台网记录的M≥0.7各类事件的空间分布图Fig. 3 Spatial distribution of M ≥0.7 events recorded by Shandong seismic network from Jan. 2015 to Dec. 2018.
为满足快速识别的要求、尽可能缩短事件判定所需时间,本文只选取每个事件P波到时最早的5个台站的波形记录为训练数据,波形时间窗为30s,基本能包含全部P、S波,以其三分量波形组成一组训练数据同时进行训练,以保证数据的客观性。在预处理阶段去除由于噪声干扰等明显为无效信号的单台记录后,共得到1i446份有效波形记录,其中属于天然地震事件的有848份、人工爆破事件386份、塌陷事件212份。
表1 各类卷积神经网络结构的训练结果统计表Table1 Statistical table of training results of various CNN structures
图4 AlexNet卷积神经网络结构的训练结果Fig. 4 Training result of the AlexNet.
表1 为AlexNet、VGG16、VGG19、GoogLeNet 4种结构的卷积神经网络的最终训练结果统计。可见,最终各类结构对训练集与测试集的识别准确率均达到93%以上。其中,AlexNet网络结构的识别准确率最高,其训练集准确率高达100%,测试集为98.51%,且未发生过拟合(图4); VGG16、VGG19网络结构的准确率次之,而GoogLeNet网络结构的识别准确率相对较低。对于各类结构的训练集与测试集的代价函数而言,其最终均低于0.194。因此,利用人工智能深度学习可以很好地实现天然地震与爆破、塌陷等事件类型的自动识别,且AlexNet结构的卷积神经网络学习训练效果最佳。
图4—7分别为AlexNet、VGG16、VGG19、GoogLeNet 4种结构卷积神经网络的详细训练过程图(训练集和测试集的准确率及代价函数随训练次数的变化曲线)。由图可知,随着训练次数的增加,各个网络的训练集与测试集的准确率及代价函数的走势曲线基本一致; 所有网络的训练集和验证集的准确率均随着训练次数的增加逐渐上升并超越90%,最终稳定在某一数值附近; 与此同时,代价函数曲线快速下降并最终稳定在相对较小的数值附近不再变化; 值得注意的是,从训练集和测试集的代价函数曲线也可明显看出,VGG16、VGG19、GoogLeNet分别在300、450、300次迭代训练后出现过拟合现象,且在这此后测试集的准确率和代价函数趋于稳定,几乎未发生明显变化; 而AlexNet未出现明显过拟合现象。
图5 VGG16卷积神经网络结构的训练结果Fig. 5 Training result of the VGG16.
图6 VGG19卷积神经网络结构的训练结果Fig. 6 Training result of the VGG19.
图7 GoogLeNet卷积神经网络结构的训练结果Fig. 7 Training result of the GoogLeNet.
上述训练结果的准确率只是各个网络结构在删除质量较差的波形记录后,以单个台站的单个波形记录为基本单元进行训练识别的结果。其识别准确率是理想化条件下的结果,并不完全贴近地震台网实际运行中事件类型实时判定的情形,因而有必要开展以单个事件为单元、基于多个台站波形记录综合判定事件类型的测试,以更全面地评估卷积神经网络在事件类型识别中的实际效果。
为检验深度学习卷积神经网络在数字地震台网实时运行过程中的事件判别效能,选取2019年4月1日—7月31日期间山东台网实时触发的所有M≥0.7事件(海域事件只选取距离陆地线50km范围内的事件)进行以事件为单元的类型判定测试。为尽可能接近实时判别模式,保证判定过程的时间效率,针对每个事件只选择震中距最小的5个台站(不考虑台站波形记录的质量)进行判断,如果有3个以上台站的波形被判定为某类事件则认定其为该类事件; 反之,如果出现分别有2个台站波形被判定为某类事件,而最后1个台站认为其属于另一类型,则认定该事件的类型难以判定。
2019年4月1日—7月31日期间,山东台网共实时触发并记录110个M≥0.7事件,其中天然地震事件71个、爆破事件33个、塌陷事件6个。表2 为山东台网2019年4—7月实时触发M≥0.7事件的识别情况统计。整体而言,共有89个事件的类型识别准确,准确率约为80.9%; 16个事件识别错误,5个事件类型难以识别。具体到各个类型事件中,天然地震共有53个事件识别准确,准确率约为74.6%; 14个事件识别错误,4个类型难以识别; 爆破事件共有30个事件识别准确,准确率约为90.9%; 2个事件识别错误,1个事件类型难以识别; 6个塌陷事件均准确识别,准确率为100%。
表2 2019年4月1日—7月31日山东台网实时触发M≥0.7事件识别情况统计表Table2 Statistical table of identification of real-time triggering of M≥0.7 events of the Shandong seismic network in the period from Apr.1 to Jul.31,2019
(1)为快速高效地识别天然地震与爆破、塌陷事件的类型,本文应用深度学习技术中的卷积神经网络模型,设计了基于单个事件单个台站波形记录的深度学习训练模块和基于单个事件多个台站波形记录的实时测试模块; 在保证数据全面客观原始的基础上,以每个事件P波到时最早的5个台站记录到的三分量波形为输入,采用目前主流的几类卷积神经网络结构进行学习测试,并对比分析不同网络结构的学习效果,进而选取其中训练识别效果较好的卷积神经网络结构对其进行以单个事件为单元、基于多个台站波形记录综合判定事件类型的测试,以期更全面地评估卷积神经网络在事件类型识别中的实际效果。
(2)虽然本研究的样本数据量较少,但为保证3类事件训练样本选取的科学性,并未盲目地对所有记录进行学习,而是选取其中记录较好且能明显反映出所属事件波形特征的记录进行样本训练。因此,能够在较小的样本量下获得很高的准确率和较强的泛化能力,并降低人工标注的成本,在数据量不是绝对大的情况下可体现出明显的优势。在各类卷积神经网络结构的训练过程中,各个网络的训练集与测试集的准确率及代价函数走势曲线基本一致,准确率随训练次数的增加逐渐上升并超越90%,最终稳定在某一数值附近; 而代价函数曲线随着训练次数的增加快速下降并最终稳定在相对较小的数值附近不再变化。同时,除AlexNet之外的卷积神经网络结构均在训练过程中出现过拟合现象。最终各类结构对训练集与测试集的识别准确率均达到93%以上,其中AlexNet网络结构的识别准确率最高,VGG16、VGG19网络结构的准确率次之,而GoogLeNet网络结构的识别准确率相对较低; 各类结构训练集与测试集的代价函数最终均低于0.194。由此可知,理论上利用人工智能深度学习可以很好地实现天然地震与爆破、塌陷等事件类型的自动识别。
(3)为检验深度学习卷积神经网络在数字地震台网实时运行过程中的事件判别效能,开展了以单个事件为单元的基于多个台站波形记录综合判定事件类型的测试,以此更全面地评估卷积神经网络在事件类型识别中的实际效果。最终测试结果显示,在山东台网实时触发并记录的110个M≥0.7事件中,最终共有89个事件的类型被准确识别,准确率约为80.9%; 16个事件识别错误,5个事件类型难以识别。具体到各个类型事件中,天然地震共有53个事件被准确识别,准确率约为74.6%; 爆破事件共有30个事件被准确识别,准确率约为90.9%; 6个塌陷事件均被识别准确,准确率为100%。
可以明显看出,塌陷与爆破事件的识别准确率较高,基本已达到或超过目前地震台网日常工作中人工判定的识别准确率。天然地震的识别准确率相对较低,主要原因可能是由于为了尽可能接近实时判别模式、缩短判定所需时间,在本次单个事件识别模块中选取震中距最小的5个台站记录时并未前置波形记录质量判定模块,即使波形失真(如被背景噪声干扰淹没的真实事件波形,波形漂移、缺失某一分量的波形等)的台站记录也参与判定。而对于震级较小的天然地震,相对于爆破与塌陷事件而言其波形记录往往极易被噪声所淹没,这类被噪声淹没真实事件波形的台站记录在判定过程中几乎都会被判定为爆破,进而许多天然地震事件的事件类型最终被系统误判定为爆破。在18个错误识别的天然地震中,有高达13个事件都是因为部分台站记录波形失真而被判定为爆破或难以识别(5个台站记录中判定为爆破与地震的台站各占2个),若删除这类波形失真事件,则天然地震的识别准确率将提高至91.4%,而整体所有事件的识别准确率也将由80.9%变为91.7%。同时,由于部分天然事件发生在矿区,而矿区的地质条件往往为采空区,其事件波形在传播过程中经过采空区域时高频成分被吸收,最终台站的波形记录会部分表现出类似塌陷事件的波形记录特征,故最终被误判为塌陷。
综上所述,基于卷积神经网络的方法对天然地震与爆破、塌陷事件进行事件类型识别的识别准确率约为90%,与目前地震台网日常工作中人工判定的识别准确率接近。但值得注意的是,由于训练样本和测试样本较少,本次所得的结果并不一定能代表卷积神经网络的实际应用效果。此外,本文人工选取的样本原始事件必然会对训练结果产生一定的影响。因此,在未来的研究中需选取更多的相关数据进行系统训练,以提高卷积神经网络的识别精度并尽可能地消除人工选取所带来的主观性影响。