李良超, 刘海军*, 单维锋, 雷东兴, 袁静,陈俊, 王浩然, 袁国铭
1 防灾科技学院, 河北廊坊 065201
2 安徽省地震局, 合肥 230031
地磁学是以观测为基础的学科,地磁观测数据是开展地球基本磁场变化规律、震磁关系及地震预报等领域研究工作的基础(姚休义,2015;姚休义等,2018).我国已经建成了数字化地磁前兆观测网络,积累了大量的地磁时变观测数据(姚休义等,2018).高压直流(High Voltage Direct Current,HVDC)输电技术以其输电损耗低和输电距离远等优点,在电网建设中广泛使用.高压直流输电线和换流站周围会产生干扰磁场,这种干扰信号与地磁场正常信号一起被仪器记录下来(戴琛,2008;于长春等,2011).这种干扰磁场叠加在正常磁场之上,形成高压直流输电干扰.识别并清除地磁时变观测数据中的高压直流输电干扰,得到干净的地磁时变观测数据十分重要.由于高压直流输电干扰持续时间长短各异、干扰形态不一(杨兴悦等, 2020),在海量地磁时变观测数据中,其准确识别十分困难.
目前高压直流输电干扰事件识别方法主要有三类:(1)基于统计的方法(陈俊等,2014;杨学慧等,2020);(2)基于机器学习(Fan et al.,2022;Li,2016;Hsu et al.,2015)的方法;(3)基于深度学习的方法(Wang et al.,2017;Cui et al.,2016).基于统计的方法主要包括一阶差分、快速傅里叶变换、小波变换等方法.陈俊等(2014)通过挑选输电线两侧的台站作为基准台站,利用一阶差分计算观测值与基准台站的差值,当差值达到阈值时,将其识别为高压直流输电干扰,利用该方法识别高压直流输电干扰,其准确率达到了95%.杨学慧等(2020)使用一阶差分、参考分量斜率反算和线性插值等方法形成了一套自动识别地磁干扰的方法.基于统计方法的高压直流输电干扰识别方法均需要选择基准台站作为背景场,将地磁时变观测数据与背景场进行对比、统计,该类方法需要假设基准台站不受干扰,但对于很多地区来说,选择合适的基准台站十分困难.基于机器学习算法有支持向量机(Support Vector Machine, SVM)、动态时间规整(Dynamic Time Warping,DTW)、公共主成分分析等.Fan等(2022)使用带有径向基函数核函数的SVM设计了一个干扰识别模型.Hsu等(2015)提出动态时间规整算法,通过伸缩时间序列匹配计算两个时间序列之间的相似度来识别干扰波形.Li(2016)提出了一种基于公共主成分分析的多元时间序列准确高效的分类方法,试验结果表明该方法处理不同长度的多元时间序列更灵活和高效.王静等(2020)提出基于离散Gabor变换的磁暴识别算法.首先对地磁数据进行Gabor变换得到Gabor谱图,然后选择Gabor谱图的均值和方差作为特征,最后通过SVM实现对正常样本和磁暴样本的自动分类识别.算法对榆林等4个台站的正常与磁暴干扰样本进行分类,结果表明该算法对地磁正常样本和磁暴主相样本识别效果更好,而磁暴的初相和恢复相样本谱图的特征不明显,导致算法出现错误识别,因此该算法的识别性能受到人工特征设计的局限性影响.徐鹏深等(2018)提出了一种基于信号指纹的地磁异常识别算法.该算法包含指纹提取和指纹匹配两个阶段:在指纹提取阶段,采用短时傅里叶变换、小波变换和文本相似性哈希计算,将一定时间长度内的地磁波形数据转换为指纹;在指纹匹配阶段,对指纹索引进行聚类,使得波形相似的波形具有相同的指纹.在红山地磁台的地磁时变观测数据中的异常数据识别结果表明,该算法在识别干扰信号类型方面表现出色.对比基于统计方法,该方法避免了选择基准台站的困难问题.然而,该方法对于在指纹聚类后,异常数据的指纹类型需要人工判断,且对于频率单一的异常波形,需要研究者有针对的调整参数.人工干预一方面效率低下,另一方面,受研究人员主观因素影响较大,容易出现漏检、误检.地磁时变观测数据属于时间序列数据,而高压直流输电干扰的识别属于时间序列分类问题.目前深度学习中的一维卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆网络(Hochreiter and Schmidhuber,1997)以其出色的自动特征提取功能,被广泛应用于时间序列分类.目前应用于时间序列分类的一维卷积神经网络主要有全卷积网络模型(Full Convolutional Neural Networks,FCN)(Wang et al.,2017)、残差神经网络(Residual Network,ResNet)(Wang et al., 2017)等.近年来,国内的研究者将深度学习技术应用于高压直流输电干扰事件识别中.王军等(2021)将地震前兆台网观测时序数据保存为图像,通过CNN网络模型自动识别异常图像,验证了CNN网络应用于异常识别的可行性.Liu等(2022)则通过支持向量机、多层感知机和CNN分别构建了3种地磁干扰事件识别模型,结果显示CNN模型在地磁干扰事件的准确识别方面表现良好.本研究团队中的单维锋等(2023)将卷积神经网络和长短期记忆网络结合起来,提出了IICM-HVDCT-CNN-LSTM模型,并将其应用于高压直流输电干扰识别,其识别准确率达到92.94%.然而,这些深度学习模型虽然实现了高压直流输电干扰自动特征提取,却未考虑到干扰事件持续时间的差异,只能提取到固定时间尺度的干扰特征,导致模型在识别持续时间差异较大的高压直流输电干扰事件时,准确率不高.为了解决这一问题,Cui等(2016)提出了多尺度卷积网络(Multi-Scale Convolutional Neural Networks),通过等间隔降采样的方法得到输入样本的多尺度表示,并将多尺度样本输入到卷积神经网络中自动特征提取,并将多尺度特征融合,提高了识别的准确率(Zou et al.,2019),然而,通过等间隔降采样的方法生成多尺度数据时,原始数据中的噪声依然被保留下来,这会影响模型的识别性能.
为了能自动识别持续时间长短不一的高压直流输电干扰事件,本文先将地磁时变观测数据进行多尺度表示,再对每个尺度分别进行特征提取.考虑到数据中包含噪声,会干扰特征提取及分类效果,为尽可能抑制数据中的噪声,本文采用小波技术对地磁时变观测数据进行多尺度分解,保留每次小波分解后的低频分量作为地磁时变观测数据的多尺度表示.同时设计了含有多个输入分支的卷积网络模型,每个输入分支分别接收小波分解后的不同尺度的地磁时变观测样本,并采用卷积层对其进行特征提取,采用池化层对提取的特征进行降维,并添加CBAM(Convolutional Block Attention Module)注意力机制对不同尺度的特征进行自适应加权,最后利用全连接层和SoftMax函数进行分类.
本文试验数据由中国地震前兆台网中心提供,包含3年全国地磁时变观测数据干扰事件处理日志.其中地磁时变观测数据包含地磁场多个测项分量,包括水平H分量、垂直Z分量、磁偏角D分量和总强度F分量.蒋延林等(2014)和鲍海英等(2020)的研究工作表明,高压直流输电干扰主要表现在地磁时变观测数据垂直Z分量上,其他分量表现不明显(林秀娜等,2020).因此,本文选择地磁时变观测数据垂直Z分量数据作为试验数据.干扰事件处理日志包含由中国地震前兆台网中心标注的干扰开始时间、结束时间、台站、测点、测项和干扰类别等信息.本文只对高压直流输电干扰事件进行识别,因此制作样本时,干扰样本只选择高压直流输电干扰事件.
采用卷积神经网络识别高压直流输电干扰事件时,需要截取固定长度的地磁时变观测数据垂直Z分量作为样本的特征x.因此,需要确定合适的样本长度,样本长度过长,则会导致计算时间复杂度过高;样本长度过短,则无法包含完整的高压直流输电干扰事件.本文样本长度参考单维锋等(2023)的处理方法,对于正常地磁时变观测样本,选择连续2个小时没有任何干扰的地磁时变观测数据垂直Z分量,对于高压直流输电干扰样本,选择从干扰事件处理日志中,包含干扰起止位置的长度为2个小时的观测数据.最终,制作高压直流输电干扰事件样本和正常地磁时变观测样本各12896条,总计25792条样本.
样本制作完成后,接下来对样本特征x和样本的类别进行预处理.为了提高数据的可比较性,本文对特征x采用z-score进行规范化处理,如公式(1)所示:
(1)
其中,xi为第i个样本的特征,x′i为特征规范化后第i个样本特征,μ为所有样本特征的均值,σ为所有样本特征的标准差.
对类别的预处理为对类别进行编码.本文中的类别为两类,分别为正常地磁时变观测样本和高压直流输电干扰事件.本文将正常地磁时变观测样本编码为“0”,高压直流输电干扰事件编码为“1”.
数据处理完成后,接着划分样本集.本文采用分层采样的方法,在正常地磁时变观测样本和高压直流输电干扰样本中各随机选择80%作为训练样本,其余作为测试样本.最终的数据集如表1所示.
由于高压直流输电干扰事件持续时间不确定,为了自适应识别持续时间不同的高压直流输电干扰事件,需要生成多尺度样本.Cui等(2016)使用多次等间隔降采样的方法,对样本进行多尺度表示.这种等间隔降采样的方法不能抑制原始数据的噪声,影响识别性能.本文采用小波技术生成多尺度地磁时变观测样本,一方面实现了样本的多尺度表示,另一方面可以抑制噪声.图1展示了利用小波技术和等间隔降采样进行多尺度表示的对比效果.可以看出,直接采用等间隔降采样对数据进行多尺度表示时,原始样本中的噪声依然保留.而采用小波技术对样本进行多尺度表示时,原始数据中的噪声得到了一定程度的抑制,尤其是第三次采用小波技术分解与第三次等间隔降采样对比,小波技术抑制噪声效果尤其明显.
表1 高压直流输电干扰数据集Table 1 HVDC transmission disturbance dataset
小波技术通过将尺度函数和小波函数分别与样本进行卷积处理.尺度函数相当于一个低通滤波器,将尺度函数与样本进行卷积处理,然后进行一次下采样,得到地磁样本下采样后的近似部分(低频);而小波函数相当于一个高通滤波器,将小波函数与样本进行卷积处理,然后进行一次下采样,得到地磁时变观测样本下采样后的细节部分(高频).每进行一次小波分解,相当于进行一次高通滤波和一次低通滤波.在做完一次高低通的滤波操作之后,再对低频部分进行小波分解,直到分解到我们需要到的尺度为止.小波分解详细过程如图2所示,其中H和G代表尺度函数(低通滤波器)和小波函数(高通滤波器).滤波器将样本中的高、低频信息分离,cDi为第i次分解的高频部分,包含原始样本的细节部分,细节部分包含了样本的噪声;cAi是第i次分解的低频部分,包含原始样本的近似部分,近似部分蕴含着信号的特征(张学军等,2021).地磁时变观测垂直Z分量样本每经过1次小波分解,其近似部分长度均为上一次的一半.原始样本经过多次小波分解后,就得到多个长短不一的近似部分,在每次小波分解时,丢弃高频部分,只保留近似部分,将其作为原始样本的多尺度表示,抑制了原始样本中的噪声.图3展示了一个高压直流输电干扰事件样本及其经过三次离散小波分解后的近似部分.可以看出,一个样本进行3次离散小波分解后,样本的长短发生了变化,可以看作是3个不同尺度的样本,这3个不同尺度的样本均保留了原始高压直流输电干扰事件的“台阶”特征.
图1 小波技术与等间隔降采样方法对地磁时变观测样本多尺度表示效果对比
图2 地磁时变观测数据垂直Z分量离散小波分解过程
图3 高压直流输电干扰事件原始数据及经过3次小波分解的近似部分
地磁时变观测样本经过小波分解,得到原始样本的多尺度表示.为了提取每个尺度样本的特征,论文设计了一个含有多个输入分支的卷积神经网络,每个输入分支接收一个尺度的样本,使用卷积层和池化层的组合对其进行特征提取,最后,将每个分支提取到的特征连接起来,形成一个包含多个尺度特征的特征向量.通过这种模型设计,解决了高压直流输电干扰持续时间长短不一、特征提取困难的问题.
卷积神经网络(Convolutional Neural Network,CNN)具有自动特征提取功能,广泛应用于计算机视觉领域.CNN的基本结构由输入层、卷积层(Conv layer)、池化层(Pooling layer)、全连接层(Dense layer)和输出层等组成(LeCun et al.,1989;Krizhevsky et al.,2017).输入层接收需要卷积层提取特征的样本;卷积层通过多个卷积核与样本进行卷积,来提取输入样本的局部特征,生成带有特征信息的特征图;池化层通过降采样的方式减少特征图的空间尺寸并降低模型的计算量,池化层包含最大池化层和平均池化层,本文采用最大池化层(MaxPooling layer);全连接层由多个神经元构成,通过学习特征图的重要程度来执行分类任务,在CNN中起到分类器的作用;输出层采用SoftMax函数,计算每个类别的概率,并输出模型对每个类别的预测概率.多输入卷积神经网络(Multi-input Convolutional Neural Network,MCNN)是包含多个输入分支、多分支并行提取特征的卷积神经网络, MCNN通过输入多组数据,提取更多特征来提高分类性能.在本文高压直流输电干扰事件识别中,将小波分解的多尺度地磁时变观测样本作为MCNN的输入,每个分支通过堆叠卷积层和最大池化层来提取多尺度地磁时变观测样本的特征,得到多个特征图.通过堆叠多个卷积层和池化层,能提取到更高级的特征(王先圣和严珂, 2022),然后通过特征融合层(Concatenate layer),将多尺度特征进行融合.
每个卷积层中包含多个卷积核,每个卷积核都会输出一个特征图,因此,每个卷积层会输出多个通道的特征图.特征图的空间维度表示了一个卷积核在该样本提取的全部特征信息.在没有注意力机制的CNN中,经过卷积、池化层提取的特征图的权重是相同的(Hu et al.,2018;时文华等,2019),无法体现特征图的哪些通道、哪些空间特征更有助于分类.为了增强特征选择能力,本文在每个池化层后添加了CBAM(Convolutional Block Attention Module,CBAM)层(Woo et al., 2018).CBAM层包含通道注意力模块和空间注意力模块两个部分,接受前面池化层传递过来的特征图,分别在特征图的通道和空间两个独立的维度上自适应调整特征图的权重,并用该权重对特征图进行加权处理,来强化特征图中更有利于模型识别性能的特征,实现自适应特征细化.CBAM注意力机制结构如图4所示.
图5 CBAM-MCNN网络结构
本文把MCNN模型与CBAM注意力层相结合,称为CBAM-MCNN(Multi-input Convolutional Neural Networks based CBAM,CBAM-MCNN),其详细结构如图5所示.该模型包含多个输入分支,分别接受经过离散小波分解后得到的不同尺度的地磁时变观测样本,受VGG网络(Simonyan and Zisserman,2015)启发,本文在设计CBAM-MCNN时,每个分支包含3个特征提取单元,每个特征提取单元由2个一维卷积层、1个最大池化层和1个CBAM注意力层堆叠组成,其中,每个卷积层的卷积核尺寸全部设置为3×1,使用小尺寸的卷积核能提取到更细致的特征.在两个卷积层后使用最大池化层对卷积层提取的特征图进行降采样,新的特征图被输入到CBAM注意力层中,模型训练过程中,CBAM注意力层不断调整特征图的权重,使模型更关注重要特征.MCNN模型的每个分支都设置3个特征提取单元,这种组合实现了地磁时变观测样本特征的整合和增强.同时,参考VGG模型,本文在不同特征提取单元中卷积层卷积核数量分别为32,64和128.利用多个分支分别提取到不同尺度样本的特征后,用拼接层将所有分支的特征拼接起来,作为最终的特征向量,该向量包含了输入样本的多个尺度的特征.最后将该多尺度特征输入全连接层和输出层,输出层激活函数选择SoftMax,用于对样本进行分类.
为了验证CBAM-MCNN模型的识别性能,论文采用准确率(Accuracy)和F1值作为模型性能的评价指标.这两个指标均可以从高压直流输电干扰事件识别结果的混淆矩阵中得出.表2为高压直流输电干扰事件识别结果的混淆矩阵,用于展示高压直流输电干扰事件测试样本的分类情况.其中TP(True Positive)表示真实类别和预测类别都是高压直流输电干扰事件的样本数量,TN(True Negative)表示真实类别和预测类别都为正常地磁时变观测样本的数量,FN(False Negative)为将高压直流输电干扰事件识别为正常地磁时变观测样本的数量,FP(False Positive)为将正常地磁时变观测样本识别为高压直流输电干扰事件的数量.
从表2的混淆矩阵中可以衍生出四个评价指标:准确率(Accuracy)、查全率(Recall)、查准率(Precision)和F1值.准确率表示模型分类正确的样本占总样本的比例,其定义如公式(2)所示;查全率如公式(3)所示,反映了测试集中所有的高压直流输电干扰样本中正确识别出来的比例.查全率越高,则代表测试样本中越多的高压直流干扰样本被识别出来;查准率如公式(4)所示,反应了模型识别为高压直流干扰事件的样本中,真正是高压直流输电干扰样本所占的比例.查准率和查全率是一对矛盾的指标,查准率高时,查全率往往偏低,反之亦然,因此论文评估模型时,没有采用查准率和查全率,而采用了F1值.F1值是查准率(Precision)和查全率的调和平均,其计算如公式(5)所示.
(2)
(3)
(4)
(5)
本文所有试验均在Windows操作系统下使用Keras深度学习框架完成,运行设备的硬件配置为Intel core i7-8700k,显卡为GTX 1070Ti.训练过程使用Adam优化器,初始学习率为0.0005,模型迭代40次,使用交叉熵作为损失函数,交叉熵用来衡量类别标签和概率之间的距离,交叉熵值越小,分类效果越好.交叉熵计算如公式(5)所示:
(6)
其中yi为第i个样本的类别(0或1),n为训练样本数量,pi为模型将第i个样本的预测为高压直流输电干扰的概率.
3.2.1 小波基函数与分解次数的选择
在使用离散小波对地磁时变观测样本进行多尺度表示时,需要选择小波基函数及确定分解次数,由此确定CBAM-MCNN模型的输入分支数量.本文使用Haar小波、Daubechies小波族(db1、db2、db3)、Symlets小波族(sym2、sym3)和Biorthogonal小波族(bior1.1、bior1.3)共8个小波基函数对地磁时变观测样本进行多尺度分解,每种小波基函数分别对样本进行4次分解,得到4个尺度的近似部分cA1、cA2、cA3和cA4.为了确定最优分解次数,本文共设置了三种多输入模型:
(1)双输入模型:包含2个输入分支,分别接收小波分解后的cA1和cA2;
(2)三输入模型:包含3个输入分支,分别接收cA1、cA2、cA3;
(3)四输入模型:包含4个输入分支,分别接收cA1、cA2、cA3、cA4.
试验结果如表3所示.从表3可以看到,采用db3小波三次分解,构造三输入的CBAM-MCNN模型识别效果最好,其准确率为97.14%,F1值为97.12%.因此,本文选择使用db3小波基函数对原始地磁时变观测样本进行连续三次分解,将三次分解的近似部分cA1、cA2和cA3作为原始样本3个不同尺度的表示,输入到含有3个分支的CBAM-MCNN模型进行特征提取和识别.最终的CBAM-MCNN模型结构如图6所示.
表3 不同小波基函数与不同模型结构下识别结果对比Table 3 Comparison of recognition results using different wavelet basis functions and model structures
图6 三输入CBAM-MCNN模型结构
3.2.2 不同多尺度表示方法的识别性能对比
论文对比了使用等间隔降采样和离散小波分解两种多尺度表示方法下模型识别效果.其中,等间隔降采样方法使用间隔为2的降采样方法,对原始样本连续降采样3次,以此保证与离散小波分解具有相同的数据长度,等间隔降采样方法选择第1至3次降采样得到的三组尺度数据作为模型输入;离散小波分解方法则使用3.2.1节的db3小波基分解3次的多尺度数据.两种方法生成的多尺度数据均用于3.2.1节的三输入模型的训练,识别结果如表4所示,可以看出,与等间隔降采样相比,使用离散小波分解方法进行多尺度表示时,模型的识别准确率提高了1.75%,F1值提高了1.78%.
表4 采用不同多尺度表示方法的识别效果对比Table 4 Comparison of recognition performance using different multi-scale representation methods
3.2.3 CBAM-MCNN试验结果
根据前面的试验结果,本文最终确定使用db3小波基函数,连续分解三次,将分解得到的cA1,cA2,cA3作为3个尺度地磁样本,分别输入到本文所设计的CBAM-MCNN模型中进行训练,并且在测试集上进行预测.模型预测结果的混淆矩阵如图7所示,测试集中高压直流输电干扰事件共2612条,其中有2543条被CBAM-MCNN模型正确识别,占测试集中高压直流输电干扰事件样本总数的97.35%,只有2.65%的高压直流输电干扰样本被错误识别为正常地磁时变观测样本;正常地磁时变观测样本中96.92%被正确识别,3.08%被错误识别.CBAM-MCNN模型的准确率和F1值分别达到了97.14%和97.12%.
图7 CBAM-MCNN在测试集预测结果的混淆矩阵
3.2.4 识别结果分析
为了查明本文模型的不足之处,论文对漏检样本(将高压直流输电干扰事件识别为正常地磁时变观测样本)、误检样本(将正常地磁时变观测样本识别为高压直流输电干扰事件)进行进一步分析.
漏检样本分析:图8(a—d)展示了部分未被正确识别的高压直流输电干扰事件样本.从图中可以看到,未被正确识别的高压直流干扰样本主要分为3类,第1类为干扰持续时间过短,模型不容易捕捉干扰特征,例如图8a和图8b.图8a中的地磁时变观测样本在400~1000 s时间内出现了一个阶梯状的高压直流输电干扰,干扰持续时间占样本总长度的1/12,图8b中高压直流输电干扰发生在0~300 s期间,干扰持续时间占总长度的1/24,这两个样本中高压直流干扰事件持续时间较短,在经过多次小波分解后,持续时间更短,导致模型漏检;第2类中,高压直流输电干扰持续时间够长,但干扰的波形为缓变,例如图8c,干扰的“上凸”波形从600 s开始,在2400 s结束,干扰起止处的上升和下降变化比较缓慢;未被正确识别的第3类为干扰的幅度比较小的样本,例如图8d.从该图可以看到,从第4300 s开始,样本记录出现了多个阶梯波形,但每个波形的幅度不大,导致被漏检.综上,可以得出,本文所提出的CBAM-MCNN模型,在识别持续时间特别短、干扰幅度特别小、干扰波形变化缓慢的样本时,存在漏检问题.对于图8中(a)、(b)两种情况,此时,干扰幅度够大,只是持续时间过短,可以采用一阶差分配合阈值的方法来辅助识别,较短的高压直流干扰事件的波形一阶差分会出现短期内成对的足够大的正负边缘,可以利用该特点有效识别.对于图8c中的样本,由于高压直流输电干扰波形比较缓慢,接近正常地磁时变观测样本波形,因此现有的机器学习办法无法有效解决;对于图8d第3种情况,干扰幅度较小,此时可以通过数据增强的办法来提高干扰的振幅,再进行识别.
误检样本分析:图9展示了部分误检样本,即正常地磁时变观测样本被模型识别为高压直流输电干扰样本.可以看出,样本(a)、(b)中,密集出现数据突跳,虽然突跳幅度不大,但是非常密集;样本(d)中,出现局部出现连续较大的数据突跳.这些突跳是由不明原因引起的噪声,且均呈现台阶状,与高压直流输电干扰事件的台阶状特征非常类似,因此被模型误分类.样本(c)中,干扰数据较少,但是在5700~6300 s之间,数据短时间内出现较大波动,因此被模型误分类.可见本文提出的模型在噪声较小时性能较好,但在出现较大的噪声、密集出现较小噪声或短时间数据出现较大波动时,处理能力还不够.
本文将CBAM-MCNN模型与不加注意力机制的MCNN模型、全卷积网络模型(Full Convolutional Neural Networks,FCN)、残差神经网络(Residual network,ResNet)(Wang et al.,2017)、IICM-HVDCT-CNN-LSTM(单维锋等,2023)进行了对比试验.其中,MCNN模型为图7中不加入CBAM层的模型,输入数据仍使用由db3小波对样本进行多尺度分解得到的cA1、cA2和cA3.
图8 未被正确识别的高压直流输电干扰样本示例(a—b) 干扰持续时间过短的样本; (c) 缓变波形的样本; (d) 干扰幅度较小的样本.
图9 误被识别为高压直流输电干扰事件的正常样本
图10 FCN和ResNet模型结构
FCN模型结构如图10a所示,FCN由三组基本块组成,每个基本块包含一个卷积层,一个批量归一化层(Batch Normalization,BN),该层采用ReLU激活函数,之后是全局池化层(Global Pooling),再通过SoftMax层输出样本所属类别概率.该模型为单输入模型,试验时选择小波分解后的cA3输入到模型中.
ResNet模型结构如图10b所示,ResNet的基本块包括3组特征提取单元,每个单元包括3组卷积层、批量归一化层(Batch Normalization,BN)和ReLU激活函数的组合,ResNet模型的每个单元还使用跳路连接,即存在一条支路跳过一个特征提取单元,通过这种设计可以将网络结构拓展更深(He et al.,2016).该模型也为单输入模型,试验时选择小波分解后的cA3输入到模型中.
表5为FCN、ResNet、MCNN、IICM-HVDCT-CNN-LSTM和CBAM-MCNN的识别结果.从表5可以看出:(1)多输入模型识别性能优于单输入模型.FCN、ResNet和IICM-HVDCT-CNN-LSTM模型为单输入模型,三者均使用单一尺度地磁时变观测样本进行训练,其准确率分别为82.07%、86.11%和92.86%,F1值分别为83.58%、85.06%和92.87%;MCNN和CBAM-MCNN为多输入模型,其准确率和F1值均明显的高于三种单输入模型,达到了94.33%和97.14%.这表明通过离散小波对地磁时变观测样本进行多尺度表示,并将多尺度数据分别输入到包含多个分支结构的模型中,对多尺度数据分别特征提取和融合,模型识别高压直流输电干扰事件的性能明显提高.(2)CBAM注意力机制明显提高识别性能.通过对比未添加注意力机制的MCNN模型与添加了注意力机制的CBAM-MCNN模型的识别结果,可以看出,CBAM-MCNN模型识别准确率和F1值分别达到了97.14%和97.12%,相比无注意力机制的MCNN模型的准确率提升了 2.81%,F1值提高了2.9%,识别性能明显提高.这表明,添加了CBAM注意力机制后,模型自适应调整特征图的权重,强化了特征图中更有利于模型识别性能的特征,增强了模型特征选择能力,提高了模型识别性能.
表5 五种模型的识别性能对比Table 5 Comparison of recognition performance among five models
高压直流输电干扰事件识别是提高地磁时变观测数据质量的重要环节.目前有研究者将深度学习技术引入高压直流输电干扰事件识别中,但其只针对单一尺度的原始样本进行特征提取,在干扰持续时间、干扰幅度变化较大时,漏检、误检率较高,本文采用小波分解技术得到高压直流输电干扰样本的多尺度表示,然后设计了包含多个输入分支的卷积神经网络,每个分支接收小波分解后的不同尺度样本,利用卷积神经网络自动特征提取功能,得到高压直流输电干扰样本的多尺度特征,解决了高压直流输电干扰持续时间长短不一,特征提取困难的问题.论文分别采用Haar小波、Daubechies小波族(db1, db2, db3)、Symlets小波族(sym2, sym3)和Biorthogonal小波族(bior1.1, bior1.3)共8个小波基函数,对地磁时变观测样本进行多次分解,试验结果表明,采用db3小波基对地磁时变观测样本进行3次分解,识别准确率最高.论文对比了采用db3小波及采用等间隔降采样对样本进行多尺度表示的识别效果,以及单一尺度的识别效果,发现:(1)多尺度优于单一尺度;(2)采用db3进行多尺度表示,优于采用等间隔降采样的多尺度表示.本文还在模型中添加了CBAM注意力机制,使模型能自适应计算每一特征图的重要程度,为其分配相应的权重,使模型在识别时,能更关注重要的特征.论文对比了CBAM-MCNN与不添加注意力机制的MCNN模型的识别效果,试验结果表明添加CBAM注意力机制能够显著地提高模型识别性能.
本文提出了一种高压直流输电干扰识别模型,试验表明,该模型性能明显优于对比模型,但是在实际应用中,该模型仍然存在以下几个问题:
(1)应用深度学习解决高压直流输电干扰识别问题的时,要求样本长度一致,本文对三年中高压直流输电干扰事件持续时间进行统计,发现2小时之内的高压直流输电干扰样本占74.7%,故论文选择样本长度为2小时.对于超过2小时的干扰数据,选择了前2小时,但是在具体应用时,可以采用长度为2小时的滑动窗口来分割数据,制作样本,这样确保干扰事件起点或者终点能落入某一样本窗口内;
(2)在数据多尺度表示时,本文只对比了离散小波技术和等间隔降采样技术,没有考虑其他多尺度表示方法,未来将尝试采用经验模态分解等其他数据多尺度表示方法;
(3)本文所提出的模型在噪声较大,或者小幅度噪声出现较密集,以及短时间内数据波动幅度较大时会造成误检.
(4)本文只讨论了在地磁时变观测Z分量上的高压直流输电干扰事件识别方法,未来将考虑将更多地磁时变观测分量联合起来,研究更高效的地磁时变观测数据干扰识别算法.