基于双向LSTM和注意力机制的输电线路故障判别方法

李临风，饶丹，樊瑞，张恒，王军，罗华煜，刘拯，徐广辉

(国电南瑞科技股份有限公司，江苏 南京 211106)

我国的输电线路跨度大，距离远，发生故障后，为了尽快消除故障并恢复线路电力，需要及时定位故障位置，确定故障原因[1]。巡线人员通常参考保护测距的结果，采用人工巡检和无人机巡视的方式确认故障位置和故障原因[2]；但保护测距的精度差，范围大，查找故障位置效率低下。分布式故障诊断系统可以有效解决以上问题。

分布式故障诊断系统由监测终端、中心站和用户系统组成[3]。监测终端在杆塔导线上全线路间隔部署，实时采集工频和行波电流波形，以无线的方式向中心站上送数据。中心站根据首个波头时刻，使用测距算法[4-6]定位故障的具体位置，依靠半峰时间、幅频特性、极性辨识故障的类别，并通过用户系统向检修单位发送诊断结果和故障告警。相比原有的站内测距装置，分布式故障诊断系统缩短了区间距离，克服了波形衰减的影响，增强了线路参数线性度，可提高输电线路故障定位的精度和诊断分析准确度。

根据GB/T 35721—2017《输电线路分布式故障诊断系统》规定，分布式故障诊断系统应具备故障辨识能力，应能辨识雷击故障和非雷击故障，应能辨识雷击故障的反击故障和绕击故障。由于雷击故障的反射波的极性与雷击电流相反，叠加后行波峰值迅速衰减，雷击故障电流的行波半峰时间一般不超过40 μs；因此，分布式故障诊断系统的当前故障判别方法利用行波的半峰时间来判断是否发生雷击故障。在雷击绕击故障中，行波电流主要是闪络前流过故障相的雷电电流，而雷击反击故障中，雷电电流先流经地线再流经线路，行波电流包括闪络前流过地线的雷击电流和闪络后的雷击电流，二者极性相反，行波波形上产生反极性脉冲；因此，故障判别方法通过判断波形的极性来区分雷击故障的类型。除雷击故障之外，输电线路常见的故障是单相接地故障，由于行波采样频率远高于工频采样频率，可以认为单相接地故障的行波电压基本保持恒定，波形往往阶跃至峰值后缓慢衰减，波尾的长度较长。实际运行过程中，分布式故障诊断系统采集的大多是树障、飘挂物等引起的线路异常放电的行波数据，这部分行波的幅值较小，一般低于100 A，呈现高阻抗接地特征；因此，故障判别方法通过行波幅频特性来进一步区分不同的非雷击故障。由于监测终端安装在户外且工作环境恶劣，线路中长期存在高频干扰和较强噪声，故障点存在反射波和雷电的干扰，以及不同线路的机械特性差异较大，导致当前的故障判别方法存在准确率低、通用性差的问题；所以，中心站需要经过人工复审才能输出判别结果。人工复审的准确率严重依赖工作人员的专业水平和工作效率，判断结果存在主观性；因此，提升故障判别方法的准确率和自动化，对于输电线路巡检工作意义重大。

文献[7]根据电流的暂态特征识别直流线路的故障，文献[8]根据故障电压的分形算法区分区内、外故障，文献[9]利用小波变换模极大值和非故障相电流小波系数能量实现雷击故障和普通短路故障的识别，文献[10]利用模量变换和斜率分析来识别重型、轻型直击雷和普通短路故障，文献[11]论述了利用波尾长度和快速傅里叶变换(fast Fourier transform，FFT)频域特征判别是否雷击，文献[12]利用卷积神经网络(convolutional neural network，CNN)辨别各类接地故障和相间故障。以上方法中，用于区分故障类型的参数值往往受到线路特性的影响，整定困难，而且只能分辨特定的几种故障，不具有普适性。

本研究遵循深度学习理论，利用自动化仿真技术生成多类故障行波波形数据[13-14]，经小波变换预处理[15-17]，构建基于双向长短期记忆(bi-directional long short-term memory，Bi-LSTM)[18]和注意力机制[19-23]的神经网络模型，该神经网络可以准确地将多种故障进行分类。最后对多种判别方法进行实验并比对实验结果，以证明本文方法的准确性和可行性。

1 波形数据预处理

为了提高神经网络的构建速度，避免机器学习算法无法收敛，需要对波形数据进行预处理，并定位行波的波头时刻，为系统的行波测距算法提供计算依据。

首先，利用小波阈值滤噪，防止噪声影响训练结果。常用的阈值函数分为软阈值函数和硬阈值函数2种：①在硬阈值函数中，绝对值小于阈值λ的点会被置0，不小于阈值λ的点则保持原值不变。通过硬阈值函数过滤噪声，容易引起小波系数在阈值处的不连续，导致波形不够平滑。②在软阈值函数中，绝对值小于阈值λ的点会被置0，不小于阈值λ的点则被置为该点值与阈值的差。通过软阈值函数过滤噪声，信号容易出现边缘模糊等失真现象。

本文方法应用软硬阈值折中的方法滤噪，兼顾两者的优点，小波系数

(1)

式中：j为小波分解的级数；β为系数，在本文方法中，β设为0.5；wj为输入的小波系数；sgn为符号函数。

噪声主要分布在低尺度的小波系数中，阈值设置过小会导致低尺度的小波系数中噪声没有过滤，阈值设置过大则导致高尺度系数的有效信息丢失。本文方法采用的动态阈值

(2)

式中：c1为首层小波分解系数数列；m(|c1|)表示对c1中每个灵敏求绝对值，排序后取中间值；D为信号的尺寸；φ为层数。高尺度的阈值根据层数的增大以对数形式缩小，通过这种方式，充分过滤低尺度小波系数的噪声，保留高尺度系数的有效信息。

其次，小波变换可以用于检测波形的突变点。本文方法利用小波模极大值法定位行波的波头：选用平滑函数的一阶导数作为小波函数，通过小波变换，获取输出数据的极值位置，对应原始波形的突变点，即每个波头的起始点。

本文方法选用Symlet小波函数对行波进行滤噪，选用B样条函数对行波波头进行定位。小波变换处理前后的波形对比如图1所示，其中红色标记点为首波头开始时刻。

图1 小波变换阈值滤噪和波头定位

由图1可见，本文方法的小波阈值滤噪法可抑制噪声的干扰，保留波形特征，获取行波测距算法所需的波头起始位置。

为了使神经网络能够提取统一的行波特征，需要保证波头极性的一致性，如果波形中首个波头的极性为负，则将波形数据逐点取反，同时对各点数据进行归一化处理，按比例缩放至0～1的值，统一量纲，加快模型收敛。

2 神经网络

近年来，神经网络由于具有强大的非线性拟合能力，被广泛应用于电力系统的各类场景。LSTM属于循环神经网络(recurrent neural network，RNN)，是以序列数据为输入、在序列的演进方向进行递归的常用神经网络，常被应用于机器翻译、语音识别等时序信号的处理。行波波形属于强时序信号，其前后数据具有极大的关联性；因此，本文方法采用LSTM来提取行波的波形特征，构建分类的神经网络。

图2 LSTM结构

LSTM在RNN的基础上引入了门结构，门由sigmoid神经网络和矩阵点乘运算构成，它可以选择性地让信息通过。每个LSTM单元中包含遗忘门、输入门和输出门，图2中的fn、in和on分别为时刻n的遗忘门、输入门和输出门的结果，计算如下：

fn=σ(Wf·[hn-1,xn]+bf)，

(3)

in=σ(Wi·[hn-1,xn]+bi)，

(4)

(5)

(6)

on=σ(Wo·[hn-1,xn]+bo)，

(7)

hn=on*tanh(Cn).

(8)

式(3)—(8)中：[…,…]表示2个向量合并；“*”表示相同形状向量的对应元素相乘；Wf、Wi、Wc和Wo为权重矩阵；bf、bi、bc和bo为权重偏置。

LSTM通过门结构保留了上一个时刻的部分信息，解决了RNN的梯度消失和爆炸的问题。

为了同时捕获前后数据有价值的信息特征，本文方法使用2层相反方向的LSTM神经网络，捕捉双向序列关系，这种结构称为Bi-LSTM。Bi-LSTM的输出

Hn=[hf,n,hb,n].

(9)

式中：hf，n为前向LSTM层的输出；hb，n为后向LSTM层的输出。

行波的不同区域对波形识别准确率的影响有较大差别，运维人员在判别行波类型的时候，往往更关注于行波的部分区域，比如波头和波尾等。为了模拟人工判别行波的行为特征，提高神经网络对关键波形段的关注度，本文方法引入注意力机制。

注意力机制需要根据不同时刻波形的重要程度分配注意力权重，所以在神经网络中增加了隐藏层单元un，

un=tanh(WuHn+bu).

(10)

式中：Wu为隐藏层单元的权重；bu为隐藏层单元的权重偏置。利用均匀分布随机的方法对参数矩阵Wu进行参数初始化，以上一层的输出向量Hn作为输入，通过tanh激活函数获得un。

将转置的un与权重矩阵Wa的点积结果输入至softmax激活函数fsoftmax进行归一化处理，获取注意力向量an，

(11)

利用注意力向量an对行波不同时刻的时序特征分配权重，并加权求和，输出状态向量v，

(12)

式中N为行波数据按时刻分段的数量。

在神经网络上接入维数与分类数相同的全连接层，并利用softmax分类网络生成(0,1)区间的类别概率分布的一维向量y，作为神经网络的最终输出，

y=fsoftmax(Wyv+by).

(13)

式中：Wy为全连接层的权重；by为全连接层的权重偏置。

引入了注意力机制的Bi-LSTM(Bi-LSTM-attention)神经网络的整体结构如图3所示：输入层从行波数据中截取分段数据，并将分段数据输入神经网络，Bi-LSTM层提取行波波形各个分段的特征，注意力机制层分配权重，最后由输出层生成分类的概率结果。图3中x1、x2……xN为分段数据，Cf，0、Cf，1……Cf，N-1为前向LSTM层的细胞状态，Cb，1、Cb，2……Cb，N为后向LSTM层的细胞状态。

图3 Bi-LSTM-attention神经网络结构

3 方法实现

3.1 方法流程

本文方法所采用的故障判别方法流程如图4所示。

图4 故障判别方法流程

首先，通过故障仿真补充训练所需的行波数据；然后，经过数据预处理(包括小波滤噪、归一化、统一极性等步骤)获取行波数据集；其次，将数据集分为训练数据集和测试数据集，利用训练数据集训练神经网络，利用测试数据集评估本文方法的性能；最后，将训练完成的神经网络部署在分布式故障诊断系统中，该神经网络可以结合系统的实际行波数据继续训练，并根据终端上送的行波数据快速判别故障类型。

3.2 故障仿真

在分布式故障诊断系统的实际运行过程中，终端采集上送的行波波形大部分是线路短暂的异常放电波形，这类故障通常不会引起线路的严重故障，而雷击、接地故障等重要故障类别的行波数目较少，无法满足训练神经网络的数据量要求。为了避免训练数据不平衡，本文方法利用电磁暂态仿真软件PSCAD/EMTDC 4.6仿真故障波形文件。仿真软件中系统如图5所示，本文方法建立了多条220 kV输电线路的仿真模型，并针对线路常见的几种故障(雷击绕击故障、雷击反击故障、单相接地故障)进行仿真。

图5 线路故障的PSCAD仿真

雷击故障中，输电线路的结构参数(包括线路高度、分裂导线、接地电阻)会对故障波形产生影响，所以本文方法选用暂态分析中精确度最高的频率相关模型，模型包含3条导线和2条避雷线。雷击脉冲采用双指数函数波形，即

Is=I(e-αt-e-δt).

(14)

式中：Is为雷电电流；I为雷电的电流幅值；α、δ均为时间常数，由波头时间和半峰值时间确定；t为雷击后的时长。

为了模拟雷电波在杆塔间的折反射和反击绕击，在线路中增加了上字型杆塔的仿真模型。

将模型的对地阻抗设置成高阻抗值，并将雷击脉冲模型的输出与杆塔的避雷线模型连接，由此模拟雷电电流通过避雷线流经杆塔传至地面，又因对地阻抗过大而反射进入线路形成的雷击反击行波；将雷击脉冲模型的输出与输电导线模型相连，由此模拟雷击电流绕过避雷线直接流入线路形成的雷击绕击行波电流；在单相导线上加入接地故障，由此模拟线路的单相接地故障。由于实际系统中分布式故障诊断终端使用的高速采样芯片AD7626的采样频率为10 MHz，上送的行波数据的采样时长为1 200 μs，为了与实际系统保持一致，仿真的采样频率同样设置为10 MHz，仿真时长为1 200 μs，故障时间为仿真开始后100 μs。

经过实验发现：在一定范围内手动修改模型的部分参数，会引起故障行波发生形变，但不会改变故障的性质；仅通过手动修改模型的参数，无法在短时间内获取足够的仿真波形数据。

为了获取训练所需的波形，本文利用Python程序自动生成批量的仿真波形：首先，选取故障相别、线路阻抗、接地阻抗、脉冲电流幅值、脉冲持续时间、初始相位和负荷等多个线路参数作为变量，通过建模经验和手动调试确定各参数合理的上下限和中值，生成符合正态分布变化的单维度的参数值序列，依次组合各维度的参数值序列生成参数组，从而获取仿真所需的样本参数组的集合；然后，基于PSCAD工程文件可读可修改的特点，利用Python程序根据样本参数组集合的数值自动替换工程文件中对应的线路参数，再通过PSCAD提供的Python API、自动载入工程文件进行仿真，并将仿真过程记录的线路电流数据保存至.out文件；最后，从.out文件中读取波形数据，转化成标准格式的行波波形文件。

3.3 训练过程和结果分析

从分布式故障诊断系统的后台中，按雷击绕击、雷击反击、异常放电、短路4种故障类型分别选取1 200个行波波形作为测试集。因后台积累的雷击和短路行波波形数据量不足，所以利用仿真生成的行波数据，将训练数据集补齐至12 000个波形。在训练开始之前，通过小波变换对波形进行预处理。

由于线路的折反射作用，1个行波数据中通常会有多个波头，又由于终端最高采样频率为10 MHz，行波故障的波头到波尾周期通常小于60 μs；所以，神经网络的输入层截取了行波数据中每个波头前后的采样数据(波头前100个采样点，波头后500个采样点)，将12 000个采样点转化成600×N型的波形分段矩阵。神经网络的输出层将分类标签转换为独热编码的矩阵类型，方便后续输出故障类型的判别结果。

本文方法选择了基于梯度下降法的Adam(adaptive momentum estimation)优化器作为网络求解的最优方法，损失函数采用交叉熵函数，批量大小设置为128，训练迭代次数设置为50次，每一轮迭代之前，会重新打乱训练集的顺序。

在训练迭代过程中，神经网络常采用损失值来量化自身的分类性能，损失值

(15)

式中：M为随机样本的数量(本文中的随机样本即故障行波)；L为待分类的类别数目；ril表示第i个随机样本的分类是否准确，即l是否为第i个随机样本的真实类别；pil为第i个随机样本是否属于类别l的概率值。训练模型的主要目标是通过不同的优化方法来改变模型中的向量值，从而最小化模型的损失值。

利用argmax函数fargmax从第i个随机样本的计算结果向量yi中取概率最大的索引，即为该随机样本的判别类别。判别类别与实际类别Ri相同的概率，称之为准确率，即正确分类的样本数量除以全部样本的数量M。准确率

(16)

式中F为指示函数，输入为真时取值为1，输入为假时取值为0。

网络训练框架为基于Python3.7.9的tensorflow 2.3.0，训练过程中神经网络的损失值和准确率的变化曲线如图6所示。从图6变化趋势可以看出，训练集和测试集的损失值都在缩小，准确率都在同步提升，直至趋于稳定，证明网络训练是非常有效的。

图6 神经网络的准确率和损失率曲线

注意力层的权重分配如图7所示，其中位置是指维度与波形分段矩阵行数相同的注意力向量中各数据的位置。图7证明了注意力机制加强了关键时刻的权重，弱化了相关性不大的波形起伏对判别结果的影响。

图7 注意力机制的权重分配

为了准确评估神经网络对各类故障的辨识能力，利用测试集制作了本文方法和常规方法故障判别结果(见表1)，方便观察各类故障的识别率。表1中每一列表示故障波形的判别分类结果，对角线代表各类故障的正确判别数。

表1 2种算法的故障判别结果比较

由表1可见，相较于根据半峰时间、幅频特性、极性辨识故障的常规方法，模型对雷击绕击故障和异物放电故障的识别准确率较高，对于雷击反击和短路故障会有误判，但也与平均准确率接近。

3.4 方法性能评估

为了测试和对比多种神经网络的优劣，本文方法采用同样的数据集和训练流程构建LSTM和Bi-LSTM神经网络，并利用这些神经网络对相同测试集进行故障判别，最后计算并对比各类神经网络算法的准确率。

从表2的测试集内准确率数据可以看出，应用深度神经网络能够明显改善故障判别的性能，本文提出的采用Bi-LSTM和注意力机制的神经网络，在测试集内表现良好，较原有的常规判别方法提升了9.85%的准确率。

表2 不同方法在测试集内的准确率

由于分布式故障诊断系统收集的行波数据与训练集、测试集的行波数据有一定差异，实际系统的行波数据存在不同地域的行波差异大、波形噪声干扰大、数据不平衡等问题，所以将上述4种方法以应用的形式部署在分布式故障诊断系统中运行，并结合实际的行波数据进一步训练各类神经网络，辨识系统实时波形的故障类别，验证本文方法在实际系统中是否可用。

各种方法的准确率数据见表3。本文所提的方法准确率为96.79%，较原有的常规方法提升了13.70%，较LSTM神经网络提升了2.51%，较Bi-LSTM神经网络提升了1.37%。实际应用的结果表明，注意力机制加强了神经网络对关键波段特征的提取能力，在分布式故障诊断系统的实际行波数据集上表现出更强的泛化能力，有效地提升了系统故障判别的准确率。

表3 不同方法在分布式故障诊断系统中的准确率

4 结束语

本文方法基于小波变换滤噪和深度神经网络的原理，利用PSCAD/EMTDC的自动化仿真技术生成行波，构建了一种基于Bi-LSTM和注意力机制的神经网络。通过比对测试和实际应用实践证明，本文方法可以根据行波波形数据自动判别输电线路故障的类型，无需人工提取波形数据的特征，具有较高的判别准确率和实用性。