基于改进YOLO和Resnet的变电设备热缺陷识别及诊断方法

郑文杰,杨 祎,乔 木,吕俊涛,张峰达,洪欣媛

(1.国网山东省电力公司电力科学研究院, 济南 250003;2.国网山东省电力公司, 济南 250001;3.重庆大学 输配电装备及系统安全与新技术国家重点实验室, 重庆 400044)

0 引言

在电气设备的长期使用过程中,其内部器件可能发生老化和丧失绝缘,引起设备局部温升或过热,甚至造成严重事故[1]。据电网运行分析发现,在常见的早期故障类型中,由电流互感器、隔离开关、套管等设备过热引发的故障占关键变电设备早期故障的半数以上[2-3]。为了保障电网的安全运行,利用红外诊断技术对变电设备进行监测能够在不停运的情况下有效识别设备内部和外部缺陷[4-5]。然而,红外技术在电气领域的应用仍存在很多问题,一是对设备的故障诊断大多依赖人工进行,容易受主观性的影响且效率低下;二是现有的机器视觉识别技术受限较大,不仅难以对复杂且种类繁多的电气设备实现精准分类,还因红外图像存在各种背景噪声干扰而难以实现设备过热关键区域的特征提取[6]。

针对变电设备红外图像目标检测和识别的研究主要分为图像处理法和深度学习法两大类。图像处理法通过图像分割、对比和增强等方法识别故障处的关键信息,采用Roberts、K-means聚类等多种边缘检测算法提取图像边缘[7-8],依据热像特征、纹理特征等完成分割后红外图像的热缺陷识别[9-10]。这些方法虽然在背景噪声或干扰较小的红外图像中识别率较高,但难以完成复杂场景下多类型设备的缺陷诊断,诊断效率低下。

基于深度学习的目标检测法能够减轻对检测人员经验程度的依赖,在识别的正确率和实时性方面表现良好,能够实现电气设备热缺陷故障诊断的自动化[10]。目前,在设备特征提取及热缺陷故障识别算法中,代表性的有基于候选框的R-CNN系列算法和基于回归的YOLO系列网络[11-12]。前者根据目标特征提取预选框,在此基础上对提取的每个区域进行分类和位置回归,具有较高的准确率,但其结构较为复杂,难以满足实际应用需求。后者检测速度快,满足实时性要求,能保持较高的定位准确度和特征识别率。然而,现有电气领域研究在采用YOLO系列算法获取图像先验框及特征时,所涉及的对象多数为以输电线路为代表的可见光图像[13-14],以高压开关设备为代表的红外图像[15-17]。这两类图像背景干扰较小,所提取特征与图像杂散元素区分明显,采用常规的YOLO系列算法便可以得到高质量的预测框。而电流互感器、隔离开关、套管等设备具有不同的型号和结构,其红外图像背景干扰大,设备的过热区域、正常区域和环境背景区域彼此重叠,难以区分,因此需要对YOLO算法加以改进。

YOLOv4算法在YOLOv3算法的基础上融合了更好的方案,如其主干特征提取网络由DarkNet53改进成CSPDarkNet53,提升了目标的检测效果[18]。YOLOv4-Tiny网络是YOLOv4网络的简化,其模型结构更加简洁,每秒传输帧数约为YOLOv4的8倍,能够高效处理海量数据。为此,本文提出一种基于改进YOLO的变电设备热缺陷识别及诊断方法。首先对多种变电设备红外图像进行标注,建立不同类型设备及热缺陷数据库;其次,采用改进的YOLOv4算法对发生故障的设备进行识别,并提取该设备所在区域的局部红外热图;然后,基于聚集性连接思想,对分类所用网络Resnet基础结构进行改进,提高设备故障类型的分类准确度;最后,基于贝叶斯优化算法改进模型超参数,自动获取学习率、卷积核个数、正则化因子等的最佳组合,在提升准确率的同时节省大量计算量。该方法能够克服变电设备红外图像热缺陷识别精度不高、特征提取困难等难题,满足变电设备红外检测实际应用场景的需求。

1 基于改进YOLO的热缺陷识别方法

1.1 变电设备红外热像数据集构建

变电设备出现热缺陷时,通常表现为设备局部温度上升或温度分布异常,使得故障下的红外热像与正常热像特征差距较为明显。利用机器学习向诊断网络中输入不同类型设备在不同故障下的红外图像进行训练,然后输入待检测目标图像,即可实现该图像中设备特征提取及故障类型诊断。由于目前公开的数据集中并未包含变电设备红外图像,因此需要构建一个包含多种设备、多类型缺陷的数据库用于训练。

采用的数据集来自于某省多座变电站近5年以来的运行数据,包含电流互感器、隔离开关、套管、避雷器、断路器等多种设备的红外热图。选择电流互感器、隔离开关、套管3种设备作为研究对象,这3类设备可作为相似设备的代表,提升模型的普适性。此外,该数据集还包含了不同的设备类型和型号,以及缺陷类型和缺陷部位,部分图像具有较强的背景干扰,能够反映变电设备红外应用场景的真实状况。数据集红外图像示例如图1所示,详细信息如表1所示,图像数据分辨率范围为(240×319)～(800×600)。

表1 训练数据集介绍

图1 数据集中部分样本图

1.2 基于改进YOLOv4的红外热图局部热像提取模型

YOLOv4-Tiny作为YOLOv4的压缩版本,使得网络结构更加简单,训练速度更快。但是红外数据集中部分图像具有严重的背景干扰,直接采用YOLOv4-Tiny网络进行设备局部提取时效果不佳。针对这一难题,从卷积核分解、网络模块化分解、多尺度特征融合及激活函数重选取这几个方面对YOLOv4-Tiny网络进行改进,主要包括：① 采用Gelu激活函数替换主干网络中的LeakyRelu函数;② 设计并使用2个Conv_DBNGelu模块提升对网络浅层特征的利用;③ 采用卷积核分解技术提升网络的计算能力。改进YOLO模型结构如图2所示。

图2 改进YOLO模型结构

1) 对原YOLOv4-Tiny网络中激活函数的改进

卷积神经网络中的激活函数可以使网络增加非线性因素,提升模型传递不同尺度参数的能力。YOLOv4-Tiny原网络使用LeakyRelu作为激活函数,但该函数存在输出结果不一致、无法为正负输入值提供一致的关系预测等问题。且在训练过程中,训练参数α值难以选取,因此本文中使用Gelu激活函数替换主干网络中的LeakyRelu函数,Gelu函数的近似式为：

式中：x为输入。与LeakyRelu函数相比,Gelu函数可以看作Dropout与Relu的结合,其在激活中加入了随机正则的思想,使得模型在训练过程中能够具有更高的泛化能力。

2) 对原YOLOv4-Tiny网络泛化能力的改进

改进思想来源于使用初始YOLOv4-Tiny网络进行训练时出现的严重过拟合现象。由于红外数据集具备不同的背景干扰,测试集里红外图像的背景噪声可能不同于测试集图像的背景噪声,因此需要从提升网络模型模糊度的方面加以改进。采用网络模块化分解方法减少网络的层数;采用多尺度特征融合方法提取图像的浅层特征;采用卷积核分解提升改进后网络的计算能力,目的是在网络“深度”已经足够的情况下提升网络的“宽度”,提升模型的泛化能力。

将网络各部分进行分解,得到YOLOv4-Tiny主干网络中便于分离的3个Resblock_body模块,每个模块的深度为16层。将浅层特征进行多次加操作,依照排列组合原理进行测试后,网络在add_1处与add_2处实现加操作效果更优。

红外数据集中部分图像热缺陷部位较小,在深度卷积后可能丢失该局部图像的数据特征[19]。因此,采用多尺度特征融合方法,设置2个捷径模块提取Resblock_body_1层前的浅层特征。捷径模块及其连接方式如图2中Conv_DBNGelu所示,其输出分别在add_1与add_2处实现降维加操作,各模块输入与输出的关系为：

(2)

式中：x为U1、U2处的特征;f1i为第i个Resblock_body模块的函数表达式;f2为Conv_DBNGelu模块主网络的表达式;f3为降维模块的表达式,代表步幅为3的卷积过程;f4为ConvBNGelu模块的表达式。

3) 对原YOLOv4-Tiny网络计算速度的改进

为了避免增加网络导致的进一步过拟合现象,尽可能地减少运算过程中的计算量,采用卷积核分解技术减少参数量,卷积核的分解过程为：

(2N+1)×(2N+1)→(3×3)×N

(3)

式中：N×N表示卷积核尺寸。对于3×3卷积核,可以分解为3×1和1×3的2个连续卷积核提升网络的训练速度,降低过拟合的风险,最后使用1×1卷积核进行特征聚合并降维输出。

2 基于改进Resnet的局部热像诊断模型

2.1 Resnet_18基础结构改进

残差网络(residual network,Resnet)是经典的神经网络之一,采用残差网络对提取的红外图像进行分类识别可以有效解决在网络深度不断增加的情况下难以训练的问题,能得到较好的效果。但是,部分变电设备外形相似,故障特征存在故障面积小、易在深层网络中丢失信息等特点,直接采用原始网络对其训练准确度不高。因此,需要对原始网络进行改进。

Densenet网络基于多层密集连接的思想,在网络层数极深的情况下仍能兼顾图像的浅层特征,对图像中小目标和微特征的识别度较好[20-21]。将该网络密集连接的特点应用于模块化分解的Resnet_18网络中,可以提高设备缺陷状态识别的识别准确率。Densenet的连接方式及改进后的Res_DNet网络结构如图3所示。

图3 改进Res_DNet模型结构

改进思路为：在Resnet_18原网络中,含有8个Res_Branch子模块,浅层特征难以在高层网络中得到应用,因此,令第i个模块前输出的Outij特征作为第j个模块增加的输入特征Inij,让网络具有更强的梯度流动性并保存低维度的特征。同时,使用过多Res_Branch子模块可能造成模型过拟合。考虑自身的数据集特点,假设最终采用的子模块数量为L,则需设计0.5L(L-1)条支路进行多层语义特征传递。由于红外图像的局部特征主要体现在浅层语义中,考虑对称式结构的设计,所使用的网络最终采用6个Res_Branch子模块。值得注意的是,在设置密集性连接时,网络可能因卷积核的数量不同而无法直接采取加操作,此时可设置多个大小为1×1的卷积核进行聚合。

2.2 基于贝叶斯的超参数优化方法

超参数(hyper-parameter)是机器学习算法的参数,学习率、卷积核数量、正则化项系数等超参数的设置会影响模型分类的准确率。不同模型会有不同的最优超参数组合,根据经验或随机的方法来尝试会浪费大量时间和计算资源。特别地,本文采用2个网络逐层递进的方式提高最终检测的准确度,每个网络的超参数设置都需要配合改进。因此,采用贝叶斯算法可以实现超参数的自动获取与最优选择。

贝叶斯优化的原理可表示为：

λ*=arg maxλf(λ,Dtrain,Dvalid)

(4)

式中：λ为机器学习模型超参数配置,λ*为最优机器学习模型配置;D为给定数据集;f为待求的目标优化函数。利用贝叶斯算法进行超参数优化的流程如下：

1) 确定待优化的超参数组合、超参数调节方式和寻优取值范围,各类超参数优化设置如表2所示。

表2 超参数优化设置

2) 随机进行n次训练,记录分类准确率,根据采集函数的极大值确定下一个采样点。

3) 设置最大优化时间为8 h,时间结束后输出超参数组合。

3 实验

3.1 实验环境及过程

同一幅图像中可能同时具有正常工况的设备和异常工况的设备。首先,采用改进后的YOLOv4-tiny算法对待训练图像中电气设备的缺陷部位进行定位,并提取出该设备先验框;然后,将先验框内的局部图像作为改进Resnet网络的输入层进行训练,并通过贝叶斯算法优化训练模型的超参数;最后,验证本文模型,并与目前流行的其余诊断模型进行对比,实验整体流程如图4所示。

图4 实验整体流程

将样本按照7∶3划分为训练集和测试集,模型输入尺度为224×224×3。运行环境为Windows 10操作系统,NVIDIA GeForce RTX 3080 Ti显卡。CPU为AMD Ryzen 9 5950X 16-Core,在Matlab 2022b环境下运行实验。实验参数设置如表3所示。

表3 实验参数设置

表4 改进模型与其他模型的实验结果

3.2 评价标准

针对红外巡检任务的特殊性,使用改进YOLO算法提取局部图像部分,使用召回率Rec(recall)、精确度Pre(precision)、每类目标的平均精度AP(average precision)、平均精度均值mAP(mean average precision)和每秒传输帧数FPS(frames per second) 来评估模型的性能。使用改进Resnet进行诊断部分,主要采用准确度Pac(accuracy)和FPS来评估改进网络的性能。部分计算表达式如下：

(5)

(6)

式中：R为召回率;C为分类的总数。网络模型的交并比IOU取值为0.5。

3.3 基于改进YOLO的红外热像局部提取结果分析

图5展示了改进模型在训练不同设备过程中70轮损失值的变化情况。随着训练轮数的增加,损失值逐渐下降,在60轮以后损失值趋于平稳。

图5 损失值变化曲线

为了验证改进算法的先进性,在红外热像局部提取任务中与目前主流的算法进行对比,表3给出了本文模型与Fast-RCNN、YOLOv3、YOLOv4以及YOLOv4-Tiny的实验结果。在训练尺度为224×224×3时,改进算法的平均检测精度为91.25%,mAP相比于原算法提升了5.3%。同时,改进算法在检测速度上与原算法相比(抽取总样本10%作为检验对象)虽然下降了7 FPS,但在精度上有了很大的提升。故综上可发现,改进后的算法对变电设备局部提取的综合性能最好。

图6与图7更为直观地展示了YOLOv4-Tiny原网络和改进网络对变电设备红外图像热缺陷局部提取的结果。可以看出,改进模型在电流互感器、隔离开关、套管这几类变电设备上的提取精度均高于原始模型。

图6 YOLOv4_Tiny提取平均精度均值

图7 改进模型提取平均精度均值

采用改进算法对数据集中隔离开关、套管、电流互感器3类设备进行检测,并提取出设备所在的局部区域,提取结果如图8所示。可以看出,改进算法具有较高的置信度,能够在具有复杂背景干扰的情况下准确提取出目标设备。

图8 红外热像局部提取结果

3.4 基于改进Resnet的检测模型结果分析

基于改进YOLOv4-Tiny算法进行图像局部提取后,将其输入到已训练的分类模型中,得到模型预测的准确度。同时,采用贝叶斯优化算法对模型超参数组合进行优化,效果如图9所示,表明以分类准确率作为最终期望时,超参数组合更偏向于选择较低的正则化系数与较多的卷积核个数。

图9 贝叶斯优化超参数组合效果

图10展示了本文模型与Alexnet、Resnet、Googlenet、Vgg16等模型在100次迭代训练过程中的分类准确率。模型识别准确度随迭代次数增加均不断提升并趋于稳定,最终检测效果如表5所示。

表5 不同模型组合的分类准确率

图10 不同模型组合识别准确度

由表5可知,在进行图像局部提取之后,经典网络对各设备类型和缺陷的识别度均较高。在未进行提取时,即使是识别度最高的Googlenet也仅有85.56%的准确率,进行提取操作这一前步骤可以为最终的分类结果贡献约5%的精度。同时,与其他模型相比,本文模型对各类设备热缺陷状态的识别准确率达到96.67%,比Googlenet等经典网络的准确率至少高出4.6%。图11展示了红外热像经提取、并将数据完全打乱后随机抽取部分图像进行训练的结果,表明本文模型能够有效识别设备的热缺陷状态。

图11 本文模型检测效果

使用Grad-CAM对Res_DNet网络与其余网络的识别效果进行对比,结果如图12所示。不同的颜色代表着该区域对预测结果的贡献度,红色区域表明该处的贡献度最高。网络顺序从上至下为：Alexnet、Resnet_18、Googlenet、Vgg16、Res_DNet(本文模型)。

图12 改进模型状态识别结果可视化图像

从图12中可以看出,本文诊断模型对设备热缺陷状态进行识别时,将重点放在设备产生高热量的热缺陷部位,能够合理判断设备的运行状态,并识别出设备的故障位置。

4 结论

针对变电设备红外图像背景干扰大、热缺陷故障种类繁多、现有故障诊断方法效率低、难以满足实际巡检应用需求的问题,通过卷积核分解及多特征融合方法提出一种改进的YOLOv4-Tiny模型,用以提取设备的局部特征,构建了融合密集连接思想的残差网络模型,提升了对设备热缺陷的识别准确率。实验结果表明,改进后的YOLOv4-Tiny算法相较于原算法提升了5.3%的准确率,改进后的Res_DNet算法相比于经典算法提升了4.6%以上的准确率,2种算法组合后表现出轻量化和高精确度的特点,能在电气设备红外巡检的真实环境中运用。

下一步将从提升某一类特定设备热缺陷识别准确度的方向开展工作。如本文针对隔离开关的识别效果并未达到预期,这与隔离开关原红外数据集中故障数据与正常数据过于相似有关。因此,针对易于混淆的设备故障状态,可对提取图像进一步增强处理,如HSI、HSV等,从输入的角度改进和提升检测模型的准确率。