基于嵌入式深度学习的电力设备红外热成像故障识别①

王彦博,陈培峰,徐 亮,张合宝,房 凯

1(国网山东省电力公司检修公司,济南 250100)

2(北京科技大学 计算机与通信工程学院,北京 100081)

3(积成电子股份有限公司,济南 250100)

4(中国石油大学(华东) 计算机科学与技术学院,青岛 266580)

1 引言

电力系统中的变电站与输电线路是联系发电厂与用户的重要枢纽,其安全稳定运行至关重要,一旦电力设备发生故障,电力系统的安全性以及供电的稳定性将受到极大影响[1].电力设备长期受气候因素等外部环境影响极易发生故障,因此需要对电力设备进行定期巡检维护来保证供电系统正常运行.据相关资料统计,高达90%的电力系统事故是由电力设备故障引起的,其超过50%的故障设备会在早期阶段出现异常的发热症状[2].红外测温的原理是探测器探测并接收被测目标发射出的红外辐射能量,将接收到的红外辐射能量转换成与之相对应的电信号,再经过专门的电信号处理系统获得物体表面的温度分布状态.电力设备的热故障由电力设备类别、发热部位以及发热程度等因素决定,其温度分布形式也不同.因此,红外技术十分适用于电力设备的热故障检测.分析电力设备表面的温度分布信息,能够对发现电力设备中潜在的隐患和故障,并对故障的严重程度做出定量的判断[3,4].

目前,电力系统中最主要的巡检形式是人工巡检,人工现场诊断或者采集信息供后续分析.人工巡检工作量大,管理成本高,需要对技术人员进行技能培训,信息采集与故障分析都需要人工来完成.而国内电力系统分布广泛且部分地区所处环境恶劣,增加了巡检成本与难度,人工巡检变得异常复杂.如果巡检不及时,一旦电力设备出现故障,将会造成严重事故.如今,卷积神经网络与传感器于信息技术的融合得到广泛的研究,并应用于电力系统巡检,在一定程度上减少了巡检成本和难度,为及时发现安全隐患并且排除故障和处理突发状况奠定了基础[5].

卷积操作具备强大的特征提取能力,与全连接层相比具有更少的参数优势,应用在图像数据中具有得天独厚的优势,卷积神经网络在计算机视觉领域占据了毋庸置疑的地位.然而,嵌入式设备的硬件资源限制使得卷积神经网络难以在小型设备上进行部署,所以卷积神经网络结构优化是本文的重要目标.卷积神经网络大部分计算都集中在卷积操作上,因此减少网络模型的复杂度、减少模型的计算量和参数量的关键是设计高效的卷积结构,在精度损失可接受的范围内,大幅提高网络速度.

由于被测目标表面发射的红外辐射强度在空气传播中将会衰减,被测目标的红外测温结果往往低于被测目标的实际温度.因此,本文采用BP 神经网络,对被测目标的红外测温结果进行修正.

2 相关工作

电力设备热故障检测的首要步骤就是对采集到的红外热成像进行分析,检测出图像中电力设备.电力设备检测主要分为两个任务:一是定位任务,从图像检测出电力设备并给出该设备的位置信息;二是分类任务,判断出每个电力设备的具体类别.

由于视角、遮挡等因素使目标物体发生形变,使得电力设备检测成为具有一定难度的任务[6].文献[7]提出了一种基于SIFT (Scale-Invariant Feature Transform)[8]和OTSU[9]特征匹配的变电站视频电力塔倾角检测方法,通过匹配特征点来计算电力塔的倾角;文献[10]为了在模板图像和变电站的监控图像之间进行SIFT 进行特征匹配,采用RANSAC[11]用来消除图像中的不匹配状况,其中模板图像的边缘通过OTSU 分割得到.传统的电力设备检测算法依赖于人工提取每个电力设备特征,虽然获得了较好的发展,但由于人工特征对不同图像数据适用性较差,且提取的特征表达能力不足,容易导致最终分类错误和漏检.

深度学习能够克服传统方法的缺陷,通过逐层的特征变换,将蕴含于数据中的信息映射到新的特征空间上,让计算机自动的学习到高层的特征[12],随着数据量的增加而增强学习的效果,获得更高的匹配精度.RCNN (Region CNN)[13]可以说最先使用深度学习进行目标检测的算法,利用海量数据来训练卷积神经网络模型来提取特征.SSP-Net (Spatial Pyramid Pooling Network)[14]设计空间金字塔采样层(Spatial Pyramid Pooling,SSP)实现网络模型输入任意图像大小.针对R-CNN 对每一个候选区域都要独自使用卷积神经网络提取特征的问题,Fast R-CNN[15]设计共享卷积层提高了R-CNN 速度.Faster R-CNN[16]第一次提出RPN(Region Proposal Network)网络,直接使用卷积神经网络产生候选区域.RPN 网络提取少量的高质量预选区域,具有很高的召回率.YOLO (You Only Look Once)[17]对目标检测使用回归方式,采用单个卷积神经网络模型来实现端对端(End-to-End)的目标检测.

深度神经网络复杂、训练大、计算量、参数量大,模型的部署需要非常强大的硬件设备,嵌入式设备由于硬件限制只能部署浅层神经网络,目标检测精度受到限制.要实现工程化,需要研究深度网络模型的压缩、降低内存占用、降低功耗、减少计算量和参数量.剪枝(pruning)应用于神经网络中来移除一些不重要的权重,能够有效加快网络的速度,提升网络泛化性能[18-24].参数量化(quantization)就是从权重中归纳出若干个能代表某一类权重的具体数值,这一类代表被存储在码本(codebook)中,原本的权重矩阵只需要记录各自代表的索引即可,极大地降低了存储开销[25,26].卷积神经网络计算大部分集中在卷积操作,因此压缩模型、提高效率需要设计新型的网络结构,如MobileNet[27]、ShuffleNet[28].

3 电力设备检测

目标检测是深度学习的一个重要研究领域,通过获取目标信息,提取目标特征来进行训练学习、特征分类等.本文将在SSD 的基础上实现电力设备检测,采用谷歌提出的适用于嵌入式以及移动端的高效轻量级卷积神经网络MobileNet 替代SSD 中的VGG-16 网络,与SSD 算法相比,具有更好的环境适应性、鲁棒性以及更高的精度.

3.1 基于嵌入式平台的电力设备检测

SSD 是典型的基于深度学习的目标检测算法,与R-CNN 系列目标检测算法相比,SSD 取消中间的候选框和像素特征的重采样过程,保证速度的同时保证了检测精度,SSD 输出一系列离散化的候选框,候选框生成在不同层上的特征图且长宽比不同,经过卷积神经网络的前馈操作,SSD 生成一系列固定大小的候选框,使用小卷积Filter 来预测候选框位置中的目标类别和偏移即候选框中包含目标种类的概率,最后通过极大值抑制方法得到最终的预测结果.

但是SSD[29]以VGG-16[30]作为特征提取网络,需要消耗大量的计算资源,这些网络模型通常部署在GPU 上,对于硬件要求极高,在嵌入式平台上难以运行如此巨大的网络模型,将极大影响电力设备检测效率.为了使SSD 适用于嵌入式设备,本文对SSD 进行优化改进.我们使用MobileNet 替代SSD 中的VGG-16 网络.MobileNet 采用深度可分离卷积(depthwise separable convolutions)来替代常规的卷积层,深度可分离卷积将标准卷积分解成为深度卷积和逐点卷积,当输入feature map 为m×n×16,想输出32 通道,那么卷积核应为16×3×3×32,则可以分解为深度卷积:16×3×3,得到的是16 通道的特征图谱,点卷积:16×1×1×32.如果用标准卷积,计算量为:m×n×16×3×3×32=m×n×4608,用深度可分解卷积之后的计算量为:m×n×16×3×3+m×n×16×1×1×32=m×n×656,减少了卷积神经网络的计算量以及参数量,提高网络运行效率.MobileNet-SSD 与SSD 网络结构如图1所示.

图1 MobileNet-SSD 与SSD 网络结构对比

3.2 合并Batch Normalization 层

在训练深层卷积神经网络时,使用Batch Normalization 层能够加速训练速度,提升网络收敛速度.在卷积神经网络中,Batch Normalization 层一般放置在卷积层或者全连接层之后,Batch Normalization 层将数据进行归一化后,能够有效地解决梯度消失和梯度爆炸问题,并加速训练拟合速度.Batch Normalization 层在深度卷积神经网络的训练阶段起到一定的积极作用,但在网络模型的部署阶段,在模型预测时多了一层计算,将影响模型整体的运算速度,并且增加显存与内存的占用空间.因此,在网络模型的部署阶段,需要将Batch Normalization 层合并到卷积层中,以提高网络模型的速度.

假设,每一层的输入均表示为X,W为卷积权重,b为卷积偏置,先进行卷积运算,卷积层的运算公式为:

在卷积运算后,进行Batch Normalization 层运算.Batch Normalization 层进行两个操作,第一个是归一化,归一化运算公式如下:

其中,μ为均值,σ为方差,ε为一个较小数,防止分母为零.

Batch Normalization 层第二个操作是缩放:

其中,γ为缩放因子,β为偏置.

卷积层和Batch Normalization 层合并后,得到:

得到新的卷积权重如下:

得到新的偏置如下:

4 红外测温结果修正

一般,物体表面发射出来的红外辐射强度在空气传播中会衰减,因此,被测目标的红外测温结果往往低于被测目标的实际温度,距离越远,实际差值越大.所以需要修正被测目标的红外测温结果.BP 神经网络算法广泛应用在各种场景,而在探究红外测温的影响参数时,BP 神经网络算法相比线性插值法和多元线性回归法,非线性映射能力强适应性强,精确度高.

温度修正模块将采用BP 神经网络来对红外测温结果进行温度修正.如图2所示,输入层的输入为被测目标的红外测温结果和该目标的测量距离,将这两类数据输入到BP 神经网络中,得到最终修正过的温度.

图2 神经网络结构

温度修正模块设计的BP 神经网络的隐藏层含有α个节点,输入层含有β个节点,输出层含有γ个节点.输出层与隐藏层间神经元的神经元的传递函数为线性传递函数.假设xi为神经元的状态,yi为输出,神经元的输入状态xi和输出yi的关系为线性变化,如式(1)所示:

假设D1,2,···,γ分别为温度修正模块BP 神经网络的输入,则神经网络对应的输出:

于是,得到隐藏层中的第j个节点的输出,见式(10):

由此,将得到输出层中第j个节点的输入:

最后,得到输出层中第j个节点的输出:

5 电力设备热故障检测系统

本文为山东电力设计了电力设备热故障检测方法,将红外技术与深度学习相结合,把视频流的读取、深度学习的电力设备检测、BP 神经网络的温度修正以及数据的可视化融合.基于嵌入式深度学习的电力设备热故障检测架构如图3,该架构主要有3 个层次.

底层为数据的读取,红外热像仪通过以太网输出MPEG-4 格式的视频流,并将红外热像仪视频流解码成帧并传送到下一层.

中间层是数据处理层,主要从上一层获取的红外热像仪视频流进行热故障诊断.为数据处理层中电力设备检测算法的识别搭建了相对应的深度学习框架,部署的相关网络模型是已经训练完成的模型,这一层只进行检测任务,不进行网络模型的训练任务.这一层主要负责实时电力设备检测、设备定位;部署BP神经网络对红外测温结果进行温度修正;修正后的温度将通过先验知识库来判断该设备是否出现异常发热症状.

顶层是数据服务层,将中间层数据处理的结果进行可视化显示,最终的检测结果能够以一种更为直观的表现方式呈现出.

图3 电力设备热故障检测框架

基于嵌入式深度学习的电力设备热故障诊断方法主要分为3 项任务:电力设备的检测与定位,目标设备的温度提取,目标设备热故障诊断,类图如图4所示.

电力设备热故障检测的检测流程并对各个阶段进行了简单介绍.其检测流程如图5所示.

(1)从红外热像仪读取红外热成像视频流,将其解码成帧;

(2)电力设备检测算法检测每帧图像中是否含有电力设备,并将其定位;

(3)根据上一个步骤所得到的定位信息,从红外热像仪中获取红外测温与激光测距数据;

(4)根据红外测温与激光测距数据,通过温度修正模块得到修正后的温度;

(5)最后利用先验知识库,对修正后的温度进行热故障诊断,得到热故障检测结果.

6 实验

6.1 硬件环境

本课题涉及到的神经网络模型将分为两个阶段处理:训练阶段和部署阶段.两个阶段涉及到的硬件环境不一样.由于嵌入式设备的计算资源限制,嵌入式设备主要用于部署本课题所涉及到的算法模型,不进行训练任务.本文所涉及到的训练任务将由一台装有英伟达TITAN X 显卡的机器来执行.Jetson TX1 是英伟达第二代嵌入式平台开发套件,拥有先进的嵌入式视觉计算系统.Jetson TX1 核心仅有信用卡大小,但Jetson TX1 GPU 模块的浮点运算能力达到1 Teraflops,显然Jetson TX1 是理想的嵌入式解决方案.

图4 电力设备热故障检测类图

图5 检测流程

6.2 效果展示

表1为系统配置表,表2为部分设备实际测量温度与修正后温度的比较.从表中可以看出,经过BP 神经网络修正后的最大绝对误差为1.05 ℃,平均绝对误差为0.99 ℃.

表1 Jetson TX1 配置

表2 部分测量数据与BP 修正结果对比(单位:℃)

图6是电力设备热故障检测效果展示图,检测结果标出所检测出来的电力设备在图像中的位置信息以及修正后的温度信息,其中绿色标注中的电力设备表示正常,红色标注中的电力设备表示出现过热故障.

6.3 性能与准确率测试

如表3所示,我们在Jetson TX1 嵌入式开发平台上运行相关目标检测算法,结果表明,与原始的SSD(VGG16)相比,MobileNet-SSD 在精度可接受范围内大幅提升运行速度,处理一张图像只需58 ms,也就是约为17 帧/s,对于嵌入式设备上的应用具有重要意义.

7 总结

针对电力设备的故障识别问题,本文提出了一种基于嵌入式深度学习的电力设备热故障检测方法.该方法首先基于MobileNet-SSD 算法实现电力设备检测,让计算机自主地学习电力设备特征信息并准确检测到电力设备,并在温度修正模块中采用BP 神经网络来对红外测温结果进行温度修正,最终实现无人自动化电力设备热故障检测.实验结果表明,该方法能够较对电力设备故障实现精准的检测.同时,本文提出的Mobilenet-SSD 算法在精度可接受范围内实现了推理速度的大幅提升,在轻量级计算平台上满足时间性能的前提下,跟其他目标检测算法相比Mobilenet-SSD 具有更高的准确性.由于检测到的不同设备故障具有不同的图像特征,其深层特征支持故障原因的进一步推理,因此在下一阶段的中,我们将继续研究利用深度学习分析设备故障的深层原因.

图6 检测结果

表3 电力设备检测结果对比