刘立超
(中国铁路呼和浩特局集团有限公司 供电部,呼和浩特 010050)
牵引变电所把区域电力系统送来的电能,转变为适用于电力牵引的电能,为电力机车/电动车组供电[1]。由于牵引变电所的一般控制设备及二次侧高压设备均设在室内,当其所在房屋年久失修或遇到极端天气时,雨水透过墙壁或从窗户渗入,进入高压室或控制室,可引起绝缘击穿、保护装置误动,导致跳闸,从而影响列车的正常运行。目前,主要依赖定期人工巡检来检查牵引变电所是否发生渗水现象,效率较低且无法实时监测。因此,亟需实现针对牵引变电所的自动化的渗水检测。
当前,已有较多针对渗水自动化监测的研究。贾东峰等人[2]通过获取隧道内的点云数据,对其进行多尺度分析,实现了对隧道裂纹及渗水区域的检测;田伟等人[3]通过将传统特征提取器Canny 算子与卷积网络相结合的方式,实现了对发电站底部渗水、裂纹的检测功能;郑丽琼等人[4]通过叩诊法,采用梅尔频率倒谱系数(MFCC,Mel-Frequency Cepstrum Coefficient)技术收集敲击墙壁的回声,并利用其特征训练支持向量机分类器,实现了对混凝土渗水的检测。上述渗水检测的研究方法,均是利用机器学习或传统视觉与简单卷积网络相结合的方式,存在泛化能力偏弱的情况。
本文基于改进后的MobileNetV2 网络和Deeplab V3 网络相结合的模型[5],设计牵引变电所墙壁渗水检测方法,并利用边缘计算及5G 移动通信等技术,实现渗水检测的边缘化部署,在保证准确率的同时,降低计算压力。
牵引变电所墙壁渗水检测流程如图1 所示。
图1 牵引变电所墙壁渗水检测方法流程
(1)图像预处理:对输入的图像进行等比缩放等预处理,使得图像的尺寸符合图像分割模型的输入尺寸。
(2)图像分割:将预处理后的图像送入图像分割模型,进行分割处理,得到二值图像,分离出背景与目标区域。
(3)图像后处理:对二值图像进行形态学操作,对分割后的图像进行降噪及连通区域填充。
(4)区域统计分析:对图像进行轮廓分析,得到一系列的轮廓坐标信息,并对图像分割区域及周边做亮度统计。
(5)判断处理:计算较大轮廓的面积,若轮廓面积大于等于设定的阈值,且分割区域的亮度值低于分割区域周边的亮度,则认为存在渗水现象,否则,则认为不存在渗水现象。
本文重点介绍图像预处理和图像分割的方法。
(1)需要对输入图像进行标注,由于本文采用图像分割的方式,因此,标注方式需要采用分割形式,将输入图像中的渗水区域用颜色涂抹出来。
(2)为避免后期模型训练时循环读取标签,造成不必要的时间消耗,提前在数据准备的阶段进行标注生成,根据原图的分辨率,将输入图像的像素设定为300×536,最大程度地保持了原图的比例,减小扩边尺寸。
本文的图像分割模型主要包括特征提取网络和像素分类器两个部分。
1.3.1 特征提取网络
1.3.1.1 特征提取网络优化
特征提取基于MobileNetV2 网络进行改进,MobileNetV2 网络主要利用残差连接和深度可分离卷积的思想,其输入图像像素为224×224。根据下采样的不同需求,MobileNetV2 网络构造了瓶颈层基础组件Bottleneck1 与Bottleneck2,如图2 所示。
图2 瓶颈层基础组件Bottleneck1 与Bottleneck2
图2 中,Conv 为卷积操作;Dwise 为深度可分离卷积;Relu6 为激活函数;stride 为卷积步长。本文在这两个组件的基础上,修改了激活函数和残差连接, 得到瓶颈层基础组件Bottleneck1+和Bottleneck2+,如图3 所示。
图3 中, Hardswish 为激活函数。改进后,将Bottleneck1+中的激活函数由Dwise 改为Hardswich;为保证在精简网络的同时,精度不下降,需要充分利用浅层信息,因此,在步长为2 的Bottleneck2+中,利用残差网络的思想[6],新增了一个残差连接。将Bottleneck2+进行两倍下采样,输入无法直接与下采样后的特征图叠加,因此,在残差连接路径上增加一个卷积步长为2 的汇聚模块。
MobileNetV2 网络中的Relu6 激活函数,虽然抑制了Bottleneck1 的激活值,但忽略了其小于0 的部分,不利于网络的梯度传播,如图4(a)所示;Bottleneck1+采用Hardswish 激活函数[7],既可保持原Relu6 激活函数的作用,还兼顾了其小于0 的部分,使得网络学习更充分,如图4(b)所示。
图4 Relu6 与Hardswish 激活函数
1.3.1.2 特征提取网络架构
原MobileNetV2 网络构架如表1 所示,改进后的MobileNetV2 网络架构如表2 所示。
表1 MobileNetV2 网络构架
表2 改进后的MobileNetV2 网络构架
从表1 和表2 中可看出,本文更改了网络图像的输入尺寸,减少了卷积核的个数,使得整个网络更符合本文输入图像的大小,且参数量更少。
1.3.2 像素分类器
本文对DeeplabV3 网络进行优化[8],优化后的网络作为牵引变电所墙壁渗水检测的像素分类器。DeeplabV3 网络中的空间特征池化金字塔(ASPP,Atrous Spatial Pyramid Pooling)是包含空洞卷积的模块,它摒弃了传统的池化操作,减小了信息损失,利用卷积的方式增加局部感受野,使得图像在多种尺寸上均有较好的特征抽取效果,不同扩展率下的卷积核分布情况如图5 所示,可通过扩展率的取值来控制局部感受野的大小。
图5 不同扩展率的卷积核分布
本文对DeeplabV3 网络的优化主要体现在ASPP的层数与扩展率上,使其更符合实际渗水的目标大小,原ASPP 有4 层,可覆盖小、中、大、全尺寸图像的目标。ASPP 卷积核及其扩展率如图6 所示。
图6 DeeplabV3 网络中ASPP 卷积核及其扩展率
本文的研究对象为牵引变电所墙壁渗水区域,根据对既往数据及摄像头的视场分析,其占比不会超过一半图像,因此,ASPP 可剔除最后一层,即全尺寸图像目标层,得到对于中小目标更加敏感的像素分类器。优化后的网络中ASPP 卷积核及其扩展率,如图7 所示。
数据集制作主要包含4 步:
(1)通过互联网等途径收集大量变电所、办公室、地下停车场等场所的墙壁渗水样本图像;
(2)在变电所、办公室、地下停车场等场所的墙壁上浇水,模拟渗水现象,并拍摄数据样本;
(3)用摄像头环拍牵引变电所监控的整个墙面,包括各个角度与多尺度的图像,将这些图像与步骤(1)、(2)中的渗水区域图像融合构造学习样本,如图8 所示;
图8 两组融合图像样本及其标注
(4)获取大量变电所、办公室、地下停车场等场所无渗水墙壁的图像。
本文通过前述4 步制作的数据集共包含8 000 张带渗水样本的图像和10 000 张不带渗水的样本图像,其中,70% 作为训练集,20% 作为验证集,10%作为测试集。
MobileNetV2 网络和DeeplabV3 网络相结合的模型训练参数包括:优化器、损失函数、训练周期和学习率等,本文在参考DeeplabV3 网络参数的基础上做了部分调整,优化器为Adam,迭代次数为64,损失函数为sigmoid 与BCELoss 的合成。
针对样本不均衡的问题,本文引入Focal loss 损失函数[9],抑制简易样本的损失值,增加困难样本的损失值,从而使较小的目标获得较好的分割效果。Focal loss 损失函数公式为
式(1)中,loss为原损失函数计算所得的损失值;α、γ为损失调节系数,α取0.25,γ取1.5。
本文采用PA(Pixel Accuracy)和MIoU(Mean Intersection over Union)指标来评估图像分割模型,二者的公式为
式(3)中,set(gt) 为真实的目标像素集合;set(box)为模型推理出的目标像素集合。
本文在同一条件下对5 种不同组合的模型分别进行训练,结果如表3 所示。
表3 各类模型的训练结果
由表3 可知,对于牵引变电所的墙壁渗水检测任务,原始的MobileNetV2 与DeeplabV3 检测效果较差,且由于网络过深,运算耗时较长;MobileNetV2与改进的DeeplabV3 相结合,其PA 与MIoU 指标显著上升,但是耗时问题依然存在;模型3 耗时显著缩短,但PA 与MIoU 提升不明显;模型4 的PA 与MIoU 指标得到了较为明显的提升,且运算耗时大幅减少,只用了模型1 一半的时间,说明本文对特征提取与像素分类器的优化是有效的。
在模型4 基础上将损失函数调整为Focal loss 后,模型5 的PA 与MIoU 指标进一步提升,分别达到了98.82%和95.32%。说明Focal Loss 损失函数适用于本文的研究对象。
本文采用边缘计算+5G 移动通信的方式于2022年4 月在深圳地铁某线路的牵引变电所进行边缘化部署。将本文研发的牵引变电所墙壁渗水检测方法直接集成到相机中,有利于缩短数据传输时间,快速得出结果;在相机中集成了5G 移动通信模块,在墙壁渗水检测方法处理完数据后,5G 移动通信模块可快速地将结果反馈给控制中心。这样的部署方案便捷,不需要考虑有线通信和中心计算的问题。
本文在HEOP ( Hikvision Embedded Open Platform)嵌入式智能应用开发平台上,基于BASE库、 MEDIA 库和 HIKFLOW 库进行软件集成部署。相机型号为DS-2XA7287F-IZ(S),算力为2 T,智能内存为900 MB,单帧执行时间为40 ms。
本文给出了牵引变电所墙壁渗水检测方法的具体流程,并针对图像预处理和图像分割部分进行详细阐述。通过改进MobileNetV2 和DeeplabV3 网络,建立了适用于牵引变电所墙壁渗水检测的图像分割模块,降低了模型的参数量,提升了模型的精确度,PA 与MIoU 指标分别达到98.82% 和95.32%。在方法部署实现方面,采用边缘计算+5G 移动通信的方式,使得部署更便捷,适用范围更广。但还存在着一些不足,有渗水印记较淡时检测效果不佳、图像输入不能适应任意分辨率、算法检测耗时依然过高等问题,下一步的研究旨在解决上述问题,以期达到更好的效果。