基于机器视觉的电力线路侦测技术

曾昌健 李 丽 郑为凑

(1.福建电力职业技术学院，福建 泉州 362000;2.国网宁德供电公司，福建 宁德 352100)

1 概述

输电线路覆冰是一个随机的自然现象，受湿度、海拔、地形、风等多个自然环境因素影响，会出现不同程度的线路冰雪附着状态。由于输电线路在发生冰害事故时，一般气候恶劣，覆冰发生时道路无法通行，通讯中断，抢修难度非常巨大，导致因无法及时复电而带来严重的经济影响。

国内外对输电线路覆冰形成机制、覆冰闪络、输电线路脱冰舞动和线路覆冰预测等的研究取得了较大进展[1-3]。在国内，西安交通大学科技人员针对杆塔覆冰杆段两侧拉力不同，采用平衡点法计算覆冰厚度。华北电力大学科技人员针对光纤传感器敏感度高、电磁稳定性好等优点，采用光纤拉力传感器和光纤倾斜角传感器，获得拉力和倾角实现覆冰厚度计算。湖南电力设计院科技人员采用自适应分割阈值识别输电线路覆冰现象[4-6]。华南理工大学科技人员采用自适应阈值变换和基于LOG算子的边缘检测技术实现输电线路覆冰识别。在国外，Berlijn S.M.等人提取了结冰前后绝缘子的边缘轮廓，并通过校准估计了结冰厚度，但精度不高。Yang等人提出根据覆盖维数分形法和边缘检测来计算结冰厚度[7-12]。本文采用机器视觉与改进的Faster R-CNN与模板匹配结合GrabCut算法进行覆冰识别，实现导线、绝缘子覆冰厚度识别侦测，提高预警水平。

2 基于改进的Faster R-CNN绝缘子覆冰辨识模型

通过对基于Faster R-CNN辨识算法的研究，利用训练集、测试集去训练改进的Faster R-CNN网络；在网络训练过程中，为了避免过拟合，采用批量归一化方式、激活函数ReLU去优化网络参数，生成覆冰辨识模型；为了提高绝缘子覆冰辨识精度，采用非极大值抑制和ResNet101卷积网络对Faster R-CNN进行改进。将测试样本输入绝缘子覆冰辨识模型之后，获得预测的标签及边框，最终实现对绝缘子覆冰的辨识。本项目利用改进的Faster R-CNN算法实现绝缘子覆冰状态辨识(见图1)，具体步骤如下所述。

图1 改进的Faster R-CNN架构

①本项目的算法支持输入任意大小(A×B)的图像，在输入到网络训练前，将任意大小(A×B)的图像缩放至固定大小(600×800)。接着利用ResNet101卷积神经网络层对固定大小的图像进行特征提取从而得到了特征图，该特征图大小为300×400×1024。特别地，ResNet卷积神经网络结构中包含7×7×64的卷积(其激活函数使用的是线性整流函数(ReLU))及四种不同卷积块(这四种不同卷积块分别用卷积块1、卷积块2、卷积块3及卷积块4表示)。本研究所采用的ResNet101包括4种不同类型的卷积块(即：3个卷积块1，4个卷积块2，3个卷积块3及3个卷积块4，其中卷积块1包含1×1×64、3×3×64及1×1×256的卷积，卷积块2包含1×1×128、3×3×128及1×1×512，卷积块3包含1×1×256、3×3×256及1×1×1024，卷积块4包含1×1×512、3×3×512及1×1×1024)。

②将步骤1中得到的特征图导入到相应的区域候选网络。区域候选网络先是利用3×3×512的卷积(其激活函数使用ReLU)对特征图的降维并利用批量归一化提高区域候选网络性能及避免过拟合，接着分别利用两个不同数量的1×1卷积对特征图进行不同的操作。通过Softmax对特征图上面不同的锚点进行分类而获得包含目标的正样本的锚点与只包含背景的负样本的锚点。另一条线则是用于做边框的回归偏移量，从而获得精确的候选区域。最后通过Proposal层综合分类操作得到的包含目标正样本的锚点和其对应的边框回归偏移量来剔除过小及超出边界的候选区域，从而获得输入到ROIPooling层的特征图的候选区域，该步完成了目标定位的功能。

③通过RoI池化层(RoI Pooling)收集由卷积层输出的特征图和由区域候选网络输出的候选区域，并引入在线难例挖掘(OHEM)来处理数据类别不平衡的情况，从而简化算法难度，选定输出固定大小的区域候选特征图(proposal feature maps)。将得到的区域候选特征图送入ResNet152结构的3个卷积块4，用于目标类别判定及边框回归预测。

④首先通过3个卷积块4进行特征提取，接着利用平均池化，其次，就是目标分类和边框预测回归。通过softmax对输入的区域候选块进行分类，同时对该候选块进行边框回归预测获得精确的边框位置。从而实现绝缘子覆冰状态辨识。

3 模板匹配结合GrabCut的绝缘子覆冰厚度计算算法

当通过改进Faster R-CNN算法检测出覆冰绝缘子后，本项目将模板匹配、最大流最小割(GrabCut)算法结合使用进行图像特征提取，即对覆冰绝缘子图像进行前景背景分离，从图像中提取完整覆冰绝缘子图像(前景)，并与未覆冰绝缘子进行对比，计算出覆冰厚度。流程图如图2所示。

图2 绝缘子覆冰厚度计算算法流程图

3.1 对绝缘子现场图像进行预处理，提高图像可用性

现场监控装置返回的图像中，因现场环境影响和受限，图片中存在大量的噪声和背景干扰，为消除噪声和背景干扰对后续图像处理的不良影响，首先对获取的绝缘子图像进行预处理，提高背景对比度，并利用均值滤波去除环境噪声。400万像素高清摄像头返回图像的分辨率为2560×1440像素，图像较大，影响运算效率，在尽可能保留图像信息的条件下将图像缩小为原图1/10，以提高运算速度。

3.2 建立模板图像

为从现场图像中提取出所需前景图像，建立与覆冰后图像进行比较和匹配的模板图像。该模板图像为在良好气象条件、固定机位现场拍摄的绝缘子图像，并对图像使用步骤1中的方法进行处理，在保留图像信息前提下提高了可用性，便于后续处理。

3.3 模板图像与现场图像进行匹配，获取图像前景框

模板匹配常用于数字图像处理，是把不同时间、成像条件、同机位2幅及以上图像在三维空间上比对，即通过一块已知模板图像，在大视野中寻找目标潜在位置。算法流程：首先选取与现场相同绝缘子的模板T(m×n个像素)，然后将其放置在待检索图像S(W×H个像素)上，其中m≤H，n≤W。T从S左上角[S的(0，0)点]开始向其他未覆盖区域移动(如图3所示)。T覆盖S的范围称为子图Sij。i、j分别为模板T左上角点在被检索图S所在坐标系下的坐标，检索范围为0≤i≤H-m,0≤j≤W-n。匹配过程是通过比较模板T与待检索图像子图Sij的相似程度，该指标用式(1)来衡量：

(1)

式(1)中的第一、三两项分别为子图Sij与模板T的能量，第二项为Sij与T的相关关系。为更有效表达二者的关联性，通过改造并归一化后得到式(2)：

(2)

Rij称为子图Sij与模板T的相关系数，0≤Rij≤1，Rij越趋于1，说明Sij与T越相同，越可以被认为是相同的图像。

当模板T在待检索图像S中完成检索后，找到Rij的最大值的位置，认为此位置即为S中待查找物体的位置，记录此时的Sij左上角点的坐标(i，j)，以(i，j)为起点、以(i+m，j+n)为终点的矩形框即为图像前景框。

图3 模板匹配示意图

使用GrabCut算法(如图4)分离图像，并提取所需的前景图像。GrabCut算法的基本思想都是最大流最小割(Max Flow-Minimum Cut)方法。

图4 GrabCut算法示意图

3.4 获取图像轮廓

①图像灰度化：将三通道RGB图像，按照式(3)进行加权平均，使三通道降为一通道灰度图。

Gray=0.114B+0.587G+0.299R

(3)

②图像二值化：使用人工指定阈值T的方案，按照式(4)对灰度图像进行二值化处理，获得二值图像。

(4)

③查找并绘制图像轮廓：使用findcontours函数处理二值化图像Binary，设置参数RETR_EXTERNAL限制检索范围，仅检测最外层轮廓。设置一个较大阈值T，过滤小轮廓干扰，当且仅当轮廓面积大于阈值T时，才会绘制该轮廓。

至此，图像前景分割及提取流程结束。

3.5 轮廓面积计算及覆冰预警

使用contourArea函数返回轮廓面积，定义面积为轮廓内包含像素点个数。为分析覆冰前后轮廓面积变化情况，分别计算覆冰前后绝缘子的轮廓面积，设覆冰前绝缘子轮廓面积为N1(模板图像中绝缘子轮廓面积)，覆冰后绝缘子轮廓面积为N2(待检测图像中绝缘子轮廓面积)，并根据实验及历年人工观冰数据，设置覆冰厚度阈值T，作为判断是否需要预警的依据。根据式(5)计算当前覆冰变化率：

(5)

其中，Pa为绝缘子覆冰前后轮廓面积的变化率；设Dm为人工观冰厚度，Pa每增加3%相当于Dm增加Am(Am为根据现场实际及历史经验数据获得的相应的经验值)。以此为依据计算实际Dm的大小，若超过预警值T，则存在绝缘子持续覆冰风险，需要进行预警，并对绝缘子进行持续观测，必要时进行除冰处理。

4 实验验证

实验室环境模拟绝缘子覆冰厚度计算实验结果分布如表1所示，算法对绝缘子覆冰状态的判断具有较高的精度；算法效果如图5、图6所示。图5中，未覆冰绝缘子轮廓面积为26627.5像素，图6中，覆冰绝缘子轮廓面积为33137.5像素，覆冰前后绝缘子轮廓面积变化明显，可以基于此判断绝缘子覆冰状态。综合实验结果可以看出，算法对未覆冰绝缘子的判断精度更高，这是因为覆冰绝缘子的形态各异，需要大量数据用于训练，数据量越大，进行训练后算法的精度越高，实验室环境下做出的数据量有限，当逐步提高数据量后，算法的精度会进一步提高。总体来看，算法的精度若达到需求，可以用于判断绝缘子的覆冰状态。

表1 实验室环境模拟绝缘子覆冰厚度计算实验结果分布

结合算法的测试结果综合分析，在实验室环境下使用与现场相同的算法进行实验，同样得到了良好的实验结果，算法的精度得到了进一步验证，可以认为该系统可以在输电线路现场投入使用。

图5 实验室环境模拟绝缘子覆冰实验未覆冰绝缘子图

图6 实验室环境模拟绝缘子覆冰实验覆冰绝缘子图

5 结论

本文基于机器视觉与深度学习技术，提出改进Faster R-CNN算法实现绝缘子覆冰辨识和侦测，结合模板匹配的GrabCut算法实现覆冰厚度变化识别，无需人工实时在线监测，解放大量人力，可协助电力部门预防与应对冰雪灾害，在降低冰灾事故发生率方面具有较高实用价值，具备良好的应用前景。