基于机器视觉深度学习的绝缘子前端定位方法

苏超，杨强

(1.广东电网有限责任公司清远供电局，广东 清远 511500；2.浙江大学 电气工程学院，浙江 杭州 310000)

电能通过输电线路输送到各个用户，输电线路包括线路杆塔、输电线、绝缘子、线路金具、拉线、接地装置等。输电线路里程长，跨越复杂多变的地形和气候区域，并且受冰霜雨雪、高海拔、污秽等自然条件和天气因素影响，绝缘子容易出现自爆、闪络、破损、裂纹等缺陷，导致绝缘失效。为了保证整个电网安全稳定运行，必须对绝缘子状态进行监测，迅速、高效地发现缺陷和隐患并进行消缺。因此，定期巡检了解线路的运行状态，及时发现设备缺陷和其他安全隐患，已经成为确保输电线路及其设备可靠运行的必要手段[1-6]。

在直升机或无人机上搭载摄影设备拍摄巡检线路的图像，通过分析图像信息掌握线路基本运行状况，是现代化输电线路维护工作中一种先进、实用的技术手段。但航拍巡检过程采集到的图像数据量非常庞大，输电走廊的自然环境和地貌变化大，获得的航拍图像背景复杂多变、干扰多，绝缘子、线路金具、鸟巢等目标主体不明显。工作人员通过肉眼方式进行图像读取与判断工作量大，受主观因素影响大，且长时间工作易产生视觉疲劳、精力不足，导致误判或漏判，无法准确、可靠地发现线路安全隐患。因此，将直升机或者无人机与计算机视觉相结合实现自主巡检已成为智能电网自动巡检的研究热点。

绝缘子定位就是在一幅图像中标出绝缘子位置，它是实现绝缘子缺陷检测的重要环节。利用可见光图像进行绝缘子定位的研究已有很多，主要包括：

a)基于图像分割的定位。文献[7]对玻璃绝缘子在色调、饱和度、亮度(hue，saturation，intensity，HSI)色彩空间的饱和度分量进行阈值分割，利用连通区域法确定绝缘子轮廓。该类方法对于背景简单、不同目标之间像素值差异明显的图像分割效果好，但对于复杂背景图像分割效果不理想。

b)基于边缘和轮廓检测的定位。文献[8]采用边缘检测完成绝缘子定位。文献[9]利用非下采样轮廓波变换进行绝缘子图像边缘提取。由于巡检图像非常复杂，除了绝缘子，还包含杆塔及金具等其他目标，而且拍摄角度和拍摄距离的改变造成图像中的绝缘子边缘和轮廓的不确定性，使得该类方法的定位准确度受影响。

c)基于纹理特征的定位。文献[10]利用MPEG-7边缘直方图法对绝缘子纹理特征提取与识别。文献[11]采用基于主成分分析(principal components analysis，PCA)和全局最小主动轮廓模型进行图像纹理分割，该方法有一定的识别效果，但模型参数需要大量实验才能获取。基于纹理特征的定位方法计算复杂度高，图像中绝缘子纹理特征清晰且与背景目标纹理区别明显时，定位效果好；反之，绝缘子纹理不清，或绝缘子纹理与其他目标的纹理接近时，定位效果不好。

综上可见，已有方法能够在一定的条件下实现绝缘子定位，但还存在不足，为满足智能巡检的要求，急需结合绝缘子自身特点，深入研究准确率更高、实时性更好的绝缘子定位方法。本文利用云台角度自动控制技术和SSD(single shot multibox detector)深度学习算法研制了一种基于目标图像识别技术的绝缘子前端定位系统，在兼顾高检测速度的同时，准确率也较高，实现无人机前端定位判断。研究成果可以帮助提升输电线路巡检的自动化、智能化水平，具有一定的实际意义。

1 系统设计

1.1 工作原理

绝缘子前端定位系统由无人机平台、飞行控制系统、图像采集系统、图像识别系统、地面站系统以及无线通信系统组成。系统结构如图1所示。

图1 系统结构Fig.1 System structure

地面操作人员通过地面站系统操控无人机飞往指定目的地，无人机到达检测地点后进入自动悬停状态，操控图像采集系统对目标区域进行拍摄，拍摄的图片实时发送到图像识别系统，图像识别系统由树莓派机载电脑和现场可编程门阵列(field-programmable gate array，FPGA)人工智能(artificial intelligence，AI)计算平台组成，收到拍摄的图片后，树莓派先对其进行预处理，将预处理的图片发送给FPGA计算平台，平台内置的卷积神经网络对图片进行目标物检测识别，并反馈目标物的位置信息(图像像素坐标)给树莓派，树莓派基于位置信息及相机的焦距参数进行坐标转换计算云台偏转角，并将计算出的云台偏转角发送给飞行控制系统。飞行控制系统收到云台控制参数后发送给云台，以控制云台转动，使摄像机逐一拍摄图片中的目标物，且目标物处于图片中心位置。目标定位拍摄流程如图2所示。

在飞机悬停后，对目标区域进行拍摄，AI计算平台获取云台摄像机视频流，对目标物进行检测识别，根据像素坐标位置计算偏转角。云台控制系统的核心是通过控制云台在水平和俯仰这2个方向上的转动，带动负载摄像机，使拍摄的目标物保持在摄像机视野的中心位置。首先计算目标物在图像像素坐标系中的位置坐标，然后分别计算该位置在X方向和Y方向与图像中心的位移偏差值Δx、Δy；再将Δx、Δy通过坐标转换关系计算转化为2个偏转方向上的偏转角Δθx、Δθy；最后将偏转角信息作为控制参数反馈给云台，驱动电动机完成摄像机的转动。目标定位偏转流程如图3所示。

图2 目标定位拍摄流程Fig.2 Target location filming process

图3 目标定位偏转流程Fig.3 Target location deflection process

1.2 飞行平台及云台

飞行平台选用大疆M210 RTK V2无人机，如图4所示。该飞行平台的机身可靠耐用，适用于严苛的作业环境。

图4 大疆M210 RTK V2无人机Fig.4 DJI M210 RTK V2 UAV

另外，飞行平台还设有移动端、机载端和视觉导航系统的软件开发工具包(software development kit，SDK)。

移动端SDK(Mobile SDK)几乎全线支持大疆的硬件产品，在开发平台上支持现在主流的两大移动端系统平台——iOS和Android，通过Mobile SDK开发出来就是常见的手机平板应用程序，此应用程序在开发的时候调用了部分Mobile SDK的应用程序编程接口并封装成一个个可以用于操控无人机的功能。

机载端SDK(Onboard SDK)则更强调在妙算、禅思系列镜头和飞行控制等机载平台上进行开发，属于硬件开发的范畴，主要是处理数据通信协议，通过发送码流来达到控制无人机的目的，数据处理速度较高。

视觉导航系统SDK(Guidance SDK)是为导航系统而设置的，通过Guidance SDK可以从导航系统的硬件上获取各种输出数据，包括实时三维速度、惯性测量单元(inertial measurement unit，IMU)数据、超声波距离等。

本系统需要在机载端对视频数据进行实时计算，逐帧进行目标识别，数据处理运算量大，大疆M210提供串口和Onboard SDK，通过串口可以获取无人机的视频流、控制权，同时可以读取无人机的姿态和速度信息。

云台的性能是保证拍摄照片质量的关键，本系统采用禅思Z30型工业级增稳云台，将三轴增稳技术提升至全新高度，摄像机抖动控制在0.01°以内，在高倍变焦时也能保证图像清晰稳定。三轴增稳云台不仅能大幅降低抖动，还能补偿飞行器姿态的变化，使摄像机保持水平，在高速运动中捕捉稳定、流畅的影像。

1.3 机载电脑

对于使用外部处理器与无人机进行串口通信，本文系统选用基于ATmega644单片机树莓派开发板作为机载电脑。

本项目使用的树莓派3代B型电脑板是基于ARM架构的电脑主板，具有1.2 GHz主频的四核64位中央处理器、1 GB随机存取存储器(random access memory，RAM)，以MicroSD卡作为硬盘，可外挂接通用串行总线(universal serial bus，USB)移动硬盘，主板上带有一个10 Mbps/100 Mbps的以太网接口和4个USB数据接口，可连接网线和键盘、鼠标，板载无线WiFi模块和蓝牙模块，高清多媒体接口。只需要接通显示器及键盘、鼠标，就可以像其他任何一台运行Linux系统的个人电脑或者笔记本电脑，实现编程及办公文档、浏览网页、播放视频、控制硬件等诸多功能。

1.4 AI计算平台

采用FPGA计算平台，支持深度学习网络实时计算。机载FPGA计算平台采用Intel Arria 10芯片，包含双核ARM Cortex-A9，并包含156个数字信号处理计算单元、160 Kbps逻辑单元的FPGA可编程逻辑。支持多层深度学习模块实时并行计算，并可通过重构可编程逻辑部分更新硬件模块功能，其中FPGA芯片配置散热模块，支持FPGA芯片在0～60 ℃温度下工作。硬件计算平台上运行Ubuntu 16.04系统。平台质量不大于150 g，平均功耗9 W，图像输入到结果输出的检测时间在190 ms以内。板卡尺寸、功耗、性能各方面都能满足机载前端的要求，支持基于深度学习的输电线路目标图像分析[12]。

2 关键技术

2.1 机载计算平台与飞行控制系统及地面站的实时通信

a)飞行控制系统获取云台摄像机数据，经USB口将图像数据发送到树莓派；通过无线传输实时将图像数据回传地面站；经异步收发传输器接口将云台摄像机参数发送到树莓派。

b)树莓派将图像数据处理成鲲云AI加速卡所需格式后，经网口发送给鲲云AI加速卡。

c)鲲云AI加速卡对图像进行目标检测。若发现目标，将目标位置信息通过网口发送给树莓派。树莓派将目标位置信息发送到飞行控制系统并回传地面站，地面端显示的是目标标注后的实时画面。

d)树莓派基于目标位置信息及云台摄像机的参数计算云台控制参数。

e)地面端触发拍照功能，飞行控制系统收到地面端指令后，将云台控制指令发送给云台。

f)云台接收控制指令，在俯仰、航向2个维度进行偏转，对准目标并拍照，使目标物处于照片中心位置[13-16]。

通信流程如图5所示。

2.2 偏转角计算

现实物体处于三维立体世界中，经过相机成像系统变成二维图像，其过程如图6所示。

三维立体世界中的物体P、二维图像P′以及相机光心点O之间实际是相似三角形的关系，如图7所示。

图5 通信流程Fig.5 Communication flow chart

图6 相机成像原理Fig.6 Camera imaging principle

图7 相似三角形Fig.7 Similar triangles

云台摄像机主要成像原理是小孔成像。其过程和4个坐标系有关，分别是世界坐标系、相机坐标系、图像物理坐标系和图像像素坐标系。

世界坐标系是现实的三维地球的绝对坐标系。因为摄像机是安装在三维世界，要想确定它的位置，必须要用这个基准坐标来描述，而且还需要用它来确定其他任何被放在三维世界的物体并描述出来，用(X,Y,Z)表示其坐标。

相机坐标系也称光心坐标系，其坐标原点是相机的中心位置，其坐标值用(XC,YC,ZC)表示，XC轴和YC轴分别与世界坐标系的X轴和Y轴平行，相机的光轴作为坐标系的ZC轴。

图像物理坐标系是将所拍摄图像的中心位置作为坐标原点(O1)，其坐标值用(x,y)表示，x轴和y轴与图像的两条边平行。图像物理坐标系采用物理单位来表示像素在图片中的位置。

图像像素坐标系以摄像机拍摄的图像的左上角为原点(O0)，其坐标值用(u,v)表示，u轴与v轴分别与世界坐标系的X轴和Y轴平行。摄像机采集图像首先得到的是电信号，然后转换成数字信号。所有图像都是以数组的形式存储，每一个元素的数值就是图像的灰度值，即像素。

假设一个三维世界中的物体点在世界坐标系中的坐标为(X,Y,Z)，经过摄像机拍到图片，在图片上的像素坐标为(u,v)，在图像坐标系中的坐标为(x,y)，在相机坐标系中的坐标为(XC,YC,ZC)，则以上各个坐标之间存在3种转换关系：图像像素坐标系与图像物理坐标系的关系、图像物理坐标系与相机坐标系的关系、相机坐标系与世界坐标系的关系。

a)图像像素坐标系与图像物理坐标系的关系。要把摄像机拍摄的图片转换成数字信号，然后将结果输入到计算机当中，计算机中的数字图像都应该显示为M×N的数组，即有M行N列个元素，其中每一个元素称为像素。图像像素坐标系与图像物理坐标系的关系如图8所示。

图8 图像坐标系Fig.8 Image coordinates system

图像像素坐标系中的单位是像素，坐标表示为(u,v)，分别代表该像素在计算机中的行数和列数。由于以像素为单位的图像像素坐标系没能显示像素在图像中的位置，因此定义了一个以物理单位表示的图像物理坐标系(x,y)。每一个像素在x轴与y轴的物理尺寸为dx和dy，中心位置为(u0,v0)，那么得到图像中任意像素在这2个图像坐标系的关系可表示为：

(1)

(2)

用齐次坐标与矩阵的形式可表示为：

(3)

(4)

式中A为摄像机的内参矩阵。

b)图像物理坐标系与相机坐标系的关系为：

(5)

(6)

用齐次坐标系和矩阵的形式表示为

(7)

c)相机坐标系与世界坐标系的关系为：

(8)

式中：R为3×3正交旋转矩阵；t为三维平移向量；[Rt]为摄像机的外参矩阵；O为[0 0 0]，是为了补齐数学运算，形成4×4矩阵。

综上所述，转换过程总公式为：

(9)

由于本系统研究的是基于固定的云台摄像机纯旋转运动，即摄像机只绕光心旋转，没有平移向量，因此t为0。

设目标检测算法计算输出的目标物的图像像素坐标为(ut,vt)，中心位置为(u0,v0)，位置偏差分别为Δx、Δy，如图9所示。

图9 云台摄像机视场图Fig.9 Field of view of camera platform

根据转换过程总公式可得：

(10)

2.3 SSD深度学习算法

无人机飞行过程中受光照、角度、采集位置等因素的影响，采集到的图像存在亮度不足和模糊等质量问题，在数据上的表现如图10所示。不稳定的图像质量会影响后续绝缘子定位的分析效果，增大运算量。深度学习可以模拟人类视觉系统的层次结构，通过复杂非线性结构对数据进行高层抽象提取深层特征，与其他机器学习方法相比，在复杂背景的环境下识别绝缘子的效率和鲁棒性有明显优势[17-20]。

深度学习在物体检测领域应用较多的是Faster R-CNN算法，该算法具有较高的检测精度，然而存在的主要问题是双阶段结构的时间复杂度较高，速度较慢，不适合需要实时检测的场景。另外双阶段结构并行性不好，在FPGA平台上实现性能不高。为了解决以上问题，本系统应用SSD深度学习网络框架完成绝缘子定位。首先，利用数据集预训练SSD深度学习网络模型；接着，根据绝缘子形状调整默认边界框的宽高比设置比例，在SDD中增加多尺度感兴趣区域池化层；微调SSD模型参数，获得绝缘子识别定位模型，实现从电网巡检图像中自动定位绝缘子。SSD的网络框架有以下3个主要特点：

图10 不同条件下的绝缘子Fig.10 Insulators under different conditions

a)多尺度特征图。在图像基线网基础上，将全连接层变为卷积层，并添加了一些大小逐渐减小的卷积层，用于进行多尺度预测。

b)卷积预测器。对每个新添加的卷积层和之前的部分卷积层，使用一系列的卷积核进行预测。对于一个m×n大小的p通道卷积层，使用3×3的p通道卷积核作为基础预测元素进行预测，在某个位置上预测出一个值，该值可以是某一类别的得分，也可以是相对于默认边界框的偏移量，并且在图像的每个位置都将产生一个值。

c)默认框和比例。在特征图的每个位置预测K个Box。对于每个Box，预测C个类别得分，以及相对于默认边界框的4个偏移值，这样需要(C+4)×K个预测器，在m×n的特征图上将产生(C+4)×K×m×n个预测值。

本系统采用的SSD网络采用VGG16卷积神经网络的结构，采用3×3的卷积核结合最大池化作为基本层。通过把全连接层转化为卷积操作将SSD网络转化为一个全卷积网络，从而使得SSD可以适用于任意大小和尺度的输入图片。在不同尺度的特征图上，SSD采用卷积核来预测一系列默认边界框的类别、坐标偏移。为了提高检测准确率，SSD 在不同尺度的特征图上进行预测。大特征图检测小目标，小特征检测大目标。与YOLO(you only look once)算法不同，SSD算法跳过了区域提案网络的阶段，直接在特征图上回归出目标框的位置和识别目标框的类别，并且融合了多尺度特征图上的结果，提升了对于小物体的检测召回率。采用SSD算法既保持了YOLO算法速度快的特性，也保证了窗口预测与Faster R-CNN算法一样精准，YOLO、Faster R-CNN和SSD在PASCAL VOC2007数据集上的精度和速度对比见表1。SSD-300在基本不损失精度的情况下，速度较Faster R-CNN(VGG16)提升将近8倍，SSD-500最高精度达75.1%，满足对绝缘子实时定位的要求。无人机可结合绝缘子位置实现对绝缘子的进一步定位拍照以获取质量更好的图片，对于后续的分析处理有很大的帮助。

表1 不同算法的精度与速度Tab.1 Accuracy and speed of different algorithms

3 实测验证

利用电网巡检绝缘子图像数据库对系统进行训练学习，训练图像共45 656张，训练过程中引入了颜色、噪声、旋转、缩放等大量数据扰动方法。训练数据和测试数据以9∶1的比例从上述数据中随机选取，并保证训练集与测试集没有交叉。最终模型测试集的精确率达90%，召回率达90%。

绝缘子定位如图11所示，可以看出系统实现了对图中所有绝缘子实时自动定位打框。矩形框中绝缘子填充率高，定位矩形中绝缘子完整，说明定位位置精准。从图11还可以看到，定位到的绝缘子具有各种类型，既包含玻璃材质的绝缘子，又包含陶瓷绝缘子，颜色有绿色、灰色、褐色，图中的背景有树林、原野、河流，杆塔、输电线。图像中绝缘子大小不同，角度各异，存在不同程度的模糊，但都获得了很好的定位结果，表明本文研究的基于目标图像识别技术的绝缘子前端定位系统具有很好的适用性，且定位精确度高。

图11 绝缘子定位Fig.11 Insulator location

利用相同的网络架构，通过使用鸟巢的图片对模型进行训练也可以实现鸟巢的检测，如图12所示，系统能够对鸟巢准确定位打框。这说明本系统设计的SSD网络是一个具备通用性的目标检测架构，在后续工作中可利用该网络架构拓展检测其他特定的目标物。

图12 鸟巢定位Fig.12 Bird nest location

4 结束语

本文利用云台角度自动控制技术和SSD深度学习算法，研制了一种基于目标图像识别技术的绝缘子前端定位系统。该系统能够在复杂的背景环境下对不同类型的绝缘子进行识别定位，适用于输电线路的定期巡检，可为缺陷诊断、设备状态评价提供参考。然而此项工作更为重要的意义在于利用研发的前端定位系统可以准确、清晰地拍摄输电线路部件设备，从而有效地提升后端设备缺陷图像识别的准确度，为输电线路可见光缺陷自动诊断技术的改进提供了帮助。本文系统在减少线路计划停电时间、优化电网设备检修方式、提高电网设备寿命和减少重复性工作的人力投入等方面具有重要意义。