基于卷积神经网络的电力杆塔图像识别学习算法研究

刘 姜，郭景武，付子峰，刘春堂，李龙云

（国网湖北省电力有限公司检修公司，湖北 武汉 430000）

0 引 言

为了进一步提升对目标的检测效率，20世纪90年代以来，很多专家和学者都开始对目标特征进行研究，如HOG特征、共生梯度特征等。在对目标特征的研究中，基于卷积神经网络方面的研究也愈来愈受到学界的重视。卷积神经网络在目标特征检测中的应用可以追溯到1994年，但当时受多方面因素的制约，导致其检测精准度及检测效率不高，所以其实质性研究进展也非常缓慢。直到2012年卷积神经网络AlexNet被提出，基于卷积神经网络的目标检测模型在图像识别上获得了非常重要的突破性成果。之后，卷积神经网络在目标检测领域的应用越来越受到研究人员的关注，越来越多的研究人员开始对基于卷积神经网络的目标检测进行研究，这又加速了基于卷积神经网络的目标检测的发展。目前，基于卷积神经网络的目标检测方式越来越被人们认可，并且逐渐取代传统的目标检测方式。

1 项目开发背景

自2012年启动输电线路无人机和人工协同巡检模式试点工作以来，国网某电力公司不断拓展无人机应用领域，强化输电线路状态管控，提升电网安全水平。在做好常规设备巡检应用的同时，该公司在输电线路故障点查找、线路验收、通道清理验收、抗灾及应急抢修、防外破等工作中，深化无人机应用，提升线路运检工作效率[1]。2016年至今，该公司应用多旋翼无人机巡视输电线路杆塔19875基，应用固定翼无人机巡视线路1 258 km，发现缺陷207处，并及时处置，确保了设备的健康水平。但是，在此过程中也发现，工作人员手动对无人机进行操控的方式、个人习惯、行为及职业水平对巡检效果具有较大影响，限制了无人机的应用。因此，构建自动化的无人机巡检系统就显得尤为重要。自动巡检系统中，杆塔图像识别学习算法的构建与优化是系统组建的关键所在。

传统的目标检测模型主要涉及两项主要内容，即对目标特征的提取及分类。也就是说，对目标特征的提取及分类是传统目标检测研究的关键部分。在提取目标特征的过程中，基本上都采用人工提取法。该提取方法虽然具有较强的针对性，但却无法同时实现对多目标特征的提取及检测。比如，Haar特征一般都运用在对人脸的检测中，而HoG特征基本上运用在对行人的检测中。按照目标的特性来分类，这两种特征都可以归属到底层特征中，底层特征无法全面展现目标特性，所以在实际运用中会导致分类错误率提升。

近年来，科技的发展使机器学习逐渐成为目标检测方法中的主要研究对象。机器学习中，多层人工神经网络展现出了异常强大的学习能力，因此人工神经网络越来越受到研究人员的重视。ANN可以获取到目标的自然特征，对提升目标识别的准确率具有重要意义。卷积神经网络是一类特殊的ANN，是ANN和卷积操作进行有效整合而构成的一类网络。卷积神经网络具有稀疏连接和权值共享的特性，因此极大地降低了网络参数的数量。在实践中，基于卷积神经网络的目标检测与识别方法展现出非常优秀的效果。所以，越来越多的研究人员开始对卷积神经网络进行研究，并在此基础上提出了诸多模型，其应用效果也较为良好。

基于Region Proposal的卷积神经网络和回归卷积神经网络设计多尺度目标检测算法，通过算法对图像进行特征点提取，神经网络输入层对输入图像进行简单的预处理，得到图像的几何特征图，实现最后的目标分类与定位的功能，在单个输入图像训练多个分类器[2]。

2 基于卷积神经网络的杆塔图像识别软件系统构架设计

2.1 软件主要功能

第一，用户管理。用户管理主要涉及用户名及密码管理，相关内容在系统登录界面进行显示。

第二，照片、视频的读入。照片与视频的读取是分开设计的，该软件能实现对多张图片或者一段视频的读取。

第三，部件识别。当图片或者视频中出现相关目标部件时，算法能对目标部件进行识别，并用高亮颜色进行标记。

第四，识别检测控制。视频播放过程中使用算法对每一帧图像进行处理，不触发目标时仅仅对视频进行播放，如果目标被触发，那么需要依据其中的内容，对目标进行识别与标记。

第五，缺陷库。对出现目标的单帧图像进行识别，并将其存储到缺陷库中，按照时间、缺陷位置及名称来对其进行分类和标识；工作人员能在操作界面对缺陷库的内容进行查询操作。

软件功能结构图如图1所示。

图1 软件功能结构

2.2 软件总体架构

软件以QMainWindow为基本框架，总体分为三大模块，即图像读取模块、目标识别检测模块和缺陷库管理模块。软件界面分为文件操作区、播放控制区、缺陷信息显示区、检测控制区、缺陷图片预览区、主显示区及状态显示区，如图2所示。

图2 软件功能构架

2.3 软件模块化功能实现

2.3.1 文件操作模块

文件操作模块的主要任务是做好对目标检测的前期准备工作，即目标图像的读取、播放控制及相关信息采集等。

在读取文件的过程中，通常会运用Qt的文件操作来获取文件所在路径，并运用OpenCV的数据结构来完成对图像的读取，最后将其显示在主窗口中。这种操作方式不但能更加充分地利用文件操作及显示机制，而且能按照OpenCV规定来对目标文件进行存储，使图像处理中能更加便捷地调用OpenCV库函数，提升处理效率[3]。

在播放视频时，选择运用Qt提供的定时器对播放进行控制，运用OpenCV提供的视频接口CvCapture进行视频文件的读入和操作，定时在Capture中取单帧，并将目标以单帧图片的形式在显示区进行显示。操作界面上有一个选择框，工作人员可以结合实际需求来对检测精度及显示内容进行选择。

文件信息的采集及显示的目的是对目标图像或者视频名称进行读取，并将相关内容在显示框中进行显示，这有助于帮助工作人员对缺陷图片进行命名，提升操作的便捷性。

2.3.2 目标识别检测模块

目标识别检测模块的主要功能是实现对相位标志牌、电力线及绝缘子的判定与识别。

在该软件设计过程中涵盖多重检测算法。在对目标识别检测的过程中，系统会根据目标种类的不同，选择不同的算法。所以，在检测控制区域设置了控制按钮，使工作人员能对不同的目标选择对应的按钮，调用针对性函数，实现对目标的检测与识别。

图像和视频载入后，选用上述算法对其进行区分。一般情况下，会运用矩形框或椭圆框来对其进行标识。检测过程中，能针对某一种形状和颜色进行检测，还能对某一种形状和多种颜色来实施检测。

对载入系统中的航拍图像，可以选择使用Ratio算子边缘检测、Hough变换直线检测和特征检测算法相结合的方法进行提取，对提取到的线路目标运用红色标识进行标注。对绝缘子图像目标，可以选择使用图像分割法来实现对目标的分割。如果图像中的绝缘子存在遮挡，那么可以采用边缘线来对发生遮挡的绝缘子进行标识；对于不存在遮挡的绝缘子目标，可以选择使用直方图统计法来进行标记。

3 成果应用和效益分析

本项目成果适用于不同电压等级的输电线路无人机巡检场合，只需巡检线路附近具有4G网络，即可实现一定范围内的无人机自主巡检。无人机自主巡检系统将极大地提高巡检效率，传统人工操控无人机一天一人巡检30基杆塔，自主巡检系统一天可以巡检90基杆塔，巡视效率是之前的3倍。但是，前期采集杆塔拍摄点精确位置及此位置对应相机云台姿态参数需要投入较大人力和物力。如果该智能巡检系统能正常应用在线路巡检项目中，将会极大地提高巡检的智能化和巡检作业效率，减少人工操作。

以某供电公司每年需要对管辖范围内100基杆塔进行巡检作业一次为例，就时间成本、硬件成本和人工成本进行对比，结果如表1所示。

表1 对比表

从表1可知，人工操控无人机的人力成本=500元/天×2人×5天=5 000元，而自主巡检的人力成本=500元/天×1人×1天=500元。因此，如果采用自主巡检方式后，巡检越多，成本越低。

4 结 论

基于卷积神经网络的电力杆塔图像识别学习算法在无人机自主巡检系统中的运用，能改变该公司输电线路巡检的作业方式，即从现有的无人机和人工协同巡检逐步转变为以无人机为主的自主巡检，在大幅度节省人力成本的同时，极大地提升了输电线路无人机巡检的效率，同时也有效弥补了该公司巡检人员不足的缺口。本项目的成果将有助于推动该公司实现所有无人机自动驾驶的终极目标。