电力深度视觉：基本概念、关键技术与应用场景

王波，马富齐，董旭柱，王朋，马恒瑞，王红霞

(1.武汉大学 电气与自动化学院，湖北 武汉 430072，2.广东电网有限责任公司电力科学研究院，广东 广州 510080；3.青海大学 启迪新能源学院，青海 西宁 810016)

近年来，以深度学习为代表的人工智能技术在学术界和工业界发展迅速，目前我国已经把人工智能技术提升到国家的发展战略层面上[1-2]。2017年，习近平总书记在党的十九大报告中明确指出要“加快发展先进制造业，推动互联网、大数据、人工智能和实体经济深度融合”。国务院先后颁布了《中国制造2025》、《2018中国人工智能白皮书》等，对新一代智能技术的研究应用和产业发展进行前瞻布局，旨在推动智能技术相关产业持续快速发展[3-4]。2019年，国家电网有限公司(以下简称“国网”)作出了加快构建“三型两网”的主要战略部署，提出了构建状态全面感知、信息高效处理、应用便捷灵活的泛在电力物联网。中国南方电网有限责任公司(以下简称“南网”)提出了电网数字化转型方案，旨在构建“电网状态全感知、企业管理全在线、运营数据全管控、客户服务全新体验、能源发展合作共赢”的数字南网；且南网还在推动构建基于人工智能的“智慧生产”体系，以期实现“设备状况一目了然、风险管控一线贯穿、生产操作一键可达、决策指挥一体作战”的目标[5-6]。由此可见，构建设备状态全面感知、数据信息高效处理的能源互联网已经成为必然的发展趋势。

视觉是人类获取信息的最主要方式。常规的电力设备状态判断方法一般是通过人工的方式对电力设备进行定期的巡视和排查，如输电线路的人工巡检、变电站的人工巡视等方法。然而常规的人工巡检方式存在许多问题[7-9]：①巡检人员的安全难以保证。需要进行巡检的电力设备一般都是带电设备，且电压等级比较高。一旦巡检人员发生安全事故，无法进行及时有效的处理。②人工巡检的效率低下。通过人工的方式进行设备巡检，需要对电力设备进行逐步的排查，巡检人员的工作强度较大，如果遇上恶劣天气更加影响工作效率。③巡检故障发现率低。由于对输电走廊的安全巡视主要通过肉眼来判断，主观性较强，容易出现漏检问题；同时户外环境恶劣，设备随时有故障隐患的发生，如果不加大巡检频率，可能导致故障无法及时发现。由于电力系统人工巡检存在的上述问题，国网和南网开始采用无人机、机器人等先进的手段进行电力设备的智能巡检，通过用无人机等智能化设备代替人眼进行巡视。2013年，国网和南网相继开展“输电线路机巡作业”计划，计划到2020年底，基本实现“机巡为主、人巡为辅”的协同巡检目标[10]。2019年，南网推出新一代智能变电站智能巡视手册，旨在推动实现变电站内100%巡视无人化，实现智能巡视的目标。

采用智能化设备进行智能巡视将会产生大量的巡检影像，这些影像被实时传输到监控后台，再由监控中心工作人员根据图像和视频中设备的外观或环境确定电力系统是否有异常。但是拍摄的影像数据较大，人工排查的方法效率过低，因而对采用智能化的识别方法进行电力设备缺陷排查的需求迫切[11-12]。而常规的图像处理方法泛化能力不足，图像识别效果不够理想。近年来，随着深度学习技术的不断发展，越来越多的学者开始采用深度学习进行电力巡检影像的分析和处理。基于深度学习方法，电力深度视觉对电力系统中采集到的视觉影像进行分析和处理，从而快速、准确地识别出电力设备中存在的故障缺陷。本文旨在阐述电力深度视觉的基本概念、关键技术和主要应用场景，并对其发展和应用进行展望。

1 电力深度视觉的基本概念

电力深度视觉是近年来在电力行业新兴的科学技术门类，本文对电力深度视觉做一个多方位的定义：电力深度视觉是基于深度学习的计算机视觉技术，该技术对来自电力系统中无人机、机器人、监控摄像头等智能化终端拍摄到的影像，进行目标检测、目标分割、目标跟踪和语义分割等视觉方面的分析和处理，从而快速、准确地感知和理解电力对象的信息。

具体而言，电力深度视觉内涵主要包括智能巡视和智能识别2个部分。智能巡视是指通过搭载不同载体的智能巡视终端(如无人机、机器人和监控摄像头等)自动获取电力设备的视频和图片，并将采集到的巡视影像上传至监控中心(云端)。智能识别是采用深度学习等各种影像处理方法对智能巡视采集到的图片进行分析和处理，识别设备外观、表计、缺陷及内外部异常等巡视关注信息，实现电力设备运行状态的实时获取、设备缺陷的快速识别、设备异常情况的自动报警等功能。最终实现电力系统无人化智能机器巡视的目标。

电力深度视觉的技术框架主要由数据源层、智能巡视层和智能识别层组成，其结构如图1所示。

1 电力深度视觉的关键技术

电力深度视觉涉及到多种关键技术，包括目标检测、语义分割、目标跟踪、视觉模型压缩、边缘计算等。本文将电力深度视觉所涉及到的关键技术归纳如下。

2.1 目标检测

目标检测采用卷积神经网络等深度学习方法快速获取图像中感兴趣的目标，不仅要检测出目标所属的类别，还要框定出目标所在的位置和大小。该技术是当今计算机视觉领域的研究热点，现已被广泛应用于安防、无人驾驶、智慧医疗等领域[13-14]。2012年，由Hinton和Alex Krizhevsky提出的深度卷积神经网络AlexNet模型，标志着目标检测乃至计算机视觉进入了全新的阶段。AlexNet模型基于深度学习理论，构建深度卷积神经网络，并采用批处理和GPU显卡加速训练，解决了以往深度神经网络参数学习的难题[15-16]。

2012年之前，目标检测算法基于手工提取目标特征，因此算法的实际应用效果取决于人工经验，鲁棒性差且对复杂对象的特征学习效果不佳；自2012年起，基于深度学习和GPU加速的深度特征提取模型广泛应用于目标检测领域，按其实现机理可分为单阶法和双阶法2类。其中单阶法是基于一体化卷积网络进行目标检测，其典型模型包括YOLO(you only look once)、SSD(single shot multi detector)、RetinaNet等；而双阶法是基于区域建议策略实现目标检测，代表的模型有区域卷积神经网络(region-based convolutional neural network，RCNN)、Fast RCNN和Faster RCNN等[17-18]，目标检测模型发展过程如图2所示。

现如今，目标检测方法也被逐渐应用到电力设备的缺陷识别中。上海大学的韩军[19]等为了提高输电线路机巡影像缺陷识别的准确率，采用了Fast RCNN来进行输电线路设备的故障识别，取得了很好的识别效果。武汉大学的王波等[20]为了解决输电线路巡检图像容易受到天气、光照等环境因素影响，提出了一种改进的Faster RCNN输电线路巡检图像缺陷检测方法，相比于其他方法，该方法能够实现图像中多个目标的检测和定位，并且在不同的场景都能保持比较高的识别精度。长沙理工大学的樊绍胜[21]等针对输电线路中存在的螺栓松动和导线破损这2种故障，采用单阶法的YOLO v3目标检测方法进行缺陷的识别和定位，准确率达到97.3%。比较而言，双阶法的识别精度相对较高但是检测速度有些慢，单阶法则与之相反；因此在对检测速度要求不高的场景下可以采用双阶的目标检测方法，对于需要进行实时识别与检测的场景就要采用单阶的目标检测方法。

2.2 语义分割

语义分割是一种能够获取图像更多类别信息的方法，其目的是识别出每个像素的语义类别[22]。常规的语义分割主要是通过聚类、图割或搜索匹配的方法来实现的，主要有基于用户交互的语义分割方法和非参数方法。基于用户交互的语义分割方法需要人工参与，因而效率比较低下；非参数方法虽不需人工参与，但是该方法的语义分割结果与样本的多样性相关联，不同的数据样本和匹配方法可能会导致不同的结果，泛化能力不足[23-24]。

图1 电力深度视觉的技术框架Fig.1 Technical framework of electric power depth vision

图2 目标检测技术发展过程Fig.2 Development of target detection technology

2015年，全卷积神经网络[25]的提出为语义分割提供了新的解决思路，将语义分割从之前区域级的分割提升到像素级的不同类别的分割。此后，所有的语义分割基本上都是在全卷积神经网络的基础上改进的[26]。华北电力大学的赵振兵等[27]提出了一种改进的全卷积神经网络语义分割方法，用来进行输电线路中航拍图像的电力设备识别，实现了航拍图像中绝缘子、杆塔、金具等关键设备、部件的自动化分割，并且提高了分割的准确率。周晨轶[28]等结合点卷积和空洞卷积的采样形式，提出了一种融合多层信息的语义分割模型，并对在变电站巡检中采集到的图像进行分割，取得了较好的分割效果。相比于目标检测而言，语义分割方法能够更加精细地检测出电力设备的缺陷，检测的精度更高，算法复杂度也会更高。

2.3 目标跟踪

目标跟踪是当前计算机视觉领域非常热门的研究领域之一，能够对视频中的目标进行准确追踪和定位。简单来说，视频目标跟踪即是根据视频监控中目标的初始位置，采用目标跟踪算法，预测出目标后续出现的位置。随着深度学习的不断发展，目标跟踪的效果越来越成熟，主要应用于智能汽车的无人驾驶，无人机的智能巡视、视频监控等领域[29-30]。

当前目标跟踪方法在电力系统领域的应用还比较少，笔者认为可以将目标跟踪应用于电力系统的安全风险管控方面，例如通过在变电站安装监控摄像的方式对工作人员的运动轨迹进行跟踪，并对进入危险区域的人员进行告警。目标跟踪是一种长期实时视觉跟踪问题，其需要应对跟踪目标(工作人员)因变形而产生的较大外貌变化、突然移动、严重遮挡、走出摄像机视野等复杂困难的情形，从而对工作人员是否脱岗等情形进行判断。当跟踪到工作人员后，需要通过目标检测来精确定位和识别工作人员的穿戴设备，比如安全带、安全帽等等。人员活动范围较大，目标的尺度变化也很大，这要求目标跟踪算法具有良好的小目标检测能力；此外，安全风险管控具有很强的瞬时性，变电站的视频监控也是实时的，这就要求目标跟踪算法的处理速度要足够快速。因此，要使得目标跟踪算法能够胜任这些场景的要求，还需要做进一步的探讨和研究。

2.4 边缘计算

边缘计算作为一种新型的数据处理方式，是电力深度视觉中关键技术之一，也是近年来的研究热点。边缘计算指的是利用数据源到云计算之间的计算资源，对采集到的数据及时进行识别和处理，并将识别的结果上传至云端，进行关键数据的存储。与云计算相比，边缘计算可以在靠近数据产生的终端进行分析和处理，能够解决数据上传至云端带来的带宽和延迟问题，处理速度更快[31-32]。

对于电力深度视觉而言，边缘计算的应用主要是利用在无人机、机器人等先进的巡视采集终端上搭载的边缘计算芯片，对巡检无人机、机器人等采集到的图像进行及时的处理，然后将识别的结果上传到云平台，并对识别出缺陷的电力设备进行及时的报警。这可解决当前云计算无法对大量巡检设备数据进行实时获取和分析的问题。然而，边缘计算的相关技术还不够成熟，还有一些问题亟需解决：①能够搭载到智能巡检终端的边缘计算芯片计算能力比较有限，需要对深度学习模型进行模型压缩，因而还急需研究适用于边缘计算装置的深度学习模型。②边缘计算装置的计算能力有限但是更靠近数据源，云计算的计算能力较强但是距离数据源较远，如何进行计算任务的合理分配、实现云边的高效协同，对边缘计算的应用具有重要的意义。③现有的边缘计算装置，如华为的Atlas200、树莓派等能否成功应用于电力系统还有待检验。

3 主要应用场景

3.1 电力深度视觉在输电线路巡检当中的应用

当前，由于人工巡检方式的效率低下，电力系统开始大规模采用直升机或无人机的方式进行输电线路巡检。输电线路巡检的故障主要有杆塔故障、导地线故障、绝缘子故障和金具故障。在实际检测中发现，大尺寸金具故障和小尺寸金具故障的检测方法有较大差异，因此将金具故障再分为2类。在实际应用中，输电线路故障还包含环境通道、附属设施等其他方面的故障，并可以进行进一步的细分。详细的巡检故障分类见表1。

当前对无人机巡检采集到的图像主要依靠人工方式进行判断，但是人工排查图像方式的效率低下，并且具有很强的主观性。常规的图像处理法有图像分割、边缘检测等算法，主要从像素级角度对航拍图像进行线性计算，寻找电气部件的边缘轮廓；

表1 输电线路故障分类Tab.1 Fault classification of transmission lines

注：①基础出现上拔、下沉、位移、回填土流失或下沉。

机器学习从概率学角度出发，将电气设备的缺陷特征量化为概率模型的计算参数，根据计算结果判断图像各区域的故障情况。常规图像处理方法的不足有：①需要人工设定参数，检测效果的好坏取决于人工经验；②处理对象单一，图像处理法需要根据对象特征设置特定的参数，泛化能力不足；③计算速度慢，单张图像的处理速度在秒级，只适合进行离线检测。电力深度视觉采用深度学习模型对大量的样本进行训练，能够提取出图像的高维信息，识别精度更高，且识别速度很快，能够达到每秒几十张的处理速度，满足实时监测的要求。基于电力深度视觉的输电线路缺陷检测流程如图3所示。

图3 输电线路缺陷识别实现流程图Fig.3 Flow chart of defect identification of transmission line

图3中进行输电线路缺陷识别的模型主要以目标检测中的算法模型为主。2015年，Girshick等人提出Faster RCNN算法是被公认为检测精度最高的方法。Faster RCNN模型是当前基于区域建议策略方法中精度最高的目标检测模型，在结构方面，该模型将特征提取(卷积神经网络模块)、候选域提取、边框定位和目标分类整合到一个网络中，这是典型的双阶目标检测方法。图4是采用Faster RCNN模型对输电线路巡检图像进行检测的效果图。

图4 基于Faster RCNN模型的输电线路巡检图像缺陷识别效果图Fig.4 Defect identification effect picture of transmission line patrol image based on Faster RCNN model

基于双阶目标检测模型在提取候选域的过程中耗费大量时间，实际测试时每张巡检图像的处理时间在2 s左右，只适合在离线进行处理，无法适应输电线机巡过程中实时检测的需求。YOLO模型是经典的一体化卷积目标检测算法，其核心思想就是利用整张图作为网络的输入，直接在输出层回归边界框的位置及其所属的类别，无需进行候选域生成操作，因此在检测速度上要优于Faster RCNN模型。图5是采用YOLO v3模型对输电线路巡检图像进行检测的效果图。

当前电力深度视觉在输电线路智能巡检的应用研究还处于探索阶段。在实际的输电线路的巡检过程中，采集到的图像数量巨大，背景一般比较复杂，且质量参差不齐；因此，电力深度视觉在实际场景中的应用效果还有待时间的检验。未来还可以考虑将语义分割和边缘计算运用到输电线路的巡检中，提高检测的速度和精度。

图5 基于YOLO v3模型的输电线路巡检图像缺陷识别效果图Fig.5 Defect identification effect picture of transmission line patrol image based on YOLO v3 model

3.2 电力深度视觉在变电站智能巡视中的应用

当前，对于变电站电力设备的巡检方式仍然以人工巡检为主。虽然有的变电站中配置了巡检机器人，由于巡检图像的识别方法效果不够理想，变电站的巡检机器人基本上都处于闲置状态，即使通过机器人或监控摄像头进行巡检获取的图像，也一般通过工作人员根据图像和视频中的外观来判断设备是否出现异常，主观性较强，容易出现漏检问题；因此，如何快速、准确地进行巡检影像缺陷识别对提高变电站的运检效率意义重大。

变电站的智能巡视所面临的困境与输电线路巡检类似，同样可以将电力深度视觉运用到变电站的智能巡视当中，解决当前存在的巡检影像识别效果不好的问题，并且也主要采用电力深度视觉中的目标检测技术进行设备缺陷识别。变电站的巡检对象主要是变压器、断路器、组合电器、开关、互感器和配电柜等，图6是采用Faster RCNN模型对变电站巡检图像进行检测的效果图。

与输电线路巡检相比较而言，电力深度视觉在变电站的巡检中应用研究还比较少，变电站巡检图像的智能识别更加困难，仍有一些关键问题亟需解决：①变电站电力设备更大，发生的故障类型也比较多，有些故障形状不规则，如变压器发生油渗漏等。②变电站的有些故障具有偶发性，该类缺陷发生频率较低，或与巡视时间不对应，发生在不适宜巡视的时间。如爬电轻微时的间隔时间长，巡视机器人经过时若爬电未发生则造成对其的漏检。另外，爬电多发于湿润的清晨、夜晚，这类气象条件也不适宜开展巡视。③内部缺陷，问题存在于设备内部，外部表征不明显。如在线监测装置的电池失效，外部难以判断，需要结合监测系统数据综合诊断；又如套管、避雷器内绝缘失效早期在内部引起的轻微发热，也是难以发现的。

图6 基于Faster RCNN模型对变电站巡检图像进行检测的效果图Fig.6 Effect picture of substation patrol image detection based on Faster RCNN model

3.3 电力深度视觉在变电站风险安全管控中的应用

变电站的安全运行管理对保证电网安全稳定运行意义重大。从当前的研究现状来看，变电站安全的风险管控主要通过工作人员现场监督来实现，从加强变电站的管理、提高工作人员技术水平等方面减少违章情况，部分研究提出采用仿真、风险评估、实时定位等辅助措施来加强管理。但这些措施均无法在实际施工中有效处理突发情况，从目前的实施情况来看仍然存在以下问题：①变电站工作任务种类繁多、作业地点分散以及作业任务复杂，管理人员难以实现实时跟踪监督，相应辅助设备部置复杂；②变电站设备众多，设备日常管理困难，难以实时监测设备状态信息和及时发出报警信号；③员工安全意识不足，常出现未戴安全帽进入危险区域、误入带电间隔等违章操作，管理人员难以及时发出警示信息。

目前大部分变电站已实现视频监控，一些研究机构开始尝试利用视频数据对变电站内的状态进行监测和分析。但是变电站的视频数据目前主要用于记录变电站的情况，仅能实现对变电站的场地、设备、人员作业情况进行全过程的记录，记录事故的报警录像，方便事后进行追溯，辅助工作人员进行总结分析，不能在现场工作中实时发挥作用。随着人工智能技术的进一步发展，基于深度学习的视频处理技术也有了重要突破。采用基于电力深度视觉的安全管控技术能够自动完成变电站内的违章行为检测、设备缺陷检测等工作，并及时发出预警信号，辅助监管人员有效完成全方位监管，从而提高变电站运行的安全性和自动化程度。

4 结论

电力深度视觉是一个新兴的研究领域，各方面的研究还不够成熟，在电力场景中的应用也远远不够，还需继续深入研究电力深度视觉的关键技术和应用难点。随着深度学习的发展，电力深度视觉表现出强大的信息感知和处理能力，为应对泛在电力物联网背景下产生的海量数据提供了一种解决思路，能够有效地推动泛在电力物联网的建设；因此，电力深度视觉技术具有广阔的研究前景和价值。