无人机航拍图像中电力线检测方法研究进展

刘传洋，吴一全，刘景景

1.南京航空航天大学电子信息工程学院，南京 211106；2.池州学院机电工程学院，池州 247000

0 引言

输电线路作为电力传输的动脉，其对电力系统安全稳定供电的重要程度不言而喻。随着中国电力持续快速发展，输电线路总里程也随之快速增长，然而线路设备长期暴露于户外，不可避免地会出现设备老化、损伤和锈蚀等故障，给电力系统的安全稳定运行带来了极大的安全隐患。为了应对上述问题，输电线路定期巡检已成为智能电网运维的常态化工作（隋宇 等，2021；赵振兵 等，2022）。近年来，基于深度学习的图像处理技术、机器视觉技术日渐成熟，以大数据、物联网和人工智能技术为依托，国家电网公司推进输电线路巡检朝着智能化和自动化方向发展（赵振兵 等，2021）。各大电力公司纷纷采用无人机（unmanned aerial vehicle，UAV）结合人工的方式进行输电线路巡检，此种运维模式不仅可以节省资金和时间成本，还可以避免电力技术人员从事危险作业。可见光相机、激光雷达（light detection and ringing，LiDAR）装置也已部署在UAV 上用于输电线路巡检，但是在UAV 低空飞行中，电力线是最具威胁的危险源，同时也是最难避开的障碍物之一。因此，研究航拍图像中电力线检测对UAV 自动避障与低空飞行、保障电网安全稳定运行具有十分重要的现实意义。

UAV 巡检获得的海量图像引起了研究者的广泛关注，大量输电线路航拍图像用于线路设备目标识别及缺陷检测研究（徐晶 等，2017；Zhai 等，2018，2021；Nguyen 等，2018；Bian 等，2019；Miao 等，2019；Zhao 等，2020；Han 等，2020；戚银城 等，2021）。同时有很多用于电力线检测的视觉方法相继提出。李朝阳等人（2007）将边缘检测（Ratio算子）与Radon变换结合用于航拍影像中500 kV 高压电力线的自动提取。赵振兵等人（2011）提出一种改进的相位一致性电力线检测方法用于输电线路弧垂计算。陈驰等人（2015）基于LiDAR 技术获取电力线的激光点云数据，并实现点云数据中的电力线自动提取。为了精细提取LiDAR 数据中的电力线，麻卫峰等人（2020）设计了残差聚类的方法提取电力线。随着人工智能技术在智能电网中的普遍应用，人们又提出了基于深度学习的电力线检测方法，许刚和李果（2021）采用轻量化语义分割网络模型分割航拍图像中的电力线。LiDAR 点云能较好地获取输电线路实景数据，武汉大学测绘遥感实验室对电力线LiDAR点云数据三维建模有大量的研究，相关产品己得到成功推广应用，但是激光雷达硬件设备成本较高，而可见光相机比激光雷达设备成本要低，且可见光航拍图像更容易采集和提取特征。因此，本文讨论UAV 航拍图像数据源下的电力线视觉检测方法。基于传统图像处理方式的电力线检测流程一般由图像增强处理、背景噪声抑制、边缘检测、电力线特征提取、拟合连接和跟踪等步骤组成。由于航拍图像背景复杂多变，加之光照条件、遮挡等诸多因素，进一步加大了电力线特征提取难度；而电力线自身目标相比电力杆塔、绝缘子等线路设备要小得多，准确提取电力线特征极其困难，亟待解决。

更为准确地从航拍图像中检测出电力线是近年来相关技术研究人员广泛关注的问题，众多研究者致力于用视觉的方法检测电力线。Li 和Wang（2019）以可见光图像为主要数据源，综述了基于视觉的电力线检测系统，讨论了深度学习技术在电力线自动检测中的应用，为实现电力线的自动视觉监测提供有价值的参考。Yang 等人（2020）从输电线路巡检任务、巡检平台、传感器系统和检测方法4 个方面对国内外电力线检测技术进行了分析与归纳。刘志颖等人（2020）对输电线路巡检图像智能处理的研究和应用现状进行了概述，归纳并分析了巡检图像智能处理的研究成果，探讨了深度学习技术在电力巡检领域中的应用前景。赵乐等人（2021a）综述了电力线特征提取算法，详细介绍了电力线特征提取模型和识别算法分类。迄今为止，国内外学者采用视觉方法对航拍影像中的电力线进行检测，已经取得了相当的进展，然而还没有一种通用方法能快速准确地检测出航拍图像中的所有电力线。因此，有必要对多种电力线检测方法进行分析与归纳，以便针对不同的场景选取合适的检测方法。随着人工智能、大数据、物联网等信息技术的不断发展，深度学习算法广泛迁移到航拍影像中的电力线检测任务研究上，但是上述文献并没有全面总结基于深度学习的电力线检测方法，本文也将弥补这一空白。

鉴于此，本文梳理和分析了大量电力线特征提取方法，综述了2010—2021年UAV航拍图像中电力线检测方法的研究进展，以期为从事电力线检测及其应用的研究人员提供一些有价值的参考。本文主要内容包括：1）从电力线特征、检测流程以及面临的挑战3 个方面进行了概述；2）阐述了基于传统图像处理方式的电力线检测方法；3）重点阐述了基于深度卷积神经网络（deep convolutional neural network，DCNN）的电力线分类方法以及基于DCNN的电力线语义分割方法；4）评述了各类电力线检测方法的优缺点，给出了主要方法的分析与比较；5）介绍了电力线数据集以及电力线检测性能评价指标；6）对基于深度学习电力线检测技术的进一步研究方向进行了展望。

1 电力线的特征及检测流程与挑战

1.1 电力线特征

UAV 巡检所采集到的可见光图像主要用于线路设备识别及故障诊断，从海量影像数据中对线路设备进行智能识别与分类具有重要的研究意义。电力线在航拍影像中具有明显的几何特性，其特征表现在以下几个方面：

1）电力线在图像中所占像素的比例较小，图像中的像素点绝大部分为非电力线（背景）像素点；

2）电力线具有明显的直线段特征，仅有1～5 个像素宽度；

3）电力线为贯穿整幅图像的细长直线；

4）多条电力线呈现出平行不相交的直线结构，每条电力线的宽度一般相同；

5）无人机采集的电力线图像以侧拍和俯拍为主，其中侧拍图像背景较简单（多以天空为背景）；俯拍图像背景相对复杂（多以地表植被、电力杆塔和建筑物等为背景）。

图1给出了UAV巡检输电线路采集到的电力线航拍图像，第1 行航拍图像背景相对单一（天空背景），但第2 行电力线图像背景相对复杂（城市和森林植被背景）。航拍图像中的电力线检测主要是提取电力线的直线特征。对于复杂背景下的电力线检测，易受植被、田地和建筑物等自然或人工因素影响，为电力线特征提取带来很大的难度。如何准确、有效地检测出航拍图像中的电力线，成为UAV 巡检输电线路工作的研究重点。

图1 电力线航拍图像Fig.1 Aerial images with power lines

1.2 电力线检测的流程

在航拍图像中的电力线检测方面，传统的图像处理方法包括图像预处理、边缘检测、电力线识别及拟合等步骤，其流程如图2所示。

图2 电力线检测流程Fig.2 Flowchart of power lines detection

1）图像预处理是对采集到的航拍图像进行去抖动、去噪等前期处理，为边缘检测和直线特征提取做准备。UAV 巡检工作在室外场景下，其捕获的可见光图像易受到光照、地理环境等因素影响，导致航拍图像中存在噪声干扰、畸变和成像不清晰等退化问题。为此，图像预处理技术不仅用于消除拍摄过程中光线和拍摄角度的干扰，还提高了图像清晰度和对比度，同时有助于增强线性特征，为提高电力线检测的准确率和效率奠定了基础。

电力线图像的预处理操作一般由图像灰度化、滤波、直方图均衡化以及图像分割等组成。图像灰度化用于去除航拍图像中的RGB 颜色信息，减弱光照对航拍图像的干扰，同时还减少运算量、节省存储空间。与复杂背景相比，航拍图像中的电力线目标较为细弱，导致后续的电力线特征提取易受到高斯和椒盐噪声等干扰，上述噪声可通过维纳滤波、高斯滤波和均值滤波等方法去除。直方图均衡化对图像各像素灰度进行归一化，扩大像素动态分布范围，进一步增强电力线图像的对比度。为了降低图像中电力线与背景的错误分割概率，常用最大类间方差法、局部自适应阈值法等图像分割算法来获取最优二值化分割阈值。

2）边缘是图像的局部强度变化最明显的区域，其是数字图像的基本特征之一。图像边缘通常呈现出局部特性不连续（例如形状突变、颜色突变和纹理突变等），是进行图像分割的重要依据。边缘检测算子（Roberts、Prewitt、Laplacian、Sobel、LoG、Canny 等）能实现突变边缘像素点的有效检测，它们都是先计算各像素点梯度，再利用模板与图像卷积完成边缘检测。

3）直线为数字图像的另一重要特征，在场景分析和目标检测中起重要作用。航拍图像中的直线检测是电力线识别的基础，其本质是提取出构成直线的所有像素点。由于UAV 巡检输电线路时不同的拍摄角度和拍摄距离，加之巡检图像背景的复杂性和随机性，无人机航拍电力线图像中除电力线以外，田地、道路和植被等背景也包含直线段，因此选取特征提取效果良好的直线检测方法至关重要。Hough变换、Radon 变换、LSD（line segment detector）以及扫描标记方法是常用的直线检测方法。

4）无人机捕获的航拍图像不可避免地会出现复杂背景、失真和遮挡等问题，而直线检测方法提取到的电力线可能会不完整，存在中间断裂现象。为了保证电力线的完整性，有必要利用K-Means 聚类、卡尔曼滤波等算法对识别出的直线数据进行筛选和拟合。

1.3 电力线检测面临的挑战

在UAV 巡检输电线路过程中，电力线检测对无人机的安全飞行至关重要。由于航拍图像背景复杂，电力线形态各异，经常以不同姿态、各种角度出现在不同位置，很难将电力线与相似直线或边缘区分，因此，基于视觉的电力线自动检测面临着严峻的挑战。

1）无人机搭载可见光设备实现电力线航拍图像采集，在图像采集过程中难免存在相机抖动、光线变化，导致图像模糊、颜色强度变化较大，从而影响电力线特征的准确提取。

2）航拍图像中电力线呈细长状态，有时会以断续、模糊等不连续线条形式出现，进一步增加了电力线有效特征提取的难度。

3）UAV 巡检图像存在复杂背景杂波，同时伴随着许多虚假目标，如植被、田地、河流和建筑物等背景中存在与电力线外观相似的直线，难以区分电力线与背景中的虚假目标。

4）UAV 巡检捕获的电力线图像缺乏显著的线性特征和足够的像素比。与建筑物、高大植被等目标相比，电力线所占像素比例较小，电力线图像中绝大部分像素点为非电力线（背景），背景中其他线性对象会引入噪声，从而使电力线检测进一步复杂化。

5）用于电力线检测的航拍图像大多数是无人机在正常天气条件下所拍摄的，浓雾、雨雪、冰冻和扬尘等极端天气加大了电力线检测的难度。

2 基于传统图像处理方式的电力线检测方法

航拍图像中电力线特征提取可以看做是直线检测问题。准确定位航拍图像中的电力线对UAV 巡检输电线路至关重要，电力线特征提取是UAV 巡检的一个重要环节，不仅保证无人机飞行安全，同时有助于输电线路设备识别及缺陷检测。近年来，针对航拍图像中电力线特征提取任务，相关学者已经提出了很多基于传统处理方式的电力线检测方法，可以划分为基于Hough 变换的方法、基于Radon 变换的方法、基于LSD的方法、基于扫描标记的方法及其他检测方法。

2.1 基于Hough变换的方法

Hough 变换作为一种常用且有效的直线检测算法，其核心思想是根据两个空间点与线的对偶性，把图像空间中的直线转换成极坐标空间下的相交点（Candamo 等，2009；Baker 等，2016）。利用Hough 变换检测直线如图3 所示，图像空间上共线的点（P1，P2，P3），在参数空间上经累加形成多条共点的正弦曲 线，其映射关系 为：ρ=xcosθ+ysinθ，θ∈[0，2π]，ρ为坐标原点到直线的距离，θ为直线的法线与x轴之间的夹角。

图3 直线的Hough变换Fig.3 Hough transform of line

在无人机航拍电力线图像检测方面，Hough 变换受噪声干扰影响较小，同时鲁棒性较好，但是需要进行像素点映射，存在内存占用量大、复杂度高等缺陷。为了降低计算复杂度，通常在Hough 变换检测直线之前，先采用边缘检测算法进行图像分割，去除与边缘或突变无关的像素点。与Hough 变换配合使用的边缘检测算子有Canny算子（谭磊 等，2011）、多尺度小波变换（郝艳捧 等，2014）、Sobel 算子（Dong和Huang，2015）、Ratio 算子（Shuai 等，2017）等。为了从复杂地物背景中准确地提取电力线，张从新等人（2018）先利用Canny 算子对航拍图像进行边缘检测，再采用Hough 变换快速地提取完整的电力线。Menendez 等人（2016）采用Sobel 算子滤除图像中的背景噪声，再利用Hough 变换提取二值图像中的直线特征，电力线的检测准确率和效率得到了有效提高。赵乐等人（2019）先利用Ratio 算子对图像边缘进行检测，再采用4 连通聚类算法滤除背景噪声，最后采用Hough 变换提取出完整的电力线图像，避免了电力线断裂和重叠等现象。

在电力线检测的实际应用中，边缘检测算法可以去除航拍图像中的无关数据，降低了Hough 变换的计算成本，但是在背景错综复杂的航拍图像中，边缘检测对背景噪声干扰较敏感。为解决这一问题，Li 等人（2010）将脉冲耦合神经网络（pulse coupled neural network，PCNN）与Hough 变换结合用于电力线检测，先采用PCNN 进行背景噪声处理并生成边缘图，再利用Hough 变换检测图像中的直线，最后通过基于先验知识的聚类算法提取电力线图像。Hough 变换对噪声有良好的抑制作用，但是在复杂场景下，提取出的直线并非完全是电力线，易检测出虚假的电力线或漏检。为解决这一问题，Zhang 等人（2012）提出一种电力线快速检测跟踪方法，以电力线线性特征为依据，将K-Means算法引入到Hough变换中，通过聚类算法提取出航拍图像中的电力线，再利用卡尔曼滤波器对所提取的电力线进行跟踪，该方法实现了复杂环境下电力线自动检测与跟踪。袁晨鑫等人（2018）先采用高斯滤波器、Canny 算子对航拍图像进行边缘检测，再通过改进Hough 变换提取出直线段，并对提取出的直线段进行链接与拟合，最后利用K-Means 算法提取图像中的电力线，与传统的Hough 变换相比，电力线的检测精度得到了进一步提高。为了解决电力线难以定位的问题，操昊鹏等人（2018）在Hough 变换提取直线特征后，利用总体最小二乘法拟合定位出电力线。徐胜舟和胡怀飞（2014）、Nasseri 等人（2018）在Hough 参数空间中引入粒子群优化算法，对边缘检测后的图像进行电力线检测和跟踪，在一定程度上减少了计算量，进一步提高了电力线的检测精度和效率。

传统Hough 变换应用于航拍图像中电力线检测，在复杂背景和高噪声干扰下取得了较好的效果，但是尚存在定位精度低、计算复杂度高等缺陷。

2.2 基于Radon变换的方法

Radon 变换也是一种经典的直线检测算法，与Hough 变换一样，都是将图像空间映射到参数空间，并计算参数空间中的交点，不同的是Radon 变换使用灰度图像代替二值图像。其基本思想是数字图像矩阵投影到具有特定角度的直线上，图像像素点在该直线上进行积分（罗朝祥 等，2014）。Radon 变换检测直线如图4所示，图像f(x，y)沿着某一角度θ向x′轴投影得到Rθ(x′)，Rθ(x′)为图像像素点在x′轴上的线积分，即

图4 直线的Radon变换（罗朝祥 等，2014）Fig.4 Radon transform of line（Luo et al.，2014）

边缘检测后的航拍图像中依然存在背景噪声，为从边缘轮廓信息中有效地提取出电力线，众多研究者使用Radon 变换检测航拍电力线图像中的直线。Yan 等人（2007）提出了一种基于Radon 变换的电力线自动提取方法，首先通过线特征检测算子（Ratio 算子）进行边缘检测，再使用Radon 变换和线段分组算法检测直线段，最后采用卡尔曼滤波器将直线段拟合成完整电力线。该方法能实现UAV 巡检图像中的电力线自动提取，但无法对巡检线路中电力线进行实时在线检测与跟踪。对于场景简单、直线数目较少的区域，Radon 变换占用内存资源少、抗噪能力强，能够有效地提取出电力线，但是Radon变换运行时间较长。为提高Radon 变换的运行速度，赵利坡等人（2012）提出了基于角度约束的Radon 变换算法，通过引入识别权重因子，改进算法的运行时间缩短到原始算法的1/6，进一步提高了Radon 变换算法的实时性。Zhu 等人（2013）提出了一种基于线性目标增强和平行线约束的电力线识别方法，先通过双边滤波器对航拍图像进行增强处理，再以平行线为约束条件，利用Radon 变换提取出图像中的电力线，该方法提高了电力线识别精度，但同时增加了Radon变换的复杂度。Cao等人（2013b）将边界搜索引入Radon 变换，提出了边界约束下的电力线Radon 变换能量函数和求解方法，使改进算法的运算复杂度降低了一个数量级。

在复杂背景下自动识别电力线对于UAV 巡检系统来说是一项重要且具有挑战的任务，电力线在复杂背景下呈现弱线性特征时，上述方法将会失效。为此，在电力线特征提取过程中，许多研究人员引入先验知识约束条件以提高电力线识别的准确性。Cao 等人（2013a）基于图像先验（对称偏导数分布）提出了一种新颖的电力线识别方法，先求解图像中各像素点的偏导数，再使用Radon 变换检测直线段，最后采用聚类算法提取变换矩阵中的直线，该方法对复杂背景下的弱电力线检测有较好的效果。Wang 等人（2017a）将UAV 巡检规划路线作为先验知识用于约束检测范围，有效提高了电力线检测的准确率和效率。赵浩程等人（2019）以多条电力线的倾角和间距相近为约束条件，基于先验知识和Radon 变换识别复杂背景下的电力线。先验知识对基于电力线提取范围进行了约束，上述方法可以提高电力线识别准确率，但仍存在部分直线干扰物。Chen等人（2016）提出了一种基于聚类Radon变换算法用于高分辨率遥感图像中的电力线检测，改进算法能够有效区分电力线与道路等其他线性特征，避免了河流、房屋等复杂背景造成的误报。

基于Radon 变换的电力线检测方法不考虑边缘方向，抗断裂能力较强，但是算法运行时间较长，无法确定直线的长度以及端点信息。当图像中的电力线较短时，容易造成漏检。

2.3 基于LSD的方法

LSD 算法是Rafael等人于2010年提出的基于像素梯度和方向信息检测直线的分割算法（von Gioi等，2010）。LSD 是一种局部特征提取算法，它是将直线检测问题转化为图像梯度变化较大的像素点检测，其主要用于遥感图像中的目标检测。该算法是先计算各像素点的梯度和垂直梯度方向，再对整幅图像计算梯度和方向得到一个梯度场，最后合并梯度场中方向近似相同的像素点，从而构成一个直线支持区域，其原理图如图5所示。

图5 LSD算法原理图（von Gioi等，2010）Fig.5 Schematic diagram of LSD algorithm（von Gioi et al.，2010）

与全局感知直线特征提取算法（Hough 变换、Radon变换）相比，LSD算法的优点是：时间复杂度为线性，能够快速检测出图像中的直线，而不需要对阈值参数进行调整；采用误检控制使检测结果更加精确，直线检测精度可以达到亚像素级别（Shi 等，2015）。因此，一些研究者利用LSD算法对航拍图像中的电力线检测展开了研究。

Fu 和Lu（2011）在直线边缘检测的基础上，将LSD 算法与电力线形态特征相结合，提出了一种快速电力线检测方法，该方法能在复杂背景下很好地去除噪声干扰，准确地提取出近似平行以及局部对称的电力线，但是无法区分电力线与树枝、路沿和围栏等其他外观相近的障碍物。为了准确识别复杂背景下的电力线，Wu等人（2013）提出了一种新颖的电力线检测方法，先采用LSD 算法提取无人机视频图像中的直线段，再根据直线段的起始点、终点以及角度信息，采用投票方式检测出电力线，电力线检测准确率高于92%。在电力线视觉特征较弱的情况下，上述方法难以准确有效地识别电力线，为此，Luo 等人（2014）提出了一种基于目标感知的电力线检测方法，将RGB 彩色和近红外图像与LSD 算法相关联，以获得更好的检测性能，相比于LSD 算法取得了更高的检测准确率和较低的虚警率，但是算法运算量较大，且单幅图像的处理时间需要2 s。由于航拍图像中电力线的视觉效果不显著，存在检测率低、误检率高的问题，Zhang 等人（2014）利用电力杆塔与电力线空间相关性映射辅助检测电力线，取得了较好的检测效果，然而当航拍图像中不存在电力杆塔时，电力杆塔—电力线空间映射将无法起作用。在电力线特征提取方面，复杂背景往往会切断电力线，导致检测到的电力线不连续。为了提取出完整的电力线，Wang 等人（2017b）提出了基于线段分组的电力线检测方法，先将方向相同的线段划分为同一组，再利用最小二乘法拟合电力线，该方法能够从复杂背景中成功提取电力线，但是单幅图像的运行时间需要7.5 s。Wang 等人（2019）先采用LSD 算法提取图像中的直线段，再利用基于矩阵的线段连接算法拟合成完整的电力线，但是线段连接算法包含很多阈值参数，且这些参数的选择对获取电力线的最佳检测性能至关重要。Luo 等人（2021）提出了一种基于彩色RGB 图像的改进LSD 算法，根据RGB 图像各通道信息调整水平线角计算公式，极大地降低了电力线提取中误检和漏检的可能性。

LSD 算法在电力线特征提取方面表现出了良好的性能，能够很好地定位出航拍图像中的电力线，但是所提取的短直线段可能会存在部分冗余，易造成过分割的缺陷。尤其是在复杂背景下，航拍电力线图像对比度较低，会导致电力线误检或漏检。

2.4 基于扫描标记的方法

扫描标记算法是采用一定的规则跟踪图像中的边缘像素点，标记出同一直线上的像素点并构成直线支持区域，再通过拟合算法将直线支持区域内的边缘像素点连接成直线（杨辉，2014）。用于电力线检测的扫描标记算法分为基于Freeman 链码的方法和相位编组的方法两类。

2.4.1 基于Freeman链码的方法

基于Freeman 链码的直线检测方法采用聚类的方式进行直线轮廓跟踪，先对Canny、Ratio 等算子边缘检测后的图像进行连通区域划分，再使用Freeman 链码跟踪连通区域获取边缘点方向，最后按照判定规则提取出边缘点中的直线（潘大夫和汪渤，2008）。依据中心像素点邻接方向的个数不同，Freeman 链码可采用4-连通链码和8-连通链码。在Freeman 链码检测电力线断股的应用中，刘鲲鹏等人（2012）发现航拍图像中的电力线与背景分割时存在明显的阶梯状边缘，为此引入分割图像水平校正改进Freeman 链码跟踪标记算法，使得电力线断股检测减少了大量干扰。为了有效地检测出电力线断股故障，仝卫国等人（2016）提出了基于Radon 变换、Freeman 链码和纹理分析相结合的电力线断股检测方法，能够有效地检测出电力线断股故障位置。为了减少背景干扰引起的电力线漏检和误检，张友鹏等人（2022）提出了基于Ratio 算子与区域链码相结合的电力线检测方法，相比于常用的边缘检测算法（Canny、Ratio 等），该方法具有良好的抗噪能力和更好的识别精度。

2.4.2 基于相位编组的方法

相位编组方法以邻域像素方向一致为依据，通过扫描标记直线支持区域，基于梯度相位一致性来判定直线，其直线检测过程如下：先遍历图像计算出各像素点梯度值及方向，再进行编码分组（通常按照每组45°进行编码分组，将360°范围划分为8 个等级，相位等级划分如图6 所示），梯度方向近似或邻近像素点划分为同一直线支持区域，最后采用最小二乘法在直线支持区域拟合出最佳直线（黄婷婷，2015）。

图6 相位等级划分示意图（黄婷婷，2015）Fig.6 Schematic of phase level division（Huang，2015）

受噪声干扰影响，相位编组算法提取出的电力线易断裂，存在完整性较差的缺陷。为了解决这一问题，李朋月等人（2019）提出了基于像素梯度与距离编组相结合的电力线检测方法，通过欧氏距离度量实现直线的分组与拟合，提高了电力线的检测精度。赵乐等人（2021b）采用基于包络线分段拟合算法对直线支持区域内的电力线进行编组与拟合，实现了复杂背景下的电力线准确提取，有效解决了基于局部上下文信息检测算子提取出的电力线存在断裂的问题。

2.5 其他检测方法

除了上述利用直线检测的方法（基于Hough 变换、基于Radon 变换、基于LSD 和基于扫描标记）检测电力线之外，基于传统图像处理方式的电力线检测还有很多其他检测方法。

在图像分割和背景建模方面，高斯模型已经被证明是非常有效的（Carson 等，2002；Zhou 和Zhang，2005）。针对背景不均匀、杂波严重的航拍图像，单一直线检测模型很难有效地检测出电力线，Candamo 等人（2010）提出了基于高斯模型的电力线检测方法，先采用链码直方图对图像进行去噪处理，再利用基于高斯函数的电力线轮廓模型区分电力线与非电力线，最后通过局部加权阈值、场景校正技术提取电力线。该方法采用鲁棒性强的高斯模型估计电力线及其周围环境轮廓，电力线与其他非电力线线型（如屋顶、建筑纹理、车道线等）得到了有效区分，与Candamo 和Goldgof（2008）采用的直线轮廓模型相比，ROC（receiver operating characteristic）曲线下的检测结果提高了17.7%。

UAV 巡检采集到的电力线图像并非都是直线，有些电力线为曲线，而现有绝大多数的电力线检测模型都是基于直线设计的，为此，Song 和Li（2014）在图论的基础上提出了一种由局部到全局的电力线检测方法，先利用匹配滤波器和高斯一阶导数对局部边缘检测图像滤波得到检测线段池，再基于图论分割模型将线段池中所有线段进行分组拟合提取完整的电力线。该方法能够检测出航拍图像中的电力线（包括直线和曲线），具有较高的准确率（91.95%），但是算法较为复杂，单幅图像处理时间需要1 s左右。

除此之外，还提出了一些其他能够实现航拍图像中电力线检测的方法，如利用形态学滤波算法（Candamo 和Goldgof，2008）、计算机图形学算法（Cerón 等，2014）、基于离散余弦变换（discrete cosine transform，DCT）域的统计方法（Zhang 等，2020）以及贝叶斯模型（Shan 等，2017）等，具体可进一步参考相关文献。

3 基于深度学习的电力线检测方法

2006 年，人工智能专家Hinton 提出了深度学习概念，开启了深度学习技术在人工智能领域的应用研究热潮。主流的深度神经网络包括卷积神经网络（convolutional neural network，CNN）、循环神经网络、深度信念网络、受限玻尔兹曼机、生成对抗网络（generative adversarial network，GAN）以及自编码器等模型。自2012年AlexNet网络问世以来，DCNN 在目标检测、图像分类和图像分割等领域获得了广泛应用，研究者通过重构网络模块以增加网络深度，提出了性能更优越的DCNN 网络框架，如VGGNet（Visual Geometry Group network）、GoogLeNet、ResNet（residual neural network）和DenseNet（densely connected convolutional network）等。在数字图像处理过程中，CNN 常用于图像特征提取，CNN 不仅能提取浅层细节特征（颜色特征、纹理特征、形状特征和融合特征），还能提取高层语义特征（深度特征），弥补了传统图像处理方法提取图像信息不足的问题。深度学习已在电力线检测中得到了应用，取得了比传统图像处理方法更好的检测效果。根据基础网络结构的不同，分为基于DCNN 的分类方法和基于DCNN的语义分割方法。

3.1 基于DCNN的分类方法

CNN 作为一种前馈神经网络，自2006 年深度学习提出以来，CNN 表征学习的能力得到了广泛的关注，使其成功应用于计算机视觉领域解决图像识别与分类问题。典型的CNN 结构如图7 所示，由卷积层（convolutional layer）、池化层（pooling layer）和全连接层（fully connected layer）构成。卷积层用于提取图像特征，即输入特征图与二维卷积核，通过卷积操作获取局部特征图；池化层用于减小特征图尺寸，一般采用最大池化或平均池化操作降低特征图维度；全连接层将二维特征图映射成一维向量，其设置在CNN 尾部起到分类器作用。随着DCNN 层数逐层加深，特征图尺寸相应减小，作为特征提取器的CNN 不断地将局部、浅层信息汇集成更为抽象的全局、高层语义信息，从而提取高质量图像特征。因此，DCNN 网络广泛应用于目标检测和分类任务中。

图7 典型的CNN结构图Fig.7 Typical structure of CNN

图像背景噪声对电力线的特征提取有一定的影响，如何有效地消除背景噪声干扰是提高电力线检测准确率的关键。Pan 等人（2016）提出了由粗到精的电力线特征提取方法，先采用三阶高斯滤波器提取图像边缘特征，再利用CNN 分类器去除背景噪声，最后通过改进的Hough 变换算法GPPHT（gradient based progressive probabilistic Hough transform）提取直线段特征，电力线检测准确率达到91.14%，明显高于传统高斯模型（84.70%）和空间上下文模型（89.21%）。但是GPPHT 算法计算复杂，且直线段长度阈值参数mixL 和线段最大距离阈值参数maxD需要手动设定。Gubbi 等人（2017）提出了由4 个卷积层和2 个全连接层构成的深度学习网络模型，用于航拍图像中电力线检测，与GoogLeNet 预训练模型相比，电力线检测的F1-score 提高了3.6%。但是该网络模型对输入图像尺寸有限制，32 × 32 像素的图像块需转换成梯度直方图（histogram of gradient，HoG）向量后才能用于深度学习网络训练和测试。航拍图像背景中存在很多与电力线相似的虚假目标，传统的电力线检测方法只考虑电力线线性特征，因此会检测到许多虚假电力线，从而造成较高的虚警率。Li等人（2019）提出了基于深度学习的金字塔分类框架，引入了分层图像块划分和多尺度目标区域选择策略，利用DCNN 的分类器消除图像中类似电力线的伪目标，有效地降低了电力线检测误报率。Yetgin 等人（2019）设计了分别以VGG-19 和ResNet-50 为骨干网络的二分类器，用于航拍图像中电力线检测，该分类器只能检测图像中有无电力线，无法确定电力线的准确位置。

为了准确定位航拍图像中的电力线，很多研究者将目标检测方法用于电力线检测。机器人取代人工巡检输电线路可以减少高电压、强磁场对人体的伤害，为实现机器人在复杂环境下对电力线的智能检测，刘召等人（2019）提出了基于改进Faster R-CNN 模型的电力线检测方法，通过引入ResNet 网络跨层连接和改进区域候选框生成机制，有效地提升了改进Faster R-CNN 模型的小目标检测能力，电力线检测平均精度均值（mean average precision，mAP）达到92%以上，比原始Faster R-CNN 模型提高了8%。电力线弧垂监测对输电线路安全稳定运行具有重要意义，为了定位电力线底部位置，Dong 等人（2019）提出了一种深度学习网络模型（3 个卷积块和2 个全连接层）用于电力线检测，与其他传统方法相比，该网络模型取得了较高的预测精度（99.89%）。由于电力线特殊的线性特征，利用DCNN 网络模型提取电力线特征的同时也提取了大量背景噪声，从而影响电力线的准确定位。

3.2 基于DCNN的语义分割方法

全像素语义分割可以看做是典型的计算机视觉任务。在UAV 巡检电力线图像中，要准确检测出电力线像素并非易事。由于航拍图像中电力线所占像素宽度很小，电力线检测任务可以等同于电力线语义分割，因此部分学者将DCNN 用于电力线语义分割。在电力线图像特征提取过程中，经过卷积操作和池化降维后，特征图分辨率会逐渐减小，与目标定位和分类不同的是，基于语义分割的电力线检测需要利用解码器还原电力线目标轮廓。目前，用于电力线语义分割的深度学习网络模型出现了以全卷积网 络（fully convolutional network，FCN）（Shelhamer等，2017）、U-Net（Ronneberger 等，2015）、金字塔场景解析网络（pyramid scene parsing network，PSPNet）（Zhao 等，2017）、SegNet（semantic segmentation network）（Badrinarayanan 等，2017）等为代表的编码器—解码器结构和以DeepLab 系列（Chen 等，2018）为代表的空洞卷积层结构。编码器通过卷积池化层使特征图尺寸逐渐减小，以获得高层语义信息；解码器利用反卷积层使特征图尺寸逐渐增大，以恢复底层空间位置信息。编码器用于图像特征提取，其骨干网络采用VGG-16、ResNet、GoogLeNet 等分类网络。

3.2.1 FCN网络

FCN 网络将最后的全连接层替换成卷积层，成为深度学习领域图像语义分割算法的开山之作。FCN 以图像分类网络为编码器，利用反卷积层和跨层连接恢复图像分辨率，对图像中各像素点所属类别分类，实现端到端的语义分割任务，其网络结构如图8所示。

图8 FCN网络结构图Fig.8 The structure of FCN

在UAV 巡检输电线路过程中，电力线检测对无人机实时路线规划和导航至关重要。为了确定航向实现无人机自主导航，Hui 等人（2018）在传统的消失点检测之前利用FCN 网络提取电力线特征，降低了复杂背景下电力线提取难度，显著提高了消失点检测精度，实验结果表明，预测消失点的累积像素误差由传统方法的750 个像素降低到FCN 算法的450 个像素（图像分辨率为1 280 × 720 像素）。在复杂的航拍图像背景下，传统的滤波器和梯度方法无法提取完整的目标特征，为此，李胜利（2018）将语义分割算法用于输电线路关键部件检测研究。FCN算法不依赖人工设计分类特征，实现了任意大小航拍图像端到端检测，改善了传统分割算法过程复杂、普适性不强等缺点。FCN算法从像素层面对特征图像素分类，没有考虑到图像分割的整体性，但是FCN推动了图像分割向深度学习方向发展。

3.2.2 SegNet网络

SegNet网络在解码器端引入最大池化指数（Jaccard），在内存使用上比FCN 网络更为高效。FCN 使用反卷积和跨层连接只能得到比较粗糙的分割图，为了进一步提升图像分割效果，需要引入更多的跨层连接，然而跨层连接仅复制了编码器特征。Seg-Net 网络结构如图9 所示，先对原始图像进行卷积、归一化和池化等压缩编码，再对编码后的图像进行上采样和卷积解码。

图9 SegNet网络结构图Fig.9 The structure of SegNet

3.2.3 U-Net网络

U-Net 网络继承了FCN 网络用卷积计算实现全连接层结构的思想，利用完全对称的U 型编码器—解码器结构，其网络结构如图10 所示。为了获取更准确的像素定位和更高的分割精度，U-Net增加了特征提取网络的深度。

图10 U-Net网络结构图Fig.10 The structure of U-Net

Hota等人（2020）提出了基于深度学习的多光谱图像电力线检测与分割方法，构建了U-Net、PSPNet和SegNet 语义分割网络模型，通过扩展或上采样路径实现电力线特征精确定位，实验结果表明，U-Net网络模型在电力线分割中表现最佳，其平均准确率和Jaccard 指数均优于PSPNet 和SegNet 模型。为了实现不同场景的电力线特征提取，姜振邦和邹宽胜（2021）提出了基于阶段注意力机制的U-Net 网络模型，编码器阶段采用多尺度融合策略减少空间位置信息丢失，解码器阶段引入阶段注意力机制模块（通道注意力、空间注意力和金字塔注意力）以增强电力线线性特征，实现了电力线像素级跨场景提取，通过与FCN、SegNet和U-Net网络模型进行对比实验，SAUnet模型的电力线像素精度和平均交并比两个指标均优于对比模型。传统视觉算法在复杂背景下无法实现电力线实时分割，为了解决这一问题，Madaan等人（2017）提出了一系列的深度学习网络模型用于电力线语义分割，设计了6 个由卷积层构成的前端模块和5 个由空洞卷积层构成的上下文模块，利用网格搜索的方式从30 种组合中选出检测效果最好的5 种网络模型，5 种网络模型在Jetson TX2 上的电力线检测精度和推理速度优于FCN-8、FCN-16、Seg-Net、ENet 等语义分割网络模型，其中5 种模型中最优检测精度达到72.9%，最快检测速度超过4 帧/s。黄巨挺等人（2021）提出了基于改进U-Net 的电力线语义分割网络模型，采用最大池化层提取多尺度特征，通过Jaccard 上采样逐层融合多尺度特征，该模型应用于Jetson TX2 移动端设备并取得了良好的检测效果。电力线的检测速度达到8.2 帧/s，是语义分割模型Dilated ConvNet 的2 倍；平均交并比、F1-score、平均精度在同源数据集上的测试结果比Dilated ConvNet 模型分别提高了1.1%、1.4% 和0.8%。

3.2.4 DeepLab系列语义分割网络

DeepLab 系列语义分割网络模型将空洞卷积层作为其基本网络结构，自2015 年DeepLab v1 提出以来，空洞卷积层成为语义分割网络中另一种常见结构。语义分割网络采用调节膨胀率的方式来获取不同的感受野，使卷积层输出包含较大范围的信息，从而实现浅层特征与深层特征融合。空洞卷积层的结构如图11 所示，其中，图11（a）是普通3 × 3 卷积，其感受野为3 × 3，图11（b）是膨胀率为2 时，感受野为7 × 7，图11（c）是膨胀率为4，此时感受野为15 × 15。空洞卷积层在不增加计算量的情况下，扩大了卷积核视野，但是感受野增大的同时特征变得更加稀疏，容易导致部分信息缺失。

图11 空洞卷积层结构图Fig.11 The structure of dilation convolution（（a）expansion rate of 1；（b）expansion rate of 2；（c）expansion rate of 4）

为了使3 × 3 卷积在较大膨胀率下获得更大范围的语义信息，DeepLab v3 改进了空间金字塔池化层（atrous spatial pyramid pooling，ASPP），改进后的ASPP 模块由1 个1 × 1 卷积、3 个不同膨胀率的3 × 3空洞卷积和1 个全局池化层并联组成，利用多个空洞卷积与全局池化层并联获取感受野信息，从而提取不同尺寸的上下文特征信息。DeepLab v3+以DeepLab v3 为编码器，利用编码器—解码器结构逐渐恢复到输入图像大小，实现图像目标的准确分割。DeepLab v3+是目前准确率较高的语义分割网络之一，其网络结构如图12所示。

图12 DeepLab v3+网络结构图（王栩文，2019）Fig.12 The structure of DeepLab v3+（Wang，2019）

针对在航拍图像中电力线所占像素宽度较小，在电力线语义分割应用中存在定位不准确的缺陷，王栩文（2019）融合DeepLab v3+和SegNet 网络的思想，在DeepLab v3+网络基础上设计一个更完善的解码器结构，提出了DeepLab v3+Decoder 网络模型，所提模型的平均交并比与DeepLab v3+模型相比提高了2.3%，实验结果证明了DeepLab v3+Decoder网络模型比DeepLab v3网络更适合电力线语义分割任务。DeepLab v3+Decoder网络模型在检测准确率和速度上都优于Madaan等人（2017）所提出的深度学习网络模型，但是DeepLab v3+Decoder 网络模型并没有在移动设备（如NVIDIA Jetson TX2）上进行测试。

3.2.5 其他语义分割网络模型

电力线定位是UAV 巡检输电线路的重要环节，虽然基于DCNN 语义分割算法是解决计算机视觉问题的有效方法，但是训练深度学习网络模型需要大量的训练样本，训练样本通过使用类别标签标记边界框生成真实数据（ground-truth data，GTD），而构建像素级GTD 要比构建用于分类的图像级GTD 耗费更多的时间。为了有效地利用在图像分类过程中获得的特征图信息，Lee 等人（2017）提出了一种基于弱监督学习的电力线定位算法，首先建立了基于VGG-19 的DCNN 网络模型，再通过滑动窗口的方式将输入图像（512 × 512 像素）划分成子区域图像（128 × 128 像素），并对子区域图像进行有无电力线分类，最后滤除不包含任何电力线的子区域，采用电力线特征映射的方式在原始图像中定位出电力线。该算法仅利用图像级类别信息，实现了像素级精度的电力线定位，极大地提高了电力线的局部定位性能。

传统目标检测算法用于电力线检测不仅检测速度慢而且准确率不高，同时还需要大量的后处理工作去区分电力线与虚假电力线。为了便于实时检测电力线目标，受one-stage 目标检测算法，如SSD（single shot multibox detector）、YOLO（you only look once）等在检测速度和精度方面的优势启发，Nguyen等人（2021）提出了由特征提取网络、分类器子网络和线段回归子网络构成的LS-Net 网络（fast singleshot line-segment detector），其网络结构如图13 所示，首先将VGG-16 网络作为特征提取器，用于电力线图像特征提取，其次分类器子网络以特征提取网络提取的特征图为输入，预测每个网格单元是否包含电力线，分类器子网络为两层结构，第1 层结构为2 × 2 卷积层，将输入特征图对应的4 个重叠网格单元特征转换成4 组特征图；第2 层结构为1 × 1 卷积层，预测每个网格单元的置信度得分，最后通过线段回归子网络预测每个网格单元中最长线段的坐标。LS-Net 网络在分类器子网络中利用4 网格法（主网格、水平网格、垂直网格和中心网格）代替1 网格法，避免了提取出的电力线不连续问题。通过与Madaan等 人（2017）提出的WD-DCNN 网络和Lee 等 人（2017）提出的WSL-CNN 网络进行对比实验，LS-Net网络模型的平均召回率（average recall rate，ARR）、平均准确率（average precision rate，APR）、F1-score指标均优于对比网络模型，其中LS-Net网络在平均召回率方面比WD-DCNN 和WSL-CNN 分别提高14% 和23%。同时，LS-Net网络可以近实时运行（20.4帧/s），可用于无人机低空避障飞行时的实时电力线检测。

图13 LS-Net网络结构图Fig.13 The structure of LS-Net

传统图像处理方法受背景噪声干扰严重，无法提取完整电力线特征，为此，Zhang 等人（2019）引入电力线长度、宽度、方向以及面积等结构化信息作为先验知识，提出了基于多尺度特征和结构化约束的电力线检测方法，先采用VGG-16 网络进行分层预测生成多尺度特征图，再将5 个尺度特征信息融合输出，利用高层特征图预测识别出电力线的轮廓，低层特征图预测获得电力线的边缘定位。该方法利用DCNN 网络生成由粗到细的特征图，通过多尺度和结构化先验信息对电力线进行准确高效的检测，降低了背景噪声的干扰，避免了提取出的电力线出现断裂等不连续现象。

针对大多电力线分割算法只注重网络模型的准确率，较少考虑电力线分割的实际应用，陈梅林等人（2022）对传统F1-score 进行改进，提出了新的评价指标（WG-F1-score），同时提出了轻量化网络SaSnet（small and strong network）用于电力线图像实时分割，如图14 所示，SaSnet 网络由输入模块、融合模块和输出模块3 部分组成。输入模块采用编码器结构提取电力线特征；融合模块是由ASPP 模块和FPN（feature pyramid network）改进而成的多尺度特征提取模块，用于提取不同尺度的特征；输出模块通过3 个卷积调整图像大小，用于预测分割结果。通过将SaSnet 模型与前述 的U-Net、WLS-CNN、WDDCNN、LS-Net等优秀的语义分割网络模型进行对比实验，SaSnet 模型的平均精确率（APR=65.19%）、平均召回率（ARR=92.45%）和WG-F1-score评价指标均达到了最优值，其中WG-F1-score 达到了78.65%，比U-Net、WD-DCNN 和LS-Net 分别提高1.89%、18.52%和11%。为了验证SaSnet 模型的推理速度，将SaSnet 模型部署在嵌入式设备（Jetson AGX Xavier）上，在半精度（fp16）+TensorRT 配置下，SaSnet模型处理512 × 512像素图像的最快推理速度达到了10 帧/s，处理256 × 256 像素图像的推理速度可达到40 帧/s，满足了嵌入式设备应用UAV 巡检输电线路场景下的实时性要求。

图14 SaSnet网络结构图Fig.14 The structure of SaSnet

深度学习方法利用DCNN 以端到端的训练方式自动学习图像特征，具有学习能力强、可移植性好、适应性强等优点。基于深度学习的电力线识别方法相较于传统图像分割、图像增强和目标检测等方法的优势在于自动提取航拍图像中的电力线特征，与手动设定阈值参数提取特征相比更加准确和快速，因此，深度学习方法更加适用于检测复杂背景下的电力线，有更强的泛化能力。但是深度学习网络模型设计复杂、计算量大，需要性能较高的硬件资源，依赖大量的样本数据进行训练和测试，而且进行训练样本标注需要花费大量精力。

4 主要电力线检测方法的比较

本节阐述了近年来提出的5 类主要的航拍图像中电力线检测方法，不同方法具有各自的优势和不足。

基于Hough 变换的电力线检测方法利用电力线图像中各像素点的空间映射关系，在参数空间上通过累加聚类的方式提取电力线。此类算法提取的电力线受噪声干扰较小、全局性能好、鲁棒性较强，不仅用于检测直线，还能检测出曲线、圆等其他几何形状。但是算法寻找极大值时计算量较大，占用较多的内存资源，电力线的检测结果易受阈值参数设置影响，在复杂背景下易出现电力线漏检或误识别。

基于Radon 变换的电力线检测方法同样是由图像空间到参数空间映射的方法，该类算法有良好的抗噪声能力，航拍图像中电力线检测具有较好的全局性，且在对比度低的场景下也具有较好的检测性能。但是Radon 变换算法只能检测到电力线的方向和具体位置，对于电力线的起点和终点无法确定，一旦背景干扰严重将无法提取完整的电力线。

基于LSD的电力线检测方法，将像素点梯度、方向等信息融入到电力线特征提取过程中，通过有效的像素合并与误差控制，能够准确地定位出电力线端点，与Hough 变换和Radon 变换算法相比，LSD 算法的检测精度较高、运行时间较短。但是该算法对噪声敏感，当受到背景噪声、图像模糊、光照强度变化和遮挡等影响时，提取的直线特征有部分冗余；在复杂背景下易检测出大量干扰线段，造成过拟合或出现电力线断裂现象。

基于扫描标记的电力线检测方法能够克服Hough 变换和Radon 变换算法的复杂度高、局部性差等不足，电力线检测效果与边缘检测结果密切相关。利用Freeman 链码的方法提取电力线特征比较简单，但是需要对中心像素点的4 或8 邻域像素点进行搜索，存在计算复杂度高、内存资源占用多等缺陷。相位编组算法运算量小，能够实现较低对比度的电力线图像检测，但是在复杂背景下，该算法受噪声干扰影响严重，易出现像素相位突变，提取的电力线图像不完整，存在断裂等问题。

上述几类电力线检测方法（非深度学习方法）无法有效地在众多直线中识别出电力线，针对不同的应用场景需要手动设置阈值，而有些阈值参数需要多次尝试才能达到最佳效果，这与无人机自主巡检输电线路的要求明显不符。而基于深度学习的电力线检测方法可以自动学习并提取图像特征，无需人工设计特征和调整阈值参数，可以实现端到端的电力线目标检测。即使是一个不存在于样本集中的全新场景出现时，深度学习方法也能比传统图像处理方法更好地提取电力线特征，得到良好的检测结果。但是深度学习网络模型对硬件要求较高，而且需要大量样本数据构建数据集。目前，各个数据集的标注准则不同，且各种深度学习网络模型尚无统一的衡量标准。表1 给出了主要电力线检测方法的分析与比较。

表1 主要的电力线检测方法对比Table 1 Comparison of main power lines detection methods

5 数据集及性能评价指标

5.1 数据集

计算机视觉技术的不断进步推动电力巡检业务向智能化方向发展，吸引了众多研究者致力于输电线路中电力线目标检测研究，但是大量的文献是基于传统机器视觉的目标检测，训练图像很少，甚至有些采用人工合成图像。基于深度学习的目标检测和语义分割方法，离不开数据集的支持，很多无人机航拍电力线图像处于非公开状态，仅有有限的开源数据集用于电力线目标检测研究，表2 给出了用于电力线检测的部分数据集。

表2 电力线数据集Table 2 Datasets of power lines

PLD（powerline image dataset）和GTPLD（ground truth of powerline dataset）是Yetgin 等人（2019）提供的首个用于电力线识别的开源航拍图像数据集。PLD 数据集包含8 000 幅分辨率为128 × 128 像素的航拍图像，用于电力线目标分类，其中可见光图像和红外图像各4 000幅，2 000幅可见光图像和2 000幅红外图像含有电力线，其余为不含有电力线的航拍图像；GTPLD 数据集包含800 幅分辨率为512 × 512像素的航拍图像，用于电力线语义分割，包含电力线的可见光图像和红外图像各200 幅，不包含电力线的可见光和红外航拍图像各200幅。

PLDU（power line detection urban）和PLDM（power line detection mountain）是Zhang 等人（2019）公开的包含城市和山地两个场景的电力线语义分割数据集。数据集PLDU 和PLDM 中的图像是原始航拍图像（3 000 × 4 000 像素）经裁剪得到的分辨率为540 × 360 像素图像，其中PLDU 中包含453 幅训练图像、120 幅测试图像，PLDM 中含有237 幅训练图像、50 幅测试图像。通过角度旋转和多尺度缩放等图像增强技术，PLDU 和PLDM 中图像数量增长到原有图像的48倍。

NAL-RGB database 是Saurav 等人（2019）提出的用于测试Nested U-Net 网络性能的数据集，该数据集包括由5 472 × 3 078 像素的原始图像经过裁剪得到的3 568 幅分辨率为512 × 512 像素的航拍图像，但是NAL-RGB 数据集目前仍处于非公开状态。为了获取更多的电力线图像供深度学习网络模型训练与测试，Nguyen 等人（2021）采用物理渲染方法（POV-Ray）将电力线叠加在HDRIs（high dynamic range images）图像上，生成了718 000 幅合成图像；Madaan等人（2017）利用射线追踪技术合成67 000幅分辨率为480 × 640 像素的电力线图像，但这两个数据集同样没有开源。

TTPLA（transmission towers and power lines aerial-image）是Abdelfattah 等人（2021）公开的用于电力线、电力杆塔实例分割的数据集。该数据集提供了1 100 幅未经裁剪的分辨率为3 840 × 2 160 像素的原始航拍图像，对8 987 个电力线、电力杆塔实例进行了手工标注。常用的手工标注工具有ByLabel、VIA（VGG image annotator）、LabelImg 和LabelMe等。

5.2 性能评价指标

为了将电力线检测的研究成果部署到嵌入式设备上用于无人机在线巡检，需要对电力线检测算法的性能进行评估，明确它们的优缺点。UAV 巡检图像中电力线检测常用的性能评价指标有准确率（precision）、召回率（recall）、F1-score、平均精度（average precision，AP）、交并比（intersection over union，IoU）等。准确率和召回率是机器学习领域普遍采用的两个指标，用于评估目标检测或像素分割效果。

对于电力线检测算法性能评估，准确率描述为“预测出的全部结果中有多少是与真实标签相吻合的电力线”，其衡量的是模型的查准率；召回率描述为“所有电力线中有多少比例被预测出来”，其衡量的是模型的查全率。针对不同应用场景，检测模型的准确率和召回率侧重不同，例如UAV 巡检输电线路，为了保障无人机安全、避免事故发生，电力线的漏检要比误检的危害性更大，因此电力线检测模型召回率的重要性应大于准确率。F1-score 是准确率和召回率的调和平均量；平均精度AP 描述为“以准确率为纵轴、召回率为横轴的P-R 曲线所围成的面积”；交并比IoU 描述为“真实值像素集合和预测值像素集合的交集与并集之比”。

对于多类别目标检测，平均交并比（mean IoU，mIoU）和平均精度均值（mean AP，mAP）是重要的评价指标，mIoU 或mAP 的值越大，检测模型的分割精度或识别精度越高，预测性能越好。除了采用上述度量指标对模型的检测效果进行评估以外，检测模型的运行时间也是衡量算法优劣的重要指标，通常采用每秒处理图像帧数（frames per second，FPS）来衡量算法的运行速率。

6 未来研究展望

本文阐明了传统图像处理方式的电力线检测的一般流程，包括图像预处理、边缘检测、直线特征提取和电力线拟合等，详细阐述了电力线检测所采用的传统图像处理方法和深度学习方法，传统图像处理方法包括基于Hough 变换的方法、基于Radon 变换的方法、基于LSD的方法、基于扫描标记的方法以及其他检测方法，基于深度学习的电力线检测方法包括电力线分类方法和电力线语义分割方法。研究表明，电力线检测在UAV 自主巡检输电线路中占据举足轻重的地位，而基于DCNN 的语义分割方法在电力线目标智能识别与分析中发挥着重要作用。虽然近年来基于深度学习的电力线检测技术研究取得很大发展，在Jetson TX2、AGX Xavier 等嵌入式平台上应用并取得了良好的检测效果，但是在以下几个方面还需进一步研究。

1）统一数据集及数据集质量评估指标。深度学习网络模型的训练过程依赖于大量样本数据的支持，基于深度学习的电力线检测方法面临的首要问题是缺乏公开数据集。采用合适的数据增强技术和生成对抗网络GAN 可以解决数据量不足的问题。由于电力线公开数据集有限，再加上没有统一的标准进行数据集质量评估，使得不同的电力线检测方法无法进行比较，因此，当前电力线检测研究的一个重大挑战就是缺乏数据集及数据集质量评估指标，有必要构建类似ImageNet 和MS COCO（Microsoft common objects in context）全面标准的数据集来评价分析检测方法的性能。

2）小样本数据集标注问题。基于视觉任务的深度学习模型通常需要大量的标签数据来训练，而训练样本标注是一件比较耗时的工作，在Nguyen 等人（2018）的工作中，手工标注40 幅图像大约要用1 小时，创建一个中型数据集近乎要花费700 个小时。利用自监督学习或弱监督学习算法可以减少标签数据的标注数量，节省大量的人工成本，进一步提高小样本数据集的制作效率。

3）多源图像数据融合。在UAV 巡检输电线路中，除可见光图像外还有热图像、紫外线图像和激光雷达图像等，不同数据源的图像数据适用于不同场景下的电力线特征。而大多电力线检测方法只针对可见光图像，多源图像数据融合可以解决可见光图像训练样本匮乏问题，进一步扩展电力线检测的应用范围。有效地利用多源图像数据融合可以实现多应用场景下的电力线状态识别。

4）多种学习的深度融合。鉴于UAV 巡检输电线路中电力线样本数量有限，先采用小样本数据去训练深度学习模型，再利用迁移学习、强化学习等方法优化网络模型，综合多种方法的优势，提升电力线检测能力。深度学习与迁移学习、强化学习等技术深度融合发展将是电力线特征提取的研究动向和发展趋势之一。

5）多种深度学习网络模型的融合。对于电力线图像检测，不同的深度学习网络模型应用于不同的输电线路自动监测场景，如电力线测绘与监测、植被生长监测、冰雪覆盖监测与测量、灾害监测等，单一检测模型往往无法实现多种场景的电力线检测。因此，在下一步的工作中，可将检测性能差异较为明显的网络模型相结合，设计多种深度学习网络模型融合策略，提高电力线检测准确度，使电力线检测效果更好，适应性更广。

6）传统图像处理方法与深度学习方法结合。电力线特征准确提取是无人机巡检输电线路的关键任务之一，航拍图像中的电力线缺乏明显的线性特征，在复杂背景下电力线通常很难与背景分离。传统图像处理方法与深度学习方法结合可以有效提取出复杂背景中的电力线，如先利用深度学习方法检测出电力线区域，再使用传统图像处理方法提取出电力线特征。

7）提高检测模型的稳定性。UAV 巡检输电线路已在电力巡检中普遍应用，为保证无人机避障巡航有必要进行电力线特征提取。由于电力线比较细且缺乏丰富特征，对于复杂背景和天气因素带来的影响，以及部分电力线被遮挡的情况下，准确提取图像中的电力线面临着重大挑战，这要求检测模型能够在复杂背景及多种应用场景下可靠地检测出电力线。深度学习网络模型在训练过程中需要较高的硬件配置，在有限的硬件资源条件下，如何增强电力线目标表达能力是下一步研究的重点。

8）提高检测模型的实时性。为了实现电力线图像全自动视觉监测，深度学习技术将作为采集数据分析和处理的主要手段，这需要将嵌入式设备（如NVIDIA Jetson TX2）部署在无人机上。虽然嵌入式设备可以承担复杂的图像处理任务，但仍具备高性能的实时分析。因此，如何在有限计算能力、内存占用小的条件下，提高电力线检测效率，是实际工程应用中面临的一个重要问题。

7 结语

输电线路作为电力网的主要组成部分，其在电能传输过程中起着重要作用。随着泛在电力物联网建设的不断推进，输电线路运维管理是各大电力公司普遍关注的问题，人工智能技术与电力巡检业务深度融合，研究以机器视觉为代表的人工智能数据分析技术，对于推动UAV 巡检朝着智能化、自动化方向发展具有重要意义。

本文以UAV 巡检航拍电力线图像为主要数据源，以人工智能算法为主要实现方法，总结了近年来国内外UAV 航拍图像中电力线检测方法的研究进展。首先简述了电力线在航拍图像中具有的几何特征，在电力线检测方面，阐明了基于传统图像处理方式的电力线检测的一般流程，包括图像预处理、边缘检测、电力线识别和电力线拟合等，并列举了目前电力线检测面临的图像模糊不清、背景复杂多变、电力线特征不显著和天气因素等困难。然后，重点阐述了基于传统图像处理和深度学习的电力线检测方法，传统的图像处理方法包括基于Hough 变换的方法、基于Radon 变换的方法、基于LSD 的方法、基于扫描标记的方法以及其他检测方法。基于Hough 变换和基于Radon 变换的电力线检测方法属于全局特征提取方法，存在计算复杂度高、占用内存资源多等不足。基于LSD 和基于扫描标记的电力线检测方法，能克服Hough 变换和Radon 变换计算复杂度高、局部性差等缺陷，但是在复杂背景下提取出的电力线不完整，会出现断裂等现象。而基于深度学习的电力线检测方法利用DCNN 可以自动学习并提取航拍图像中电力线线性特征，无需人工设计特征和调整阈值参数，能够实现端到端的电力线目标检测。根据DCNN 网络结构不同分为电力线分类方法和电力线语义分割方法。电力线分类方法只能用于航拍图像中有无电力线检测，并不能确定电力线的准确位置；基于DCNN 的语义分割方法在电力线目标智能识别与分析中发挥着重要作用，电力线语义分割方法能自动提取电力线特征，与手动设定阈值参数的传统图像处理方法相比更加准确和快速。接着，介绍了电力线检测的常用数据集及性能评价指标。最后，针对UAV 航拍图像中电力线检测方法目前存在的问题，对未来的研究工作进行了展望，指明了建立统一数据集及数据集质量评估指标、小样本数据集标注、多源数据融合、多种学习的深度融合、多种深度学习网络模型的融合、传统图像处理方法与深度学习方法结合以及如何提高检测模型的稳定性和实时性是今后几个重要的研究方向，这将极大地推动机器视觉技术在电力巡线乃至整个智能电网中的应用。