面向无人机输电线路巡检的电力杆塔检测框架模型

韩冰，尚方

（黑龙江省电力科学研究院，哈尔滨150030）

面向无人机输电线路巡检的电力杆塔检测框架模型

韩冰，尚方

（黑龙江省电力科学研究院，哈尔滨150030）

高压输电线路定期的巡逻检修是保障其安全可靠运行的重要手段。相比于传统的人工巡检，利用无人驾驶飞机搭载摄像机航拍的巡检方式具有速度快、人力成本低、人员风险小等优势。为了从海量的巡检图像中自动筛选出杆塔可能存在故障的图像，提出了一种融合多源信息的电力杆塔检测框架模型，主要包括摄像机标定、杆塔模型投影变换、杆塔模型聚类分析以及特征提取和匹配4个部分，并在实际的杆塔图像上进行了测试。结果表明，应用检测框架模型处理能够自动检测出图像中杆塔的精确位置，并判断杆塔是否存在杆件丢失等异常状态，验证了模型的有效性。

电力杆塔；无人机；输电线路；巡检；图像

安全可靠的高压输电线路对于电力系统具有十分重要的意义。由于高压线和杆塔等长期暴露在外，易受到自然界的侵蚀及人为破坏，导致电线断开、杆塔歪斜、金件脱落或丢失等一系列问题，对整个电力系统带来不可估量的损失。如何对高压输电线路进行高效的巡逻检修，保障其安全可靠的运行，成为了电力部门所关注的重点[1]。

1 高压输电线路的巡检方式

1.1 主要巡检方式

高压输电线路巡检目前主要可分为人工巡检、机器人巡检、载人直升机巡检和无人机巡检4种方式。由于高压输电线路具有分布点多面广、所处地形复杂、自然环境恶劣等特点，传统的人工巡检方法不仅工作量大而且条件艰苦，特别是对山区以及跨越大江大河的输电线路的巡检，所花时间长、人力成本高、困难大、风险高。巡线机器人是针对架空高压输电线路的一种自动化巡线装置，主要巡检输电导线故障、绝缘子破损，防震锤松动等[2]。由于巡线机器人能带电工作，不仅可以替代人工巡检，而且可以极大提高巡检精度。然而机器人行进速度慢、巡线距离短、跨越障碍困难等不足限制了应用范围。

直升机巡检方式通过直升机搭载可见光和红外成像设备对输电线路拍摄图像，相比人工巡检和机器人巡检，提高了电力维护和检修的效率[3]。美国、法国、澳大利亚等国家都建立了用于巡检的直升机机队，国内的南方电网、华中电网、福建省电力公司等也陆续开展了直升机载人巡检。但建立直升机机队投入大，开发专项技术也需要投入大量的人力资源，管理及技术准备都十分复杂，限制了直升机巡检在国内的推广应用。

近些年来，利用无人驾驶飞机进行输电线路巡检的方式渐渐兴起。相比于载人直升机巡检，无人机巡检不需要搭载拍摄人员，因此飞机体积小、载重轻、成本低，操作也较为简单[4，5]。目前贵州、青海等省份已尝试开展针对高海拔、复杂地形的无人机巡检。

1.2 无人机巡检的图像处理

无人机巡检过程中会拍摄大量的架空输电线路的图像，其中可能仅有极少量图像包含线路故障，因此用人眼来检测全部图像不仅效率低下，而且会因疲劳以及杆塔的复杂结构易于出错。为了解决这个问题，研究人员提出智能化的检测方案，从全部图像中自动筛选出少量可能存在故障的图像，再由人眼做进一步判断。

电力杆塔作为高压输电线路的重要组成部分，是巡检图像自动检测的关键目标[6]。在图像中准确定位杆塔不仅是判定杆塔是否存在故障的首要步骤，也为杆塔上其它部件如绝缘子和金具等的检测和故障判定提供重要信息。然而高压输电线路中的杆塔大都由杆件搭建而成，形态各异且结构复杂。其钢架结构导致巡检图像中缺少稳定的特征点和纹理特征，而且在成像过程中杆件之间遮挡非常严重，因此，在图像中自动检测出所有类型的杆塔是非常困难的。

目前，国内外仅有少量关于杆塔自动检测的研究。文献[7]提出了一种从航空图像中检测多个相似杆塔的方法。该方法利用杆塔在阳光照射下会产生阴影的特点，根据给定的模板提取阴影部分的边缘特征，进而在图像中构造滑动窗口，判断某个位置是否存在杆塔。由于该方法仅用于在航空图像中标注杆塔的地理位置，精度较低，因此并不适用于电力线巡检。文献[6]提出一种基于快速高效启发式聚类算法的电力杆塔检测方法，对杆塔的灰度值和Lab空间颜色信息进行聚类分析，可用于检测简单背景中的电力杆塔。该方法属于像素级的低层视觉方法，无法获取上层的杆件信息及杆塔的结构信息。

此外，文献[8，9]分别提出利用全局自相似描述子和可变形部分模型进行杆塔检测，然而这两种方法最终只能用矩形框标识出杆塔的大致位置，也无法满足电力线巡检的需要。

2 电力杆塔检测框架模型

2.1 框架的主要部分

针对无人机输电线路巡检问题，提出了一种融合多源信息的电力杆塔检测框架模型。该框架主要包括4个部分。

（1）无人机载摄像机标定，获取摄像机内参数矩阵。

（2）构造参数相同的虚拟摄像机，根据虚拟摄像机的不同位姿对杆塔三维模型进行投影变换，并计算投影后的直线段特征。

（3）计算不同位姿下杆塔投影的相似度并进行聚类分析，获取该模型的金字塔式的层级表示。

（4）在巡检图像中提取直线段特征，与杆塔三维模型的投影进行匹配，并利用无人机GPS等信息缩小搜索范围。

该方法可以在包含杆塔的巡检图像中自动检测出杆塔的精确位置，同时可以确定机载摄像机相对于杆塔的位姿，为判定杆塔的异常状态以及自动检测杆塔上的其它部件提供重要信息。提出的电力杆塔检测框架模型如图1所示。

图1 电力杆塔检测框架模型

2.2 摄像机标定

式中：s表示尺度因子；[R，t]表示物体相对于摄像机的旋转和平移；A表示摄像机的内参数矩阵。在矩阵A中，u0，v0表示主点坐标；α和β表示图像中u轴和v轴的尺度因子；γ表示2个轴的倾斜度。

摄像机标定就是由已知特征点的图像坐标和世界坐标求解矩阵A的过程，目前常用的是摄像机自标定方法见文献[10]，即在未知摄像机外参数的情况下，利用多幅图像间点或线的对应关系求解摄像机内参数，例如利用一维标定物[11]、二维标定物[12]和三维标定物[13]的方法。

2.3 杆塔模型投影变换

杆塔是一种结构复杂的三维物体。为了实现巡检图像中杆塔的自动检测，需要已知杆塔的三维结构信息。常见的数据来源包括杆塔设计的CAD数据，施工图纸，国家标准或通用设计规范[14]等，也可通过3D扫描仪或计算机三维重建的方法获得杆塔的三维信息。

若已知杆塔三维数据及摄像机内参数，那么杆塔在不同的摄像机位姿下所成的像就可以通过（1）式计算得到。以杆塔为中心建立世界坐标系，并用Tx，Ty，Tz，α，β，γ表示摄像机位姿，其中Tx，Ty，Tz分别表示摄像机相对于杆塔在x，y，z轴上的平移，即：

α，β，γ分别表示摄像机绕x轴、y轴和z轴旋转的角度，旋转矩阵Rx，Ry，Rz可以表示为：

满足：

通过设定不同的摄像机位姿，就可以计算杆塔在图像上的投影，如图2所示。

图2 不同的摄像机位姿下杆塔的投影

2.4 杆塔投影的聚类分析

为了保证杆塔检测的精度，在合理的位姿参数范围内，通常需要设定大量的采样点，每个采样点对应于一个特定的位姿。然而，采样点过多会带来检测速度慢的问题，较多的参数个数（Tx，Ty，Tz，α，β，γ共6个）导致这个问题变得非常严重。考虑到随着位姿参数的变化，杆塔投影也是一个逐渐变化的过程，也就是说，位姿参数差异小的对应的杆塔投影差别也较小。因此，可以采用聚类分析的方法，将大量的杆塔投影表示为层次结构，如图3所示。这样，在检测阶段就可以实现由粗到精的快速匹配。

图3 杆塔投影的层次表示

2.5 特征提取和匹配

选择直线段特征作为巡检图像和杆塔投影的特征，用于图像和杆塔模型间的匹配。选择直线段特征有以下优势。

（1）鉴于大多数高压输电线路中的杆塔都是由杆件搭建而成，而杆件大多为细长的钢管或角钢，用直线段表示杆塔模型自然直观。

（2）直线段是巡检图像中非常明显的特征，可以通过有效的图像处理算法提取得到。

（3）直线段特征的表示和相似度量非常简单，仅需要2个端点的坐标就可以完整的描述1条直线段，2条直线段间的相似度也可以通过简单的公式计算得到。

（4）构成杆塔模型的直线段经投影变换后仍旧为直线段，可由式（1）方便的计算出投影后直线段的端点坐标。

在匹配阶段，需要将图像中提取的直线段特征，与杆塔模型的所有投影比对，并从中选出相似度最大的投影作为匹配的结果，其对应的位姿即为拍摄巡检图像时的摄像机位姿。聚类分析的结果，可以用来构造决策树分类器，在匹配阶段大幅提高速度。若已知杆塔和无人机的GPS信息以及摄像机的安装角度、无人机的行进方向等信息，位姿参数可以大致确定，在合理的参数范围内仅需要少量采样点，此时为了提高检测的精度可以采用逐一比对的方式。

3 框架模型的实现

3.1 摄像机标定方法

摄像机自标定方法有多个开源的标定工具箱，这里选择Jean-Yves Bouguet的工具箱[15]。该工具箱是采用Matlab实现的Janne Heikkilä等[16]提出的4步标定法，仅需要一个棋盘格作为标定物。将棋盘格置于摄像机前，变换角度和位置拍摄十幅左右图像，就可以自动计算出摄像机的内参数。

3.2 建立杆塔三维模型

根据杆塔的施工图纸建立了2种杆塔的三维模型。首先以杆塔底面中心点为坐标系原点，水平向右为X轴正向，水平向正前方为Y轴正向，竖直向上为Z轴正向，建立满足右手法则的世界坐标系。其次采用1条直线段来表示1根杆件，根据施工图纸标注的杆件数量和每根杆件的位置，在以杆塔为中心的世界坐标系中确定每根杆件的三维坐标，从而建立起完整的杆塔三维模型。建成的杆塔模型如图4所示。

图4 2种杆塔的三维模型

3.3 杆塔投影的相似度量

对杆塔投影进行聚类分析之前，首先需要定义投影间的相似度。由于杆塔由杆件组成，而杆件又是由直线段表示的，因此首先定义直线段的相似度量。设直线段a（p1，p2）的长度为la，它的2个端点p1和p2到直线段b所在直线的距离分别为v1和v2，那么直线段a到直线段b的距离定义为：

若模型中共有N条直线段，每条直线段的端点到对应的直线段所在直线的距离为vi1和vi2，那么模型A到模型B的距离定义为：

式中：LA表示模型A中所有直线段的长度之和，有。

式（8）中的距离定义是非对称的。为此，定义任意2个模型间的距离为：

3.4 直线段特征提取

直线段是图像中最基本且非常重要的初级特征之一，大量存在于实际图像中，尤其是包含人造目标（如道路、桥梁、建筑等）的图像。因此，直线段检测在数字图像处理和计算机视觉领域中都具有十分重要的意义[17]。LSD[18]是近来提出的一种基于局部特征的方法，相比于Hough变换等基于整体的方法，具有速度快、精度高的特点。该方法主要包括计算梯度、区域生长、区域矩形化、直线段有效性验证、有效点密度判断等几个步骤。在文献[19]中有该方法的C语言实现。

LSD方法可以准确地检测出直线段的位置、长度、宽度、方向等信息。然而，由于LSD是一种局部方法，易受到噪声的干扰，无法处理杆件交叉导致的直线段断开。因此，需要在后处理步骤中合并方向相同、间隔较短的直线段，以利于后续的特征匹配。

4 实际杆塔图像的检测试验

为了测试提出的框架模型的有效性，拍摄了实际的高压输电线路的杆塔图像，并在图像中检测杆塔的准确位置。采用佳能5D Mark II相机和佳能EF 85mm f/1.8镜头，并对其进行了标定。由于用于输电线路检测的无人机价格非常昂贵，因此这里采用手持相机拍摄的方式，来测试本文方法的有效性。一幅典型的杆塔图像如图5（a）所示。经直线段提取和直线段合并之后，得到的图像如图5（b）所示。

图5 已知摄像机大概位姿对杆塔进行检测

由于缺少杆塔和无人机的GPS信息以及无人机的行进方向等信息，采用位姿估计[20]的方法，计算摄像机相对于杆塔的位姿。随后以该位姿为中心，在一定范围内，对杆塔的三维模型进行了投影。最后在图5（b）中进行杆塔的检测，检测结果如图5（c）所示。可以看出，本文方法可以在巡检图像中自动检测出杆塔的精确位置。同时，根据图像对应的杆塔投影，也可以判断出摄像机相对于杆塔的准确位姿。

杆塔的异常状态检测是输电线路巡检的重要组成部分。杆塔的异常状态主要包括绝缘子破损、杆件丢失、树枝干扰、鸟巢搭建等。为了仿真杆塔的异常状态，在杆塔图像5（a）中，添加了1个鸟巢，并擦除了1根杆件，如图6（a）所示。在检测过程中，确定杆塔的精确位置之后，可以通过判断杆件投影与对应的直线段之间的长短关系来判断杆件是否被遮挡或丢失，结果如图6（b）所示。可以看出，杆件中丢失以及被鸟巢遮挡的部分都被准确的检测出来，极大地便利了进一步的人工判断。

图6 杆塔异常状态检测

5 结论

作为无人机输电线路巡检的关键技术，杆塔的自动检测具有十分重要的意义。本文提出了一种融合多源信息的电力杆塔检测框架模型，可有效应用于无人机输电线路巡检及杆塔异常状态检测，可以在巡检图像中自动检测出已知类型杆塔的精确位置，并给出摄像机相对于杆塔的位姿。通过判断杆件是否被遮挡，还可以检测出杆塔是否存在某些异常状态，如杆件丢失和存在鸟巢等，提高人工检测图像的效率。在实际拍摄的高压输电线路的杆塔图像上，试验结果验证了该方法的有效性。由于缺少实际有效的测试平台，目前仅在仿真数据上初步验证了该框架模型的有效性，接下来还需在实际的无人机航拍环境下做进一步的测试验证。

[1]DL/T 1006－2006架空输电线路巡检系统[S].北京：中国电力出版社，2007.

[2]李贺.基于ARM的电力线巡检机器人运动控制器的研究[D].北京：华北电力大学，2008.

[3]张吴明，杨又华，阎广建，等.机载多角度多光谱成像技术在电力系统中的应用[J].华中电力，2006，19（6）∶1－3.[4]赵利坡，范慧杰，朱琳琳，等.面向巡线无人机高压线实时检测与识别算法[J].小型微型计算机系统，2012，33（4）∶882－886.

[5]Z R LI，Y LIU，A W RODNEY，F H ROSS，J L ZHANG.Towards Automatic Power Line Detection for a UAV Surveillance System Using Pulse Coupled Neural Filter and An Improved Hough Transform[J].Machine Vision and Applications，2009，21（5）∶677－686.

[6]郭贞.基于快速高效启发式聚类算法的电力杆塔检测研究[D].北京：华北电力大学，2012.

[7]B CETIN，M BIKDASH，M MCINERNEY.Automated Electric Utility Pole Detection from Aerial Images[J].Southeastcon，2009∶44－49.

[8]吴华，郭贞，杨国田，等.基于全局自相似描述子的电塔检测[J].华中科技大学学报（自然科学版），2011（39）∶437－440.

[9]柳长安，叶文，吴华，等.融合地理位置信息的电力杆塔检测[J].华中科技大学学报（自然科学版），2013（39）∶208－211.

[10]邱茂林，马颂德，李毅.计算机视觉中摄像机定标综述[J].自动化学报，2000，26（1）∶43－55.

[11]王亮，吴福朝.基于一维标定物的多摄像机标定[J].自动化学报，2007，33（3）∶225－231.

[12]Z ZHANG.A Flexible New Technique for Camera Calibration[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2000，22（11）∶1330－1334.

[13]J HEIKKILÄ.Geometric Camera Calibration Using Circular Control Points[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2000，22（10）∶1066－1077.

[14]刘振亚主编.国家电网公司输变电工程通用设计―输电线路钢管塔分册[M].北京：中国电力出版社，2010.

[15]J BOUGUET.Camera Calibration Toolbox for Matlab[OL].http∶//www.vision.caltech.edu/bouguetj/calib doc/，2015.

[16]J HeikkilÄ，O SILV′EN.A Four－step Camera Calibration Procedure with Implicit Image Correction[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，1997∶1106－1112.

[17]J R BEVERIDGE，E M RISEMAN.How Easy is Matching 2D Line Models Using Local Search[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1997，19（6）∶564－579.

[18]R G GIOI，J JAKUBOWICZ，J M MOREL，G RANDALL.LSD∶A Fast Line Segment Detector with a False Detection Control[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2010，32（4）∶722－732.

[19]R G GIOI，J JAKUBOWICZ，J M MOREL，G RANDALL.LSD∶a Line Segment Detector[OL].Image Processing On Line，2012，2∶35－55.

[20]L L ZHANG，C XU，K M LEE，R KOCH.Robust and Efficient Pose Estimation from Line Correspondences[C].Proceedings of the 11th Asian Conference on Computer Vision，2012，217－230.

（本文编辑：杨勇）

A Frame Model of Power Pylon Detection for UAV-based Power Transmission Line Inspection

HAN Bing，SHANG Fang
（Heilongjiang Electric Power Research Institute，Harbin 150030，China）

Regular inspection is key to operation safety and reliability of high-voltage transmission lines. Compared with the conventional manual inspection，inspection of UAV（unmanned aerial vehicle）with a camera for aerial photography is characterized by its fast speed，low labor cost，small personnel risk and so forth. In order to automatically select the images that may contain faulty power pylons from mass inspection images，the paper introduces a power pylon detection frame model that integrates multi-source information，including camera calibration，power pylon model projection transformation and cluster analysis as well as feature extraction and matching.Furthermore，the frame model is tested on actual pylon images.The results show that the frame model is able to automatically detect the precise power pylon location and determine abnormal status of power pylon such as member lost，which indicates the validity of the model.

power pylon；unmanned aerial vehicle（UAV）；transmission line；inspection；image

TM755

：A

：1007-1881（2016）04-0006-06

2015-10-08

韩冰（1973），男，高级工程师，主要从事计算机信息处理与模式识别工作。