基于多传感器融合的无人机电力线巡检

钱金菊， 潘子宇， 麦晓明， 宇文旋

(1.广东电网有限责任公司 电力科学研究院 人工智能与机器人研究所，广东 广州 510000； 2.中山大学 数据科学与计算机学院，广东 广州 510006)

我国电网现行高压电力线路结构复杂、规模庞大，线路通道环境十分复杂，异物缠挂、线路下方存在树木、违规施工、违章建筑等易导致线路安全距离不足而发生短路事故。事故一旦发生，后果严重，巨大的电流可能造成人员严重伤害，故障造成线路设备损坏、跳闸停运、对电网运行造成冲击，同时，故障对城市区域供电造成影响，扰乱企业和居民的正常生产生活秩序，带来重大经济损失[1-2]。针对不同的电力设备维护，远程控制机器人在电缆管道内进行设备检查[3]，对电力运输线的温度进行实时监控[4]，保障电力设备的安全运行。

在智能电网的新时代，用于电力线测量的无人机技术越来越受到电力行业的关注[5-6]。目前，检查受到人为因素的影响太多。在一些危险区域，无人机可以避免人工检查造成的人员伤亡和错误。目前常用的方式是在电力工人巡线过程中，对线路段进行人工目视判断或全站仪量测，但线路安全距离不足的多发点通常在人迹难至之地，这种测量方式由于树木、建筑等遮挡以及视觉透视偏差，难以对疑似超限点做出准确有效的判断，不能适应现代化电网的发展和安全运行需要，超、特高压电网急需高效、先进、科学的方式实现电力线路安全检测。为了保证输电网的安全运行，迫切需要开发一种自动、灵活的电力线检测方法。

有人直升机[7]及大型无人机[8-9]携带激光扫描系统电力线路通道巡检技术[10]，已在我国电网巡检中逐渐得到应用。机载激光雷达测量系统可以很好地解决空间定位和测量精度等问题，可直接、快速地采集线路走廊高精度三维激光点云数据，进而快速获得高精度三维线路走廊的地形、地貌、地物和线路设施的空间信息[8]。随着Light Detection And Ranging(LiDAR)点云数据处理技术的逐渐成熟，目前国内大部分无人机电力巡线系统都配备有LiDAR系统[11]。随着传感器技术的进步，激光扫描仪和定位定姿系统都在逐步小型化，LiDAR系统也随之轻小型化，从而能被多旋翼无人机所搭载。但激光雷达只能获取外部三维信息，无法提供更丰富的外界信息，如色彩信息。

本文提出了一种基于激光雷达与图像数据融合的无人机三维场景重建检测电力线下方地物安全距离的方法，编写了用于数据同步的复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD)。在GPS/IMU(Global Positioning System/Inertial Measurement Unit)与相机以及GPS/IMU与激光雷达配准过程中，可以利用公式计算GPS/IMU、相机和激光雷达之间的刚性位置关系。将AprilTag[12]固定在长方形纸板上，可以从单个图像或激光雷达数据中获取特征的6自由度定位信息。从序列中随机抽取1000对标定数据进行随机样本一致性采样，拟合得到想要的标定结果。将多模态神经网络(Multimodal Neural Networks,MNN)算法[13]引入到电力线分割中，它包含了一些改进，可以通过其他方式(如深度图像和单一颜色信息)，利用自己的训练数据和测试数据进行检验。利用Voxel Hashing[14]进行快速三维语义场景重建，再利用该场景数据实时拟合电力线弧垂方程，得到电力线的三维模型。最后采用铅垂线方法对下方地物安全距离进行实时检测。实现了对电力线下方地物安全距离的实时检测。

1 传感器配准

在多旋翼无人机上装备了一个PointGrey Flea3彩色相机(15 Hz，分辨率为1328像素×1024像素)、RTK GPS/IMU定位定姿单元、16线Velodyne激光雷达、数据存储芯片、4G通信模块和同步控制器。把设备安装在无人机的底部，相机与激光雷达的视场合理重叠是数据融合和分割的关键。

1.1 传感器同步采集

在标定激光雷达和相机的内部参数，修正设备内部因素引起的畸变等，使标定后的相机符合针孔成像模型后，对GPS/IMU、相机以及雷达之间的相对位姿进行配准，为数据融合做准备。

传感器同步用于保证图像、激光雷达和位置信息在时间维度上的对齐。如图1所示，利用复杂CPLD实现多传感器的同步。CPLD可以以高频率、低延迟的方式并行同步采集数据。利用其特性，可以同时触发多个传感器，在存在GPS/DR信号的情况下，PPS将用于产生同步控制器的触发信号。采集到的数据保存在存储芯片上，通过4G模块回传。

图1 同步系统设计

1.2 传感器标定

在机载测量系统中，GPS/IMU组合导航系统提供了平台在世界大地测量坐标系下的位置。利用AprilTag得到了AprilTag相对于传感器的6自由度位姿。相机与激光雷达、GPS/IMU的相对关系如图2所示。

图2 传感器标定的位置关系

(1)

机载测量系统在平台移动过程中，传感器高频率记录测量数据，经后处理得到平台的位置和姿态信息。在惯导坐标系下的任一扫描点可通过式(2)转换到全局坐标系：

(2)

(3)

假设机载测量对同一标志物点P进行了两次测量，多次扫描的AprilTag定位为

(4)

(5)

x=[χ0,γ0,z0,θ0,φ0,ψ0]T

(6)

采用LM(Levenberg-Marquart)[15]非线性优化算法解算6个标定参数，该算法通过迭代获得一组非线性方程的最小平方和：

(7)

(8)

2 电力线巡检

2.1 融合数据语义分割

对于获取的图像与激光雷达数据，将多帧激光雷达数据投影到校正后的相机坐标系中，生成深度图像。然后将最先进的语义分割方法MNN引入到电力走廊提取的解决方案中。新颖的多模态卷积神经网络(Convolutional Neural Networks，CNN)架构实现了一种中层融合，允许网络利用已经在中等功能级别上的跨模态相互依赖。该体系结构的优点在RGB-D图像理解任务中得到了体现。

Schneider等[13]提出的体系结构包含了一些改进，这些改进可以利用除单一颜色信息之外的其他方式，如深度图像等。网络结构主要由深度网络、Network in Network(NiN)[16]与RGB网络两个部分组成。其中，深度网络主要处理图像信息的深度；NiN与RGB网络是GoogLeNet[17]，对网络中RGB图像的输入特征进行特征提取，并将深度网络的特征作为输入。由于早期融合， RGB和深度输入可以直接连接起来，从而产生一个新的第一卷积层。然后，将RGB网络和深度分支网络的得分连接到最后，再使用1×1 卷积层作为分类器。它被称为后期融合。

对于深度分支，可使用NiN提取深度数据。NiN由多个模块组成，每个模块都进一步由一个卷积层和多个1×1卷积核组成，卷积层的核大小大于捕获空间信息的核大小。该模块相当于多层感知(MLP)，可以提高划分模型的表达能力，并可以在分类层次上对特征图进行全局平均汇聚，这是有意义和可解释的。对于RGB网络，GoogLeNet由卷积层和最大池层组成，这些层可以快速降低空间分辨率。由此推导出获取目标对象的方法，如电力线和电力塔。

2.2 三维电力走廊场景重建

提取出RGBD图像的语义特征后，通过校正将GPS/IMU定位单元的输出投影到左侧摄像机坐标系中，重构出三维语义场景。该方法名为Voxel Hashing[14]，它能够有效重建场景，重建细粒度的细节和尺度的环境。

为了利用稀疏性，Voxel Hashing只围绕重建的表面几何形状分配体素块。一个高效的Graphics Processing Unit(GPU)加速散列表用于管理体素块的分配和检索。体素块可以使用世界坐标(x,y,z)从散列表中进行检索。通过简单的乘法和四舍五入来求世界空间中三维点的坐标。散列表可以用来进一步重建和过滤歧义。在实现中，体素存储了标志字段、颜色、语义信息和权重。

在重建的过程中，将检查前后帧在图像序列中的一致性，并针对语义模糊的体素块进行优化。在插入和检索过程中，散列块的语义信息和权重将被更新。如果不同的图像对相同的体素有不明确的分割，权重将会被减弱。在完成整个序列的重构之后，将更新散列表，并删除存在语义信息模糊的块。

2.3 电力线提取及建模

根据分类得到的电力线激光点云，手动选择属于同一直线上的多个点，在获取同一条电力线多个节点(3个点以上)的三维绝对坐标(lng,lat,h)后，通过弧垂方程拟合得到电力线三维模型。

电力线上任意一点的弧垂是指该点距两悬点连线的垂直距离。基于电力线多个节点的三维绝对坐标，根据架空线弧垂公式[18]进行电力线拟合。

等高悬点电力线任意一点的弧垂的计算公式为

(9)

不等高悬点电力线任意一点弧垂f计算公式为

(10)

式中，σ0为电力线最低点应力，单位为kg/mm2；g为电线比载，单位为kg/(m·mm2)；l为档距，单位为m；φ为悬点高差角，单位为(°)。

获得电力线弧垂矢量模型后，同时考虑地球重力场，使用铅垂线方法，自动计算电力线在铅垂线上与电力线下方地物密集三维点云的距离。基于距离计算结果，自定义不同的阈值以统计和显示不同阈值下的结果，从而达到自动进行电力线与下方地物安全距离检测目的。

其中，使用铅垂线方法的计算公式为

Δh(lng,lat)=hline(lng,lat)-hbottom(lng,lat)

(11)

式中，Δh(lng,lat)为电力线在(lng,lat)点处与地物之间的垂直距离；(lng,lat)为导线上任意点的经纬度坐标；hline(lng,lat)为点(lng,lat)处电力线的高度；hbottom(lng,lat)为地物点云在以(lng,lat)为中心的圆形区域中最高点的高度。

3 巡检实验

通过设计无人机检测试验平台，并进行大量的线路检测试验，以验证本文检测方案的合理性。测试场地为东莞市供电局管辖线路中一段11 kV线路，如图3所示。总测试时间为60 min，分两架次，每次约18 min。两架次分别命名为T1-T2档号段和T3-T4档号段。

图3 测试场地为东莞供电局管辖线路中一段11 kV线路

根据测试区域，无人机是按照路线行驶，多个传感器同时采集数据。收集到的数据一方面存储在本地磁盘上，另一方面通过4G网络发送回处理中心。

为了完成特定的语义分割任务，制作了一个由机载测量系统捕获的数据集，分辨率为1328像素×1048像素。数据集分为两个部分，分别包含2817张训练图像和200张测试图像，所有的图像都包含人工标注的真值，使用LabelMe[19]进行标记。

语义场景重构示例如图4所示，用不同颜色表达不同的语义分类。图5为激光雷达与相机数据融合的重建鸟瞰图，图5(a)为测试路段通过激光雷达重建的地形模型，将相机得到的色彩信息融合后得到图5(b)。图6为安全距离的分析曲线，红色虚线是报警距离。图6(a)和图6(b)分别为两个档号段的距离分布曲线。从图6(b)可以看出，在T3-T4档号中存在着超限异常，达到报警容限的数据被记录在表1中，Δh全站仪是利用全站仪测量对异常点进行检测后得到的距离数据，当安全距离设置为5 m时，本方法与全站仪量测出的数据基本一致，且可以得出全序列密集曲线分布，可满足导线安全距离检测的要求。

图4 语义场景重建

图5 激光雷达与相机数据融合重建图

图6 测试场地安全距离分布

表1 T3-T4档号段巡检异常数据

4 结束语

提出了一种基于激光雷达与图像融合的无人机输电线路异常检测方法。设计了一种基于CPLD的低成本、低功耗同步采集板，并利用AprilTag实现了GPS/IMU和传感器的快速标定。提出了一种基于多传感器融合的电力线异常检测方法，包括语义分割、场景重建和距离测量。得到电力线的三维模型，采用铅垂线方法对下方地物安全距离进行实时检测。用实验验证了方法的有效性。该检测解决方案可以充分利用多传感器不同特性实现对电力线的高效检测，促进无人机在线路巡检中的推广应用。