基于YOLOv7的直升机航巡电塔目标检测算法研究

杜 伟, 王佳颖, 杨国柱, 熊 玮, 李玉容, 戴运天, 贾清珂

(1.国网电力空间技术有限公司, 北京 102209; 2.上海交通大学, 上海 200240)

随着社会对电力供电可靠性要求的日益提高和电力巡检技术的快速发展,直升机电力巡检正逐渐成为常用的电力巡检方式。由于计算机视觉发展迅速,许多先进的目标检测方法已广泛应用于各种民用和军事任务,如地覆被测绘、智慧农业、智慧城市、交通监测、灾害监测等。由于工业实际需求,面向直升机航巡的电塔目标检测成为一个重要的研究热点。

随着直升机和无人机在电力巡检领域的应用逐步推广,以及现代科学智能技术的不断发展,其巡检系统效率远超人工巡检方式,有效地提升了电路巡检作业的自动化、智能化工作水平[1]。无人机电力巡检具有非常强的巡查便利性,但是目前电力巡检中常用无人机的滞空时间都在20～40 min,由于单架次作业时间不够长,工作人员需要携带大量电池,且只能由工作人员携带无人机在线路之间移动,使得每日巡检的总长度严重受限。另外,该巡检方式对巡检人员的无人机操作水平和维护技能要求较高,且后期需要进行大量图像数据分析处理工作[2]。相比之下,大型直升机巡检距离长、载荷能力大,可装载多种高性能传感器对输电线路进行长距离巡检。但是巡检线路较长、操作设备多,人工手持相机拍摄的方式需要飞行员和拍摄人员时刻紧密配合,作业人员长时间精神高度紧张、容易疲惫出错,且大型直升机的使用成本和运营成本也较高。综上所述,有必要对轻量化且续航能力强的巡航装备、智能化的影像采集和数据处理技术等关键技术开展研究。

近年来,航巡的电塔目标检测方法大多是基于小型无人机平台。周仿荣等人[3]基于YOLOv3训练了输电线路缺陷快速检测网络。曹志勇等人[4]将Faster R-CNN应用到无人机视角下的电塔目标检测。黄芹芹等人[5]利用反卷积融合单元改进了单激发多框探测器,最终实现了输电线路电力小部件的目标检测。然而,随着深度学习的逐渐发展,目标检测算法也在更新换代。本文深入研究了目前YOLO系列的最新算法YOLOv7[6],并将其应用于直升机航巡电塔目标检测领域,提出了一种精度较高、时效性较好的检测算法,满足了直升机航巡电塔目标检测的需求。

1 基于YOLOv7的直升机航巡电塔目标检测架构

1.1 整体架构

本文所提算法的整体架构如图1所示。首先,通过卷积层对输入图片进行处理,以提取低层特征。然后,使用高效长程距离网络(Efficient Long-range Attention Network,ELAN)与池化层逐渐增加特征的通道维度,获取多尺度的高层特征。将这些特征作为YOLOv7的多尺度特征融合层的输入,采用多分支结构训练结构化重参数,推理时将模型转化为简单的卷积层,有效提升模型的推理速度。最后,使用目标、类别、位置3种损失函数作为判据,不断修正迭代模型参数,从而完成YOLOv7模型的训练。

图1 基于YOLOv7的直升机航巡电塔目标检测算法整体架构

1.2 损失函数

目标损失Lobj和类别损失Lcls均采用带有Sigmoid的交叉熵损失函数L来计算。其公式为

(1)

(2)

式中:n——样本总量;

x——样本;

y——目标或类别的标签;

σ——sigmoid交叉熵;

采用CIoU损失函数来计算位置损失Lloc。其公式为

(3)

式中:I——两个边界框的交并比;

α、β——调节系数;

v——边界框的长宽比;

c——边界框中心点的距离。

整个网络训练的总损失Ltotal为3种损失的加权和,公式为

Ltotal=λobjLobj+λclsLcls+λlocLloc

(4)

式中:λobj——目标损失函数的权重,取0.100;

λcls——类别损失函数的权重,取0.125;

λloc——位置损失函数的权重,取0.050。

2 实验设计与分析

2.1 实验平台搭建

本文使用搭载光电吊舱的Cabri-G2轻小型直升机搭建了实验平台,具体安装示意如图2所示。拍摄设备由双光云台和可见光云台组成,双光云台包括广角相机和热成像相机,可见光云台包括可见光相机。稳定平台采用三轴结构,由航向轴、俯仰轴和横滚轴组成,带有广角相机和热成像相机的小型双光云台吊装于稳定支架内,位于可见光相机上方。3个相机的航向轴保持一致,通过驾驶舱内的操纵设备对光电吊舱方位和俯仰运动、传感器控制、跟踪锁定等进行实时操纵,实现对目标的搜索、瞄准和跟踪。通过软件实现巡检图像和视频的自动拍摄和存储等功能,以供后续算法使用。

2.2 实验数据集

利用直升机电力线巡航时拍摄的30个视频,按照每30帧抽样一张图片的频率进行抽取,共得到971张图片,形成了直升机可见光相机视角下的电塔目标检测数据集。其中,训练集有719张图片,测试集有252张图片。

2.3 实验设置

采用YOLOv7和YOLOv7-tiny作为目标检测模型,权重均在MS COCO数据集上初始化。所有模型的训练和测试平台均为NVIDIA GEFORCE RTX 1080Ti GPU。输入图像的分辨率分别采用了2 160×3 840,1 080×1 920,540×960。批尺寸的选择原则是尽量占满显存。优化器采用了 SGD(Stochastic Gradient Descent),权重衰减为0.000 5,动量为0.937。数据增强采用Mosaic、左右翻转、随机平移、尺度变化、HSV 域增强。训练共300个周期,初始学习率为0.01,前10个周期为热身周期。学习率衰减过程采用余弦退火(Cosine Annealing)方法,将学习率逐步衰减为0.002。

2.4 评价指标

采用目标检测中常用的指标来衡量算法的性能,包括准确度P、召回率R、F1分数,公式分别为

(5)

(6)

(7)

式中:TP——被模型预测为正类的正样本;

FP——被模型预测为正类的负样本;

FN——被模型预测为负类的正样本。

除此之外,其他采用的指标包括平均准确度(Average Precision,AP)以及时间消耗。其中AP代表P-R曲线的平均面积,选取交并比阈值为0.5。时间消耗定义为网络的推理时间与非极大值抑制的时间之和。

2.5 实验结果

不同模型和参数的目标检测算法性能对比如表1所示。由表1可知,当输入图像分辨率为540×960时,模型YOLOv7-tiny需要的训练时间和目标检测的时间消耗均最少。随着输入图像分辨率增加到1 080×1 920时,召回率从87.6%提升到90.5%,时间消耗也从14.1 ms增加到32.2 ms。然而,当进一步增大分辨率到2 160×3 840时,AP从94.8%下降到94.7%,F1分数也从91.6%下降到90.9%。这是由于显存的限制,大分辨率的输入图像往往仅能使用较小的批尺寸,导致模型缺少泛化能力,容易过拟合。YOLOv7的模型大小适当,输入分辨率仅为540×960,准确度达到94.9%,F1分数达到92.5%,AP达到96.3%,均为所有实验设置最佳性能,39.5 ms的时间消耗也表示算法基本可以满足在直升机电塔巡检中的实时使用要求。

表1 不同模型和参数的目标检测算法性能对比

YOLOv7目标检测算法在本文数据集上的测试结果如图3所示。

图3 电塔目标检测算法测试结果示例

由图3可知,在复杂森林背景和简单天空背景下,算法都可以有效地识别和定位电塔目标,且置信度均维持在较高的水平。与此同时,尽管置信度有所降低,远处较小的电塔和识别难度较高的电塔均可以被精准地识别和定位。实验结果证明,算法可以较好地识别和检测电塔目标,同时具备处理复杂背景和小目标问题的能力。

3 结 语

本文提出了一种基于YOLOv7的直升机航巡电塔目标检测算法。测试结果表明,该算法精度较高、时效性较好,航巡电塔目标检测的准确度达到94.9%,召回率达到90.5%,算法的时间消耗仅39.5 ms,满足直升机航巡电塔目标检测的需求,可以进一步支撑电网线路弱小目标的缺陷检测与分类、识别能力,有助于实现电网线路缺陷的智能化快速检测。