基于AI技术的无人机机载前端智能识别技术研究

刘军杰 朱建收 盛雨笛 胡永辉 盛从兵

摘 要：将无人机高精度定位技术与视觉跟踪技术融合，可以实现输电线路设备高清影像的精准采集。因此，有必要建立基于无人机机载前端的巡检图像智能识别前端系统模型，实现输电线路设备缺陷、通道隐患的实时识别。其间可以将人工智能（AI）技术应用到无人机机载前端智能识别中，结合目标检测算法，获得智能识别结果。现场应用后，无人机视角下的微小目标检测符合应用要求。本研究成果可在一定程度上提升无人机巡检应用效果。

关键词：无人机巡检;智能识别;检测算法;YOLO v3网络

中图分类号：V279;TP391.41文献标识码：A 文章编号：1003-5168（2021）14-0008-03

Abstract： The integration of UAV high-precision positioning technology and visual tracking technology can achieve accurate collection of high-definition images of transmission line equipment. Therefore， it is necessary to establish  a front-end system model for the intelligent identification of inspection images based on the airborne front-end of the UAV to realize the real-time identification of transmission line equipment defects and channel hidden dangers. In the meantime， artificial intelligence （AI） technology can be applied to the intelligent recognition of the airborne front-end of the UAV， combined with the target detection algorithm， to obtain the intelligent recognition result. After the field application， the detection of small targets under the UAV's perspective meets the application requirements. The research results can improve the application effect of UAV inspection to a certain extent.

Keywords： UAV inspection;intelligent identification;detection algorithm;YOLO v3 network

无人机高精度定位以网络实时差分定位（RTK）为基础，融合视觉导航跟踪技术，可以实现绝缘子串、防振锤、间隔棒、均压环和杆塔等关键部位的捕捉和精准拍摄，而视觉追踪是其需要解决的主要问题之一[1-2]。本文采用深度学习的方法，利用卷积神经网络进行目标检测，同时使用深度学习框架Darknet，选用YOLO系列网络模型，对无人机视觉拍摄的数据集进行训练，然后运用所得模型参数来进行前向推理，从而实现无人机的目标检测。

1 目标检测算法

Darknet是一个用C语言和CUDA运算平台编写的开源神经网络框架，具有以下优点：易于安装，结构明晰，源代码查看、修改方便，没有任何依赖项。模型训练采用基于Caffe深度学习框架的TensorRT加速的YOLO算法。配置环境使用cuda8.0.61、cudnn7.0、opencv2.4.8、Python2.7.6、Keras2.1.1、Numpy1.14.2、TensorFlow1.0.0、pip19.0.3、setuptools-40.8.0和cmake3.5.1等工具，使用JetPack3.3软件将TX2嵌入式开发板刷机，即可自动安装TensorRT加速工具，方便在TX2上部署[3]。

YOLO v3网络模型借鉴了残差网络（Residual Network）的做法，在一些层之间设置了快捷链路，采用Darknet-53网络结构，如图1所示[4-5]。

YOLO v3网络模型使用聚类算法，得到9種不同宽与高的先验框，前面输出三种不同尺寸的特征图，每个特征图上的一个点只需要预测三个先验框。根据图中信息，确定9个尺寸的anchors（锚点）值。anchors值取8、13、19、29、45、35、28、65、84、60、51、117、144、110、90、211、208和271。

YOLO v3网络模型采用3个不同尺度的特征图来进行对象检测，由于下采样倍数高，这里特征图的感受野比较大，因此其适合检测图像中尺寸比较大的对象。

YOLO v3网络模型本来使用Darknet框架，虽然易于部署但是无法应用其他加速方法，在用Pytorch软件改写后可以使用TensorRT加速。也就是说，先通过运行YOLO v3_to_onnx.py脚本程序将Darknet模型转为ONNX格式，再运行onnx_to_tensorrt.py脚本程序将ONNX转为TensorRT model，即可用TensrorRT加速CNN（卷积神经网络）部分。用20类缺陷样本做测试，在TX2嵌入式开发板上运行模型，其平均准确率超过85%，召回率超过90%，每张图片的处理速度为62 ms。

2 目标检测应用

2.1 数据集统计

连接金具训练集与测试数据集，统计结果如表1、表2所示。

2.2 模型优化

由于连接金具模型需要部署在TX2嵌入式开发板上进行实时目标检测，因此要采用轻量小模型对连接金具进行精确识别与定位。在YOLO v3网络模型的基础上对其进行轻量处理，去掉一些特征层，保留3个独立预测分支，构建了一个适合在资源受限环境下运行的Tiny-YOLO v3检测模型，该模型的检测流程如图2所示。

从图2可知，在Tiny-YOLO v3检测模型中，原YOLO v3网络模型的主干架构DarkNet-53被简化成一个包含7个网络层的CNN，它由一系列的卷积层（Convolutional）及最大池化层（Max Pooling）组成，其中的卷积层用于提取特征，步幅为2的池化层则对卷积层输出的特征图进行下采样。

除主干架构之外，后续的多尺度预测过程也利用CNN最后输出的大小及第5个卷积层输出的大小的特征图来输出两组预测结果，得到两个张量。其间只需要进行一次上采样，采样前只使用少量的卷积层来进行维度压缩。

2.3 模型测试结果

一是测试硬件，包括嵌入式NVIDIA JETSON TX2和1080TI服务器。二是测试环境，服务器有Cuda10.0、Cudnn7.6、Opencv3.4.0、Python3.6和Darknet。嵌入式使用JetPack3.3对嵌入式TX2进行刷机，即可自动安装相关运行环境，方便在TX2上进行部署。

在关键部位目标测试结果中，首先根据关键部位（如绝缘子串、防振锤、间隔棒、均压环和杆塔等）建立样本库。目前，针对电力巡线，训练了包含五类目标的模型，分别是绝缘子、连接金具、连接挂点、防震锤及鸟巢。其次，由于实时性要求较高，选取YOLO v3网络模型作为训练框架。最后，基于YOLO v3目标识别算法进行各类别模型训练，训练精度如表3所示。

在连接金具测试中，将连接金具分为insulatorlinkline、linelinktower和insulatorlinktower三类，采集实际巡检环境图像并进行标记，共制作了5万多张标记图像样本進行训练，同时制作4 364张图像数据进行测试，在测试阈值设置为0.5的情况下，平均检测精度达到0.507 014。经测试，将该模型部署于无人机平台上实际飞行时，输入视频分辨率为1 080 Pixel，其检测速度可达到30帧/s，检测效果很好，可满足实时检测需求。具体连接金具的检测结果如图3所示。

在导线数据测试结果中，导线检测类别仅为导线一类目标。采集实际飞行环境中的导线图像并进行标记，共制作5 000多张标记图像样本进行训练，同时制作441张图像数据进行测试，在测试阈值设置为0.25的情况下，平均检测精度达到0.78。经测试，将该模型部署于无人机平台上实际飞行时，输入视频分辨率为1 080 Pixel，其检测速度可达到4帧/s，检测效果较好，可满足实时导线检测和跟踪需求。此外，将该模型部署于1080TI服务器上，检测速度可达到49帧/s。

3 结语

在无人机场景下，本文应用目标检测，使用机载TX2运行YOLO v3网络模型，由DAC数据集训练获得网络模型权重。由现场应用结果可以看出，无人机视角下的微小目标检测基本符合应用要求，但依然存在一些问题，比如，过小的物体无法识别，其根本原因在于数据集不够完善，从而出现一些误检与漏检。

参考文献：

[1]胡志坤，赵超越，王振东，等.基于边缘计算和无人机巡检图像的输电杆塔关键部位隐患智能识别[J].浙江电力，2020（10）：21-27.

[2]任海波，王水，黄迟，等.一种智能化巡检无人机系统的设计研究[J].中国新通信，2020（19）：70-71.

[3]孙双春，张玲艳，杨涛，等.智能识别技术在无人机电力巡检中的应用[J].新型工业化，2020（5）：87-88.

[4]邵瑰玮，刘壮，付晶，等.架空输电线路无人机巡检技术研究进展[J].高电压技术，2020（1）：14-22.

[5]刘文华，刘洋，李宁.智能识别算法在无人机巡线中的应用研究[J].中国管理信息化，2018（11）：128-133.