基于迁移学习的无人机杆塔巡检图像异常识别技术及实验对比

摘 要：针对无人机进行电路巡检过程中，由于得到的杆塔图像背景复杂，正负样本分布不均而导致的杆塔异常检测准确度不高的问题，提出了一种基于迁移学习的无人机电力杆塔巡检图像异常检测技术。设计了一种基于多元特征混合提取的目标检测架构，用于模型的预训练，之后基于预训练模型进行微调，以适应下游杆塔异常图像的检测任务，它能够通过小样本数据来构建高效的杆塔异常图像检测模型。结果表明：该方法较其他方法在异常检测准确率方面提升了约2%，验证了所提出的无人机杆塔巡检图像异常检测的有效性。

关键词：图像处理；深度学习；特征提取；异常检测；图像识别

中图分类号：TM711;TP391文献标志码：A文章编号：1001-5922（2023）06-0136-04

Experimental comparison of image anomaly recognition techniques by unmanned aerial vehicle （UAV） tower inspection  based on transfer learning

HU Minghui

（EPTC （Beijing） Electic Power Research Institute，Beijing 100055，China）

Abstract：In order to solve the problem that the abnormal detection accuracy of tower anomalies is not high due to the complex background of the obtained tower image and the uneven distribution of positive and negative samples during the circuit inspection process of the UAV，an anomaly detection technique based on transfer learning for inspection image of UAV power tower is proposed.This technology designs a target detection architecture based on multivariate feature hybrid extraction （DME） for model pre-training，and then fine-tunes based on the pre-trained model to adapt to the detection of abnormal images of downstream towers.It can build an efficient tower anomaly image detection model with small sample data.The experimental results showed that this method improved the anomaly detection accuracy by about 2% compared with other methods，which fully enabled the effectiveness of the proposed UAV tower inspection image anomaly detection.

Key words：image processing;deep learning;feature extraction;abnormal detection;image recognition

電力杆塔是电力传输系统中的重要环节之一，但受到自然灾害的影响，电力杆塔常常出现倾斜，倒塌等异常情况，严重影响电力的安全运输。为了避免这种情况，现在多使用无人机来进行快速数据采集和检测，虽然无人机的引入大大降低了人力开支，但是产生大量图像数据仍然需要进行快速处理，从而定位出异常区域。因此，结合图像目标检测技术的电力杆塔异常区域的自动化识别方法成为无人机巡检过程中的重要应用方法。

由于用于电力杆塔异常检测的无人机图像数据集的正负样本极不均衡，并且异常情况下的数据样本较少而缺乏普适性，因而使用现有的深度学习目标检测网络结构难以训练出有效的目标检测模型。

基于上述分析，研究提出了一种基于迁移学习的无人机电力杆塔巡检图像异常检测技术。该技术通过构建基于多元特征混合提取目标检测网络结构来获取预训练模型，在通过参数微调来适应下游任务，进而实现基于小样本图像数据来构建高效高精度的无人机电力杆塔巡检图像异常检测模型。

1 方法及原理

基于迁移学习的无人机电力杆塔巡检图像异常检测技术主要包含基于多元特征混合提取的目标检测架构的构建以及基于无人机电力杆塔巡检图像异常检测任务的微调2个部分。由于用于电力杆塔检测的图像数据集极少，因此本文还收集了224张无人机电力杆塔检测图像并对异常区域进行了标注，构建了数据集适应后面的微调任务，得到更加准确的电力杆塔巡检图像异常检测模型。

1.1 基于多元特征混合提取目标检测结构的预训练模型构建

卷积神经网络模型多应用于图像数据上下文特征的提取，而现有的transformer中提出的自注意力机制［5-6］则更加关注于图像长距特征的挖掘，研究创新性的结合以上2种方法，提出了一种基于多元特征混合提取的目标检测架构用于模型的预训练，以达到更好的检测效果。

2.2 实验流程

实验过程中选择了Faster-Rcnn［9］、Swin-transformer［10］、SPPNet［11］、ResNet［12］、P-RetinaNet［13］等深度学习算法与本文提出的方法进行了实验对比验证。实验过程均在装有nvidia 2080Ti单卡的服务器上进行，模型训练次数为100，学习率设置为1e-4，并且使用Adam优化器［14］来加快模型收敛。实验过程中，将数据集按照2∶1∶1划分训练集；测试集以及验证集。

2.3 实验设计以及效果评估

首先，将基于迁移学习的无人机电力杆塔巡检图像异常检测技术与不同对比方法进行了实验验证。在此期间，我们通过减少数据集样本数，来验证小样本数据集对于不同方法性能的影响。其实验结果数据如表1所示。

通过对表1中的数据进行分析可知，研究提出的基于迁移学习的无人机电力杆塔巡检图像异常检测技术在进行预训练（Ours+pretrain）与没有进行预训练（Ours）2种情况下，其识别准确率较之效果较为突出的P-RetinaNet最少提升了2%，IoU提升了1.3%，Reall提升了1.5%，其识别效率也较为突出。不仅如此，随着数据集数量的减少，基于迁移学习的无人机电力杆塔巡检图像异常检测技术仍然具备最优的性能，表现出了强大的泛化能力。

此外，我们对实验过程中基于迁移学习的无人机电力杆塔巡检图像异常检测技术与部分对比方法的异常检测结果进行了部分展示。

最后，我们对多元融合策略（MSF）进行了消融实验。基于数据集，在基于多元特征混合提取的目标检测架构（DME）中，将去除多元融合策略的单一卷积模型与添加多元融合策略的模型结构进行了实验对比，以验证多元融合策略的有效性。其实验数据如表2所示：

由表2对比分析可知，多元融合策略的添加使得DME的检测准确度分别提升了3.9%和3.1%，充分证明了这2个模块的有效性。

接下来我们对基于迁移学习的无人机电力杆塔巡检图像异常检测技术有无预训练对模型的检测准确率影响进行了对比，如图1所示。

从图1可以看出，添加了预训练的目标检测模型将持续提升模型的检测准确率，说明了迁移学习方式带来的先验知识可有效提升电力杆塔图像异常区域的检测效果。

不仅如此，我们还对模型训练过程中的Loss和Precision数值变化进行了统计，结果如图2所示。

从图2可以看出，随着模型训练次数的叠加，研究提出的基于迁移学习的无人机电力杆塔巡检图像异常检测技术在相同的训练次数下，比其他方法具备更高的Precision值和更低的Loss值，收敛速度更快，充分验证了方法的有效性。

通过一系列对比实验验证可以得出，提出的基于迁移学习的无人机电力杆塔巡检图像异常检测技术可以通过小样本迁移学习的方式有效实现对电力杆塔图像异常区域的检测，与其他对比方法相比较，在识别性能方面具备一定优势。

3 结语

研究提出了一种基于迁移学习的无人机电力杆塔巡检图像异常检测技术。通过结合Transformer，搭建了一种基于多元特征混合提取目标检测架构，实现了对预训练模型的有效获取，并通过迁移学习的方式，在小样本数据集上大大提升了电力杆塔图像异常区域的识别准确率。在实验验证部分，不仅将该技术与一系列方法进行了实验对比验证，而且对其中的模块进行了单独的测试。实验结果表明，基于迁移学习的无人机电力杆塔巡检图像异常检测技术与对比方法相比较具备更好的性能优势。在接下来的研究工作中，将致力于构建轻量型的目标检测模型，使其能够大大降低无人機的能耗，提升其持续性监测能力。

【参考文献】

［1］马骞.基于图像视频的景区人流密度估计方法研究［J］.信息技术，2020，44（8）：34-38.

［2］张艳邦，张芬，张姣姣.基于SVM和背景模型的显著性目标检测算法［J］.电子设计工程，2022，30（5）：17-21.

［3］杨小艳.基于图像处理技术的包装表面缺陷检测［J］.微型电脑应用，2021，37（8）：63-66.

［4］鲁家皓，张捷，胡国胜，等.基于多特征融合的图像匹配研究［J］.微型电脑应用，2022，38（3）：1-3.

［5］魏冬梅.基于卷积神经网络的移动网络目标跟踪与控制[J].沈阳工业大学学报，2023，45（3）：342-347.

［6］杨礼吉，王家祺，景丽萍，等.基于张量计算的卷积神经网络语义表示学习[J].计算机学报，2023，46（3）：568-578.

［7］ZHAO Z，LI Q，ZHANG Z，et al.Combining a parallel 2D CNN with a self-attention dilated residual network for CTC-based discrete speech emotion recognition［J］.Neural Networks，2021，141： 52-60.

[8］S. MEFTAH，B. H. M. TAN，C. F. MUN，K. M. M. AUNG，B. Veeravalli and V. Chandrasekhar. Toward Efficient Deep Convolutional Neural Networks with Fully Homomorphic Encryption，IEEE Transactions on Information Forensics and Security[J]，vol. 16，pp. 3740-3752.

［9］吴昌隆，储剑波.永磁辅助同步磁阻电机改进型滑模观测器无位置传感器控制［J］.电机与控制应用，2021，48（7）：26-33.

［10］王妤，陈秀新，袁和金.基于改进Faster RCNN的变电站红外图像多目标识别［J］.传感技术学报，2021，34（4）：522-530.

［11］VALTCHANOV I，HOPWOOD R，POLEHAMPTON E，et al.Relative pointing offset analysis of calibration targets with repeated observations with Herschel-SPIRE Fourier-transform spectrometer［J］.Experimental Astronomy，2014，37（2）：207-223.

［12］WANG X，WANG S，CAO J，et al.Data-driven based tiny-YOLOv3 method for front vehicle detection inducing SPP-net［J］.IEEE Access，2020，32 （7）：1-15.

[13］ELPELTA Gy，M.，and H. Sallam. "Automatic prediction of COVID19 from chest images using modified ResNet50." Multimedia Tools and Applications[J］（2021）：1-13.

［14］罗月童，江佩峰，段昶，等.面向小目标检测的改进RetinaNet模型及其应用［J］.计算机科学，2021，48（10）：233-238.

［15］BARAKAT A，BIANCHI P.Convergence and dynamical behavior of the ADAM algorithm for nonconvex stochastic optimization［J］.SIAM Journal on Optimization，2021，31（1）： 244-274.

收稿日期：2023-02-12；修回日期：2023-05-26

作者简介：胡明辉（1988-），男，硕士，工程师，主要从事输配电技术研究、技术咨询与技术成果转化等；E-mail：215747172@qq.com。

引文格式：胡明辉.基于迁移学习的无人机杆塔巡检图像异常识别技术及实验对比[J].粘接，2023，50（6）：136-139.