基于YOLOv4的航空发动机叶片凸台目标检测

陈 为，钟欣童，张 婧，李泽辰

(1. 青岛科技大学自动化与电子工程学院，山东 青岛 266000；2. 青岛北海船舶重工有限责任公司，山东 青岛 266000)

1 引言

随着我国军事化进程的加速和空军力量的增强，飞机的执勤任务与日俱增。航空发动机是航空飞行器中的重要组成部件，它的正常运行将直接决定飞行器的安稳运转。目前飞机上大量使用的发动机是涡扇发动机，它通过不断提升涡轮前温度来提高推重比，这使得涡轮叶片的工作温度很高，凸台易发生形变错位，对飞机行驶造成安全隐患。

一般情况下叶片凸台位于航空发动机内部，外侧有风扇整流罩覆盖，无法直接用肉眼观测检查。而且航空发动机内部机械构造复杂且精密，空间狭小，加大了叶片凸台的维修难度。目前对叶片凸台的检修多采用将发动机拆开，用肉眼检查的方法，拆机和组装耗费了大量的人力和时间成本。而且现有对发动机叶片的目标检测多集中于对叶片表面缺陷的检测[1，2]，对叶片凸台的缺陷检测则极少被关注。

因此本文提出的从航空发动机内部对叶片凸台进行目标检测的算法，填补了对叶片凸台进行目标检测的空白，极大地提高了检修效率。及时预警对发动机叶片进行维护，这对于保障飞行安全，提高我国航空工业水平有着非常重要的意义。

近年来，基于深度学习的计算机视觉[3]算法迅速发展，在目标检测、目标跟踪、语义分割的应用中都取得了较好的效果[4]。目前基于深度学习的目标检测[5]模型可大致分为两类：基于候选区域(region proposal)的目标检测模型如R-CNN、Faster R-CNN[6]、R-FCN[7]等；和基于选框回归方法的目标检测模型如YOLO[8]、SSD[9]等。

本文采用2020年由Alexey Bochkovskiy等人提出的YOLOv4[10]模型对叶片凸台进行目标检测，随后使用数据增强处理数据集，用聚类分析的方法对默认候选框进行改进，进一步提高目标检测的准确率。

2 YOLO目标检测模型

YOLO(You Only Look Once)系列的核心思想十分简洁，即利用整张图片作为网络的输入，直接在输出层回归候选框的位置和类别。

2.1 YOLO模型的组成

YOLO模型作为一种基于选框回归方法的目标检测算法，通常由三部分组成，如图1。

1)主干网络(Backbone)：从图像中抽取特征，例如VGG[11]和ResNet-50[12]都是常用的主干网络；

2)衔接部分(Neck)：用于连接主干网络与头部结构；

3)密集连接头(DenseHead)：用于在特征图上进行密集的位置相关操作，其中RPN、Retina[13]、FCOS[14]等Head是具有代表性的操作。

图1 基于选框回归的目标检测模型

2.2 YOLOv4目标检测模型

YOLOv4是第四代YOLO目标检测模型，它的主要目的在于设计一个能够应用于实际工作环境中的快速目标检测系统，且能够被并行优化。YOLOv4模型与YOLOv3整体预测思路没有区别，但在YOLOv3模型的基础上引入了大量创新改进，以达到算法精度和速度的平衡。

YOLOv4在输入端使用了自对抗训练(Self-Adversarial Training)[15]。在主干特征提取网络中，借鉴2019年CSPnet(Cross Stage Partial Networks)[16]的经验，产生新的Backbone结构CSPDarknet53，并且在其中使用了Mish激活函数提高精度

Mish=x×tanh(ln(1+ex))

(1)

同时在特征金字塔中采用SPP(Spatial Pyramid Pooling)[17]和PANet(Path Aggregation Network)[18]特征提取结构，SPP结构如图2，它能够极大地增加感受野，分离出最显著的上下文特征。PANet对特征进行反复提取，提高特征提取的能力。

图2 SPP结构

YOLOv4中回归损失函数采用了CIOU Loss的回归方式

(2)

CIOU将目标与候选框之间的距离、重叠率、尺度以及边界框中心点距离的信息都考虑进去，使得目标回归变得更加稳定，预测框回归的速度和精度更高。

3 YOLOv4算法设计与改进

3.1 迁移学习的引入

迁移学习是一种机器学习的方法，指的是一个预训练的模型被重新用在另一个任务中。迁移学习的主要思想是从相关领域中迁移标注数据或者知识结构、完成或改进目标领域或任务的学习效果。目前迁移学习在训练神经网络中广泛使用。为了进一步提高模型训练效率，本文实验在训练前使用迁移学习的方法，加载预训练模型。

针对本文数据集图片角度变化多、目标尺寸变化大的特点，选用通用性较好、种类丰富的coco数据集进行迁移学习。将在公开数据集coco上训练好的检测模型权重加载到YOLOv4模型中，在训练中对该模型不断进行修改调整，使模型不必从零开始训练。

3.2 先验框尺寸的改进

由于开始加载的YOLOv4预训练模型的网络权重是在coco数据集上训练得到的，coco数据集包括80种类别目标，且该数据集检测目标与本文所检测的飞机叶片凸台差异较大，不符合本数据集的先验框尺寸。针对这一缺点，使用聚类分析的方法改进默认先验框尺寸。通过对凸台训练集中已标注好的先验框进行聚类分析，找到适合尺寸的先验框，修改原始的先验框尺寸，使得特征层产生的先验框尺寸更好地匹配待测目标。

K-Means聚类是聚类分析中最常用的方法之一，它是基于点与点距离的相似度来计算最佳类别归属。本文采用k均值聚类算法对飞机凸台训练集数据进行聚类分析，得到对应的先验框尺寸。

3.3 数据集的改进

3.3.1 原数据集的制作

本实验的数据集是使用内窥镜从飞机发动机内部拍摄的叶片凸台视频，对视频进行逐帧提取，得到叶片凸台图像，对图像进行裁剪及筛选，再使用标注工具LabelImg进行标注，制作本文的数据集。

LabelImg是专门为YOLO系列算法设计的数据集，利用该标注工具，手动完成矩形框标注，得到存储着坐标信息的.xml标签文件，如图3所示。制作格式为PascalVOC数据集格式，一共得到标注图片2613张。

图3 数据集制作过程

3.3.2 数据集的改进

原算法中检测的多为固定角度拍摄的目标，由于本文检测时所拍摄的视频角度不固定，增加了检测的难度。而针对在训练时单张图片训练时角度单一，鲁棒性差的缺点，本文使用Mosaic数据增强的方法对数据集进行处理。

Mosaic数据增强是一种将4张训练图片混合成一张的新数据增强方法，这样可以丰富图像的上下文信息，增强模型的鲁棒性。

4 实验结果与分析

4.1 实验过程及平台

本文采用的实验设备为物理服务器，Ubuntu操作系统，显卡为GPU GeForce GTX 1080Ti；开发环境为Tensorflow1.13，Keras2.1.5，Numpy1.17.4，cuda10.0，cudnn7.4.1.5，python3.7。

本文实验以2309张分辨率为300*300的凸台图像作为训练集，304张作为测试集，初始学习率为1e-3，预热学习率为1e-5，训练共50个epoches，检测时重叠阈值设为0.5。

4.2 实验结果

4.2.1 本文网络模型检测结果

本文基于YOLOv4算法，通过使用K-Means算法对本文飞机发动机叶片凸台进行目标检测。检测结果选取各个角度的叶片凸台如图4(图中蓝色为检测框真实值，绿色为预测正确的检测框，红色为预测错误的检测框)。

图4 目标检测结果

4.2.2 先验框修改前后结果

本实验使用K-Means聚类分析对模型的先验框尺寸进行修改。修改前后的先验框尺寸如表1所示。

表1 改进前后先验框尺寸

由上表可以看出，经过对本文数据集标注框的聚类分析，去掉了原本过大和过小尺寸的不适合的先验框。

修改先验框前后检测结果示例如图5，P-R曲线(precision-recall)如图6，图中横坐标是召回率，纵坐标是模型准确率，图中阴影部分的面积可以体现模型性能，面积越大代表模型性能越好。

图5 修改先验框前后检测结果＿805.jpg

图6 修改先验框前后的P-R曲线对比

从修改先验框前后的检测结果对比可以看出，模型对凸台检测的精确度从76.62%提高到了89.99%，通过调整先验框尺寸提高了对叶片凸台的检测能力，在多角度下的检测做到了很好的识别效果。而且由于去除了较大的先验框尺寸，使得对与凸台相似的缝隙的误检情况减少，如图5中对805.jpg的检测，实验结果表明，对先验框尺寸的修改提高了检测准确率。

4.2.3 数据增强前后结果

本实验使用Mosaic方法对数据集进行数据增强。如图7为数据增强处理后结果。

图7 Mosaic数据增强处理后图片

将改进后的数据集投入训练，两次改进实验结果如表2，同时与在相同实验条件下SSD模型在本数据集训练结果进行对比。

表2 实验结果对比

从上表实验结果可以看出，分别进行修改先验框和数据增强后模型性能均有明显提升。当叠加两种改进后，在检测精度(precision)方面，改进后的YOLOv4模型相较于原始模型精确度提高了15.85%；在召回率(recall)方面，改进后提高了21%；而由于Mosaic数据增强并没有改变先验框的尺寸，所以在平均交并比方面没有太大的提升。在精度、召回率、平均交并比的对比中，本实验模型均明显好于SSD模型及改进SSD模型，由此可以证明，本实验模型更加适合对凸台的目标检测。

图8 Mosaic和修改先验框后的P-R曲线

最终改进的模型P-R曲线如图8，与原模型的P-R曲线对比，图中阴影面积占比显著增大，这表示改进后的模型在召回率增大的同时，精确度仍保持较高的水平，证明改进后的YOLOv4模型的性能有一定的提升。

5 结束语

本文针对飞机发动机内部叶片凸台的目标检测问题进行研究，将最近开源的YOLOv4模型应用于对凸台的检测系统，加入迁移学习和Mosaic数据增强，以调整先验框尺寸为方向改进得到一种适合叶片凸台检测的网络模型，提高了对叶片凸台的检测精度和系统的性能。实验结果表明，本文提出的改进YOLOv4模型可以有效解决从飞机发动机内部对叶片凸台进行目标检测的问题。接下来考虑根据拍摄角度不同对叶片凸台图片进行分类，以进一步提高检测效果。