Faster R-CNN模型改进及机翼标记检测应用

惠小强，刘 欢 ，杨小宝

(1.西安邮电大学 物联网与两化融合研究院，陕西 西安 710061；2.西安邮电大学 电子工程学院，陕西 西安 710121)

机翼作为飞机最关键的部件之一，易于变形和损坏[1]。对于机载武器，机翼变形除了影响飞行安全，还会影响武器对目标的命中性能，必须监视变形前后的状态，以修正机翼变形引起的对准误差，避免影响命中性能[2-3]。机翼在设计时，不仅要坚固，还要考虑其韧性，在一定角度内的弯曲是没有问题的，一般可以承受3个重力加速度的过载，在飞机机翼静力实验中，机翼向上摆动的弯曲变形幅度非常大[4]。在飞行过程中，机翼主要受到弯矩作用产生弹性变形，当飞机进行加速、减速、俯冲或者转弯等变速飞行时，气流会产生气动力及力矩，使飞机受到的加速度大于或小于此时的重力加速度，给机翼带来不期望的附加过载，从而易于发生疲劳损坏。

机翼扭曲检测方式随着航空事业的发展也逐渐多样化，主要归结为分布式、激光和视觉等3种测试方法。分布式测试方法通过分布在机翼关键测试部位的加速度传感器进行测量，同时处理加速度计的输出便能得到对应的模态参数。但是，激励状态下的非稳定性等因素，将影响机翼变形模态参数的判别而使颤振参数的判别不易。同时，该方法为接触式独立点测量，测试点数较少，导致资源未能充分利用[5]。激光测试方法通过使用激光照射到翼面的反射靶标进行测量，翼面反射回的光束从探测器传至信号处理器，逐点对单个靶标进行监测，最终依据其他信息获得翼面的震动参数。但该方法稳定性差，测量点数较少，且会受到较大的干扰，使用并不广泛[6]。视觉测试方法主要包括模型变形视频测量[7]和基于图像相关的机翼颤振测量两类技术。第一类技术主要通过机翼上的发光二极管(Light Emitting Diode，LED)特征点和Optotrak公司的飞行挠曲测量技术对机翼变形进行测量。第二类技术不但能通过非接触式实现，还能够全场测量，实时性强。该技术是在二维计算的基础上获得散斑图像，然后进行图像识别、定位及立体视觉测量而获取数据。

近年来，计算机视觉领域飞速发展，深度学习方法广泛使用并取得了一定的成果。为了探讨目标检测卷积神经网络对飞机机翼变形检测的适用性，对更快区域神经网络(Faster Region Convolutional Neural Network，Faster R-CNN)模型[8-9]加以改进，并应用于机翼关键标记点位置检测。首先，选用残差网络ResNet101代替Faster R-CNN模型中的视觉几何组(Visual Geometry Group，VGG)16网络作为特征提取的骨干网络，并添加属性分类器[10]预测属性类别。利用模型对每一时刻标记点的类别、属性以及位置信息进行分析，通过多种特征检测方法判断标志点，以减少误检，提高检测准确度。其次，通过构建特征图联合[11-13]策略，将仅提取特征提取网络的最后一层特征图，改为由多层网络融合的同时具有细节信息和丰富语义信息的特征图，充分利用不同层卷积网络的优势，将其与区域生成网络(RegionProposal Network，RPN)结合，选择适合机翼标志点的锚尺寸生成适用的检测框。最后，使用双线性插值法精确池化策略，减小原模型中的候选区域池化中的两次量化过程造成的原图中目标像素的丢失，以期更优质地完成机翼标志点检测任务。

1 Faster R-CNN模型

Faster R-CNN模型包含RPN和快速区域卷积网络两个组件，其结构如图1所示。

图1 Faster R-CNN模型网络结构

Faster R-CNN使用RPN提取候选区域[14]。该层通过softmax网络判断锚框属于对象的概率信息，再利用框回归修正锚得到精确的建议框，其核心思想即通过卷积神经网络CNN产生候选区域建议框。

经卷积网络卷积得到的末层的特征图，对其中的滑动窗口通过不同尺度和比例预测k=12个候选区域，使得每个空间窗口能映射到一个长度为512的向量，将512维的特征向量分别用1×1的卷积核进行降维后送入区域回归层和区域分类层两个同级的全连接层中。其中：一个全连接层中通过softmax对锚分类获得前景和背景，在每个空间窗口的位置建议框的最大可能数量为k，则分类层输出2k的分数预测每个候选框是或不是目标的概率；另一个全连接层用于计算锚的边框回归后的偏移量，以得到精确的建议框，回归层输出维度为4k，编码k个回归框的坐标。RPN原理[14]如图2所示。在RPN的训练中，使用反向传播和梯度下降法训练区域建议网络，候选区域若与真值框的交并比(Intersection Over Union，IOU)值最大或者与真值框的IOU值大于0.7，则判定为目标。当候选区域与真值框的IOU值小于0.3，则判定为不是目标。

图2 RPN原理

定义损失函数为

(1)

(2)

(3)

其中：(x,y,w,h)为边界框的中心点坐标以及宽和高；(xa，ya，wa，ha)为预测框的中心点坐标以及宽和高；(x*,y*,w*,h*)为真实机翼标志点边框的中心点坐标以及宽和高。当候选区域是cross时的回归定位损失函数表示为

其中，R是smooth L1函数，表示为

(4)

待检测图像经过卷积网络提取特征后，送入RPN网络生成标签框，利用ROI平均池化网络将不同尺寸的特征映射到固定长度的向量。将池化后输出的结果分别输入到由全连接网络组成的分类层和回归层，分类层对RPN网络建议的目标通过Softmax进行分类，回归层对目标位置进行回归，最后由非极大值抑制(Non-Maximum Suppression，NMS)输出检测结果。

2 改进的Faster R-CNN模型

2.1 网络结构

针对机翼标志点图像的分辨率较低、图像较小等特点，对Faster R-CNN模型进行改进。在模型训练中采用分类性能高的残差网络ResNet-101代替原视觉几何组(Visual Geometry Group,VGG)16网络作为特征提取的基础主干网络。残差网络的残差连接使得训练更深层次的网络成为可能，改善了VGG16网络中随着深度的增加带来的梯度消失问题，同时降低了出现过拟合问题的可能性。残差网络结构如图3所示。

图3 Resnet残差网络结构

图3 中F(X)为残差映射，X为神经网络的输入，ReLu为激活函数。将待检测的飞机机翼标志点图片通过卷积网络提取倒数第二层卷积网络的卷积特征图，并获取最后一个卷积层输出的特征图，分别输入后面的区域生成网络和检测子网络中，同时，添加两个新的层输出目标及其属性类别。

2.2 属性检测

为了训练更准确的检测模型，利用多特征检测方法检测飞机机翼标志点的位置，即在模型中添加属性检测分支(Attribute Detection Branch，ADB)，使得模型在训练的过程中不断学习属性特征。在全连接层中，除了预测目标类别，还会预测目标的颜色类别，增强输出特征的表达能力。最后，采用判别器得到类别、属性以及同时满足条件的机翼标志点信息。包含属性分支的飞机机翼标志点检测模型分支如图4所示。

图4 飞机机翼标志点检测模型分支

模型从底层网络开始学习机翼图像的类别和属性特征，这些特征在全连接层被抽象为更多维特征的向量分别输入到分类器中，以预测检测概率超过IOU置信度的类别对象及其概率，然后将其结果输出。为了预测输出结果对应的属性，将平均池化后的卷积特征与学习到的类别对象结合起来，将其结果输入到一个外加的输出层中，该输出层是每个属性类别的Softmax分布。最后，采用判别器判断输出的类别标签中满足机翼标志点属性特征的标签，使用多种特征检测判断标志点，排除与机翼标志点特征相似的标签，从而减少误检情况，提高检测准确度。

2.3 特征融合

在飞机机翼检测模型中，标志点图像的尺寸相对较小，经过特征提取网络映射到特征图上时标志点目标会非常小，难以利用深层特征提取丰富的语义信息。因此，对于标志点的检测和识别，需要进一步提高检测准确度。通过对特征金字塔17[22]思想的分析与实验，针对机翼标志点的定位任务，构建新的特征图联合策略(Feature Fusion Strategy，FFS)。首先对Resnet101网络的后4个阶段有选择性的融合，然后对融合后的每一层新的特征进行预测，最后再对所有的结果进行融合。

Resnet101网络可分为5个阶段，每个阶段的最后一个卷积层称为C1—C5，将后4个阶段的特征进行有选择性地融合。首先，使用1×1×256的卷积核卷积C4特征图改变维度，使其通道数变为256，同时使用1×1×256的卷积核卷积C2特征图，修改其通道数为256，然后将C2与C4特征使用加性融合函数进行融合。为了防止上采样造成的混叠效应，使用3×3的卷积核卷积融合后的特征，生成一个新的特征P2。使用相同的原理融合C5和C3得到P3，同时将C4和C5分别使用1×1×256的卷积和卷积，使其通道数变为256，充分利用不同层卷积网络的优势，将每层生成的新特征图与RPN网络结合，选择适合机翼标志点的锚尺寸生成适用的检测框。由于原始Faster R-CNN网络使用k=9个锚框生成感兴趣区域，默认的锚框尺度和纵横比分别是{1282，2562，5122}和{2∶1，1∶1，1∶2}，这适合于大尺寸目标或者大规模的标志性图像，对于机翼标志点检测并不合理。因此，在特征融合模块 (Feature Fusion Module，FFM)中，将每一个金字塔层级{P2，P3，P4，P5}对应的锚尺度设置为{322，642，1282，2562}，以适应飞机机翼标志点的检测。将每个部分生成的区域建议框输入到ROI池化层中，获得一系列7×7的特征图块，将其进行融合后的特征图输入到后面的检测网络进行分类和回归。飞机机翼标志点检测框架如图5所示。

图5 飞机机翼标志点检测框架

3 实验

3.1 实验环境及参数设置

在操作系统为Win10，处理器为英特尔XeonW-2155@3.30 GHz，显卡为NVIDIA GeForce GTX 1080Ti环境下实验，使用Python 3.7编程语言、PyTorch 1.3深度学习框架及CUDA 10.0 GPU加速平台。

飞机机翼变形检测模型的训练数据批尺寸为32，初始学习率为0.001，使用梯度下降法对模型进行优化，模型训练迭代的次数为60 000次，设置模型保存策略为每迭代一轮保存一次模型，选取精确度最高的模型。模型超参数中学习率的设置采用不断更新策略，即开始时设置一个初始的学习率0.001，步长设置为5，衰减率设为0.1，使得模型的学习率随着训练迭代的次数逐渐衰减。该策略能够有效地提高机翼标志点检测模型的精确度，使得模型能够更快地收敛。

3.2 实验数据

为了提升模型训练效果，建立VOC格式的专有数据集FlyCross_Data训练模型。使用相机拍摄来自不同现实场景的飞机机翼的标志点图像，如拉伸、翻转、强光和暗光等，其分辨率为1 920×1 080，格式为JPG格式，FlyCross_Data数据集中典型数据图像如图6所示。

图6 FlyCross_Data数据集典型数据图像

采用数据增强技术扩充训练数据，从而防止过拟合问题并提高网络的性能。选择部分拍摄的图片进行拉伸、裁剪以及对裁剪图片进行翻转等处理，将这些图片组成原图集。利用Rectlabel工具人工标注原图集，如图7所示，每幅图中的标记都会被唯一的标注框所确定，然后对数据集图片重新命名，并编写代码将图片生成对应的训练集、验证集和测试集。总样本共2 500个，其中2 000个作为训练集，300个作为验证集，200个作为测试集，主文件分别由train.txt、test.txt和val.txt组成。

图7 FlyCross_Data数据集标注结果图

在PASCAL VOC 2007和专有数据集FlyCross_Data上进行实验。PASCAL VOC 2007数据集中包含20类，共9 963张经过标注的图片，24 640个标注对象。使用迁移学习的思想，首先使用大规模的公共数据集PASCAL VOC 2007实现模型预训练，学习图像底层通用的视觉特征，为网络提供一个良好的初始值。然后，冻结共同参数，初始化新的关键参数，即调整全连接层的输出通道数。最后，迁移训练的参数在专有数据集FlyCross_Data中训练机翼标志点检测模型，并使用验证集验证模型训练的效果。

3.3 评价指标

将分辨率为1 920×1 080的RGB图像加载到训练好的神经网络模型中，进行端到端的运算，并采用平均精度均值(mAP)作为机翼标志点检测模型的评价指标评估模型的性能。mAP与精确率和召回率有关，精确率反应模型预测样本的精确度，召回率反应模型对正样本的覆盖能力。以精确率为纵轴，召回率为横轴作图，得到准确率-召回率曲线，即“P-R曲线”，“P-R曲线”下与坐标轴围成的面积越大说明模型越好。

3.4 实验结果与分析

3.4.1 特征提取网络选择

分别对比VGG16、ResNet50和ResNet101网络基于Faster R-CNN在机翼标志点检测分类结果，如表1所示，平均精度均值mAP值越大说明模型越好。

表1 不同模型在专有数据集下mAP值对比

由表1可知，使用残差网络代替原始的VGG16作为机翼标志点特征提取的基础网络，效果有所提升。3种模型的平均精度均值分别为70.7%、74.9%和77.6%。其中，ResNet101网络的表现最好，其与原始VGG16相比提高了6.9%，因此选择ResNet101作为机翼标志点检测模型的基础特征提取网络。

3.4.2 不同模型检测性能对比

在模型中添加属性检测分支，使用多种特征检测的方法提取机翼标志点的位置。模型分别用sigmoid交叉熵和softmax交叉熵测量训练误差。对于类别预测的评估，使用每幅图像得分高于0.05的所有预测框计算每个类的真阳性和假阳性标签，并使用标签将IOU阈值匹配为0.7。对于属性预测的评估，将属性检测标记为阳性和阴性，评分阈值为0.05，然后为每个属性计算真阳性和假阳性标签。对于每幅图像，找出类别检测值高于0.7的检测，合并所有IOU高于这些框的检测，采用判决器判断类别和属性信息同时满足条件的标签框，利用多种特征方法检测判断标志点，减少误检情况，并使用这些标签计算结果框权重的mAP值。由表2可以看出，ResNet101网络下的Faster R-CNN添加了属性分支后的模型与原始模型相比，精确度提高了8.6%；与ResNet101网络下的原模型相比，精确度提高了1.7%，达到了79.3%，耗时也最小。这主要受益于改进模型的多特征检测判断能减少误检情况，使得在处理飞机机翼标志点图片的数据集上，具有更好的检测结果。

为了适应机翼标志点尺寸较小而难以检测的缺点，将特征融合与Faster R-CNN及RPN网络相结合引入模型中，由表1可知，其识别率与原始Faster R-CNN模型相比提高了9.2%，达到了79.9%。与基于ResNet101网络下的Faster R-CNN并添加了属性分支的模型相比，提高了0.6%。这主要因为机翼标志点图形较小，模型结合了深层丰富的语义特征，中间有补充性的特征以及浅层高分辨率的细节特征，能够有效提高网络对机翼标志点的检测。由此可见，改进模型与原始模型相比，在机翼标志点检测模型中的精确度有显著提升。从检测时间角度分析，添加了属性分支并构建融合策略结合的模型与添加了属性分支的模型相比增加了0.07s，这是因为在进行特征融合时使得特征维度由原本的1 024降至了256维。图8为在专有数据集上对原始模型和改进模型进行评估的结果。可以看出，改进模型P-R曲线与坐标轴围成的面积较大，效果更好。

图8 不同模型评估结果

使用包含经过拉伸、遮挡、强光和暗光等处理的专有数据集图片训练各模型，对不同环境中各种模型的实验结果如表2所示。改进模型与原始模型在不同环境下的识别对比结果如图9所示。可以看出，添加了属性分支并对特征进行融合结合的模型，在强光、暗光和边缘等不同环境下都有较好地检测效果，并且在强光等环境下其检测框更准确且误检情况减少，如图9(a)所示。因此，改进模型提供了更高的精度和鲁棒性。

表2 不同环境下实验结果对比

4 结语

采用深度学习中的目标检测技术处理机翼变形检测的问题。通过对比VGG16、ResNet50及ResNet101等3种特征提取网络对机翼标志点检测模型的影响，选用ResNet101作为骨干网络。针对检测结果中存在的误检情况，在Faster R-CNN模型中添加属性分类器，使得模型在训练的过程中不断学习属性特征，增强输出特征的表达能力。构建多层特征图联合策略，结合浅层特征与深层特征的不同特点，充分利用了不同层卷积网络的优势，并将其与RPN网络结合，选择适合机翼标志点的锚尺寸生成适用的检测框。最后，采集包含标志点的飞机机翼图像数据，自主构建机翼标志点检测专有数据集。实验结果表明，改进模型相较于原始Faster R-CNN模型检测精确度提升了9.2%，呈现了良好的检测效果。