基于深度学习的自底向上舰载机轮廓关键点检测算法∗

朱兴动 田少兵 范加利 王 正

（1.海军航空大学岸防兵学院 烟台 264001）（2.海军航空大学（青岛校区）舰面航空保障与场站管理系 青岛 266041）

1 引言

航母舰面狭长、空间小，在执行航空保障作业时，舰载机的调运过程蕴含着巨大的风险。尝试通过关键点检测技术获取舰载机外轮廓，有助于舰面舰载机姿态的求解以及舰载机间的碰撞告警，对于提高航母舰面调运保障作业的安全性有着重要的意义。

随着深度卷积神经网络的发展，关键点检测技术已广泛应用于人体姿态估计和人脸关键点检测领域［1～4］。基于深度卷积神经网络的关键点检测算法主要分为两大类：自顶向下的关键点检测算法和自底向下的关键点检测算法。前者首先在图像中利用目标检测算法检测出所有的目标，之后再对每个目标框内的目标进行单目标关键点检测，此类方法检测准确度高，但随着目标数目的增加，检测速率也会随之降低［5～8］；后者首先检测出图像中所有目标的关键点，将关键点相连接形成图，在通过图优化的方法将关键点分配到每个人，相比于前者，后者可以使算法运行时间不受图像中目标数的影响，进而使得实时检测成为可能。自底向上的关键点检测算法经过不断的发展，由最开始处理一张图片时间几个小时提升为几十毫秒。Pishchulin等［9］开创性的提出了一种自底向上的关键点检测算法，联合标注了每个目标上的所有关键点以及他们之间的关系，但是，将检测出的所有关键点分配到各个目标的过程即为解决全连接图上的整数规划问题—NP问题，平均处理时间为几个小时。Insafut⁃dinov等［10］在Pishchulin等的基础上，基于ResNet网络和与图像关联的关键点成对得分建立了性能更强的关键点检测方法，极大地提高了运行的实时性，但是处理一张图片的时间仍然需要花费几分钟的时间，并且关键点建议数量受到限制，成对关联的关键点难以精确回归，需要单独的逻辑回归。Cao Z等［11］提出了基于关键点亲和力的自底向上的多目标关键点检测算法，可同时计算出关键点位置与关键点之间的连接置信度，大大提高了算法运行的速率。

本文基于航母舰面获取舰载机外轮廓的实际需求，借鉴文献［11］的关键点检测思想，提出了一种适用于舰载机关键点的检测算法，实验表明，本文提出的舰载机关键点检测算法检测准确率和检测速率较高，能够满足实际需求。

2 舰载机轮廓关键点检测

对于一张输入到网络的舰载机图像，在充分提取特征的基础上，网络最后预测出舰载机的关键点热力图集S和编码关键点之间关联程度的关键点亲和力场L，集合S=(S1，S2，…，SJ)有J个热力图，分别代表每个关键点的置信度图，热力图的峰值就是预测的关键点的坐标，其中SJ∈Rw×h，j∈{1…J}。集合L=(L1，L2，…，Lc)，代表c个向量场，如图1所示，黄色箭头代表设置的舰载机四个关键点向量场，分别为两侧尾翼—机翼尾部、机翼尾部—翼尖。其中，Lc∈Rw×h×2，c∈{1…C}，图像中每一个Lc处编码一个2D的向量场，最终在预测的关键点热图和关键点亲和力场上进行二分图匹配优化进而输出图像中舰载机的2D关键点。

图1 舰载机关键点及亲和力场

2.1 网络结构

网络结构图如图2所示，整体网络架构分为6个阶段，左边为网络的第1阶段，右边为网络的第2～6阶段，网络分支1负责预测舰载机关键点的热力图，分支2负责预测关键点之间的亲和力场。每个分支都遵循文献［1］提出的迭代预测架构，并在每个阶段都进行了中间监督。

图2 网络结构

网络采用VGG-19的前10层作为特征提取网络［12］，提取输入到网络的图片特征并生成一组特征图F，将该特征图输入到第一阶段的每个分支，网络分别生成一组关键点热力图S1=ρ1(F)和一组关键点之间的亲和力场L1=φ1(F)，其中ρ1和φ1为第1阶段的映射函数，其本质是一系列卷积操作。将特征提取网络提取的特征F输入到第1阶段的两个分支中，采用3×3和1×1的卷积核预测舰载机的轮廓关键点，之后的阶段将前一阶段的预测结果和原图像特征F进行融合作为当前阶段的输入，采用7×7和1×1的卷积核对当前阶段的输入进行预测，公式如下所示。

其中 ρt和φt分别为阶段t的映射函数，经过6个阶段的迭代预测，最终输出舰载机关键点的热力图和关键点之间的亲和力场。

为了更好地引导网络迭代第1分支的舰载机关键点和第2分支的舰载机关键点之间的亲和力场，且避免在训练过程中发生梯度消失的现象，在每个阶段都加入损失函数，起到中继监督的作用，损失函数均采用L2损失。由于在建立舰载机关键点检测数据集时，部分关键点由于遮挡而不可见，因此需要设置加权函数，则阶段t关键点位置和关键点之间亲和力场的损失函数如下所示：

2.2 关键点热力图与亲和力场

关键点热力图是衡量关键点位置置信度的一系列二维点，由一个二维高斯核在关键点位置上生成。对于第k架舰载机第 j个关键点，以xj，k表示实际关键点的位置，则关键点周围的位置p处的置信度如下式所示：

如图3所示，关键点之间的亲和力场由一系列单位向量组成，每个亲和力场对应图1的黄色箭头所示的亲和区域。位于亲和区域上的每个像素点都由一个单位向量表示，该单位向量编码了亲和力场一个关键点到另一个关键点的方向，将两个关键点在结构分布层面联系起来。

图3 关键点亲和力场

图4 亲和力计算示意图

2.3 二分图优化

经过迭代网络的运算，最终得到舰载机各轮廓关键点的热力图和关键点之间的亲和力场，对关键点热力图进行非极大值抑制得到一系列候选关键点，各关键点之间的关联置信度是通过式（10）进行线性积分得到的，由于存在多架舰载机，因此同一种类型的轮廓关键点会存在多个，则这些关键点之间构成了二分图，此问题转化为一个NP-hard问题。

当多架舰载机的关键点同时需要匹配优化时，优化问题则转化为K维匹配问题，记为NP-hard问题。为了提高运算效率，本文将图5（b）的全连接图转化为图5（c）所示的稀疏二分图，再进一步根据舰载机关键点的分布拆分为图5（d）的两个分解二分图。从而将一个NP-hard问题的转化为多个分解二分图的优化问题，则目标函数最优化问题转化为求各个分解二分图的权重之和达到最大的问题：

图5 多架舰载机关键点分配

最终将优化后的各个分解的二分图中公共的关键点进行整合得到最终的多舰载机轮廓关键点，降低了算法的复杂度，提高了运算效率。

3 实验及分析

3.1 数据集的建立

在实验室条件下采集了5368张舰载机处于调运状态的图像，对舰载机关键点的位置及其可见性进行标注，从而建立舰载机关键点检测数据集。选取4700张图像数据进行训练，剩余668张图像数据对所训练的深度模型进行测试。

在训练过程中，对参与训练的数据进行数据增强，随机进行水平、垂直翻转，随机尺度放缩的范围为［0.7，1.3］，随机旋转的范围为［-45°，45°］，经过数据增强，提高了训练样本的多样性，增强了模型的泛化能力。

3.2 训练平台、参数设置及算法精度评价标准

在Ubuntu16.04系统上搭建实验环境，CPU为Inter（R）Xeon Silver 4110，GPU 为 NVIDIA GeForce RTX 2080Ti，深度学习框架为Tensorflow。

训练共进行50轮迭代，训练批量数据个数设置为8，学习率初始设置为0.001，每训练10轮，衰减为原来的50%，权重衰减系数为0.0005。

选取目标关键点相似度（Object Keypoint Simi⁃larity，OKS）来衡量预测的舰载机关键点与真实关键点之间相似度。

平均准确率（Average Precision，AP）定义为给定阈值s，预测的舰载机关键点结果在整个测试集上的平均准确率，可由测试集所有图片的OKS指标计算得到：

一般对于关键点检测性能的评价，阈值s取0.75，实际上阈值s的值越高，表明对预测的关键点位置和真实的关键点位置之间的相似度要求越高。

3.3 算法性能测试及对比分析

在本文建立的舰载机关键点检测数据集上对算法性能进行测试，并与文献［9］、文献［10］的方法进行性能对比，从算法检测的平均准确率和检测速率两个方面进行评价，算法性能测试结果如表1所示。

表1 舰载机各关键点检测准确率

由表1测试结果可知，相比于文献［9］、文献［10］，本文方法的检测准确率和检测速率均得到了大幅度提升，平均准确率较文献［9］高出14.4%，较文献［10］高出7.6%，检测速率也有了大幅度提升，可达到每秒37帧，说明本文提出的预测舰载机关键点间的亲和力场以及二分图优化匹配策略起到了良好的效果。

检测出舰载机关键点后，连接各个关键点即形成舰载机外轮廓，本文舰载机关键点测试图像结果如图6所示。

图6 舰载机关键点检测结果

如图6所示，算法能够准确地检测出选取的舰载机轮廓上的7个关键点，并连接形成了舰载机外轮廓，能够满足舰面上舰载机间碰撞告警的实际需求。

4 结语

本文针对航母舰面实现舰载机间碰撞告警的实际需求，提出了一种基于深度学习的自底向上舰载机关键点检测算法，实现了舰载机轮廓关键点的检测，并形成了舰载机准确的外轮廓，对于实现舰面智能化保障具有重要的意义。