改进SSD的安全帽检测方法

李明山，韩清鹏，张天宇，王道累

上海电力大学 计算机科学与技术学院，上海200090

伴随社会发展，安全问题越发受到大众关注。安全帽佩戴能够减轻因坠落物对施工人员头部造成的损害，保护施工人员的人身安全，佩戴安全帽是安全施工重要一环。现阶段，安全帽主要检测方式仍是人工巡检，该种方式费时费力，检测效率低下。近年来，随着计算机视觉的发展，无人化智能安全帽检测方法凭借检测成本低、效率高的优点开始受到人们重视。

刘云波等[1]提出通过背景差法与二值化将运动目标分割出来，并综合多种算法对目标进行特征匹配判断是否佩戴安全帽。然而此类传统计算机视觉方法主要依靠人为设计的算子（SIFT[2]、SURF[3]）对特征进行提取，并通过SVM[4]、AdaBoost[5]等算法进行分类，此类方法极度依赖设计者的经验，且特征提取过程可能涉及多种算法，导致流程较为繁琐。

近年来，深度学习凭借其准确性高、鲁棒性强的特点成为目标检测研究热点方法之一。现阶段基于深度学习的目标检测算法多是在图像上铺设不同大小的锚框，通过回归与分类锚框实现目标检测。按照回归框的生成方式主要分为二阶段与单阶段两大类。其中二阶段检测器，如Faster RCNN[6]、Mask RCNN[7]通过RPN筛选出区域提案后进一步提取特征并对回归框进行微调与分类。此类检测器有较高的准确率但是检测速度慢。单阶段检测器如YOLOv3[8]算法提取特征信息后直接回归得到坐标编码与分类得分，该类检测器具有强实时性，但检测精度相对较低。

大多数学者对安全帽佩戴检测提出的方法是基于YOLOv3改进的。秦嘉等[9]提出结合YOLOv3与卡尔曼滤波算法实现安全帽检测与追踪。施辉等[10]提出通过特征金字塔进行特征融合并对YOLOv3 用更多尺度特征图检测。王兵等[11]对相似度计算方式进行改进，提出改进GIoU YOLOv3 的安全帽检测方法。乌民雨等[12]提出通过反卷积上采样特征图并进行特征融合提升YOLOv3的检测准度。

Huang等[13]指出，在待检目标尺度相对较小时，基于锚框的检测器的检测准度都会急剧下降。然而，安全帽检测任务中多以小目标为主，必然出现检测效果不佳的现象，上述方法均没有针对这一问题提出改进方案。为解决这一问题，本文基于Single Shot MultiBox Detector（SSD）[14]进行改进，提出一种新型特征金字塔，帮助模型进行特征融合，弥补不同特征图的语义差距，增强浅层特征图语义，改善SSD 算法对小目标检测的表现，该分支网络仅需较少的时间代价即可带来较高的准度提升。同时本文对SSD算法的默认框设置方式进行改进，让先验框尺度与有效感受野更为匹配，提高改进SSD模型在安全帽检测任务中的表现。

1 相关工作

1.1 SSD

1.1.1 SSD网络架构

SSD是一种常用单阶段目标检测算法，网络结构如图1所示，待检测图片通过SSD自底向上的骨干卷积神经网络与额外添加的卷积层提取特征信息，选取多阶段特征图进行边框回归与分类，产生一系列回归框与分类得分，随后非极大抑制算法筛选回归框输出最终预测结果。

1.1.2 损失函数

SSD 算法设置损失函数对模型参数进行更新与优化。其检测头输出回归框坐标编码与类别得分，训练过程中的总损失函数表达式如公式（1）所示，总损失由位置损失与分类损失两部分加权求和得到，其中x={1,0},代表某个回归框是否匹配Ground Truth 框，N代表最终与Ground Truth框匹配的默认框总数。

计算训练损失并在多轮迭代中不断更新模型参数，待参数收敛后最终得到较为稳定的检测模型。

1.1.3 默认框选取

SSD 采用单阶段检测器直接进行边框回归与分类的机制，也采用了类似于Faster RCNN 的Anchor 机制对局部提取不同高宽比的回归框。

假定m个尺度的特征图负责检测，SSD 算法根据公式（2）分阶段设置默认框边长，其中Smin与Smax分别代表最底层以及最高层用以检测的特征图占原始图像比例，通常取值0.2与0.9。

设置宽高比ar∈{1,2,3,1/2,1/3}，由公式（3）、公式（4）分别计算得到多阶段特征图对应先验框宽高。

1.2 Feature Pyramid Networks

近年来，Faster RCNN等基于卷积神经网络的检测器大幅提升了目标检测的准度。此类检测器往往使用卷积层提取特征信息，通过最大池化层等手段多次下采样获取不同尺度的特征图，其中特征图有尺度依次减小、语义逐渐增强的特点，同时浅层的特征图具有更多低水平特征。

Feature Pyramid Networks（FPN）[15]对Faster RCNN进行改进并提出了一种自顶向下的特征金字塔网络，如图2。FPN对骨干网络中处于深层次的特征图进行逐层上采样，并将同一尺度的特征图进行特征融合。分支网络不同层特征图分别通过RPN获取候选框与前后景分类置信度，使用Fast RCNN[16]进行候选框修正与分类。该网络一定程度上弥补了特征图之间语义差距，使不同尺度的特征图都有着较强的语义，提升了检测器对小目标的检测效果。

图2 FPN结构示意图

2 改进SSD模型

改进SSD 模型整体网络结构如图3 所示。本章将对改进SSD模型进行展开介绍，其中包括新型特征融合网络（2.1节）、改进的先验框设置方法（2.2节）。

2.1 改进特征金字塔网络

本文提出了一种新型特征金字塔网络，如图3。该分支网络由自底向上的卷积网络与自顶向下的特征融合网络两部分构成。

（1）卷积网络

卷积网络可以作为SSD骨架网络的延伸，提取特征图给检测器进行目标检测。在本文中，选定图3中Conv9_2的特征图作为输入，通过连续的卷积模块提取特征图并输出给检测头进行边框回归与分类。

（2）特征融合网络

特征融合网络选择与卷积网络相同的特征图输入，采用反卷积对特征图进行逐层放大，通过元素累加的方式对同尺度特征图进行特征融合。值得注意的是本特征融合网络各层特征图输出通道数对应于原始SSD，与FPN输出通道数设置方案不同。

通过本文提出的改进特征金字塔，较为浅层的特征图也具有了较强的语义，减轻了因低水平的特征对目标识别表达的损害，提高了SSD 算法对小型、中型安全帽目标检测的准度。

2.2 改进先验框设置

本文针对安全帽数据集中所有目标的Ground Truth 框计算面积后开平方根取值（安全帽待检目标普遍成正方形）并进行统计，绘制频数分布直方图，如图4，在本数据集中，目标总计约合十二万，待检目标的Ground Truth 框尺度分布极度不均衡，且以小目标为主，绝大部分目标分辨率集中在100×100 以内，其中分辨率小于16×16的Ground Truth框占比56%，分辨率小于32×32的占比约89%，极少部分目标分辨率大于100×100。

基于锚框的目标检测器在对小尺度目标进行检测时，往往检测准度会出现严重的下滑。这种现象是目标特征压缩与先验框设置不合理共同造成的。待检目标在经过SSD 的卷积神经网络多次池化（如最大池化）后图像特征将出现明显压缩。尤其在安全帽检测中，多为小尺度目标，在经过压缩后仅留下较少特征能够用以检测，这将明显影响SSD 对于安全帽检测准度。同时，Luo等[17]指出影响卷积神经网络单元的感受野分为理论感受野与有效感受野。由于感受野内的像素并不能均一地影响卷积神经单元的信号值，即中心区域处于有效感受野的像素将产生更大的影响，且有效感受野将小于理论感受野。原始SSD 的先验框设置对于安全帽检测任务的有效感受野明显偏大，导致检测效果明显下降。

图3 改进SSD模型

图4 目标尺度频数分布直方图

为解决以上问题，本文通过改进SSD 默认框边长设置，引入可调节参数n来间接调整先验框取值，如公式（9）所示：

其中A为最底层特征图面积。取n倍于最底层特征图的步长s作为最小默认框边长（本模型取n=2），此时默认框面积占原图面积比值为对应Smin，并取经验数值Smax=0.8，带入默认框边长计算公式即可求得默认框取值。

3 实验与结果分析

3.1 数据集制作

本实验所选取的数据集由网络爬虫、监控视频以及道路施工现场照片三部分组成，如图5 所示，包含两类物体：佩戴安全帽（hat）、未佩戴安全帽（person）。共计7 226张图片，按照7∶2∶1的比例进行划分，训练集5 081张图片，测试集与校验集分别有1 445 700张图片，并按照VOC数据集格式进行存储。本数据集中目标尺度分布极度不均衡，对目标检测提出了较大挑战，然而，本数据集更符合实际施工应用场景。

图5 数据集样例

3.2 网络训练

Fu等[18]已经表明，选用更先进的骨干网络能够有效地提升SSD检测器的表现，为了更公平地比较原算法与改进后的算法在安全帽检测任务上的性能，本实验中改进SSD 仍旧采用VGG-16[19]作为骨干网络，并通过加载预训练权重加快收敛。实验采用随机梯度下降的优化方式，学习率设置为0.000 1，动量为0.9，权重衰减0.000 5，样本数16，并设置等间距调整学习率。网络采取固定学习率训练80 轮，之后学习率降低至原来的十分之一进行微调，本实验采用与原始SSD 相同的图像增强手段，如随机裁剪、水平镜像等方法。

3.3 对比实验结果与分析

本实验采用目前较为常用的几种目标检测算法进行对比：Faster RCNN、YOLOv3。本实验中YOLOv3的训练样本数为16，其余采取文献[8]相同的设置进行训练。Faster RCNN的训练采用端到端的训练方案，共计训练50轮，其余设置与文献[6]相同。

实验结果如表1 所示。本文所提出的改进SSD 安全帽检测方法，对于各类目标的AP-50（Average Precision）分别达到了78.21%与71.0%，mAP（mean Average Precision）达到74.6%，远高于Faster RCNN 的mAP 63.0%与YOLOv3的mAP 58.4%。改进SSD512的mAP高达82.5%。综合实验结果看，改进后的算法对安全帽检测检测准确性方面表现优秀，基本满足实际场景需求。

表1 AP-50及mAP-50对比%

为验证本文所提方法的实时性，将样本数设置为1，让各模型分别对测试集共计1 445 张图片进行检测，计算各模型检测速率并进行对比，实验结果如表2，实验显卡为Tesla V100-SXM2。其中，YOLOv3的检测速率最快，达到了59 frame/s，本文所提出的改进SSD安全帽检测模型在检测准度大幅提高的情况下，检测速度仅降低1.3 frame/s，平均检测速率达到39.6 frame/s，在优秀准度的基础上兼具良好实时性。

表2 检测速率对比

3.4 消融实验结果与分析

本文设置消融实验以探究各改进对模型的影响，3.4.1 小节将介绍改进特征金字塔的影响与分析，3.4.2小节将介绍改进先验框设置的影响与分析。

3.4.1 特征金字塔消融实验

改进FPN 对原始SSD 网络结构有着良好兼容性，为探究其对SSD检测准度产生的影响，本文分别设置两组模型对照，一组为原始SSD，另一组为添加FPN 后的SSD，其余设置均与文献[14]相同。实验结果如表3，添加改进后SSD模型对于各类目标AP分别达到了76.5%与38.5%，mAP达到了57.5%，较原始SSD的mAP有2.3个百分点的提升。

表3 特征金字塔消融实验结果%

实验证明，改进后SSD通过特征融合有效弥补了不同特征图之间的语义差距，增强了浅层特征图的语义，有效提升了SSD模型对安全帽检测的准度。

3.4.2 先验框消融实验

本文所提出的改进公式（9）通过可调节参数n控制默认框取值，实现调节先验框大小。本小节将设置不同取值的n，间接探究先验框大小对改进SSD安全帽检测模型准度的影响。

改进SSD 安全帽检测模型首先固定经验值Smax=0.8，之后设置n∈{1,2,4,6}，其余训练参数相同，进行训练并测试，实验结果如表4。

表4 不同n取值下改进SSD检测结果

n=6 时，先验框大小较原始SSD降低，mAP有较大提升，但仍明显与有效感受野不匹配。在n取值由6开始降低，先验框进一步减小，mAP 由63.8%逐渐增加至74.6%，其中尤其以未佩戴安全帽目标检测的AP值提升最为明显，AP 值由48%提升至71%。检测器准度的提升说明随着降低n取值，先验框尺度逐步减小，与有效感受野匹配度逐步增加，更利于安全帽检测。

n由2降低至1时，检测器的mAP开始明显降低，此现象表明并不能因为数据集以小目标为主而无限制地降低先验框取值。对于如安全帽此类目标进行检测时，先验框取值应适当减小，但仍然需要匹配有效感受野，否则检测器性能会出现不同程度衰退。

3.5 目标检测结果

对改进前后检测结果对比，效果如图6 所示，其中图（a）、（c）为SSD300 检测结果图，图（b）、（d）为改进SSD 在相同场景下得到的检测结果图。观察对比可以看出，在安全帽数据集中，改进SSD 模型对各类目标检测准度相较于SSD300 都有较大提升，漏检数目明显降低。

图6 SSD改进前后检测结果对比

4 结束语

针对安全帽数据集以小目标为主的特点，对SSD模型进行改进，引入分支网络进行特征融合，使浅层特征图语义增强，SSD300 对安全帽检测的mAP 提升2.3 个百分点。同时改进SSD默认框设置方法，使先验框与有效感受野更为匹配，改进SSD安全帽检测模型检测准度进一步提升，SSD300与SSD512的mAP分别达到74.6%与82.5%，同时SSD300检测速率达到39.6 frame/s，本模型具有优秀检测准度并兼具良好实时性，基本接近实际应用需求。下一步研究主要关注如何进一步提高检测器检测速度，并加强检测器在不同环境条件下检测的鲁棒性。