轻量化超参数卷积神经网络的安全帽检测算法

2022-08-01 04:02李青云卢峥松林思伟
现代计算机 2022年11期
关键词:安全帽卷积深度

李青云,李 燕,2,卢峥松,林思伟

(1.南京信息工程大学自动化学院,南京 210044;2.无锡学院物联网学院,无锡 214105)

0 引言

随着深度学习技术的发展,计算机视觉技术已经逐渐应用到社会生产生活的各个领域。在电力生产、建筑业等行业中,未佩戴安全帽是造成安全事故发生的重要原因之一。根据《中华人民共和国住房和城乡建设部安全事故通报》,2014~2018 年间,高空物体打击事故从2014年的63起,逐渐上升至2018年的112起。本文通过提出一种轻量化超参数卷积神经网络,能对施工人员的安全帽是否佩戴进行检测,减少安全事故的发生。传统基于机器学习的安全帽检测算法需要人工提取目标特征。如尺度不变特征变换匹配法(Scale-Invariant Feature Trans⁃form,SIFT)、方向梯度直方图(Histogram Of Oriented Gradient,HOG)特征、可变性的组件模型(Deformable Parts Model,DPM)、加速稳健 特 征(Speeded Up Robust Features,SURF)等。现在基于目标检测的安全帽检测算法具有更大的优势。主要分为以SPP-Net(Spatial Pyra⁃mid Pooling Network)、Fast RCNN(Faster Re⁃gions with CNN)等为代表的二阶段网络和以SSD(Single Shot MultiBox Detectpr)、YOLO(You Only Look One)为代表的单阶段网络。二阶段网络通过区域提取和分类两个阶段来实现对目标的检测,具有较好的检测性能,但存在计算量过大而导致检测速率慢的缺点。单阶段网络直接对目标的高级特征进行识别,避免了复杂的特征提取与检索,很大程度上提升了检测速率,但由于单阶段网络对各级网络的特征单独进行预测,底层特征缺少语义与全局信息,容易造成小目标漏检的情况发生。

基于计算机视觉的安全帽检测任务,Long等提出了一种利用单镜头多箱探测器(SSD)和安全帽精密检测模块对安全帽佩戴情况进行精确检测的方法。在该方法中,特征映射的权值更新不仅依赖于SSD 网络的检测结果,还依赖于安全帽精确检测模块。安全帽精确检测模块对安全帽的大致位置进行特征提取,再将特征输入到分类器和回归器中,与正确标注进行比较,并更新权重,可获得良好的检测性能。李华等提出了一种基于改进Faster RCNN的安全帽佩戴检测方法。该方法采用Fo⁃cal loss替代原本的损失函数,解决了数据集中类别不平衡的问题。引入ROI Pooling 使安全帽预测区域更加匹配。改进后的Faster R-CNN网络的平均精度有所提高,更加适应业务需求。Liu等于2017年提出一种模拟人类视觉系统中感受野(Population Recrptive Field,PRF)结构的RFBNet。 其 中 感 受 野 模 块(Recrptive Field Block,RFB)借鉴了多分支卷积模块的思想。采用不同大小的卷积核与不同扩张率的空洞卷积来得到最终的感受野排列,可以提取更为精细的目标特征。

在RFBNet 中,由于骨干网络和输入图片尺寸的不同,可以将RFBNet分为以MobileNet为骨干网络的RFB-MobileNet 和以VGG为骨干网络的RFBNet-300 和RFBNet-512 两个版本。本文在RFB-MobileNet检测算法的基础上,提出了DO-RFB-MobileNet 算法。首先,在骨干网络中融合多频谱通道注意力模块FcaNet,使模型网络更专注于安全帽和人脸特征的学习,获得更多的细节信息以提高模型的检测精度。其次将模型中RFB 模块和FcaNet 模块中的常规卷积替换为深度超参数化卷积DO-Conv。在不增加计算复杂性的情况下,提升模型的检测性能。实验结果表明,本文的模型网络DORFB-MobileNet 在具有较高的检测精度的同时,还具有较快的检测速度。

1 背景知识

1.1 RFB-MobileNet网络

特征提取是目标检测网络中十分重要的环节,在目标检测任务中,网络模型为了提高浅层特征的表示能力,更有效地进行特征提取,不断加深主干网络的深度和复杂程度,虽然检测精度有所提高,但是加大了网络的计算复杂度,降低了网络的检测速度。现阶段对于目标检测任务在实际中的应用,如自动驾驶、人脸识别等,都要求网络具有实时性,这就要求模型网络在具备实时性的前提下,有较高的检测精度。

MobileNet 是一种轻量型的卷积神经网络,与传统卷积神经网络相比,主要区别在于该网络使用了由深度卷积与逐点卷积构成的深度可分离卷积。深度卷积的每一个卷积核对应一个通道,且一个通道只与一个卷积核进行卷积,得到的特征图数和输入的通道数一致。逐点卷积运算会将上一步的特征图在深度方向上进行加权组合,生成新的特征图,得到的特征图数和卷积核数一致。在较为复杂的网路模型中,将其骨干网络替换为MobileNet 网络,可以大大降低模型的复杂程度,在保持模型拥有较高的检测精度的同时,具备实时检测的效果,便于模型在实际场景中的应用。

本文所使用的网络框架为RFB-MobileNet。该网络在RFBNet 网络框架的基础上,使用轻量卷积网络MobileNet 代替原有的骨干网络VGG16,并去掉MobileNet 网络中的最大平均池化 层、 全 连 接 层 和Softmax 层。 在RFBMobileNet 中,骨干网络总共有27 个卷积层,其中包括1 个标准卷积层、13 个深度卷积层和13个逐点卷积层。新添加的三个深度可分离卷积中有3 个深度卷积层和3 个逐点卷积层,还有RFB-s 模块和RFB 模块。将骨干网络中的第12、13 个深度卷积层、RFB 模块、新添加的第14、15、16 个深度卷积层共6 层特征图作为锚点框的提取层,其中第12 个深度卷积层要与RFB-s模块相连接。其结构图如图1所示。

图1 RFB-MobileNet算法结构图

1.2 通道注意力模块FcaNet

注意力机制是增强卷积神经网络性能的一种重要方式。SE-Net 首次提出了通道注意力机制,有效地建立了特征之间的空间相关性,并提升了卷积神经网络的性能。随后,基于SENet 模型,具有多频谱通道信息的注意力模块FcaNet 被提出。由于使用全局平均池化(GAP)没办法捕获丰富的输入信息,得到的特征信息缺乏多样性。而FcaNet 使用有限制的多个频率分量代替只有最低频的GAP,通过集成更多频率分量,不同的信息被提取从而形成一个多谱描述,可以得到多样性的特征信息。

FcaNet 注意力模块通过学习获取不同特征通道对应的权值,再根据权值的大小提升有用特征的表达能力的同时抑制无用特征的表达能力。首先输入被沿着通道划分为个部分[,,…,X],对于每个部分-',计算其2D-DCT频率成分并作为通道注意力的预处理结果。此时有公式(1):

其中:,是频率分量的2D 索引,Freq是-'维的向量。

将上述频域成分通过concat 进行组合,整体的预处理向量为公式(2):

此时就是通过计算得到的多频谱向量,该多频谱向量的通道注意力可以写成公式(3),其操作示意图如图2所示。

图2 FcaNet操作示意图

1.3 深度超参数化卷积层

在深度超参数化卷积层(DO-Conv)操作中,对于网络的输入特征,首先使用权重∈ 进行Depthwise 卷积,对输出结果 进 行 权 重 为∈R 的 传 统 卷 积,且D≥×。其中C为输入的Feature Map 的通道数,×为卷积核作用的窗口尺寸,C为这个卷积的输出Feature Map 通道数,且D个卷积核作用于窗口×,可输出D个特征。上述运算可表示为=( ),*,其操作示意图如图3所示。

图3中○代表进行Depthwise 卷积操作,且本文中的Depthwise 卷积操作不改变输入特征的维度;*代表传统卷积操作。

图3 深度超参数化卷积层操作示意

计算过程可表示为*(○),即:对输入特征进行Depthwise 卷积操作,即=○,得到中间变量。对中间变量进行传统卷积操作,即=*,得到最终结果。

2 轻量化超参数卷积神经网络

针对施工环境的复杂性,为了平衡检测速度和检测精度之间的需求。本文选择在骨干网为MobileNet 的RFB-MobileNet 上进行改进。首先,将基于DCT 频率域的通道注意力模块FcaNet 添加到骨干网络中,提升卷积神经网络对于安全帽特征和人脸特征的学习能力。其次将RFB 模块和FcaNet 中的常规卷积用DO-Conv代替,在不增加计算量的同时,进一步加强RFB 模块对于模型检测性能,建立一种轻量化的可实时检测安全帽的高精度神经网络。

2.1 融合通道注意力模块FcaNet

FcaNet 注意力模块通过学习获取不同特征通道对应的权值,再根据权值的大小提升有用特征的表达能力的同时抑制无用特征的表达能力。首先输入被沿着通道划分为块,并让每一块分配不同的频段。然后通过自动学习确定不同维度特征的权值,最后将学习得到的特征逐通道加权到先前的特征上,实现对原始特征的重新标定。本文将FcaNet 网络添加到MobileNet的第三个逐点卷积和第五个逐点卷积,融合之后的骨干网络如表1所示。

表1 融合骨干网络表

2.2 深度超参数卷积

在目标检测网络中,RFB-MobileNet 没有使用检测效果好、但计算量大的主干网络,而是使用了轻量型的主干网络MobileNet 结合RFB 模块,提取了高判别性的特征。再将RFB 模块中的常规卷积层替换为深度超参数化卷积层。RFB 模块融合深度超参数化卷积前后示意图如图4 所示,改进前、后的RFB 模块分别对应图4(a)和图4(b)。

图4 RFB模块融合深度超参数化卷积前后示意图

使用改进后的RFB 模块替换掉网络中的RFB 模块,将FcaNet 中的常规卷积替换成深度超参数化卷积。改进后的FcaNet 称之为DOFcaNet。最终算法网络结构图如图5所示。

图5 DF-RFB-MobileNet算法网络结构图

2.3 损失函数

损失函数是目标检测算法的关键部分,本文算法的损失函数由置信度损失函数和位置损失函数两部分组成。置信度损失函数为(,)、位置损失函数为(,,)。函数表达式为公式(4):其中,为输入样本,为置信度,为预测框,为真实框,为匹配到默认框的数量,为置信度损失,为位置损失,为分类和回归的权重系数。

3 实验

3.1 实验环境

在服务器上搭建进行训练所需的环境,服务器硬件配置为CPU(intel i5 10400F)、GPU(GTX1650)、主板(微星B460M)、内存(Cor⁃sair 16G)、 硬 盘(2TB)。 软 件 配 置 为ubuntu18.04 操作系统、CUDA10.2、Pytorch1.7.1等。实验数据集采用开源的安全帽SCUTHEAD 数 据 库(https://github.com/njvisionpower/Safety-Helmet-Wearing-Dataset)。该数据集下共有7024 张图片,其中5458 张图片作为训练集,606张作为验证集,960张作为测试集。

本文中的实验均设置输入图片大小为320*320、batch_size 为4、优化器为SGD。在训练过程中,学习率调整策略采用1cycle 策略,初始学习率为0.000001,在5 个epoches 内逐渐上升至0.004。此后分别设置三个学习率衰退节点(150epoches,200epoches,250epoches),在每个节点,学习率的衰退值gamma为0.1。经过280个epoches充分训练后,得到了相对应的训练模型。

3.2 实验结果

如图6所示,左边为原算法对不同图片的检测结果,右边为本文算法对应的检测结果。从检测结果来看,原算法的漏检率较高,且对于小目标和遮挡目标的检测效果较差。本文算法漏检率较低,在人脸目标和安全帽目标的精度上均有明显提升。实验结果与预期符合。

图6 算法改进前后结果对比图

表2展示了RFB-MobileNet 算法和本文算法(DO-RFB-MobileNet)的对比结果,当使用DO-RFB-MobileNet 算 法 时, Hat 的为0.7972,相比于改进之前提高5.13%;Person 的为0.6881,相比于改进之前提高9.02%;为0.7427,相比于改进前提高7.08%。

表2 本文算法和原算法mAP对比

表3展示了以MobileNet 为主干网络的消融实验。实验一为原版RFB-MobileNet,网络的为67.19%;实验二为加入DO-RFB 模块后的改进网络,为71.78%。实验二相比于实验一,提升了4.59%,说明将RFB 模块中的常规卷积替换为DO-Conv 卷积,有利于网络性能的提升。实验三为加入DO-FcaNet 模块后的改进网络,为0.7358。实验三相比于实验一,提升6.39%,说明在骨干网络中加入DO-FcaNet 模块,加强对图像中安全帽和人脸的特征学习,有利于网络性能的提升。实验四为将DO-RFB 模块和DO-FcaNet 模块都加入模块后的最终改进网络,为0.7427。

表3 消融实验

实验四相比于实验一,提升了7.08%。相比于实验二,提升了2.49%。相比于实验三提升了0.69%。可得出结论,本文中各个模块的改进均有效。

图7展示了在使用同样的训练策略下的消融实验检测结果对比图,可以看出实验四(本文算法)相对于其它三组实验,检测效果上有较大提升,前三组实验中存在漏检情况,而实验四不仅无漏检情况,且在检测识别率上也有显著提高。本文消融实验检测结果与消融实验表结果互相印证。故得出结论,本文改进有效。

图7 消融实验检测结果对比图

4 结语

本文针对工业生产作业环境下的安全帽佩戴检测问题,构建DO-FcaNet 模块来增强网络对于安全帽特征和人脸特征的学习,采用DORFB 模块在不增加网络计算量的前提下,提高网络的收敛速率和网络性能,从而建立轻量化高精度的安全帽佩戴检测网络DO-RFBMobileNet。通过实验证明,该网络在常规施工场景下,能有效地实现安全帽佩戴识别,检测精度较高,可实现实时检测,符合业务需求。

猜你喜欢
安全帽卷积深度
基于全卷积神经网络的猪背膘厚快速准确测定
四增四减 深度推进
深度思考之不等式
基于图像处理与卷积神经网络的零件识别
基于深度卷积网络与空洞卷积融合的人群计数
爆笑四格
简约教学 深度学习
卷积神经网络概述
危险
“多功能”安全帽