基于深度学习的施工现场安全帽佩戴检测的研究∗

张贝贝 程 科 钱倩倩 张亚芹

（江苏科技大学计算机学院 镇江 212100）

1 引言

虽然其他行业通过自动化和人工智能在生产力方面发生了深刻的变化，但建筑业在全世界数字化程度的排行仍是很低，而它也是最危险的工作领域之一。根据美国劳工统计局（BLS）的数据，建筑业的致命伤害率高于所有行业这一类别的全国平均水平［1］。世界各地每天都有人因此丧命，可达死亡1.57 人每天［2~4］。但由于各种原因，虽然人们受过教育和培训［5］，却有时也会不遵守。前人已经有了很多关于安全帽佩戴自动检测的研究［6~19］。其中，基于Vision 的技术［6~8，10~14，17~19］与基于传感器的高成本解决方案［9，15~16］相比占据主导地位。包括行人检测［20~21］、安全帽定位和安全帽识别。Wu 等［19］提出了局部二值模式（Local Binary Patterns，LBP）、hu 氏不变矩（Hu Moment Invariants，HMI）和颜色直方图（Color Histogtams，CH）组成的用于描述颜色的符号，Li等［8］开创了ViBe 算法和C4 用于对人的目标分类检测，随后Mneymneh 等［10］找到了利用标准差矩阵（Deviation Matrix，SDM）对动态目标完成检测，这是利用聚合通道特征的目标检测器［23］对人体进行分类的网络架构，之后，又有方向梯度直方图（Histograms of the Oriented Gradients，HOG）特征来级联目标检测器，但都有不少局限性。再来，仅仅利用深度学习的目标检测技术，例如Faster RCNN，根据文献［24］所述，非常依赖于上层去提取特征信息而忽略了下层，这会影响NHU 工作人员的检测效果。所以安全帽佩戴检测仍然是一个挑战。首先，不同的现场条件导致了背景和行人状态的巨大变化，使得特定场景下的研究难以推广到其他施工现场。同时，小尺度个体的存在，使得它们很难与复杂的背景和其他重叠的场景区分开来。另外，同一图像区域中，他们的部分位置也会相互遮挡。最后，到目前为止，几乎很少有公开可用的开放数据集，种种问题与困难都在加大实验难度。

本文根据建筑工地安全帽佩戴检测的任务。明确目标是检测施工现场人员是否都戴着安全帽，如果是，那么安全帽的颜色是什么？为了解决这一问题，引入卷积神经网络（CNN），它能主动学习的能力使之在计算机视觉领域具有优越的性能。本文的工作是基于SSD［22］算法进行的，但是，仅仅如此的话，检测往往会缺失小尺度目标的地方。其固有的特性是在高分辨率的底层具有弱特征性，即使构建了一个金字塔特征层次也无法完美的弥补缺陷。为了有效地检测到小尺寸目标，本文提出了基于Caffe-SSD 框架实现的SSD 算法，结合反向渐进注意力机制（RPA）提出了一种新的聚合框架，将显著强的信息特征逐步传回到底层网络中。这样，可以有效地学习来自底层的信息特征，这些特征可能对应于较小尺度的对象，从而对检测结果做出一些贡献。

进入21世纪以来，随着互联网技术的进一步发展，新型信息技术不断走入人们的日常生活并成为其中重要的组成部分，有关数字劳动的探讨再次成为当代传播政治经济学界争论的热点问题。传播政治经济学者将这一问题与西方马克思主义的社会批判理论结合起来，使得当代的数字劳动问题探讨转向了数字劳动的政治经济学批判。

总而言之，本文主要做了以下几点：

1）建立了一个新的安全帽佩戴检测数据集。由现场采集得到。

结构优化是给定位移、应力、材料和目标函数，在设计空间内寻求结构中构件布局及节点连接方式的最优化，保证外载荷传递到结构的支撑位置以及其他的性能最优.拓扑优化的前身是桁架优化.20世纪80年代，连续体结构的拓扑优化分析成为热潮，Bendsoe与Kikuchi[19]最先提出了微结构概念和基于材料均匀化的思想.此后，其他一些更为简洁的方法，如均匀化法、水平集法、变密度法等，相继建立.

2 实验与优化

2.1 数据集优化

设置的任务场景中，图像中包含了许多信息，其中包含很多无用的信息，如背景信息等都会对图像检测算法产生了许多负面效果。为了突出强调图像中必须信息的可识别性和可检测性，同时简化图像信息数据，提升算法运行速率，辨别精度和可靠性。可以先对图片进行去噪和对比度增强。与此同时，为进一步增加数据的多样性，还可以采用数据增强。

数据增强可以分为离线性增强和在线性增强。两种方法的实质都是通过随机旋转图像，裁剪图像，改动图像色度（H），饱和度（S），亮度（V），尺寸等实现数据增广［25］。本次实验采用的第二种方法对不平衡的数据集进行扩充。即对caffe-ssd 源码进行了修改，再通过网络结构给参数赋值，进行系统图像增广。

根据式（2），只有当每个（θl）足够复杂，SSD 才能性能良好。通过复杂化，它意味着θl具有足够的分辨率来表示特定尺度目标无法检测到小尺寸目标，因为高分辨率的θl-n中特征固有的弱预测性。我们提出了一个反向渐进注意力驱动框架，它可以智能地选择特征进行聚合。生成强大的注意功能来进行安全帽边界框预测。与原SSD相比，该框架可以定义如下。

2.2 数据集统计

6上105-2工作面顶板结构复杂多变，理论计算参数多且难以获得。从实测矿压数据出发，确定支架合理工作阻力是有效的方法。

表1 每个类的实例数标签“None”表示未戴安全帽的人

2.3 网络模型与结构

基于深度学习的目标检测算法，可以分为两大类别：两级式（two-stage）检测框架和单级式（one-stage）检测框架。本文采用了一种基于caffe-SSD 框架的单级数据驱动CNN 方案。SSD 是一种通用目标检测器，它建立在处于末尾的一些卷积层的“骨干”网络上。SSD 的思维是在不同层上运用中间特征映射不同比例尺寸，在高分辨率特征映射图中检测相对较小的目标，在低分辨率特征映射图中检测较大的目标。

其中：

对于小尺度的安全帽佩戴检测，由于重复的下采样操作，如池化和卷积等，低分辨率的顶层包含检测的特征图较少。比较之下，高分辨率的底层保留了丰富的空间细节信息，但也包含语义上较弱的特征图。现有的多层次特征图结合的方法由于细节冗余和背景干扰等原因存在不少问题。在显著目标检测［27］和语义分割［28］中，学习在每个像素位置对多尺度特征图进行加权的注意力机制越来越普遍。在注意力机制的启发下，提出了反向渐进注意力（RPA），给多层次的内容信息逐步编码，以生成更抽象的特征，用于安全帽佩戴检测。在给定第（l-1）层中的特征θl-1∊RC/2×H×W的情况下，空间注意图是通过下式而来。

4、调控土壤酸度。水稻幼苗喜欢在酸性土壤中生长，这与他的祖先长期生长在酸性沼泽土地上有关。我地盐碱化土壤多，育苗土虽经严格选择，PH值仍然偏高。而PH值越高，越容易染病。为抑制立枯病病原菌，培育壮秧，从做床播种到起苗插秧，自始至终都需要用稀释的硫酸水（PH3—4）或调酸壮秧剂调控苗床土酸碱度。秧苗一叶一心期PH值4.5，二叶一心期PH值5.0，三叶一心期PH值5.5，以后以PH值不超过6.0为宜。

本实验建了一个新的安全帽佩戴检测数据集。共有2116 个图像即12595 个实例，分为1058张即6213 个实例用于训练和1058 张即6382 个实例用于测试。这些图像涵盖了各种不同的场景和照度，也包括部分被遮挡的案例。检测的每个实例都用一个类标签及其边界框进行注释。发现，该数据集中的小尺寸实例（面积≤322像素）数量最大，这给检测带来了挑战。为了研究对不同尺寸物体的检测能力，把实验数据集分为三个规模类别：小物体（面积≤322 像素）、中物体（322 像素<面积≤962 像素）、大物体（面积>962 像素）。如表1，标签“None”表示未戴安全帽的人。

其中θl是第l 层中的特征映射图。Fl表示将第（l-1）层中的特征映射图转换为第一层的非线性映射图，其可以是卷积层、激活层（ReLU）和池化层等的组合。F1（X）是第一个将输入图像X 传输到第一层特征图的非线性块。此外，τl(·)将第l 层的特征映射图转换为特定尺度的检测结果。最后，T 结合所有n个中间结果，实现最终的检测结果。

2014年，国务院发布《物流业发展中长期规划》（2014—2020年），把物流业的产业地位提升到基础性、战略性高度。2015年十八届五中全会提出了“创新、协调、绿色、开放、共享”五大发展新理念。同年，国务院把“互联网+”高效物流列入“互联网+”重点行动之一。

在ssd 的源程序data_transfer.cpp 程序中添加数据增广功能。DistortIm-age 这个主要是修改图片的亮度、色度、对比度和饱和度。在annotated_data_layer.cpp 增加颜色扭曲函数。在im_transforms.cpp 中实现RandomHue（）函数，AdjustHue（）函 数，RandomSaturation 函 数，AdjustSaturation 函数，RandomBrightness函数，AdjustBrightness各个函数，主要是实现随机更改图像中的某个参数。之后再编写ApplyDistort 函数，经过调用ApplyDistort 函数来完成随机更改图像。

其中Φl是采用的的反向渐进注意函数，我认为这是特征图里贡献最大之处，并且它输出了与θl又相同维度的新特征来表示Φl。与式（1）中的θl不同，Φl现在不仅与θl共享相同的分辨率，而且将提取的特征合并到更深层。

某城市小区是比较普遍的居民小区，共27层，建筑面积为98520m2，该高层建筑卫生间排水时使用一般排水管材无法达到降噪的效果。该项目排水立管设计排水流量大于只设置伸顶通气管普通单立管排水系统的最大设计排水能力时因管件及管道均为内螺旋，可安装在卫生间或管道井面积较小难以设置专用通气管的部位。采用U-PVC螺旋管及速流管件，确保工程的安全和质量，缩短工期，节约资金，降低排水噪音给居民生活带来的困扰。

从数学上讲，它可以定义为如下：

其中*表示卷积运算，Ws∊RC/2×3×3和Wm∊R1×k×k表示卷积滤波器。和bmR1是偏差参数。向上UP（·）2表示向上采样特征图的系数为2。现在语义强特征θl-1的空间注意权αl-1∊[0,1]1×2H×2W已经产生了，这为θl选择性地产生新的注意力特征提供了指导，如式（6）中所计算的。

3 实验结论

实验都基于VGG1 模型，首先VGG16 是在ILSVRC CLS-LOC 数据集预先训练的［29］。我们使用初始学习率为0.001、动量为0.9、衰减为0.0005 和batch 设置为2 的随机梯度下降算法（SGD）进行优化训练。所有实验都是在同样设备上进行的。且都是基于公开的Caffe的据和CNN模型［30］。

2）与往常的多阶段方法相比，本文设计SSD 算法在Caffe-SSD 框架下的目标检测，是一个一阶段的端到端的方案。此外，还对网络结构的两个模块进行了优化：1）数据增强模块。本文采用在线增强方法增加数据增广功能。2）注意力模块。本文提出了一种新颖的多尺寸特征检目标测结合反向渐进注意力机制的聚合框架。

3.1 评价指标

采用广泛使用的均精度均值（mean average precision，mAP）和每类平均精度（perclass average precision，AP）来评价不同模型的性能。定义如下：

本实验采用了基于简化的VGG16［26］网络结构。输入到multibox 的特征金字塔是由不同阶段的RPA 模块生成。关于每个RPA 模块，卷积层依据不同阶段的感受野利用不同尺度的卷积核。最后的结果通过安全帽分类和bounding box 回归生成［22］。

TP（True Positive）：将 正 类 预 测 为 正 类 数（IOU ≥0.5的正确检测数）；

TN（True Negative）：将负类预测为负类数；

FP（False Positive）：将负类预测为正类数误报（Type I error）；

FN（False Negative）：将正类预测为负类数→漏报（Type II error）。

3.2 结果分析与比较

首先，对本次实验的数据集自主创建了两个标准线，包括mAP 和AP。目标检测所得的结果如表2、3 所示。其中表2 是全尺寸检测模型，表3 是实验提出的模型。如表所示，低分辨率SSDRPA300-model 更加精确，其mAP 比Faster R-CNN多了9.36%，比SSD300多了2.53%，如果把512×512的图像输入到模型中训练，mAP 最高达到82.21%，这比SSD512 高了0.61%（82.21%vs 81.60%）。结果也表明，不同尺寸的输入图像对检测性能影响很大。表3 中看出，当采用多尺度特征图进行预测时，检测精度显著提高。而以前采用的基于R-CNN 的模型，由于单个尺寸的特征映射转换为Conv5 进行检测的限制，导致性能最差。此外，研究结果也显示了该模型对小尺寸检测有着明显的优越性。当输入的分辨率是一样的情况下，SSD-RPA300 在小尺寸安全帽检测上的性能要优于其他模型，如表3 中显示的SSD-RPA300 比ResNet-50［31］+FPN［32］高出1.63%。当输入的图像尺寸增加时，SSD-RPA512 模型仍然能达到最高的mAP（65.71%），比SSD512 高 出0.9% 。 尽 管SSD-RPA512 对于图像尺寸较大的实例没有显著的改善，在检测中大实例时性能也略有下降，但它证实了RPA 有助于提高安全帽佩戴检测的性能，特别是在图像尺寸较小时。大中型实例检测性能下降的原因可能是过分强调小尺度下的特征提取，使得顶层对大中型实例的特征提取性能降低。

表2 全尺寸的检测结果（这里采用IOU阈值为0.5）

表3 实验的检测结果（这里采用IOU阈值为0.5）

图1 展示的是不同尺寸实例的PR 曲线。从图中可看出，与大、中尺寸物体的检测相比，顶层信息的缺失给小尺寸安全帽的检测带来了不小的的挑战。就此情况下，RPA依旧可以聚合多层图像特征从而达到提高性能的效果，对小尺寸目标检测起到了优化。

图1 小型、中型、大型实例的PR曲线

3.3 消融实验（Ablation Study）

为进一步了解RPA 的特性，继续研究了RPA每个阶段的性能影响。为了衡量其优势的程度，采取逐步删除RPA 模块进行比较。为了保证凸显对比性，采用相同的设备输入数据集进行模型训练与测试。从表4 可以看出，RPA 模块较少时，mAP 也会减少，从73.72 一直下降到73.16。可见，将特征从顶层反向传送到底层只需要很小的计算量就能有效地提高性能。

表4 RPA各个阶段对性能的影响

4 结语

在企业作业和工地施工过程中，平安永远高于所有。增强现场人员安全是展开智能工建工地的必备要求。

9月底至10月中旬，每亩茶园施腐熟饼肥100～150公斤或商品畜禽粪有机肥150～200公斤+38%茶树专用肥(氮-五氧化二磷-氧化钾=18-8-12或相近配方)30公斤，有机肥和专用肥拌匀后开沟15～20厘米或结合深耕施用。

(4)C真空泵入口阀门内漏：在该泵备用时，空气从真空泵出口处被倒吸入运行真空泵入口，漏点性质为大漏点，泄漏原因为阀门的密封面损坏，需进行研磨处理。在2018年的C级检修中，对此阀门进行了处理，处理后漏点消失。由于此类型漏点比较隐蔽，查找时不易被发现，需重点关注。

本文提出了一种基于CNN 的主动检测确认施工人员戴安全帽的办法，并识别出相应的安全帽色彩。本实验采用SSD 算法在Caffe-ssd 框架下实现目标检测，前期先对图像进行优化和分类。发现安全帽是小尺寸目标物，为了实现对小尺寸的目标物更好的检测，想到使用注意力机制进行优化，即反向渐进注意（RPA）加到SSD 框架中，结果表明，此模型对不同尺寸的输入条件，展示出优异的性能。但小尺寸安全帽检测的精度需进行进一步的提升，并将安全帽检测与目标跟踪技术相结合，实现实时安全监测。