浅谈图像识别+物联网在高速公路施工安全管理中的应用

庞星宇

摘要： 目前深圳正在大力推进高速公路等交通基础设施的建设，由于施工安全管理手段缺乏、建筑工人安全意识疏忽导致施工安全事故频发，亟需引入合适技术去改善施工安全管理水平，减少事故伤害。本文初步调研了目前行业现状以及主要需求，计划运用深度神经网络、生成对抗网络、图像处理算法等人工智能技术以及定制化物联网设备，对工程现场及施工生产过程中关键的人、设备、环境变化进行实时分析计算，实现后台对高速公路工程施工的数字化、精细化、智能化生产安全监测，探索解决未按规定佩戴安全帽、未系安全绳和挂钩、临边防护缺失等长期困扰施工安全管理的难题。

关键词：工地安全管理;图像识别;物联网;可行性分析

中图分类号：U416 文献标识码：A 文章编号：1672-9129（2020）10-0088-03

1 基本情况

1.1应用背景。当前，深圳正抢抓建设粤港澳大湾区和支持深圳建设中国特色社会主义先行示范区“双区驱动”的重大历史机遇，携手港澳及珠三角各市共建国际一流湾区和世界级城市群。深圳正大力推进“东进、西协、南联、北拓、中优”战略，大力投入建设四通八达的交通基础设施：公路、地铁、铁路等构成的庞大路网，犹如城市的血管，串起每一个遍布城市各个角落的交通枢纽工程，奠定了深圳市大湾区主要交通枢纽城市的地位。高速公路等交通基础设施的迅速延伸蕴含着广大高速建筑工人夜以继日的辛勤劳动。然而，高速公路建设快速发展过程中由于施工安全管理手段缺乏、建筑工人人员安全意识疏忽导致了很多起施工生产安全事故。深圳的建筑施工生产安全事故数占全省的三成以上，“遥遥领先”省内其他地市，这个严峻的数据反映了深圳在发展过程中施工安全管理手段的滞后，深圳亟需引入先进技术去改善施工安全管理水平，减少事故伤害。

1.2主要内容。本文计划以超高清智能摄像机和定制化物聯网挂钩为基础，通过高性能图像传感器结合物联网技术以及人脸识别等视频智能化分析技术实现对施工人员违规作业状态进行智能判别的同时进行现场广播自动告警并同时报送远程管理人员预警，基于摄像机自带嵌入式处理器的神经网络内核实现对安全帽、安全绳、临边防护围栏的智能分析和报警，采用NB-IoT技术的物联网实现对挂钩状态的监测，最终实现对上述三大施工现场人员不安全行为及时报警和预警。

主要研究内容包括：

（1）安全帽的智能视频检测方法研究;安全帽检测采用深度神经网络模型，通过人头检测和是否带安全帽的分类实现安全帽检测。

（2）安全绳的智能视频检测技术研究和物联网挂钩的研究;该算法是基于人体检测算法、安全带检测算法，融合物联网挂钩对锚定状态的采集，通过数据综合判别实现对高处作业人员不安全行为的预警。

（3）临边防护检测算法的研究;将通过临边防护缺失检测是针对临边防护围栏进行实时监测，如发现监测区域出现较大面积的防护缺口时，由系统自动分析并产生警告上报。

2 行业现状及需求分析

2.1现状分析。

（1）安全帽、安全带智能检测技术的应用现状。安全帽和安全带检测在人工智能技术上研究者并不多，安全帽检测相对多一些，安全带则属于空白。针对安全帽的检测，大连理创科技有限公司开发了一种基于卡口的安全检测设备[1]，能够有效的在出入口检测出工人是否佩戴安全帽。但缺陷也很明显，该识别只能放在门口等固定位置，无法在条件复杂的开阔工地进行大范围监控，不适合高速施工上的应用。

通过视频进行大范围监控是一个相对上述办法高效的多的方法，然而，通过视频就需要研究安全帽的检测算法，这块属于图像分类、图像识别领域，这方面由广东工业大学提出了基于特征工程的检测方法[2]，通过获取多幅背景环境的深度图像、佩戴安全帽的深度图像以及未佩戴安全帽的深度图像，分别提取佩戴安全帽与不佩戴安全帽的人体头部图像的HoG特征，生成支持向量机模型，实现了对安全帽特征的有效提取，实现了安全帽的检测。但安全帽特征工程在复杂的工地实现起来其特征工程提取将工作量巨大，难以取得良好效果。

2019年4月，由伯克利大学等机构提出了基于热力图的检测算法CenterNet[3]，在提高精度和速度的同时，有效的解决了yolo等基于锚点的算法的缺陷。在准确率上有10%以上的提升。

2019年11月，Google提出了基于自适应特征金字塔（BiFPN）的EfficientDe[4]目标检测算法，在速度和性能上表现优异。基于深度学习方法的人工智能技术应用于安全帽检测，不仅准确率高，环境适应能力强，而且随着技术的进步，相关算法模型在移动端的部署成为现实，这也将大大的降低部署成本。

（2）安全绳、防护挂钩技术的发展现状。近年来，随着工地施工安全意识的提高，国内外一些企业和研究机构也逐步开展了一些针对高空作业安全绳和挂钩智能检测的研究工作。

2009年，宁夏电力公司银川供电局提出了一种安全带扣环验证发声器[5]。该装置通过挂钩扣环与挂钩的接触状态触发无线电信号，并通过发声器进行安全带状态的确认。

2010年，日本藤井电工株式会社提出了一种安全带及其使用状况确认系统[6]。该系统提供了一种能够检测在挂扣了安全钩的状态下发生跌倒或坠落的情况以便能够对作业人员进行迅速救助的安全带。该装置用压力传感器和开闭传感器对挂钩状态进行检测，一定程度上实现了对挂钩的智能监测。

2012年，中国十七冶集团有限公司提出了一种用于安全绳佩戴状态的远程监测装置[7] [8]。该方法采用微动开关监测挂钩状态、陀螺仪重力加速度传感器检测安全绳晃动状态，通过无线网络实时将检测数据传递给专家系统进行智能判断，辅以智能报警装置，监测人员可通过网络集中监测不同施工地点高空作业人员安全绳佩戴情况，提升高空作业人员工作安全性。

2018年，深圳市安力达科技有限公司提出了一种基于高空作业的物联网智能安全绳的使用方法[9]。该方法使用时，当作业人员吊篮高度升高到设定高度以上，卡扣会自动锁住确保人身安全，当作业人员到达安全高度范围内则会自动解锁。

2.2業务需求分析。据广东省住房和城乡建设厅发布的2019年1-6月全省建筑施工生产安全事故通报，按照事故发生的类型划分：高处坠落事故16起，占总起数的48.48%;机械伤害事故6起，占总起数的18.18%;物体打击事故5起，占总起数的15.15%;坍塌事故2起，占总起数的6.06%;触电事故1起，占总起数的3.03%;其他伤害事故3起，占总起数的9.09%。

根据上述统计结果，高处坠落、物体打击、机械伤害、坍塌伤害占比近9成。这些造成严重人身伤害的事故原因大多数都是因为工人未得到安全护具保护，其中以三类问题最为突出：未按规定佩戴安全帽、工人高空作业未系安全绳及挂钩、工地临边防护缺失。

（1）未按规定佩戴安全帽。安全帽的主要作用是延迟并减少传递到头部和颈部的压力，吸收由撞击带来的大部分能量。安全帽的重要性不言而喻，但总有人因为各种主观或客观原因进入工地未戴安全帽，将生命置于高风险下。

（2）工人高空作业未系安全绳及挂钩。工人高空作业存在很大的安全风险，为了对工作人员的人身安全保障，要求对高空作业的工人必须采取安全措施，而现在普遍都是使用安全带来防护。

（3）工地临边防护缺失。建筑工地的临边防护是建筑施工现场保护施工人员伤害必备的一种保护设施，适用于各类建筑施工工地的安全防护，醒目的蓝色、黄色、红色或者白色可以起到提醒施工人员注意安全。

3 技术可行性分析

本文计划以超高清视频和物联网智能挂钩为基础，通过深度神经网络、生成对抗网络、帧差检测等方法，同时基于物联网挂钩锚定状态数据，实现对安全生产状况的全方面监测。下面就各个需求的实现技术途径进行详细分析。

3.1安全帽检测。安全帽检测采用深度神经网络模型，通过人头检测和是否带安全帽的分类实现。在施工现场的复杂环境下，安全帽检测难以使用传统的图像处理方法实现，而深度神经网络的发展为解决这类问题提供了高效可靠的解决途径。在计算机视觉领域，安全帽检测问题属于目标检测问题和分类问题的综合，可分解为人头检测和是否带安全帽的分类。

人头检测，即目标检测问题，考虑到工程的实际应用，使用one-stage方式，即端到端的方式（比如YoLo，SSD）。下面简单描述一下检测的基本原理（以YoLo为例）。

原理描述：首先搭建一个用于特征提取的深度神经网络，为防止网络深度过深可能导致梯度消失，采用了残差结构，特征提取下采样后再进行上采样，是最后的特征包含更不同维度的特征信息，同时在大小目标的兼顾上面做适当的平衡。

如图所示，输入一张图片，经过多层残差结构的卷积和多次下采样，不断提升特征维度，同时进行上采样操作，最后输出3个不同尺度和维度的特征向量。将最后特征映射为目标的中心位置、宽和高、分类置信度。模型的训练依赖数据的同时，损失函数是非常重要的。损失函数包括位置损失函数、置信度损失函数和分类损失函数。

位置损失函数：预测框尽可能啮合实际目标框。其中位置损失函数的目的是让预测框对准目标物，综合评价指标就是IoU，即交集与并集的比值。

因为安全帽特征较简单，而且与人头结合才有意义，以上原理可实现人头的检测，为了检测是否戴了安全帽，如果采用检测完成后再进行是否戴安全帽的分类也是可以的。但是当场景中出现较多目标时，就必须进行多次的判断，时间上面就会叠加，可能不能保证实时同时检测频率上面将大大折扣。在检测人头的基础上高效的实现安全帽检测，我们采取在上面网络输出上面增加一项是否戴安全帽项，损失函数参考置信度损失函数，判断是否戴帽子（在数据标注时也需要增加这项），这样不管多少目标都是和目标物一起检测出来的。实现了人头和安全帽的有效检测和区分。

3.2安全绳和挂钩的检测。

（1）安全绳视频检测算法。安全绳的检测是基于目标检测和物体分类的方法，安全带要穿在工人身上才有意义，因此也是要先检测工人，然后判断是否穿戴安全带。工人的检测问题可以使用参考行人检测方法，在行人检测数据集基础上适当的增加施工现场标注了工人的数据集，增加网络模型的泛化能力。能够训练检测安全带网络的数据集是比较庞大的，数据的收集是非常困难的。为解决安全带图片数据缺失问题，考虑使用图像增强来产生更多的佩戴安全带数据。

对抗生成网络（GAN）是一种很好的解决方案，Generative adversarial networks，它包含两个网络，一个是生成网络，一个是对抗网，从二人零和博弈中受启发，通过两个网络互相对抗来达到最好的生成效果。首先，有一个一代的 generator，它能生成一些很差的图片，然后有一个一代的discriminator，它能准确的把生成的图片，和真实的图片分类，简而言之，这个 discriminator 就是一个二分类器，对生成的图片输出0，对真实的图片输出1。接着，开始训练出二代的 generator，它能生成稍好一点的图片，能够让一代的 discriminator 认为这些生成的图片是真实的图片。然后会训练出一个二代的 discriminator，它能准确的识别出真实的图片，和二代 generator 生成的图片。以此类推，会有三代，四代，┉，n 代的 generator 和 discriminator，最后 discriminator 无法分辨生成的图片和真实图片，这个网络就拟合了。

下面简单介绍一下其中的一种方法CycleGAN。CycleGAN是伯克利的学者在2017年提出的一种unpair的图像生成方法。CycleGAN的核心是优化以下Loss Function：前面两个部分是对两个mapping function的损失，最后一个部分是避免A全部映射到B的一张图片，限制mapping空间大小所做的限制。保证domain A转换到domain B还能够再转换回来，这也是CycleGAN名字的由来。使用一个稍加改进的CycleGAN进行样本扩充，并引进噪音，利用一个baseline的网络进行训练，并将造出来的图的标签平滑化，引入一个平滑超参，来一定程度上抑制假图带来的负面影响。生成对抗网络（GAN），CycleGAN只是我们用来做数据增强的一种，更多改进版本的对抗生成网络我们将应用到实际工程中。

（2）物联网挂钩状态检测实现方法。

（a）功能

为了检测工人在进行高空作业时是否将安全绳上的挂钩挂在安全锚点上，需实时检测挂钩的状态。目前市场上还没有实现这一功能的智能挂钩在实际中应用，因此实际应用中需定制开发智能挂钩，以满足实际需求。

智能挂钩需要实现的功能有：

1）实时检测挂钩是否扣在安全锚点上;

2）将检测结果实时发送给NB-IoT基站;

3）能源自给，无需充电，提高使用便利性。

（b）组成

根据以上功能需求，智能挂钩由挂钩孔状态传感器、挂钩垂直状态传感器、数据采集和处理模块、检测数据发送模块、小型锂电池和小型太阳能接收器组成。智能挂钩各组成部件除小型太阳能接收器外均设置在金属挂钩内部。挂钩孔状态传感器各点分布在环形钩内侧，小型锂电池、挂钩垂直状态传感器、数据采集和处理模块均设置在挂钩底部，检测数据发送模块设置在挂钩侧部。检测数据发送模块的发射天线开窗，防止信号被屏蔽。小型太阳能接收器布置在挂钩外表面，以便于接受太阳光照射。

挂钩孔状态传感器检测挂钩是否扣在锚点上，其挂钩孔内是否有安全杆。挂钩垂直状态传感器检测挂钩是否处于挂钩孔在上、挂钩绳在下的垂直状态。挂钩孔状态传感器和挂钩垂直状态传感器的检测数据发送给数据采集和处理模块，后者对这些数据进行采集和处理，当同时检测到挂钩孔内有安全杆且挂钩处于垂直状态时，判断挂钩已经安全的挂在锚点上。只要有一个条件不满足，即判断挂钩没有安全的挂在锚点上。数据采集和处理模块将检测结果发送给检测数据发送模块，后者将结果数据无线发送到NB-IoT基站。

3.3临边防护检测。临边防护缺失检测是针对基坑围栏和临边围栏进行实时监测，如发现临边防护监测区域出现较大面积的缺口时，由系统自动分析并产生告警上报的一系列流程。

设计方案如下：

（1）现场标定设置敏感区域进行布防。现场标定过程中，需从实时视频中框选四边形围栏区域。框选监测区域时，要求四边形框尽量贴合围栏边界;要求框选区域必须包含完整的被监测区域;要求监测区域的临边防护必须是完好无缺失，无遮挡。

（2）启动监测功能。完成标定布防后，通过管理软件启动监测功能。启动之后，由摄像机自动完成场景自学习，并自动构建背景建模。具体算法流程如下：

（a）摄像机采集一张降噪后的YUV视频帧图片，采集完成后针对监测区域进行灰度建模，并完成灰度图片的提取，完成灰度直方图统计。

（b）根据灰度直方图统计，获取灰度值的正态分布，根据正态分布曲线提取背景模板的二值化阈值T，再根据阈值T将图片进行二值化。

（c）监控过程中，以T值为阈值，将当前帧进行二值化，并采用帧差法，将当前实时帧和背景帧二值化图相减，提取两者之间的差值，帧差效果类似如下：

（4）提取帧差图的行列直方图，行列直方图可以明确表述监测区域各行和各列的灰度分布，在完成帧差之后，通过行列直方图可以分析出围栏缺失部分所占的区域坐标。然后根据区域各顶点坐标结合如下公式求得区域近似面积。

（5）将步骤（4）中的面积和已知面积阈值ST进行比较，当 S > ST 时，判定为临边防护有缺失，并根据缺失持续时间来上报告警。

4 效益分析

由于在施工现场采用了人工智能监控技术和物联网挂钩，通过高性能的传感器采集现场视频和设备状态参数，通过采用人工智能技术，有较大的可能性解决困扰高速施工多年的现场人员行为安全管理问题，将会产生显著的管理效益与经济效益，主要包括有：

（1）减少施工事故，降低施工事故成本;

（2）自动考核监督施工人员，降低日常管理人力成本并提高管理效率;

（3）事故发生后高清影像记录现场证据，降低事故后处理时间与协调成本;

（4）相对于传统模拟与数字监控，本文采用的人工智能监控前沿技术，大幅度降低传统监控的多点布设、多点维护与数据存储综合成本并大幅度提升使用效率;

（5）可扩展性强，可挖掘的应用场景广泛，一次部署，可在高速公路建设全周期内应用和优化，大幅度降低未来施工管理系统的综合开发成本;

参考文献：

[1]专利号201810931596.5

[2]专利号201710236122.4

[3]UT Austin，UC Berkeley Objects as Points https：//arxiv.org/pdf/1904.07850.pdf

[4]EfficientDet： Scalable and Efficient Object Detection https：//arxiv.org/pdf/1911.09070.pdf

[5]專利号200920143915.2

[6]专利号201010521686.0

[7]专利号CN201110417470.4

[8]王江涛. 基于物联网的安全绳佩戴状态远程监测新方法[J]. 城市建设理论研究：电子版， 2012（13）.

[9]专利号201811498925.8