基于视频大数据的施工安全监测研究及应用

郭 俊，宁志勇，王亚涛，江 龙，董晓燚

（1.北京同方软件有限公司，北京 100083；2.同方股份有限公司，北京 100083）

1 研究背景

建设施工是城市和地方经济发展的基础，2020 年全年建筑业产值达到72 996 亿元，在疫情背景下增长了3.5%[1]。建筑施工行业属于劳动密集型、安全事故频发的高危行业，这类施工项目普遍具有建设周期长、参与人员多、工地面积大、作业面复杂、人员地域分布广泛、作业环境多变、施工机械设备多、交叉作业等特点，建设施工过程常常引发诸多安全隐患，带来巨大的人员伤亡和财产损失[2]。随着中国建筑工程项目的增多，每年的事故起数以及死亡人数也随之增加，据相关统计，2015—2019 年中国建筑施工领域共发生安全生产事故3 275 起，死亡3 840 人[3]。

面对当前国内施工安全生产形势，国家政府高度重视安全生产工作的开展，近年来，依次出台了诸多纲领性指导文件，推进中国建筑业信息化持续转型，为建筑业改革发展指明方向和路径。如2020-07-28，住房和城乡建设部等13 部门联合印发了《关于推动智能建造与建筑工业化协同发展的指导意见》，明确指出以数字化、智能化升级为动力，不断创新、突破核心技术，加大智能建造在建筑业各环节的应用，要求加快大数据、人工智能、物联网应用，以新技术、新业态、新模式推动建设行业信息化变革。

在当今新兴信息技术飞速发展的大背景下，智慧工地体系作为传统安全管理转型升级方式应运而生，主要任务是依托各种先进的人工智能、物联网、互联网及BIM（Building Information Modeling）等信息化管理手段，对施工现场的数据和信息进行收集、分析及处理，实现作业现场的系统高效管理[4]。但是，智慧工地系统在安全监测方面尚处于感知阶段，仍然存在明显不足，如监测手段比较传统、单一。虽然针对施工现场的盲区安装了大量的监控摄像机以便进行可视化管理，还是主要以传统的安防监控工作方式，由人工通过肉眼对大量视频影像进行分析判断，及时发现安全隐患存在局限性，且基于机器视觉的监测方法应用偏少，并与深度学习等智能化手段结合不足[5]。

本文将人工智能（Artificial Intelligence，AI）计算机视觉作为施工安全监测应用的智能化手段的切入点。首先，强调了AI 机器视觉技术应用于智慧工地安全监测的必然性；其次，详细介绍了以AI 视频大数据驱动的工地智能化安全监测平台体系；然后，研究了AI 在智慧工地安全监测中的具体应用效果，并提出需要进一步研究的问题；最后，希望在今后的施工安全管理中，能够科学、全面、有效地将人工智能技术与其他技术手段融合运用。

2 AI 应用于智慧工地安全监测的必然性

AI 人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术学科。目前人工智能技术领域的探究及应用主要集中在图像视频识别、语音辨识、自然语言理解等。并已在诸多行业领域产生了革命性影响，广泛、深入地应用于安防、医疗、自动驾驶、金融等行业，然而，在建筑施工领域应用还远远不够，尚处于初步探索阶段。

立足于AI 计算机视觉技术应用，主要围绕算力、算法、数据、场景及服务5 大要素，其中，场景是AI应用的先决条件，在建筑行业动态施工监控过程中存在场景，如工人进入作业区没有佩戴安全帽、未按施工规定要求穿反光背心，在临边及脚手架作业未挂安全带，工人处于施工机械设备施工半径范围、工地基坑边缘未设置防护栅栏，作业区发现明烟明火等，为避免安全事故发生，亟待需要利用智能化手段，快速识别出这类安全隐患。基于视频图像的AI 视频分析技术可以解决施工安全管理的这类难题，不仅可以识别施工人员的状态、人员行为、物料、危险环境等信息，还可以进行预先设定危险区域、危险时间、危险操作行为等，对出现安全隐患的状态进行提前告警，确保施工安全[6]，因此，通过运用AI 视频分析技术加强施工安全监测势在必行。

当前，国内外业内许多学者已对基于AI 的智慧工地施工安全预警与管理进行大量探究，如FANG 等[7]利用Faster R-CNN 方法自动检测施工现场人员是否佩戴安全帽，且验证了该算法在施工现场的各种视觉条件下检测的有效性；熊若鑫等[8]在施工现场动态且杂乱场景下，建立避免干扰的数据集并搭建好模型，实现对施工现场人员姿态的实时检测；高寒等[9]利用卷积神经网络搭建双模单高斯模型，然后使用摄像头获取施工现场图像，并使用搭建好的模型进行施工人员侵入行为判别，丰富了施工安全管理手段；任中杰等[10]将计算机视觉与火灾预警结合，建立定量化烟火预警模型并在实际场景下模型验证，得到较为准确的结果；CHEN等[11]提出了一种基于深度学习的多尺度特征提取的安全带检测算法，并主要应用于复杂道路背景；LUO 等[12]采用自主研发的深度学习模型框架自动估算在施工现场视频中机械设备的状态，进而评估施工现场的安全状况。

在施工现场安全隐患识别研究方面，虽然现有AI视频分析技术及应用已取得一系列成果，但目前还是一些特定化的基础研究，大部分仅限于特定场景下的一些碎片化的安全监测运用，面对施工现场多变的复杂场景，没有形成体系化的智能化安全隐患管理研究，以及规模化的人工智能实际应用或落地应用效果不佳。基于此，充分利用工地现有视频摄像头及移动端获取的视频图像，围绕施工现场作业人员的不安全行为、物的不安全状态和重要环境区域的不良条件，开展以AI 视频大数据技术驱动的工地智能化安全监测平台研究应用显得尤为必要。

3 AI 视频大数据驱动的安全监测平台

3.1 安全隐患视频大数据

安全隐患视频大数据是指涉及施工场地安全隐患的视频与图像格式的数据，按照其来源主要分为摄像机监控视频、人工移动巡检图像、无人机巡视录像、移动机器人回传视频数据，其中摄像机监控视频是主体，安全隐患视频大数据同样具有大数据的“4V”基础特性，即大容量（Volume）、多样性（Variety）、速度快（Velocity）和价值高（Value）。

数据规模容量巨大。根据中国建筑业协会发布的《2020 年建筑业发展统计分析》数据，房屋施工面积149.5 亿m2，比上年增长3.68%，增速比上年提高了1.36%。为确保工地施工过程中的人员、设施安全，需要部署大量的视频监控点位，按照工程项目建筑面积每增加2 万m2，应增加1 个监控点位估算，2020 年全国建筑工地视频监控资源约有75 万多路，以当前常用的单路1 080P 网络摄像机为例，1 个月内产生的视频文件大小就超过TB 级，可以想象到2022 年末，全国建筑工地近百万的摄像头产生的海量视频监控数据将以几何级数递增。

数据文件分辨率编码格式多样化。原始视频图像有标清、高清、超高清（4 K），一般情况下视频数据需要保存3 个月以上，数据冗余度很高，需要压缩编码后才能传输和存储，典型的编码格式主要有：适用于低码率、高实时性的远程监控应用场景的H.264、H.265 标准，适用于电缆网络、网络流媒体场景的MPEG-4 标准，适用于移动通信、视频监控等场景的AVS及AVS+、AVS2 标准。常见的视频文件格式有avi、wma、wmv、mpeg、mp4、mov、flv、rmvb、m4v、rm 等，都需要依赖不同的解码和播放技术进行显示[13]。

动态快速产生数据。不断增长的数据规模和数据动态快速产生要求，必须具备高效的运算的资源和实时计算框架，才能实现与之相匹配的吞吐和实时性[14]。适用于并行处理和运算的GPU（Graphics Processing Unit）硬件或专用ASIC（Application Specific Integrated Gircuit）芯片可以强化运算能力，同时，采用分布式计算框架完成视频大数据的处理和分析任务，不仅可以提供高效的计算模型，还具备高效可靠的输入输出（IO）[15]，通过这2 种方式以实现视频数据的快速处理。

包含丰富的信息，具有挖掘价值。视频中包含有大量人、物、场景和行为信息，视频数据是典型的非结构化数据，需要实时转化为结构化才能解读施工场景下所涉及的不安全因素，包括施工现场作业人员的不安全行为、物的不安全状态和重要环境区域的不良条件。按照《建筑安全生产管理条例》和《建筑施工安全检查标准》等相关法律法规，要求施工现场的主要进出口、人员进出通道、四周围墙、大型机械设备、配电箱周围、施工作业面、材料加工区域、临边洞口、基坑边缘、危险源存放处、脚手架等易发生安全隐患的地方需要设置视频监控点位[16]，具体如表1 所示。将建筑工程庞大的视频数据资源，转化为这些丰富的、高价值的安全隐患结构化数据，存储一年甚至更长时间，将为智慧工地安全管理应用提供大数据的辅助手段。

表1 监控场景安全隐患样表

安全隐患视频大数据的诞生，将驱动智慧工地人工智能安全监测视频分析应用平台的建设，主要解决视频监控在复杂场景下实时性、高精度的应用问题。

3.2 人工智能安全监测平台架构

视频大数据驱动的人工智能安全监测平台建设涉及众多的专业技术，采用的是层次化、模块化体系结构，以开放的姿态，打造开放的生态环境，确保平台各项服务和功能的可复用性、灵活性、扩展性。该平台体系架构由底层到上层共分为4 层，分别为视频大数据采集中心、视频大数据存储计算中心、视频大数据分析中心，该部分为平台的核心层，即人工智能计算机视觉算法集模块，最顶层是面向用户层的智慧应用。

视频采集中心通过采集来自IP 摄像机、硬盘录像机、流媒体平台、边缘机器人等设备的实时视频流，或通过手机移动端、无人机传回的录像及图片数据，提供统一的视频接入服务，包括GB/T 28281—2011（国家标准联网接口协议）、ONVIF/PSIA 协议、TMP/RTSP以及私有化的SDK 协议，对1 080P/25（FPS）视频进行编解码，并支持对数据协议的转换、数据预处理和控制数据传输等。

视频大数据计算中心对采集的实时视频流、录像等离线文件进行分布式计算，视频数据的实时处理及计算能力是影响平台应用价值的关键因素，视频大数据分布式计算主要采用批量计算技术和大数据流计算技术，大数据批量计算技术是先存储后处理，解决大规模、非实时数据问题，吞吐量是整个框架的重要指标，常用的代表性框架包括MapReduce、GraphLab、Dryad、Spark 等。而大数据流计算是直接处理，更关注实时性，能够更加快速地为决策提供支持。现今典型代表框架有Storm、Samza、S4、Spark Streaming等[15]。

视频大数据存储通过应用集群化、虚拟化、分布式存储、数据加密技术等，将视频图像非结构化数据及通过大数据结构化处理后的数据进行分布式或集中式存储，通过丰富的数据资源池，实现控制服务、存储服务、流媒体转发服务、管理服务，并按需为上层应用封装成API/OCX，对外提供自动、灵活的服务。

视频大数据分析中心采用典型的人工智能机器学习及深度学习技术，机器学习属于数据驱动算法，能够从数据中自动分析获得规律，并对未知数据进行预测，常见的机器学习算法包括支持向量机（SVM）、AdaBoost、朴素贝叶斯算法、决策树、KNN（K-Nearest Neighbor）等[5]。在传统的机器学习算法中，需要人为地对数据进行特征提取，而深度学习提供了一种端到端的学习范式，整个学习的流程并不进行人为的子问题划分，而是完全交给深度学习模型直接学习从原始数据到期望输出的映射[17]，能够自动找到最具有描述性和明显的特征。在计算机视觉理解上，典型的深度学习网络代表为卷积神经网络（CNN），该算法应用于对图像处理越来越精细化，例如对象检测、对象跟踪、动作识别、人体姿态估计和语义分割等方面，目前典型的网络应用包括Faster R-CNN、SPP-Net、R-FCN、Mask R-CNN，以及SSD 和YoLo等算法[5]。

实际应用过程中，在基础算法之上，针对施工现场作业人员的不安全行为、物的不安全状态和重要环境区域的不良条件，搭建面向业务的应用算法模型，并将传统机器学习与深度学习技术有机融合，更深层次地达到视觉理解效果。

智慧应用层最终形成“智能监测一张网”，24 h 全天侯对重点施工区域进行监督识别，提供友好、易用的人机交互方式，对施工现场不安全因素自动报警，并通过现场大屏、桌面端及移动端等方式分发安全隐患信息，及时为工地安全员及作业人员发送“安全提醒服务”。视频大数据驱动的人工智能安全监测平台的总体技术架构如图1 所示。

图1 人工智能安全监测平台的总体技术架构示意图

4 智慧工地安全监测中的典型应用

本文拟通过对承建的核工业某安全生产远程智能化监控项目的应用实践，项目采用充分利旧原则，避免重复建设视频监控系统。整个系统覆盖了18 个在建工地的300 余路摄像机，建设“总部-项目部”两级联动的AI 视频大数据安全监测平台，实现了对施工现场未戴安全帽、未穿工服、未戴安全带、无防护面罩、翻越护栏、高处无防护、缺少防护网、未拉设警戒、明烟明火等13 类安全隐患智能化预警，让施工现场安全管理从“被动监督”到“主动监控”，有效保障了施工现场安全风险的可知可控，大幅度提升了施工安全管理水平，该系统的建设是一次从“建造”到“智造”的全新探索，为以后的类似工程施工建设提供了有效的参考和示范。

4.1 “云边端”的管理模式

系统应用架构采用“云边端”的管理模式，智能化系统应用涉及人员生命财产安全，对实时性要求较高，在更贴近视频图像设备的网络边缘地方进行实时运算，所谓边缘计算是在贴近用户侧的网络边缘执行计算的一种集网络、计算、存储为一体的新型分布式计算模型。该模型将具有计算能力的设备和微型数据中心部署在更贴近用户移动设备、数据采集器、传感器等的网络边缘，主要处理边缘设备所产生的海量边缘数据，在靠近物或者数据源头的网络边缘为用户提供边缘智能服务[18]。

边缘计算的主要特点是通过极低延迟提高用户体验及通过边缘服务减少数据流量，采用边缘计算技术将会节省大量的计算时间，原则上需要在工地危险区域设置边缘计算节点，各节点AI 计算需要获取1 080P高清图像，单路视频传输所需网络带宽至少为4 M，若上百路实时视频流同时传输至中心计算将对网络带宽造成巨大压力。因此，无需将实时视频流都发送至云端进行集中处理，只需将边端节点分析后的结果传输至中心平台后，然后采用大数据技术对海量数据进行快速加工处理，实现数据的增值应用，通过采用该管理模式不仅可以提供更快的响应速度，也将降低中心平台的计算压力。

云边端应用架构示意图如图2 所示。

图2 云边端应用架构示意图

网络边缘计算节点根据实际施工现场情况，在各项目部监控中心设置边缘计算服务器，可在施工进口及通道、施工作业面等关键部位及区域部署终端算法客户端，通过采用视频图像统一采集服务，接入1 080P的视频图像数据，每个边缘计算节点采用GPU 架构的设备来支持高性能运算，然后将分析结果通过综合服务传输至AI 中心平台，平台提供分布式应用服务，支持将各边缘计算节点的分析结果进行存储、再计算，并以“一张图”的直观方式展示。

4.2 安全隐患视频分析关键技术

系统自主研发过程中创建了多项创新技术应用，以解决视频监控在复杂场景下实时性、高精度应用问题。提出了一款轻量级高速度低消耗深度学习推理框架技术，采用内存共享机制降低计算网络存储使用量，解决了当前深度学习应用开源框架在推理时间消耗及内存占用巨大的问题，实现了通过计算节点合并降低网络运行时耗，大幅度提升了安全隐患检测效率，为人工智能技术在核工业工地智能化安全可控应用提供了保障；提出了一种复杂场景下基于注意力机制和强化学习的图像目标精细分类方法，通过排除复杂图像内大量冗余噪声数据，解决了环境复杂度高、检测目标边缘模糊、目标部分遮挡条件下，特征区域分类效果不好的问题，提升了在施工现场光照分布不均匀、灰尘较多等复杂场景下安全隐患检测的精准度；提出了一种大焦距监控场景下多尺度目标的快速精准识别方法，解决了广阔空间域内多尺度远端目标及近端差异变大、泛化能力差的问题，降低了施工现场复杂环境下安全帽、工服、安全带等目标的误检与漏检问题，提升了大范围内安全隐患检测精度。

4.3 智能化安全监测应用效果

截至2021 年12 月，系统已累计识别各类安全隐患超过2 206 起，通过结合大数据技术，将施工现场AI 智能预警与全景监控等集中展示和分析（如图3 所示），实现了智慧工地施工安全管理可视化，提升了安全监管和决策能力，提高了项目各方安全质量管理水平。

图3 施工现场安全生产监控一张图（原型系统模拟）

系统通过采集现场实时视频流图像，代替人工监控值守，24 h 不间断对现场不安全行为进行实时监督识别，实时掌握施工现场安全生产情况（如图4 所示），及时发现隐患，降低施工风险。

图4 施工现场视频实时监测（原型系统模拟）

系统实现了施工现场的安全隐患在100 ms 内完成检测，10 s 内自动完成隐患原因分析，准确率超过90%。当系统自动完成检测后，立即以声光预警方式发出提示信息（如图5 所示），并自动显示安全隐患类型、等级、所属项目、发生位置、预警时间，自动生成预警时刻的录像与处置时的图像进行对比。同时，可快速调入该摄像机处所发生安全隐患的历史记录信息，有助于安全员做出准确的判断，系统应用具备了较强的威慑力和可追溯性，可以对现场人员安全行为不断规范，最大程度降低人员伤亡和财产损失。

图5 安全隐患监测预警（原型系统模拟）

对于各类不同的应用场景及复杂的环境情况，系统具备自适应能力，能够自动识别视频图像异常（无信号、模糊、抖动、花屏、遮挡等），还可以根据时间段的不同消除光照、外部条件对智能识别的影响，将检测误报降到最低，通过人机交互方式自动切换相应算法，切实解决实际应用问题，真正实现人工智能在施工现场安全管理的落地应用。

4.4 需要进一步研究的问题

基于人工智能计算机视觉在工地安全监测中的建设应用仍处于发展阶段，系统虽然在工地重点监管区域实践应用过程中做了诸多研究，并形成了较为体系化的应用成果，但其普适性推广仍然受到多方面制约因素，还有诸多不足需要进一步研究攻克，具体如下。

因工地环境复杂多变，对于大焦距场景下的检测已取得不错效果，但对于室内狭小空间内部分近景目标，无参照目标，且易受其他物体遮挡，目标检测干扰严重，如地面孔洞检测，因此对近景目标检测，算法逻辑优化还有待进一步研究。

深度学习需要大量的样本支持，而通过现场相机采集的隐患图片远远不够，通过安全员日常巡检获得的隐患图片又因场景视角不同、差距大无法满足训练要求，如何在样本不足情况下完成迁移学习面临较大挑战。

系统虽然采用了一系列技术创新突破对13类安全隐患进行自动识别，效果尚可，但还需要进一步与人脸识别、人体行为姿态识别等身份识别技术相结合，精细化目标识别检测预警还有待进一步探索。

5 结束语

人工智能计算机视觉技术的出现，为建筑行业日趋复杂而繁冗的施工监管工作智能化带来了新的契机。本文着眼于建筑施工行业数字化转型升级亟需解决的安全监测问题，紧抓施工现场作业人员的不安全行为、物的不安全状态和重要环境区域的不良条件关键要素，在已有人工智能、大数据等技术研究的基础上，设计了AI 视频大数据驱动的施工安全监测平台，实现了安全隐患的自动识别预警，展示了智慧工地安全管理典型应用效果，该科技成果的应用在一定程度上丰富了中国建筑行业安全预警研究。

未来，在信息技术飞速发展的大背景下，将继续挖掘并优化可替代人工管理的需求及路线，扩大AI 技术在智慧工地项目中的普适性应用；同时，将人工智能视频大数据与移动互联网、BIM、物联传感器设备、机器人、无人机等新兴技术应用深度融合，通过对施工现场全方位、全时段的监控，以实现安全生产过程全面、动态的数据采集，以及实时、准确的分析监管，提高施工现场安全监控和管理的广度和深度，提升施工建设安全管理的效率和水平。