智慧工厂安全管理中视频智能分析的应用

段瑞霞 张帆

摘  要：在施工工程现场，由于现场对象多、分布分散，采用传统的手工安全监管模式很难做到全面监测和及时发现问题，且多数传统的手工安全监管模式只是用于事后的回溯证据，不能对不安全人员的行为、不安全物品的状况进行有效的辨识与预警。可以借助智能施工现场的智能视频分析系统来解决这一问题，该系统能够对前方的图像进行收集，可以准确提取出目标事故中的重要因素，实现事前预警、事中常态检测、事后规范处理，为解决施工现场的安全管理问题提供一套完整的解决方案。

关键词：智慧工地；人脸识别；无感考勤；智能测温

中图分类号：TP39   文献标识码：A   文章编号：2096-4706（2023）16-0125-06

Application of Video Intelligent Analysis in Safety Management of Smart Factories

DUAN Ruixia， ZHANG Fan

（Tianjin Branch of Cnooc Information Technology Co.， Ltd.， Tianjin  300452， China）

Abstract： At the construction site， due to the large number and scattered distribution of on-site objects， it is difficult to achieve comprehensive monitoring and timely detection of problems using traditional manual safety supervision models. Moreover， most traditional manual safety supervision models are only used for retrospective evidence after the event， and cannot effectively identify and warn the behavior of unsafe personnel and the condition of unsafe items. The intelligent video analysis system on the intelligent construction site can be used to solve this problem. The system can collect images in front of it， accurately extract important factors in target accidents， achieve pre warning， normal detection during the process， and standardized processing afterwards， providing a complete solution for solving safety management problems on the construction site.

Keywords： smart construction site; face recognition; senseless attendance; intelligent temperature measurement

0  引  言

当前，我国建设工程的安全問题依然十分严峻，为探索致使建设安全日趋严重的因素，研究人员对施工现场的安全管理进行了实地调查。调查结果表明，传统的人力安全管理主要存在以下问题：工地的安全管理涉及的范围广，关注点也多，传统的安全管理方法不能实现全面覆盖并及时发现问题。施工现场对象多、维度多、分布分散，受人力物力的制约，监控的覆盖范围较小，监控的时间较短；监控方式所实现的监控存在一定的时间差，存在监测盲点，由于证据不足，很难起到有效的威慑作用。采用常规的监控模式，难以保障建设企业实现科学、高效的安全经营。

1  智慧工厂概述及发展趋势

1.1  智慧工厂概述

智慧工厂以数字车间为核心，将物联网、大数据、云计算等新一代信息技术融入车间的全生命周期中，让车间具备自组织、自学习和自适应的功能，进而提升车间的管理和生产效能。与常规生产型企业相比，智能企业最大的优势在于其全生命周期的可视化。智慧工厂的核心部分包括设备层、感知层、控制层、操作层、运营层和决策层。运用现代信息技术可以突破层与层之间的障碍，达到整个过程可知、可视、可控的目的。

1.2  智慧工厂的发展趋势

随着21世纪的到来，我国的人口优势逐渐丧失，各大公司也开始面临招工难、人力成本上升等问题。与此同时，在国家节能环保的倡导下，一些老工艺和老设备逐渐被淘汰，此外，随着国际贸易往来的日益频繁，一些公司也在竭尽全力地通过减少成本来增强自己的竞争力。这些都让智慧工厂的发展变得越发火热，更多的公司也在试图开发出更强的智慧工厂。从市场趋势来看，智慧工厂的普及是现代化制造业发展的一种必然趋势，也是能够使公司转型升级的最优途径。在发展方向上，智能化的生产将会被更多地运用到生产当中；在科技发展方面，新科技的运用以及智能制造被建构并纳入云中，可提高制造企业的经营与运作效能；从目前的政策动向来看，我国在能耗控制和排放控制等方面的支持也在不断增强，这些都是推动公司向智能化方向发展的重要因素。

2  “端—边—云”协同智慧工地

智慧工地利用移动互联、物联网、人工智能、GIS、大数据等信息技术，实现对建设施工现场人、机、法、料等各环节要素的集中管理和智能化管理，开发并实现可控化、可视化的智能化系统，实现对建设施工现场全方位、立体化的监控。

2.1  设计思路

在工地上设置监测设备，形成一个智能化监测与预警系统。通过前端的可视传感器，可以实现对现场监控数据的实时获取，并以有线和无线的方式将数据传送给AI。智慧施工现场的监控系统通过对现场人员的安全情况进行实时监控，并将监控信息与工程信息、工人数据等进行整合，从而达到业务协同、数据联动的目的。本文介绍了智能化检测的优势，并给出了具体的实现方案。本系统的结构如图1所示，主要包括人工智能的影像服务、分析服务、资料呈现等。分析服务主要包括数据的采集、存储、挖掘等。AI视频业务可以与现场的各个子系统连接，获得该子系统中的视频数据并对这些数据进行分析，从而完成对穿戴管理、行为管理、区域管理、人员管理、安防管理、环境管理等各方面的智慧分析检测。以大屏、PC端、移动端、管理报表、决策报告等方式展示这些数据。

在终端层面，通过多角度、多类型的相机获取图像；在边缘层面，利用边界计算与人工智能等方法，解决图像的传输时延问题，节省云端的资源消耗，为人工智能技术的实用化奠定良好的基础。云计算可与建设项目的商业情景相融合，实现对项目的有效集成，为项目建设和运营管理提供优质的服务。

图2显示了完整的系统解决方案，我们可以将人工智能的深度图像解析方法应用于边缘终端，并将其存储于互联网上的存储磁盘，以人工智能的方式进行融合。通过已有的数据网络，将所获得的预测数据连同拍摄到的图片，压缩成一条结构化的预警消息并将其发送到中央控制中心的监控中心，通过AI的视频解析方法，实现对监控中心二次深层次的解析与数据挖掘。该方法通过AI的处理，实现了对违法事件的实时跟踪，包括违法事件的生成、违法事件的描述、违法事件被捕捉到的图片、违法人员、违法镜头、违法处理情况等。

所探测到的事件，主要包括以下回馈途径：在施工现场，运用智慧工地的监控模块对危险事件进行指示灯闪烁警告；对危险事件图片进行抓取，并利用移动通信网络将其发送到对应岗位管理人员、项目负责人及企业相关部门、公司领导移动端，以便于对其进行快速处理。此外，工程现场大屏、智慧安全监控云平台、移动端APP均可显示违规日期、类型、地点、人员维度等。在此，监督人员可对被系统记录下来的违法行为进行定时抽样，同时推送监督事项的处理意见，从而促进问题的尽快解决，提高管理效能。

2.2  智能视频分析系统的实施部署方式

在云计算环境下，用户可以在终端安装摄像机，并将图像数据直接上传至终端。采集到数据后将数据保存到云端，对其进行逻辑分析，并与云端中的数据进行融合。该方法适用于头盔和反光衣监控等对实时性要求不是很高的场合。然而，在云端中，智慧视频的应用仍存在传输时延高、网络不可靠以及用户信息安全性差等问题。

本项目面向工程现场安全监测、设备设施监测和突发事件处置等高实时性的应用场景，在云端进行智能计算，并将计算工作从云端向具有一定计算能力的终端设备迁移，实现实时业务与智能应用的协同。在智能视频分析中，边缘端的应用可以进行快速的辨识和解析，可以实现诸如有人进入危险区域、高空施工人员没有系安全索等对实时性要求较高的分析探测工作。

此外，与终端的视频解析相比，边缘端的操作更容易控制，能够保障数据的传输速率与传输稳定。同时，通过对网络中的图像进行边界化分析，可以有效防止云端下的用户隐私泄露。通过模型裁剪、量化加速等手段，实现模型的高效计算，并在此基础上实现计算、存储、通信等边界信息的有效整合，实现人工智能的高效计算。

2.3  基于AI边缘计算的视频智能分析装置

在硬件上，采用英伟达和寒武纪公司的先进芯片，研制出适用于施工现场的视频图像处理设备，并通过以太网的方式与互联网的录像设备或转播设备连接，实现自主知识产权、高分辨率、高质量、高精度、可持续、可扩展、可重复使用、可移动、低功耗、低成本、高效率的目标。在此基础上，搭建嵌入式的特殊设备，降低网络中的通信时延，降低服务端的运算负担，从而达到对网络中图像快速访问与实时处理的目的，如图3所示。AI的边界计算箱可以同时容纳1～4个场景，4～16个1 080P视频源，可以提供5～60 f/s的视频采集，还可以根据场景数目、视频源数目和采集帧数调整其处理能力，满足视频数据实时处理的需要。一个人工智能边界运算箱的造价取决于其所使用的设备，大概一万到两万元的价格不等。

2.4  AI深度学习视频分析算法及模型加速

在场景辨识中，我们采用一种基于YOLOv5的侦测方法，它具有平均加权文件数少、学习与推断速度快等优点。目前，以深度神经网络为基础的机器视觉系统包含数以百万计的数据，尽管其识别精度很高，但同时对计算资源和存储的需求也非常大，致使其在存储和计算资源受限的情况下难以得到有效的应用。本项目拟采用TensorRT技术对YOLOv5进行快速优化，以减小数据冗余性、运算复杂性以及内存的消耗，并将其应用于边界终端，达到提高边界终端数据的目的。通过TensorRT算法实现YOLOv5算法的快速计算，其计算速率可以提高20个百分点，可达45 f/s，具有较高的实时性和精度。

3  智能视频在智慧工地中的应用分析

以工地上工人的不安全行为、工地环境安全问题为目标，完成作业人员安全监测、设备安全监测与预警、环境监测、安全监控等智能视频分析。

3.1  无感考勤和陌生面孔的探测

无感考勤和陌生面孔的探测需要配备专用的检测仪器，采用宽角摄像机即可以实现对各个出入口的全方位监控，对人脸进行远程捕捉实现无感考勤，这样可以在很大程度上缓解工人排队过久的问题，大大改善了工人的入门感受，显著提高了工作效率。无感考勤系统是基于人脸识别技术而建立的，运用了深度学习技术，对人脸数据进行采集和梳理，并对其进行了定制，从而可以实现对人脸的检测和识别。将算法装入高性能的边缘设备中，可以完成多人员的无感、快速识别考勤任务。在方法上，利用深度学习、分布式人脸训练、场景自适应等技术，实现对人流密度和交通高峰时段行人的准确辨识和实时跟踪。系统会自动将所捕获员工的动态面孔与面孔数据库进行对比，并将对比不合格的人员标记为陌生人，以便于对陌生人进行实时监控。通过在工地上安装脸部辨识摄影机，可以即时了解人员出入工地的时间与地点等信息，以便于追踪其移动路線。本项目拟采用基于行为的智能影像解析技术，对人群进行面部特征的分析，实现对人群的识别，从而有效解决建设施工作业区域等复杂环境中的面部识别难题，如图4所示。

3.2  对项目实施之前的安全检查

每天早晨举行一次早班会议，强调施工现场的安全工作。目前，早会的人员出勤管理是采用手动打卡的方式。手动打卡是指在早会的时候，由一个项目工程团队的领导来召开早会，将出席会议人员的照片和视频拍摄下来，并将其发送给相关的管理人员。事实上，早会真正按时开展的施工现场只有38%。在进行完一次早会之后，可以对安全宣传平台进行自动检测和辨识，根据队伍的形状和数量对在该区域中进行的会议做出判定。如果检测到早会，这个程序就会启动摄像机，对早会前后的场景进行捕捉，并将其保存起来，之后再用移动电话APP及时将这些录像汇报给安全管理人员。

3.3  安全帽等穿戴情况的检验员

通过录像监视即时探测技术，对在职人员未按规定执行保安措施的行为进行警示。在项目出入口和工作面等地方，可以对建设施工工人的安全帽、反光衣、高空作业安全绳等的佩戴与否进行监测，如果发现有人未佩戴相应的安全用品，就会立刻报警，向安全管理人员报告，如图5所示。

3.4  进入危险区和在危险区逗留的检查

对可能出现意外的危险区域（如塔吊、栅栏等）进行探测，一旦有人进入，影像解析体系会自动发出警报，并给出语音提醒。该测试体系能够对施工现场的安全隐患进行实时监测和预警，从而减少意外事故的发生，大大提升了施工质量，如图6所示。

3.5  现场人员统计和人群聚集情况的检测

利用视频监控的即时探测技术，可以定制多个分区或划分出一个作业平面，完成对监控范围内工人人数和现场人数的统计。对现场人员集中情况进行监测，通过在各个监测范围设置一个不同人员集中情况的下限，一旦监测范围内的人员超出下限就会发出警报，如图7所示。

3.6  人员攀爬、吸烟、打电话的检测

一旦有用户摔倒时，监测系统会捕捉到用户摔倒的画面，并发出警报。可以通过设立实体栅栏或虚拟栅栏的方式，对一些人的违规翻墙行为进行监测，并在发现有人试图做出翻墙行为时进行报警和拍照。在一些工地或是高处的工作区域，可以为工作人员安装手机监控装置，避免工作人员在通话过程中因走神等因素而发生意外，如图8所示。

3.7  烟火烟雾探测

在工地的加工区、材料堆放区等容易产生火灾的潜在危险地区设置烟火报警装置，当有浓烟和火苗出现时，该装置会对此情况进行报警，使有关的项目部工作人员快速做出反应。在此基础上，利用图像分析与深度神经网络等技术，实现对烟气和火灾的识别与预警。在不设置常规传感装置的情况下，可以大范围内对在视频监管区域中刚开始产生的浓烟和火苗进行快速、精确的辨识，做到无误报，无漏报。将警报的快照、录像保存到资料库中，并将警报的讯息即时推送至有关部门。烟火烟雾探测可以帮助管理者对所监测的区域进行实时的监测和预警，如图9所示。

3.8  缺少边界保护的探测

在缺少保护措施的高空作业中存在作业人员高空跌落的危险，需要开发一个可以对没有保护的高空工作表面进行报警和语音播报警示的探测体系，并且将报警截图和视频存储到一个数据库中，可以按一定的时间间隔查询报警记录、报警截图和视频，如图10所示。

该系统可以实现对安全帽、反光衣、安全绳佩戴与否的检测，实现对某人跨越危险区域等不安全行为的检测，以及实现对火焰、烟雾、临洞等环境和物体的不安全状态检测。实验结果表明，本方案的识别准确度高达90%以上，错误识别率低于10%。

4  结  论

针对目前工程建设中普遍存在的“低效率、重工作量”问题，以及现有的“云”安保技术的不足，项目拟开展基于“端—边—云”协作的智慧工地视频智能解析研究，以降低深度学习算法对服务器及云端计算的依赖性，完成对视频信息的准确辨识及处理，从而提升工程建设中视频信息的处理效率；同时，还可以利用云端辅助的二次解析服务器，完成对复杂视频信息及深层数据的挖掘。本项目旨在解决施工现场人员不安全行为、施工现场环境安全等方面的问题。以长沙国际航空运输一体化枢纽为例，在此体系中进行了初步的运用，取得了良好的应用效果。在智慧工地中进行的对智能视频分析技术的研发与运用，可以将AI技术与施工情景深度融合，从而改变原本的人工视频监督方式，推动传统被动型建设施工工地视频监控业务向智能化方向转变。

参考文献：

[1] 姚立权.智慧工厂安全生产监控与决策管理系统设计分析 [J].管理学家，2020（6）：142-143.

[2] 姜浩，范志鹏.数字孪生在智慧工厂中的应用探讨及案例分析 [J].现代信息科技，2022，6（12）：146-149+155.

[3] 杨韶华，柳召辉.智慧工厂安全生产监控与决策管理系统设计 [J].物联网技术，2015，5（3）：103-104.

[4] 吴宇驹，吴伟生，雷振，等.基于CiteSpace知识图谱的智慧工厂研究热点及趋势实证分析 [J].科技资讯，2021，19（15）：198-200.

[5] 房鸿海.智慧工厂安全生产监控与决策管理系统设计 [J].科技成果纵横，2019，28（18）：245.

[6] 张奥博.校园安全管理中视频智能分析的应用 [J].数码设计（上），2018（9）：92.

作者簡介：段瑞霞（1986.09—），女，汉族，山西运城人，高级工程师，硕士，研究方向：人工智能。