工程场区施工人员靠近风险区实时预警方法

姜佩奇，梁斌杰，刘 辉，张社荣，王枭华，王 超

(1.天津大学水利工程智能建设与运维全国重点实验室&建筑工程学院，天津 300072；2.水利部水利水电规划设计总院，北京 100120；3.中水北方勘测设计研究有限责任公司，天津 300222)

0 引言

水利工程由于其施工环境恶劣、施工工期长、交叉作业情况复杂等特点，建设过程中风险因素众多，其中危险区域(如临边、洞口、塔吊周围)作为普遍存在但常易忽略的风险因素，当施工人员处于其中时易发生高处坠落、碰撞等安全事故，威胁施工安全。因此，如何有效实现施工人员靠近风险区域的危险行为预警对施工安全管理水平的提升具有重要意义[1-2]。

靠近危险区域的判别关键在于如何快速确定施工人员与危险区域的位置关系，若处于其中，施工人员可能会存在危险。随着计算机视觉、建筑信息模型(Building Information Modeling，BIM)、射频识别(Radio Frequency Identification，RFID)等技术的快速发展与应用，不少学者也利用其展开了众多研究[3-5]。闫文杰等[6]集成BIM与RFID技术，对水利工程现场的危险区域和作业人员进行实时监控，实现了危险区域内工人安装状态的判定和预警。王伟等[7]利用BIM与机器视觉技术，构建了危险区域施工人员入侵预警模型，降低了危险区域入侵行为的发生。高寒等[8]利用移动目标检测算法对危险区域工人进行检测，实现了危险区域的入侵识别。石怀涛等[9]通过改进YOLOv3网络对吊车危险区域内的施工人员进行识别，并利用相机坐标变换实现了施工人员与危险区域中心点距离的测算并进行行为矫正，减少吊车安全事故的发生。田枫等[10-11]通过利用改进YOLO检测算法，实现对油田危险区域的入侵检测。Fang等[12]通过利用Mask R-CNN模型识别现场施工人员和结构支撑，实现了在深基坑施工中施工人员穿过结构支撑的不安全行为识别。樊启祥等[13-15]在大型水电工程施工安全管理过程中，提出综合利用GIS技术、定位轨迹分析技术、RFID、GPS/北斗+实时差分等技术，实现了施工现场人员和机械设备的实时定位，并利用电子围栏技术，实现了自动监控和非法进入电子围栏范围等的不安全行为管控。

在靠近危险区域预测方面，Zhu等[16]利用卡尔曼滤波算法来实时定位和预测施工人员和机械的位置，进而判断未来施工人员的轨迹是否处于机械易碰撞区域，从而实现对人机碰撞风险的预测。方伟立和丁烈云[17]构建工人不安全行为智能识别与矫正框架体系，主要由不安全行为智能识别、安全个性化培训和不安全行为预测3部分组成。

综上，目前针对靠近风险区域的危险行为管控大多为事中和事后的过程，即在正侵入和侵入后实现对施工人员是否处于危险区域的判断，可能会发生报警不及时而导致在危险区域内发生安全事故，造成人员伤亡。而对事前靠近风险区域不安全行为预测研究较少，对施工人员未来的轨迹预测时间和距离较短，预警效果还有待提高。并且施工人员定位通常采用的是GPS或RFID，定位虽然比计算机视觉定位准确，但需时刻佩戴相应传感器，成本高且在实践中不易实现。

针对上述问题，本文基于计算机视觉与深度学习技术，提出一种水利施工人员靠近风险区域的危险行为预测方法。首先利用DeepSORT算法构建施工人员多目标追踪模型，对现场施工人员进行多目标追踪的同时，收集其运动轨迹。然后，筛选场区施工人员行动轨迹，基于Social-STGCNN算法构建施工人员轨迹预测模型，实现施工人员轨迹预测，对未来不同时刻的运动轨迹进行预测。最后，基于AI电子围栏，对危险区域进行标记，判断预测后的轨迹是否处于风险区域当中，从而实现靠近危险区域的危险行为预警，在一定程度上预防不安全行为的发生。

1 靠近风险区实时预警方法关键技术

1.1 总体技术架构

鉴于现有人员危险行为的管理通常集中在事件发生中或之后，本文提出了一种预先管控的方法，该方法可以在施工人员实际进入危险区域之前，预测并预警其潜在的入侵行为，有效避免报警不及时而导致在危险区域内发生安全事故。基于计算机视觉和深度学习的施工人员靠近风险区实时预警模型如图1所示，主要由3个模块组成，包括：基于改进YOLOv5+DeepSORT的多目标追踪模块[18]、基于Social-STGCNN的轨迹预测模块、以及基于PNPoly的靠近风险区预警模块。本文所提出的实时预警模型能有效预测施工人员轨迹，结合风险区电子围栏进行风险分析与预警，有效保障施工人员作业安全。

图1 靠近风险区实时预警总体技术架构

1.2 改进的场区施工人员多目标追踪方法

DeepSORT[19]是目前主流的一种多目标追踪算法，基于detection+track多目标追踪思路，在SORT算法的基础上增加外观信息度量，并结合运动信息避免目标ID切换过多。同时，目标检测模型的精度直接影响DeepSORT算法对施工人员追踪的准确性。为了实现准确的施工人员目标追踪，良好的施工人员目标检测模型必不可少。本文提出的改进YOLOv5+DeepSORT的多目标追踪算法，通过SIOU[20]损失函数替换CIOU损失函数(如公式(1)、(2)所示)、增加小目标检测层和引入NAM注意力机制的方式改进YOLOv5算法，并以改进的YOLOv5算法作为DeepSORT算法的检测器。改进YOLOv5算法中重新设计了通道和空间注意力子模块，将NAM模块嵌入每个网络的末端。

(1)

(2)

式中，B、BGT-预测框与真值框；Ω-形状成本；Δ-考虑角度成本后，重新定义的距离成本。

其次，DeepSORT算法引入级联匹配，通过计算预测目标与检测目标之间的马氏距离(d(1))和余弦距离(d(2))获取代价矩阵，从而提高了目标匹配的精度。

(3)

(4)

ci，j=λd(1)(i，j)+(1-λ)d(2)(i，j)

(5)

式中，λ-调和因子，用于平衡马氏距离与余弦距离。当代价矩阵ci，j满足两种距离阈值要求时匹配成功。

1.3 场区施工人员轨迹预测方法

施工人员轨迹预测问题与行人轨迹预测相似，主要针对其二维空间坐标在一定时间内的变化，并通过利用施工人员前一段时间的轨迹来预测未来一段时间的运动轨迹。施工人员的运动轨迹不仅受自身主观影响，还受周围其他人、机械等物体的影响。传统的轨迹预测算法通常采用各种聚合方法，而本文采用的Social-STGCNN算法则以图模型的方式代替聚合方法实现建模交互，引入周边人员、机械等物体的相互作用关系，准确度和推理速度有了极大提升[21]。Social-STGCNN模型主要由时空图卷积网络(ST-GCNN)和时间外推卷积网络(TXP-CNN)组成，模型结构如图2所示，前者用于提取施工人员轨迹特征，后者用于预测施工人员未来的运动轨迹[22]，具体流程如下：

图2 SOCIAL-STGCNN模型结构图

(6)

其次，采用相同方法构建时间图，时间图矩阵内的边信息为同一施工人员在一段连续时间内的空间厚实距离加权值，如公式(7)所示，即边信息不再存储不同施工人员间的关系。

(7)

(2)二维时空图卷积处理。为获取时间轴特征，对输入的时间序列邻接矩阵进行堆栈处理[25]，则时空图卷积过程可表示为公式(8)，由此可得场区施工人员轨迹的时空特征矩阵。

(8)

(3)时间外推卷积处理。由TXP-CNN处理时序序列数据，按照时序信息进行一维卷积操作，通过因果卷积记录并利用轨迹的时间信息，预测场区施工人员行动轨迹。

1.4 场区施工人员邻近风险区预警

基于场区施工人员的预测轨迹，使用Mask掩膜来识别和提取危险区域，建立电子围栏。由于增加Mask掩膜会使危险区域外的场景不进行目标检测，降低改进YOLOv5目标检测算法的精度，因此本文在保留危险区域标注的同时，去除遮盖效果，使算法仍可对其他区域进行目标检测。

同时，基于场区施工人员的预测轨迹，采用PNPoly算法，判断预测轨迹坐标是否处于风险区电子栅栏内，一旦预测轨迹处于风险区内执行预警处置。

2 实验和结果

本文以我国西南地区某在建大(2)型碾压混凝土坝工程进行实证分析，该碾压混凝土坝由挡水坝段、表孔坝段、进水口坝段和坝后电站组成，共分11个坝段。实证分析包括施工人员多目标追踪和施工人员轨迹预测。

2.1 施工人员多目标追踪

本文以目前公开的多目标行人追踪数据集Market1501划分模型的训练集和验证集，训练过程持续300轮，训练集和验证集上的损失函数和top-1 error的变化曲线如图3所示，结果表明训练集和测试集的loss值最终稳定在0.13和0.61，top-1 error最终稳定在0.02和0.15。场区施工人员多目标追踪模型的评价指标包括mIOU、mAP@0.5IOU和mAP@0.7IOU，其中AP为精度和召回曲线下的面积，可由公式(1)、(9)和(10)计算得到，其结果分别为64.9%、86.1%、59.8%。

图3 训练结果曲线

precision=TP/(TP+FP)

(9)

recall=TP/(TP+FN)

(10)

式中，TP-被准确追踪的工人数量；FP-被错误追踪的工人数量；FN-未能追踪的人工数量。

其次，以施工现场实时监控图像作为多目标追踪模型的测试集，改进的YOLOv5+DeepSORT算法会对每一个追踪分配一个唯一且持续不变的编号ID，在同一幅图像中设定ID标号从1开始计数，标号最大数则为检测目标的总人数。施工现场监控视频施工人员多目标追踪效果如图4所示。

2.2 施工人员轨迹预测

2.2.1数据集准备

目前针对人员轨迹预测任务的公开数据集较少，仅有几个俯视视角的小型数据集。其中ETH和UCY[23]组合数据作为开源的公共数据集，包含5个不同场景，2206条人体运动轨迹，数据采样间隔为10帧，数据中包含帧索引、行人编号、位置坐标。但由于该数据集针对日常生活场景，与施工现场人员轨迹有较大差别。因此本文基于构建的施工人员多目标追踪模型，对施工人员进行轨迹追踪，获取其在一段时间内的像素轨迹，为施工人员轨迹预测提供数据来源。本文采集的视频帧率为25Hz，以10帧为采样间隔(即每0.4s)，以前3.2s的轨迹数据来预测后4.8s运动轨迹，能有效改善数据的独立同分布性质。

本文以目标检测框的形心坐标来表示当前时刻施工人员所处位置，通过将一段时间内连续的形心坐标进行相连即可表示施工人员的轨迹。通过收集和筛选，共获得1534条数据。施工人员多目标追踪模型获取得到的典型施工人员轨迹坐标见表1。

表1 典型施工人员多目标追踪轨迹坐标 单位：像素

2.2.2评价指标

轨迹预测任务主要使用平均位移误差(Average Displacement Error，ADE)和最终位移误差(Final Displacement Error，FDE)评价模型性能。其中平均位移误差是指所有的估计轨迹点与真实轨迹点之间欧式距离的平均值；最终位移误差是指预测轨迹终点与实际轨迹终点之间的距离，计算公式如下所示。

(11)

(12)

(13)

(14)

2.2.3模型训练与结果

利用自建施工人员轨迹数据集进行训练，共持续300轮，然后利用训练形成的模型权重文件进行预测性能评价，轨迹预测误差见表2、如图5-6所示，可知预测误差随预测时长增加而增加，预测2.0s施工人员轨迹的ADE和FDE值分为22.82像素和34.45像素，而预测4.8s施工人员轨迹的ADE和FDE值分为36.25像素和51.01像素。

表2 每10帧轨迹预测误差

图5 每隔0.4s间的轨迹预测平均距离误差图

图6 每隔0.4s间的轨迹预测最终距离误差图

施工人员轨迹预测可视化效果见图7，其中蓝色线代表预测轨迹，红色线代表真实轨迹，红色线与蓝色线完全重合部分代表前8个时间窗口输入相同的值。根据图7可知，本文所构建的Social-STGCNN模型可实现对施工人员轨迹的预测，虽然存有一些偏差，但大体的运动趋势基本相同，可在一定程度上为不安全行为的预测起到参考。

图7 施工人员轨迹预测结果可视化

值得注意的是，FDE值随预测时间的增长出现波动上升，并非严格意义的正相关。原因主要由于FDE反应的是施工人员在最终时刻的位置关系，当“S”型轨迹出现时，预测轨迹和真实轨迹差距减小或再次相交，如图7所示24号施工人员轨迹。

2.3 电子围栏建立与预警

关于靠近风险区预警模块，其详细流程已在图1总体技术架构中阐述，PNPoly算法原理可概括为：从一个目标点引出一条射线，统计该射线与电子围栏的交点个数，若交点数为奇数，则说明目标点在电子围栏内，进行预警处置；反之，则说明目标点在电子围栏外，判断为安全。根据一般人员的反应时间约为0.3s和所提方法的预警精度，建议预警时间定为0.8s，此时ADE和FDE分别为12.04、12.96像素，能够有效保障施工人员安全，避免进入风险区域。

本文根据Mask掩膜对危险区域进行标注和提取，建立电子围栏，如图8所示，电子围栏以红色近视区域表示。结合PNPoly算法，判断预测轨迹坐标是否处于风险区电子围栏的多边形内。一旦预测轨迹坐标点位于风险区多边形内部，会立即触发实时预警，通过红色警示框、声音、信息推送等方式进行警示，同时执行相应的处置措施，如引导施工人员离开风险区域等，为施工现场的施工人员安全管控提供了一种新方法。

图8 施工人员靠近危险区域预警

3 讨论

为进一步分析Social-STGCNN轨迹预测模型的性能，及其对水利工程施工场区范围大，人员、机械、材料空间分布复杂特点的适应性，表3将Social-STGCNN与Social-LSTM两种模型的轨迹预测性能进行对比。总体而言，两种模型在较短的预测时间内均有较好的轨迹预测效果，轨迹位置误差均较小。但相对而言，Social-STGCNN模型通过时空图卷积网络更能挖掘场区人员、机械、材料空间分布特征。当预测时长为0.8s时，就ADE和FDE指标而言，Social-STGCNN比Social-LSTM预测误差分别减少约1.55%、4.07%。

表3 不同模型的轨迹预测对比(ADE/FDE，像素)

但由于水利工程施工场区范围广、轨迹预测需考虑因素众多且本文数据集较小，预测轨迹仍存在一定偏差。同时，轨迹监测误差和预测误差存在累积效应，也可能会导致实时预警结果的震荡。因而，有效提高轨迹监测精度是场区施工人员轨迹预警的前提，后续可结合BIM技术，进行监控视频与BIM注册、配准，提高场区施工人员定位与预测精度，同时可基于BIM场景下的场区机械、材料分布优化空间图构建，进一步提升轨迹预测精度。

4 结论

本文通过利用实时监控、计算机视觉、深度学习等技术，提出了水利施工人员靠近风险区域的危险行为预警方法，通过工程实例验证，有效证明了该方法的有效性。本文所提出的方法不仅增加了施工现场行为管理手段，也为水利工程施工现场安全管理提供新方法。主要取得以下成果：

(1)提出了基于轨迹预测的场区施工人员靠近风险区域预警方法。该方法由3个模块组成，包括：基于改进YOLOv5+DeepSORT的多目标追踪模块、基于Social-STGCNN的轨迹预测模块、以及基于PNPoly的靠近风险区预警模块。本文所提出的实时预警模型能有效预测施工人员轨迹，结合风险区电子围栏进行风险分析与预警，有效保障施工人员作业安全。

(2)针对水利工程施工场景，构建了基于改进YOLOv5+DeepSORT算法的施工人员多目标追踪模型。以改进后的YOLOv5作为目标检测模型，以Market公开数据集作为表观特征提取数据集进行训练，训练集和测试集的loss值分别为0.13、0.61，top-1 error分别为0.02、0.15，满足现场使用需求。

(3)利用构建的多目标追踪和轨迹预测模型，对施工人员进行轨迹收集和预测，预测误差随预测时长增加而增加，预测2.0秒施工人员轨迹的ADE和FDE分为22.82、34.45像素，而预测4.8秒施工人员轨迹的ADE和FDE分为36.25、51.01像素。但由于轨迹预测需考虑因素众多且数据集较小，预测轨迹仍存在一定偏差，后续可结合BIM技术，进一步提升轨迹预测精度。