基于图像的地铁车站施工人员不安全行为识别研究

祝铭悦　牛梓儒　万勇　朱仁迟　张丹　郭海林

关键词：安全管理工程其他学科;地铁车站施工;不安全行为;动作识别;模型优化

中图分类号：X947 文献标识码：A DOI： 10.7535/hbgykj.2023yx01004

随着中国城市建设的快速发展，地面交通压力越来越大。为缓解城市交通压力，地铁项目相继开工，在建设过程中出现大量安全事故。近15年来，发生在施工阶段的地铁安全事故占比约为60%[1]，其中，人的不安全行为导致的安全事故占总数的70%～98%[2]。由于在地铁车站施工中，人员的不安全行为复杂多样，传统的人盯人安全监管已不能满足现场管理需求;同时监控摄像头已广泛应用于施工现场，为图像识别提供了良好的硬件基础[3]。因此，有必要开展地铁车站施工人员不安全行为的图像识别研究，为实时监管施工人员的不安全行为提供科学依据。

图像识别作为计算机视觉中的一个分支，近几年有了长足的进步和发展。目前，图像识别在人们的日常生活中十分常见[4]，如高铁站身份核对、指纹打卡、人脸支付等，应用领域也十分广泛。尤其在建筑行业，人体姿态识别技术受到研究者们的青睐。杨枭[5]利用Open Pose算法提取人体关键点信息，建立二维的人体骨骼模型，提出多特征融合的CamShift跟踪算法来完成叉车人员安全检测任务。元黎明[6]首先将建筑工人不安全行为分为4大类，运用AI智能框架Eazy DL设计不安全行为检测系统识别动作。于言滔[7]通过将不安全行为的检测转化为对前置动作的识别，构建的人体模型用关节参数角度表示不安全前置动作，建立实时采集模块识别工人依靠、高处倾倒和攀爬3类动作。谢逸等[8]从人身检测、入侵检测以及协同作业检测3个方面对人员不安全行为进行监测，同时提出了较为系统的检测框架。地铁施工中，王凯迪[9]构建基于YOLO 的小目标检测网络，能较好地对地铁施工人员以及安全帽进行识别。综上，目前人体动作识别研究十分广泛，研究成果较为丰富，但仍然存在对地铁车站施工人员的行为识别研究较少、复杂环境下识别模型复杂与识别率不高等问题。

因此，为解决地铁车站施工人员不安全行为的实时监管等现实问题[10]，本文拟在对地铁车站施工人员不安全行为分类的基础上，基于现场图像研究人员越界行为的检测方法，并构建施工人员行为数据库，利用机器学习和深度学习算法对施工人员动作进行识别，为实现地铁车站施工安全智能管理提供支持。

1 地铁车站施工不安全行为分析

1.1 施工人员不安全行为定义

狭义的行为安全领域研究表示，不安全行为包括施工人员作业时的某种行为、行为引发事故的趋势与选择此行为的原因3个因素[11-13]。由此可知，地鐵施工人员的不安全行为是指在地铁施工过程中施工人员产生的已经导致事故发生或可能会造成安全事故的人为差错，包括导致伤害事故发生的不安全动作以及规定实施而没有执行的安全行为。

1.2 施工人员不安全行为分类

在地铁施工过程中，现场人员必须遵守国家标准规范、规章制度及各类安全管理条例[14]，例如《安全生产法》《建筑安装安全操作规程》、地铁施工相关规范以及公司制定的地铁工程施工安全管理制度等。根据法律法规、参考文献以及地铁车站施工实地调研，本文将地铁车站施工人员的不安全行为从识别角度分为4类：不安全位置类、不安全动作类[15]、未正确使用个人劳动防护用品和其他。

本文主要针对地铁车站施工现场人员处于不安全位置和做出不安全动作进行识别。

2 检测基本算法

2.1 基于MobileNet V1的SSD目标检测算法

本文采用基于MobileNet V1 的SSD（shotmultibox detector）算法，全连接层、最大池化层和Softmax 等最后几层被省略[16]，同时具有MobileNet V1算法延迟低和SSD算法的高精度检测特点。基于MobileNet V1的SSD架构模式如图1所示。

越界检测效果如图2所示，图中蓝色区域为标定的不安全区域，当人员进入画面时显示目标的ID，从0开始，并用白色矩形框标注，通过计算矩形框内人体像素重心坐标，利用射线法判断重心越过不安全区域边界时发出警告，区域边界显示为红色，输入视频测试时帧率达到30 f/s，检测识别效果较好。

3 基于骨骼序列的施工人员不安全行为识别数据集的构建

3.1 实验设计

在实验室环境下模拟施工人员在施工现场经常出现的8种行为，并对其进行识别，包括现场安全行为和不安全行为，包括堆放、行走、蹲坐、挥手、攀爬斜坡、依靠、跌倒和下楼打电话。本文采用双摄像头进行视频录制，摄像头通过USB与电脑直接连接，通过软件保存实验视频数据，摄像头帧率为30 f/s，图像大小为1 280×720 px，摄像头高度设为1.4 m，分别采集人体正面和侧面2个方向的数据。为保证能够完整拍摄到人体动作，在摄像头画面中规定动作区域并用红线表示。

实验人数为20，所有被试者均为非专业施工人员，实验分为预采集阶段和正式采集阶段，预采集阶段人数为1，实验编号为0，正式采集阶段共19人，实验编号为1～19。施工现场男多女少，因此本文实验被试者中男性15名，女性5名。

每个动作从开始到结束采集时间设定为15 s，每个动作采集6次，实验前被试者休息5～10 min，随后引导被试者站立在画线区，确保能够捕捉到整个身体，开始捕捉。每种动作采集6 次后休息2 min，避免疲劳实验，8 种动作采集完毕后实验结束。

3.2 数据采集与处理

实验中每个动作采集了120个视频数据，总共采集视频数据1 920个。采集到的视频每隔20 f提取一张图片转换成图片数据，剔除掉部分不符合要求的图片。然后对每张图片使用Open Pose模型估计图像中人体骨骼点的空间位置信息和置信度，并将骨骼点信息保存到csv文件中。

對于本文所采集的动作，移除了头部和脚掌的关节数据，同时删除置信度较低（低于0.3）的信息。数据预处理之后，手动设计和提取可能对区分动作类型有用的显著特征。为区分不同动作并消除不同图像大小的影响，降低数据维度，提高模型的训练速度和准确性，本文将骨骼点位置信息转换为10个关节角度，使用的Open Pose算法获取人体骨骼中鼻子、脖子等25个关节点编号。

4 模型构建与结果分析

4.1 KNN 模型参数优化与识别结果分析

在本文建立的模拟施工人员行为数据集上，用KNN 算法作为分类器，相关超参数设置为“n_neighbors”表示取临近点的数量k，通过不同k 值的测试，“n_ neighbors”设置为25。权重参数“weights”设置为“distance”，表示权重为距离的倒数，距离近的对分类判决影响大。“algorithm”设置为“kd_tree”，表示通过构造KD 树来实现邻近样本的搜索。距离参数“p”设置为2，表示距离的度量方法使用的是欧氏距离。

KNN模型评估参数如表1所示，输出混淆矩阵如图3所示。使用KNN 算法得到的总体准确率为93.45%，所有动作的精确率均高于83.00%，平均精确率为93.28%;召回率均高于73.00%，平均召回率为93.50%;F1 值均高于80.00%，其平均值为93.20%。其中“下楼打电话”动作的F1 值仅80.60%，识别效果最差;该算法对“行走”“蹲坐”“堆放”和“依靠”4个动作识别效果较好，F1 值均大于95.00%。由输出混淆矩阵可知，对于“下楼打电话”动作有17.00%的概率被错误识别为“攀爬斜坡”，有3.00%的概率被错误识别为“挥手”，有3.00%的概率被错误识别为“蹲坐”，错误率最高，其他动作的错误识别率均在3.00%以下。

4.2 MLP模型构建与识别结果分析

编写程序使用基于TensorFlow 平台的Keras深度学习框架构建MLP模型，考虑到函数式模型和序贯模型的特点，本文编写的MLP模型使用序贯模型（Sequential）。构建的最终模型由5个全连接层组成，模型前4个全连接层均使用ReLU 激活函数，最后一层用Softmax作为激活函数。为防止模型过拟合，全连接层中权重矩阵用Keras.regularizers.l2正则化方法，正则化参数λ 设置为0.01。

MLP模型评估参数如表2所示，输出混淆矩阵如图4所示。使用MLP模型得到的总体准确率为93.94%。除“下楼打电话”动作的精确率较低为76.05%，其余动作准确率均高于92.00%，平均精确率为94.22%;所有动作的召回率均高于85.00%，平均召回率为93.85%;F₁值均高于81.00%，其平均值为94.73%。其中“下楼打电话”动作的F₁值为81.86%，“挥手”和“行走”动作的F₁值均高于98.00%，识别效果较好。

4.3 LSTM模型构建与识别结果分析

基于TensorFlow 的Keras库构建模型，分类模型添加了3个LSTM 层和1个Dense层，激活函数设置为Softmax，损失函数使用categorical_crossentropy（交叉熵函数），采用Adam 算法作为优化器，超参数中学习率α 设置为0.000 1。

LSTM 模型评估参数如表3所示，输出混淆矩阵如图5所示。LSTM 模型得到的总体准确率为93.68%。所有动作准确率均高于83.00%，平均精确率为93.57%;除“跌倒”动作召回率只有74.84%，其余动作的召回率均高于94.00%，平均召回率为93.72%;F₁ 值均高于80.00%，其平均值为93.53%，“跌倒”动作的F₁值最低，为80.26%。

综上，KNN，MLP 与LSTM 模型的总体准确率分别为93.45%，93.94%和93.68%;F₁的平均值分别为93.20%，94.73%和93.53%。

5 结语

为解决人工监测地铁车站施工人员不安全行为不够理想的问题，本文提出了新型不安全行为分类方法和优化的MLP识别模型，主要研究结论如下。

1）通过刺激-反应行为模式和勒维特行为模型，并依据现场调研从图像的角度将地铁车站施工人员不安全行为分为4类。

2）为解决施工人员的定位和追踪问题，通过实验确定不安全行为特征，结合传统的射线法和越界警报，对MobileNet V1的SSD算法进行了优化，判断了施工人员是否出现在不安全区域，实验结果验证了该方法的有效性和可行性。

3）依据地铁车站施工现场情况以及分析车站施工安全事故选取了8种动作进行识别，在自建数据集中，传统机器学习算法KNN 总体准确率达到93.45%，平均召回率达到了93.50%;优化后的MLP和LSTM 两种神经网络模型总体准确率分别为93.94%和93.68%，平均召回率达到了93.85%和93.72%;相对传统KNN 算法，MLP 和LSTM模型的总体准确率分别提高了0.49%和0.23%。而MLP模型的识别准确率和F1 值最高，对不安全行为的识别错误率最低，可选择MLP模型作为地铁车站施工人员不安全行为的识别模型，为构建地铁施工安全智能识别系统提供模型基础。

论文实现了基于图像的多区域条件下的施工人员不安全行为的识别，但是目前所提出的模型在人员行为预测等方面还有待研究，后续可加入人员行为预测功能，以进一步提高识别系统的安全性和人机交互性。