基于隧道智能安全巡检机器人的人员穿戴识别模型研究

陈 可，刘绥美，姚秀军，石晶晶，王 栋

（1.中铁工程服务有限公司，四川成都 610083；2.京东科技集团机器人产品部，北京 100176）

城市建设的不断发展促进了轨道交通建设工程体量的日益增加。隧道建设工程难度提升，安全性要求增强。隧道安全巡检是确保地下工程安全的主要方式。目前传统的安全巡检主要依靠人工以及少量监控设备，无法做到全覆盖和实时监测，不仅费时费力，且巡检数据记录不及时，数字化、智能化水平较低。同时由于隧道建设通信不便捷、隧道路程加长以及工况难以预判等因素影响，导致巡检人员的安全性风险较高[1]。

随着机器人和人工智能技术的发展，机器人在城市轨道交通领域的应用越来越广泛。为解决传统人工巡检存在的不足，应用传感技术、视觉识别、远程通信以及计算机辅助等相关技术，挂轨式隧道安全巡检机器人可以避免地面轨道对环境和人员的影响，不受地面环境情况的影响，实现全天候运行监测，能够适应各类恶劣环境，提升人员安全保障，实现标准化、数字化作业规范、数据可追溯等功能，为工程建设提供智能化支撑[2]。文中基于挂轨式隧道安全巡检机器人，以巡检过程中采集的数据集，通过训练、优化的识别模型，对神经网络识别隧道内人员穿戴规范情况的效果进行分析。

当前行人检测技术的主要实现方向有两种：一种是基于深度学习和机器学习，利用有监督的机器学习方式实现检测分类，输入各类行人以及特征标签数据，构造筛选器进行机器学习训练，输出可判断行人动作特征的检测与分类的动作模型；另一种为基于人体骨骼的拆分建模与识别方法，通常实现方式将人体按结构拆分至多个模块，模拟各模块间物理关系，以此设计算法模型，实现目标检测[3]。

该文通过YOLO V4 对提取的行人特征进行训练和检测，从而实现对于人员穿戴信息的识别，提高隧道中行人的检测准确率，并有效降低了计算量。

1 隧道巡检机器人

1.1 隧道巡检机器人设计要求

1）作为隧道安全巡检机器人，利用其自身的移动功能，通过管理平台或者手持终端设计巡检方案。机器人能够完全独立自主地对隧道内情况进行全面检测以及无死角巡检，并在低电量情况下自动归位充电。

2）隧道巡检机器人具备对温湿度、气体、噪声、粉尘、烟雾等基础环境的实时检测功能，如遇烟雾、火情、有害气体或温湿度超标等情况可实现及时告警。

3）对现场的电力、水力、通信管线设施进行表面外观与实时发热情况的监测，并对高温高热部分进行记录报告。

4）具备图像和视频的综合分析能力，识别工作人员的身份以及行为[4]。

5）当机器人的巡检任务完成后，能够根据巡检任务自动生成巡检结果，及时反馈设备运行状态、环境情况及人员施工情况。

1.2 总体设计方案

为实现以上要求，将系统划分为轨道、机器人本体、手持控制终端、管理平台等四部分，具体如图1所示。机器人本体包括驱动单元、核心控制单元、视觉处理单元。

图1 隧道巡检机器人架构图

1）机器人驱动单元：该单元是机器人的运行执行机构，为机器人提供驱动力，保证机器人在轨道上按照控制指令前进、后退。驱动单元主要由电机、辅助轮、机械结构等组成。

2）核心控制单元：通过与管理平台或手持终端通信接收来自管理平台或手持终端的信息，形成综合指令，使机器人按照规定的模式工作。同时，根据搭载的安全传感器，感知和判断周围环境，防止碰撞到人员、设备。核心控制单元主要由电源系统、主控板、安全传感器、急停、灯光等模块组成。

3）视觉处理单元：主要完成现场的实时视频采集和传输，依靠图像识别板块，基于深度学习模型和数字图像处理算法，对机器人采集的视频和图像信息进行分析和处理。结合图像分割、目标检测、目标追踪等技术，可以实现人员安全帽、反光背心规范穿戴识别、传送带跑偏、渣土漏渣识别、轨道异物识别、轨道车人员超载识别等功能。

1.3 人员穿戴情况检测流程设计

大多数文献对于人员穿戴的识别类型主要集中在马路或者室内人员，基于地铁、公路隧道等特殊施工场景的施工、管理人员的规范穿戴研究比较少，而且高质量照片中穿戴分析的方法并不适用于隧道等图像质量较差的情况，也无法识别低光照图像中的移动目标[5]。人员穿戴检测的主要内容是衣着和安全帽检测。人员穿戴识别的检测流程如图2 所示。

图2 人员穿戴识别的检测流程

2 传统识别模型

行人检测是实际生活中应用比较广泛的检测场景。支持向量机SVM（Support Vector Machine）为一种基于统计学的分类技术，在机器学习领域常用于对数据进行分类和回归分析的技术。HOG+SVM 的行人检测方法[6-7]主要通过手工设计特征，采用HOG算法提取目标的梯度直方图特征，再用SVM 算法进行分类训练，确定当前特征是人还是背景，从而实现对行人的检测。

梯度方向直方图(Histogram of Gradient)[8]是一种边缘特征，会形成整个直方图特征，如图3，假设图像尺寸为64×64；每个cell 为8×8；每个block 包含2×2 的cell，即为16×16；步长为1个cell，共有7×7=49个block；最终得到的特征向量的维度是：49×（2×2×9）=1 764。

图3 HOG特征图

HOG 特征[8-10]结合SVM 分类器因其实现简单且在稳定场景下准确性较高，被广泛应用于人脸检测，但其存在以下缺点：①特征描述子获取过程复杂，维数较高，导致实时性差；②对遮挡问题难以处理；③对噪声比较敏感，受光照、遮挡等因素影响，检测精度会大大降低。

3 深度识别模型

3.1 YOLO模型

相较于传统目标检测算法，深度学习采用多层卷积网络能够提取丰富稳定的特征，即低层次的边缘细节信息和更高层次的语义信息，使得检测算法精度和鲁棒性更高，泛化能力也更强。常用的基于深度学习的目标检测算法有SSD、RCNN 系列、YOLO系列、Retina-Net 等[11]。

YOLO（You Only Look Once）[12]的核心思想是采用深度神经网络算法进行对象识别和定位，把物体检测处理成分类和回归问题，将图片划分为若干网格作为输入，用卷积神经网络结构从输入图像预测出每个候选框预测的类别概率和坐标。其优势是运行速度快，适用于实时系统。YOLO 系列模型是单阶段检测模型的典型代表，目前已经发展到第四代YOLO V4，相对其他单阶段检测模型，YOLO V4 在速度和精度上达到很好的平衡[13]。

YOLO V4 算法是在原有YOLO 目标检测架构的基础上，采用了近些年CNN 领域中表现较好的优化策略，从数据处理、主干网络、多尺度训练、激活函数、损失函数等角度进行优化[14-16]。

因此，设计主要采用基于YOLO V4 的模型，对隧道内应用场景来说较为合适。

3.2 数据标注及训练

深度学习模型性能稳定且高效。该文的数据为隧道内真实采集的人员穿戴数据，利用摄像头采集到有效数据共计5 000 张，为了扩充样本，利用平移、水平翻转、调整亮度等数据增强方法，最终获得的训练数据约20 000 张，并按照10∶1 划分训练集和测试集，部分数据集如图6 所示。

根据人员穿戴规范识别的流程，通过对工作人员进行检测，在此基础上对其是否规范佩戴安全帽、穿戴安全服进行识别，若无规范穿戴，则会发出告警提示。

为了量化统计穿戴规范性的准确率，将隧道内人员是否规范穿戴的判断结果分为6 种：

1）穿戴正确：戴安全帽、穿安全服；

2）佩戴安全帽，未穿安全服；

3）未佩戴安全帽，规范穿戴安全服；

4）未佩戴安全帽，未穿安全服；

5）佩戴安全帽，未规范穿戴安全服。

6）未佩戴安全帽，未规范穿戴安全服。

针对这6 个类别，借助标注软件LabelImg 进行标注。在数据集训练过程中，随机选择一定比例的图片进行特征提取[17]，用于迭代训练，同时对于每次迭代进行模型评价。

图4 6种穿戴情况数据图

3.3 Nano-YOLO

该文针对原始的YOLO V4 模型，利用深度学习模型剪枝方法对模型进行剪枝，降低模型的参数量；同时，为了进一步提升推理效率，对剪枝后的模型进行量化，将权重由FP32 量化成FP16，最终经过剪枝和量化后的模型推理效率提升一倍。将原始的CSP-Net 替换为Efficient-Net，在不降低精度的情况下降低30%的参数量，同时考虑到隧道里人员目标大多为中等以上尺寸，将FPN 由3 层裁剪为2 层，改进后的模型称为Nano-YOLO[18]。

由于嵌入式平台相对于本地显卡算力低很多，为在嵌入式设备上高效稳定地运行人员穿戴识别模型，需要对其进行量化和推理加速。该文借助英伟达官方的TensorRT 工具，将模型转换为INT8 精度，模型相对量化前减少3∕4，最终模型大小为3.5 M，针对视频数据，在Xavier NX 上的推理速度达到45 帧∕秒。

3.4 测试结果

测试的设备环境为Ubuntu16.04，机器学习系统为TensorFlow1.7.0。测试集共计2 000 张图像，包含正样本和负样本。利用测试集分别对Nano-YOLO和传统HOG+SVM 方法进行测试，测试数据的像素大小为1 280×720。对比实验选取mAP 作为模型的评价指标，设置交并比为0.5，测试结果如表1 所示。测试结果的评价指标为准确率和召回率。

表1 不同方法的性能对比

式中，TP代表将正样本中预测为正的个数，TN代表将负样本预测为负的个数，FP代表将负样本预测为正的个数，FN代表将正样本预测为负的个数。

从表1 中可以看出，Nano-YOLO 的检测准确率比传统的HOG+SVM 方法提高了21%。实验数据说明传统算法受光照影响明显，容易造成漏检，验证了该文提出的检测方法是可行的。

4 人员识别效果

为验证该文人员穿戴识别方法在实际工作场景的有效性，将Nano-YOLO 模型部署在某地铁施工隧道中运行的隧道巡检机器人进行实际测试，识别结果如图5 所示。

图5 人员穿戴识别结果

从实际的识别图片中可以看出，模型能够实时地识别出大多数的人员穿戴情况，整体识别率比较高，在人员重叠或者被其他物体遮挡的情况下，依然能够准确识别。而且对图像的清晰度、光照适应性较强，证明了Nano-YOLO 模型能够满足施工现场的监控要求。

5 结论

该文基于YOLO V4 模型进行改进，设计了一种基于深度学习的人员穿戴规范识别方法。利用改进后的Nano-YOLO 训练人员穿戴识别模型，并将其部署在隧道巡检机器人中。经过在深圳十四号线地铁施工现场2 000 m 的隧道内历时达6 个月的运行，统计最终的人员穿戴识别率为98%，且针对视频流图像可达到45 帧∕秒的检测速度。实践证明：该文算法可以准确地检测出施工现场中几乎所有人员的穿戴规范性，可以满足现场安全监控要求，能够实现快速、实时、全面的安全监测，避免传统人工隧道人员穿戴不规范带来的隐患。该隧道巡检机器人极大地节省了安全巡检中人力物力的投入。在地下轨道交通的高速发展中，该设备也将得到更广泛的应用。