基于深度学习的自动扶梯乘客异常行为识别方法研究*

林创鲁 叶亮 李刚 李丽宁

学术研究

基于深度学习的自动扶梯乘客异常行为识别方法研究*

林创鲁 叶亮 李刚 李丽宁

（广州特种机电设备检测研究院，广东 广州 510180）

自动扶梯乘客异常行为识别方法的研究对保障乘客安全具有重要的意义。针对自动扶梯出入口拥堵、长时间停留等乘客异常行为缺乏有效识别和预警手段的不足，提出一种基于深度学习的自动扶梯乘客异常行为识别方法。该方法采用YOLOv4算法对自动扶梯使用场景的视频进行特征提取，识别检测区域的乘客信息；结合DeepSORT算法对检测到的乘客进行追踪和统计，构建乘客异常行为识别模型，实现乘客异常行为的识别。对4段自动扶梯监控视频的实验结果表明，该方法检测平均准确率为95.09%，能准确地识别自动扶梯出入口拥堵、长时间停留等乘客异常行为。

深度学习；目标检测；目标跟踪；异常行为识别；YOLOv4算法；DeepSORT算法

0 引言

随着我国城市化进程的不断深入，城镇人口也在快速增长。自动扶梯因在持续输送大量人流方面具有独特的优势，故在公共聚集场所得到广泛使用。公共聚集场所的自动扶梯负荷高、持续工作时间长，乘客异常行为（出入口拥堵、长时间停留等）状况较为普遍。因乘客异常行为而引发的摔倒、夹伤和踩踏等事故给安全管理带来巨大挑战[1]。快速地识别这些乘客异常行为，是管控安全风险的重中之重。传统的自动扶梯使用管理方法多为使用单位在客流高峰时段，安排工作人员在自动扶梯出入口值守，疏导客流，引导乘客安全乘梯，耗费了大量的人力和物力。随着深度学习技术的发展和应用，利用其进行自动扶梯乘客异常行为检测是发展趋势。

近年来，国内外学者对基于深度学习的自动扶梯乘客异常行为检测开展如下研究：田联房等[2]通过对自动扶梯乘客人体骨架序列进行提取，识别摔倒、探头、探手等异常行为；杜启亮等[3]采用YOLOv3检测自动扶梯乘客的位置，使用MobileNetv2结合反卷积的方法来提取乘客骨架，利用匈牙利匹配算法对乘客进行跟踪，识别乘客的异常行为；吉训生等[4]提出一种改进的Tiny YOLOv3自动扶梯乘客异常行为检测网络结构，提高了乘客异常行为的检测速度；张鑫鑫 等[5]开发了基于OpenPose算法的自动扶梯乘客异常行为智能监控系统，并验证了该系统对模拟的摔倒等异常行为检测的有效性；LI Y等[6]研究一种基于加权卷积自动编码器和YOLO网络的异常行为检测方法，提高了其在UCSD数据集上的检测性能；AZHAR M I H等[7]提出基于YOLOv3和DeepSORT的人流跟踪方法，实现了人员实时检测和运动路径的有效跟踪；HOST K等[8]运用YOLOv3目标检测器和DeepSORT算法来检测和跟踪手球运动员，并分析特定球员在场上的表现。然而现有的研究大多集中在乘客个体姿态的异常动作识别和人流跟踪，少有涉及自动扶梯使用场景的出入口拥堵、长时间停留的研究。为此，本文针对自动扶梯乘客使用场景，结合深度学习的目标检测算法和多目标跟踪算法，提出基于YOLOv4和DeepSORT的自动扶梯乘客异常行为识别方法，实现自动扶梯出入口拥堵、长时间停留状况的识别。

1 自动扶梯乘客异常行为识别方法

基于深度学习的自动扶梯乘客异常行为识别方法包括：1）基于YOLOv4的实时自动扶梯乘客检测；2）基于DeepSORT的乘客动态跟踪；3）乘客异常行为识别，其框图如图1所示。

图1 基于深度学习的自动扶梯异常行为识别方法框图

利用视觉传感器采集自动扶梯使用场景的视频作为乘客检测的输入；通过目标检测算法YOLOv4获取乘客特征，并对乘客进行定位；通过多目标跟踪算法DeepSORT动态跟踪检测区域内乘客的实时情况；利用乘客异常行为识别算法进行异常行为分类，输出识别结果。

2 乘客检测

乘客检测是乘客动态跟踪和异常行为识别的基础。考虑到后续边缘侧部署及实时性的需要，采用单阶段目标检测算法YOLOv4进行乘客检测。YOLOv4网络结构主要由Input、Backbone、Neck、Prediction等4部分组成[9]，如图2所示。

Input对自动扶梯使用场景检测区域图像或训练数据集进行统一处理，形成尺寸相同的图像，作为Backbone的输入；Backbone采用CSPDarkNet53网络对输入的图像进行特征提取；Neck由空间金字塔池化（spatial pyramid pooling, SPP）与路径聚合网络（path aggregation network, PANet）组成，分别用于分离上下文特征和特征融合；Prediction即输出端，对Neck处理后的3个特征层进行结果预测，输出乘客特征图和定位等信息。

图2 YOLOv4网络结构

3 乘客动态跟踪

本文采用多目标跟踪算法DeepSORT[10]进行乘客动态跟踪。DeepSORT算法利用卡尔曼滤波和匈牙利算法分别处理乘客动态跟踪的运动预测和数据关联部分，算法流程如图3所示。

图3 基于DeepSORT的自动扶梯乘客动态跟踪算法

基于DeepSORT的自动扶梯乘客动态跟踪算法包括乘客状态预测、交并比匹配（intersection over union, IoU）、级联匹配和跟踪器更新4个步骤。

3.1 乘客状态预测

3.2 交并比匹配

在自动扶梯使用场景的视频中，帧与帧之间同一乘客正确关联且编码一致，是识别乘客异常行为的基本前提。通常，利用卡尔曼滤波根据最近检测框信息对乘客轨迹进行预测，计算新检测框与轨迹预测框的IoU，采用匈牙利算法实现多个乘客ID的最优分配。IoU的计算公式为

式中：

由于IoU的计算仅根据当前帧和之前帧的信息对乘客轨迹进行预测，而不需要一次性处理整个视频，可获得较好的实时性和准确性。但当被跟踪乘客受到遮挡或运动状态变化较大时，会产生多于实际的乘客ID，降低了识别准确度。

3.3 级联匹配

式中：

在空间度量方面，利用马氏距离来度量卡尔曼滤波预测框与检测框的偏离程度，马氏距离计算公式为

式中：

在外观度量方面，利用卷积神经网络来提取乘客的外观特征，使用最小余弦距离来度量当前帧中各个乘客的特征向量与历史轨迹中所有乘客特征向量之间的外观相似度。最小余弦距离的计算公式为

式中：

3.4 跟踪器更新

乘客数据关联匹配后，需要对跟踪器进行更新，以便持续跟踪乘客。跟踪器更新主要包括：

1）对于级联匹配成功的跟踪器，被检测的乘客继承与其匹配成功的跟踪器编码，并利用匹配成功的边界框信息预测下一帧的乘客位置；

2）对于级联匹配未成功的跟踪器，进行IoU，若匹配成功，则继承跟踪器编码；若匹配不成功，考虑检测器漏检或短时遮挡的情况，如跟踪轨迹的标记为不确定，则删除轨迹；如跟踪轨迹的标记为确定，则为其设置生存帧数，若在生存帧数期间仍匹配失败，则移除轨迹；

3）对级联匹配未成功的乘客，进行IoU，IoU未成功的乘客，为其建立一个新的跟踪器并分配编码，标记为临时轨迹，如接下来3帧连续匹配成功，则标记为确定轨迹。

4 乘客异常行为识别

自动扶梯使用场景的视频经YOLOv4目标检测后获得乘客框信息；新的或匹配的乘客轨迹经卡尔曼滤波预测获得乘客状态估计；通过级联匹配和IoU实现数据关联匹配，获得乘客轨迹，作为异常行为识别算法的输入。

式中：

式中：

5 实验

5.1 实验环境

本实验所用的数据集源自某市地铁自动扶梯使用场景的视频数据。以Tensorflow为软件框架，模型训练、测试硬件环境为AMD Ryzen 53600型CPU，内存为24 GB；NVIDIA RTX 3080 型GPU，显存为12 GB；操作系统为Windows 10。

5.2 乘客异常行为识别

本实验利用YOLOv4模型对自动扶梯使用场景视频中的乘客进行检测，将检测结果作为DeepSORT跟踪算法的输入。通过对检测结果与跟踪器的关联与匹配，实现目标区域内的乘客动态跟踪；通过对乘客动态跟踪结果的行为识别，实现自动扶梯乘客异常行为的识别。选取正常、较拥堵、拥堵、长时间停留等典型的自动扶梯使用场景，开展异常行为识别方法的实验验证，实验结果如表1所示。

表1 自动扶梯典型使用场景的异常行为识别

由表1可以看出，自动扶梯乘客异常行为识别方法对4种典型使用场景都有较好的检测效果，平均准确率达到95.09%，可较好地适应乘客被遮挡的情况，并有效判别4种典型使用场景及异常行为。

6 结语

本文提出基于深度学习的自动扶梯乘客异常行为识别方法，利用YOLOv4模型进行乘客检测；结合DeepSORT算法对目标区域内的乘客进行动态跟踪；利用乘客异常行为识别算法实现自动扶梯使用状况和乘客异常行为的识别。实验结果表明，本文的识别方法对自动扶梯典型的使用场景有较好的检测效果，平均准确率达到95.09%，可识别正常、较拥堵、拥堵和长时间停留等4种使用场景。该方法为公共聚集场所自动扶梯的使用安全管理提供一种新的技术手段，可有效支持自动扶梯精准化管理，减轻自动扶梯安全管理的压力。下一步将考虑对识别算法进行轻量化设计，开展边缘侧部署，以实现自动扶梯的实时监测和预警。

[1] 卢文刚,黄小珍.城市地铁踩踏事件应急管理研究——基于2008-2017年典型案例的分析[J].中国应急救援,2017(4):4-9.

[2] 田联房,吴啟超,杜启亮,等.基于人体骨架序列的手扶电梯乘客异常行为识别[J].华南理工大学学报(自然科学版),2019, 47(4):10-19.

[3] 杜启亮,黄理广,田联房,等.基于视频监控的手扶电梯乘客异常行为识别[J].华南理工大学学报(自然科学版),2020,48(8): 10-21.

[4] 吉训生,滕彬.基于深度神经网络的扶梯异常行为检测[J].激光与光电子学进展,2020,57(6):140-149.

[5] 张鑫鑫,杨超宇,杨成.基于OpenPose的自动扶梯智能监控系统应用研究[J].黑龙江工业学院学报(综合版),2020,20(10): 49-55.

[6] LI Y, DAI Z. Abnormal behavior detection in crowd scene using YOLO and Conv-AE[C]//2021 33rd Chinese Control and Decision Conference (CCDC), 2021:1720-1725.

[7] AZHAR M I H, ZAMAN F H K, TAHIR N M, et al. People tracking system using DeepSORT[C]//2020 10th IEEE International Conference on Control System, Computing and Engineering (ICCSCE), 2020:137-141.

[8] HOST K, IVASIC-KOS M, POBAR M. Tracking handball players with the DeepSORT algorithm[C]. 9th International Conference on Pattern Recognition Applications and Methods (ICPRAM), 2020:593–599.

[9] 邵延华,张铎,楚红雨,等.基于深度学习的YOLO目标检测综述[J].电子与信息学报,2022,44(10):3697-3708.

[10] WOJKE N, BEWLEY A, PAULUS D. Simple online and realtime tracking with a deep association metric[C]//IEEE International Conference on Image Processing (ICIP), 2017: 3645-3649.

Research on Identification Method of Escalator Passengers' Abnormal Behavior Based on Deep Learning

LIN Chuanglu YE Liang LI Gang LI Lining

(Guangzhou Academy of Special Equipment Inspection & Testing, Guangzhou 510180, China)

The research on the identification method of escalator passengers' abnormal behavior is of great significance to ensure the safety of escalators. Aiming at the shortage of effective identification and early warning methods for abnormal behaviors of escalator passengers, such as congestion and long stay at the entrance and exit of escalator, this paper proposes a method for identifying abnormal behaviors of escalator passengers based on deep learning. In this method, YOLOv4 algorithm is used to extract the features of the escalator scene video and identify the passenger information in the sensing area; Combined with DeepSORT algorithm, the detected passengers are tracked and counted, and the identification model of abnormal behavior is built to realize the identification of abnormal behavior of passengers. The experimental results of four escalator surveillance videos show that the average detection accuracy of this method is 95.09%, and it can accurately identify the abnormal behaviors of passengers such as congestion at the entrance and exit of the escalator and long stay.

deep learning; object detection; target tracking; identification of abnormal behavior; YOLOv4 algorithm; DeepSORT algorithm

TH391.4

A

1674-2605(2022)06-0001-06

10.3969/j.issn.1674-2605.2022.06.001

林创鲁,叶亮,李刚,等.基于深度学习的自动扶梯乘客异常行为识别方法研究[J].自动化与信息工程,2022,43(6): 1-6.

LIN Chuanglu, YE Liang, LI Gang, et al. Research on identification method of escalator passengers' abnormal behavior based on deep learning [J]. Automation & Information Engineering, 2022,43(6):1-6.

广州市市场监督管理局科技项目（2022kj18）

林创鲁，男，1983年生，硕士，高级工程师，主要研究方向：特种设备智能监测与预警。E-mail: linter0663@163.com

叶亮，男，1983年生，硕士，高级工程师，主要研究方向：特种设备智能监测与预警。

李刚，男，1988年生，硕士，工程师，主要研究方向：特种设备风险监测与预警。

李丽宁，女，1988年生，本科，助理工程师，主要研究方向：特种设备智能监测与检测。