基于视觉的乘扶梯人员安全行为预警

王国庆 郑国华 邵卫华 李克祥 朱朝柯

（浙江索思科技有限公司，浙江温州 325000）

1.设计背景

自动扶梯是一种类似于倾斜式传送带的运输装置，在机场、地铁、火车站和商场等公共场合场所完成乘客和货物的运输。自动扶梯的大规模应用，给人们带来了便利，同时其安全问题也日益凸显。近年来，自动扶梯的安全事故时有发生，不仅影响了扶梯的运行效率，同时造成了一定的人员伤亡，因此提高自动扶梯的安全性受到普遍关注。当前，为了提高自动扶梯的安全性，人们采用了安排工作人员看守、语音提示、按紧急制动按钮等方式，但是这些方式都有一定的弊端。首先，对于车站、商场等场所，使用的自动扶梯数量多，若每个扶梯都安排专人看护，人工成本大，而且在这些场所的人流量通常都比较大，因此单凭人工看守，很难第一时间采取应对措施。同时，随着电动扶梯使用年限的增加，磨损和老化问题会不断加剧，故障率会上升，不仅会导致自动扶梯运动维护的成本增加，而且安全性难以保证，因此建立一种自动的扶梯乘客危险行为监控和行为预警系统，对自动扶梯商人和物品进行自动监控，并进行预警，具有重要作用，可以显著降低扶梯的安全事故。基于此本文基于视觉分析，建立了一个扶梯乘客危险行为监控和预警系统。

2.系统框架设计

本文设计的基于视觉的乘扶梯人员危险行为监控和安全行为预警系统，主要包括视频接入模块、智能数采模块和云平台模块。其中，智能数采模块包含3个子模块，分别是视频采集、算法计算和视频流存储，在实际运行过程中，视频接入模块的视频流数据会被传输到视频流存储模块，传输给算法计算模块，由其对数据进行计算和分析，将根据不同的数据内容，将视频内容分别储存到视频流存储模块和云平台，方便后续应用。下面从各模块出发，对系统的设计进行介绍。

2.1 视频接入模块

视频接入模块的主要功能是获得扶梯运行和行人的视频数据，主要的器件是高清摄像头，安装在扶梯入口、扶梯出口、扶梯中间以及扶梯底部等位置，通过这些高清摄像头可以实时获取各监控点的食品数据信息[1]。

2.2 智能数采数模块

智能数采模块包括视频采集、算法计算和视频流存储等子模块。其中视频采集模块的作用是采集视频接入模块获取的视频信息，并且将其传输给算法计算模块；算法计算模块在获取到视频数据以后，对数据进行分析和计算，根据分析和计算的结果，将视频存储到视频流存储模块，或者上传到云平台。视频流存储模的作用是储存视频流。

算法计算模块是智能数采模块的核心，该模块包括人流密度检测、乘客检测、逆行检测、滞留判断和越界判断和增强现实展示等子模块，各模块的功能如下[2]：

（1）人流密度检测模块。该模块的核心部件是尺度自适应的CNN网络和滤波器，其能够实现视频视野内人数的统计，基于标定的空间尺寸数据，计算出人流密度。（2）乘客检测模块。该模块的功能是检测扶梯上是否存在乘客。（3）逆行检测模块。功能是判断扶梯上是否有乘客逆行。（4）滞留判断模块。功能是判断扶梯上是够有大件物品滞留。（5）越界判断。系统会设置有警戒线，若有乘客越过警戒线，则越界模块会判断出这一行为。（6）增强显示模块。增强显示模块能够根据摄像机影响的位置和角度等信息对乘客的危险行为进行建模，从而展示出乘客的危险行为。

2.3 云计算平台

云计算平台主要包括数据分发、分布式算法计算、文件服务器和数据库和应用服务等几个子模块，下面对这几个子模块进行介绍[3]。

（1）数据分发模块。智能数采模块的数据分析结果，会通过以太网经过数据分发模块传输到云平台，同时，云平台上所有数据都由该模块进行处理，并进行统一的分发。如搭乘时间分布、搭乘高峰曲线和危险行为数量等分布式计算结果，都有其进行处理和分发。（2）分布式算法模块。在接收到智能数采模块上传的数据以后，云平台上的分布式算法模块将进行这些数据的计算和统计，包括搭乘时间分布、搭乘高峰曲线和危险行为数量等信息，计算结果将被制作成计算文件、标记信息和统计表格等，并被储存到文件服务器和数据库中。（3）文件服务器模块。主要作用是存储计算文件、统计表格等信息。（4）服务模块。云计算平台中的视频展示功能由应用服务模块来完成，该模块能够提供视频和数据的服务调用接口。

3.乘扶梯人员安全行为系统运行过程

本文设计的基于视觉的扶梯乘客危险行为监控和预警系统的运行步骤如[4]：首先，在运行过程，高清摄像头会对扶梯进行全方位的监控，获取视频数据，然后由算法计算模块和分布式算法模块对视频图像进行处理和统计分析。系统对采集到的数据进行分析，主要是计算扶梯上的人流密度；判断扶梯上是否有乘客，并且检测乘客是否有逆行、越界等危险行为；检测扶梯上是否有大件物品滞留；系统还能够根据摄像机影响的位置和角度等，建立特效图像和动画库，从而实现乘客危险行为的图形化建模，通过这样的方式，当乘客发生危险行为动作时，其能够进行显示。当发现乘客有危险行为，或者是有大件物品滞留等情况以后，系统会进行报警，从而提高扶梯运行的安全性。其次，该系统的优点能够实现扶梯运行情况的实时监控，并且具有多维感知、预警分析和行为报警等功能，当乘客出现逆行、越线等危险应为以后，能够进行识别和预警，在发生突发事件以后，能够快速的进行处理。通过应用这一系统，能够加强扶梯运行全过程的管理，实现事先有预警、事中有相应、事后有记录，在出现事故后能够进行分析、取证和追溯，从而在发生事故之后能够对责任进行准确的鉴定，避免法律纠纷。同时，通过对系统数据，包括人流密度、搭乘时间分布等数据进行分析，可以为扶梯的运营调度提供数据支持，提高扶梯管理调度的安全性，从而更好的保证扶梯的运行安全。在实际应用中，该系统还能够根据出现的不规范行为，对分析算法进行优化，不断能提高其功能。

4.重点功能介绍

4.1 扶梯人流密度检测

本系统能够实现人流密度的检测，具体的方法如下：系统设定一个尺度自适应的CNN网络及录波器，其能够根据CNN网络不同网络层的特征提取出视频视野内的人数，并且进行统计，系统会标定空间尺寸，通过计算确定人流密度。CNN网络包括图像输入层和卷积计算层，其中，图像输入层的主要作用是对原始数据进行取均值和归一化等预处理；卷积计算层的作用是对数据进行计算和池化。

4.2 危险行为检测

乘客的危险行为包括逆行和越界等，在系统运行过程中，其会将乘客正常行走的场景作为背景；同时，其还能够获取实时图像，通过差分两种图像，确定运动目标的中心，并且通过对其位置进行预测和持续跟踪，确定目标的运动状态，并基于此判断是否存在逆行行为。在越界行为检测中，系统会设置越界警戒线，即扶梯靠外缘一侧，系统会计算人体到直线的距离，若发现距离出现负值，则说明存在越界的情况。

5.结语

本文建立的乘扶梯人员安全监控和行为预警系统，具有人员密度检测、逆行检测、越界检测和大件行李滞留检测等功能，并对危险行为进行预警，能有效地提高扶梯运行的安全性。