马 强 中国铁路上海局集团有限公司蚌埠站
铁路是我国国民经济大动脉、国家重要基础设施和大众化交通工具,是综合交通运输体系骨干、重要的民生工程和资源、环境友好型运输方式,在我国社会经济发展中具有不可替代的重要作用。客运站场是铁路客运组织的重要场所,任何突发安全事件将造成巨大的社会影响。例如,旅客非法闯入站内股道、摔倒和聚众围观等,严重影响行车和人身的安全。因此如何保障旅客的安全出行成为了铁路交通运营和安全管理部门工作的重中之重。而站场摄像头等传统的监控方式主要功能是与人工值守结合或在事故发生后提供一定的证据,普遍存在智能效果不足等弊端。
而随着人工智能技术的不断进步,机器视觉等在公共安全监控领域的作用越来越显著。基于机器视觉的人员行为分析和管理过程监控受到了相关企业的关注。游青山等设计一种基于机器视觉的矿井作业人员行为监测及违章识别系统,实现矿井作业人员违章自动识别;高寒等提出了基于机器视觉的施工危险区域侵入行为识别方法,自动监控并识别危险区域的工人侵入行为;贾金明等提出了一种基于机器视觉的工业现场巡检过程监控分析系统;田晨林设计和实现了室内环境下基于机器视觉的人体跌倒检测系统,实现了智能检测跌倒并及时报警。
因此,利用机器视觉技术对铁路客运站场旅客的非法闯入、不慎摔倒和聚众围观等行为进行识别和判断,从而进行主动预警,能大大降低安全事故的发生概率。基于此,本文设计一种基于机器视觉的铁路客运站场公共安全预警系统,使用铁路客运站场的摄像头视频数据,运用机器视觉技术对旅客和工作人员的行为进行监测和预警,对提高现有高铁站监控运行效率,降低安全事故发生具有重要意义。
图1 系统架构图
整个系统架构可根据空间位置划分为预警系统现场、监控办公室和远程监控终端。预警系统现场主要包括高清摄像头和视频编码器,高清摄像头对客运站场区域进行全覆盖实时监控,而由于客运站场范围大,传输距离长,视频文件需要经过编码器转化成适合传输的数字信号进行传输。监控办公室主要包括视频解码器、视频采集卡,AI 行为分析服务器和显示终端,视频解码器在接收到信号后对视频进行解码,而视频采集卡可以将视频信息转化成便于计算机处理的数字图像,AI 服务器承担图像的预处理和行为分析工作,并将违规现场显示在终端显示屏上,同时立刻触发现站场广播对违规行为进行提醒,值班人员可在终端显示屏进行实时监控并对违规行为采取处理。远程监控端包括终端摄像头设备、PC端等均可在应用软件内,通过内网或互联网连接,在预警被触发时接收到相关信息。
本系统以铁路客运站场异常行为实时检测为主要目标,具有异常行为数据采集、存储、分析、展示和主动预警等功能,能够准确识别场景的特殊事件,实时高效响应突发情况,提前识别出旅客和站场工作人员的异常行为动作从而做到主动预防和提前预判。
(1)异常行为识别。基于站场实时视频数据识别旅客和工作人员等异常行为是本平台的核心,具体思路如下;使用典型的视觉库准确识别出人和物体,并精确定位需要判断的站场区域;借助视觉处理库对视频中检测到的人和物体图像进行归一化、中心化和标准化处理,改善图像的视觉效果或突出有用信息,提高图片识别准确率;利用深度学习算法完成准确识别场景的特殊事件和提前识别出站场旅客的行为动作,如对非法闯入和进站、跌到、聚众围观等行为进行识别。
(2)违规警报和提前预警。系统识别出客运站场异常行为后,会及时提前预警。系统对获取的本地实时视频,使用已经训练好的图像识别模型对站场旅客、工作人员的异常行为进行实时分析,当发现异常时,发出警报和应急响应,并将违规数据上传服务器。
(3)实时监控。除了异常行为识别和实时主动预警功能。监管人员可通过浏览器页面查看站场终端实时上报的指标数据,特别是站台,监管部门能够实时了解站台的实时情况。系统不仅支持实时站场视频显示,还可对站场的旅客、工作人员等历史异常行为情况进行查阅,实现了客运站场的准确盯控。
本系统提供对非法闯入和进站、跌到、聚众围观等多种违规行为的检测功能,其设计思路如图2,包括图像采集、图像预处理与存储、非法行为检测识别、非法行为预警。具体流程包括:通过站内的高清摄像头进行视频监控,对视频进行跳帧读取图片,为减少内存占用和计算时间,对图片采取灰度化、降噪等处理,监测到人后提取行为区域,并对该区域进行判断,根据监测区域的不同,对预处理后的图片进行特征提取和违规行为识别,通过坐标进行计算,最终通过结果将违规行为显示在监控屏幕上并做出对应预警。
图2 检测算法流程图
以聚众检测、非法闯入安全线、摔倒为例,从拍摄视频中以特定帧率读取图片,对采集到的图像进行灰度化、滤波、归一化等处理,取得低噪声的图像,之后通过视觉算法,把人的运动轨迹,定义各种异常行为,形成动作体系,能被系统识别,对于物品的深度学习,也可以识别出物体。
聚众检测:对视频中警戒区域进行监控分析,判断是否检测到行人,若检测到则获取行人数量,判断行人数量是否大于设置阈值,大于阈值人数且在同一区域中停留达到设置时间,则系统进行聚众提示报警,从而减少公共安全事故。非法闯入安全线:若检测到有行人并且有安全线,判断行人是否在安全险内,若不在安全线内,则系统进行非法闯入提示报警,并生成非法闯入预警记录,在人员禁入区域部署闯入事件、特定区域部署警戒线、双警戒检测,可有效减少人员进入引发的危险(图3)。
图3 越界检测
摔倒:同理,若检测到行人有摔倒行为(如图4),则会摔倒预警,生成摔倒预警记录,有助于提高人员伤后救助效率。
图4 摔倒检测
以上就是异常行为识别的基础原理,其它行为也是基于此计算原理在各区域进行行为的分析。
具体程序首先需要完成数据集的加载,通过数据迭代器加载数据(如下代码):
本系统采用B/S 模式,基于Springboot 框架进行开发。主界面涵盖了监控视频管理、预警配置、预警记录与处理、系统设置等模块。对于异常行为的识别是基于开源的飞桨开源框架(PaddlePaddle),是一个易用、高效、灵活、可扩展的深度学习框架。由于PaddlePaddle 提供了Python 语言的接口,后端的站台跌落、非法闯入和摔倒等行为识别算法采用Python语言编写实现。此外系统还实现了对历史监控视频的管理,包括对历史监控视频信息的查询和浏览等功能。
针对铁路客运站场异常行为应用的实际需求,本文给出了一种基于机器视觉的铁路客运站场公共安全预警系统平台设计与实现。首先,设计了该系统的总体架构和主要功能模块;然后,给出了本系统的设计思路,特别是违规行为的识别和预警算法;最后,实现了系统功能,并进行界面展示。初步应用表明,该系统适用于多种场景,具有较高的异常行为识别准确率和响应速度,较好地满足铁路客运站场的实际需求。