基于机器视觉的高速公路服务区违法上下客识别应用研究

王隽

安徽省交通运输综合执法监督局 安徽省合肥市 230051

近年来，高速公路服务区、收费站逐渐涌现出客运车辆违规上下客、倒客、甩客等违法行为，严重地影响交通秩序，带来行李未经安检、行人自由出入、翻越围栏、横穿高速公路等安全隐患，极易诱发致死、致伤的道路交通事故。违法上下客行为具有短时发生、取证追溯难等特征，传统的现场巡检方式需要耗费大量的人力、物力，且只具有短时监管效应，导致打击难度大、效率低，成为行业管理的痛点及难点。随着信息技术与交通领域的不断融合，采用技术+管理的手段实现服务区违法上下客稽查已成为当务之急。

现阶段国外内学者在违法上下客的研究主要聚焦于车辆检测、行人检测、行人携物特征识别。在车辆检测方面，龙赛等提出一种改进YOLOv5s 网络实现无人机视角下航拍图像的车辆检测任务，识别精度较YOLOv5s 网络提升了5.5%。何俊龙通过MeanShift 跟踪算法完成对前方已识别车辆的稳定跟踪。在行人检测方面，贺艺斌等基于改进Faster-RCNN 算法，实现车载摄像头下的多尺度行人检测。J Hosang等应用了卷积神经网络在行人探测上取得了非常好的性能。在行人携物识别方面研究相对较少，张再军从人体轮廓存在自身对称性出发，研究实现了特定场景中对行人是否携物的检测，可识别出行人携带背包、手提包和行李箱三类物体。

目前高速公路服务区基本已实现全天候无死角的高位视频监控，为基于视频检测高速公路服务区违法上下客行为提供了良好的基础条件。

因此，本研究基于服务区已有视频监控，采用深度学习算法进行车辆检测、行人检测、行人携物检测和违法上下客行为分析判别，研发一套基于机器视觉的违法上下客识别原型系统，实现违法上下客行为的检测识别和违法抓拍，并在试点服务区得到良好应用，提升管理部门的执法效率和智能化执法水平。

1 违法上下客行为特征分析

高速公路服务区违法上下客行为检测属于动态目标的检测与跟踪范畴，本研究动态目标包括行人及车辆，因此涉及行人及车辆的检测与跟踪。

高速公路服务区违法上下客行为，与正常上下客行为相比，往往伴随有如下特征：

（1）检测到客车有停车行为；

（2）检测到客车周边检测区域ROI 有行人聚集行为；

（3）检测到在ROI 旅客具有提包、背包、拖行李箱等行为。

当在摄像机视场区域范围内检测到有以上几种行为或动作时，即可判定为具有疑似违法上下客行为。

图1 车辆检测与跟踪技术流程

图2 行人检测跟踪与携物识别

2 方案设计

本研究针对客运大巴车辆的违法上下客行为特征，利用高速公路服务区现有的视频监控资源，以车辆检测、行人检测为基础，实现行人携物的检测识别。

2.1 车辆检测与跟踪

利用服务区已有视频监控，针对运动车辆特点，以客车特征为核心建立运动客车目标模型，基于Faster R-CNN 目标检测算法和FSCT 运动目标跟踪算法实现大客车车辆在服务区范围内的全程稳定检测与跟踪。

基于车辆的位置追踪，根据服务区内大客车车辆停车位置，设定违法上下客检测感兴趣区域（ROI），为违法上下客行为检测奠定基础。同时，可基于车辆停车位置判别服务区非停车区域车辆违法停车行为，实现车辆违法停车的抓拍取证，便于执法管理人员取证执法及停车诱导。

2.2 行人检测跟踪及携物识别

基于ROI 区域的设定，根据进、出区域与上、下客的匹配关系，定义区域内、外上下客目标行进方向，在此基础上采用Codcbook 背景建模算法检测ROI 区域中行人目标，并通过HOG 特征实现对行人目标的稳定跟踪。

人体骨骼关键点检测是诸多计算机视觉任务的基础，用于动作分类，行为识别，以及无人驾驶等，而本研究中违法上下客行为特征包含行人手臂提包、背包、拖行李箱等动作，因此行人携物识别选取人体骨骼特征技术。

在ROI 区域行人目标跟踪的基础上，通过人体骨骼关键点检测算法，判断行人是否有拉行李、取行李的动作，实现行人携物识别。

2.3 违法上下客行为的判别及处理

在客车车辆检测与跟踪、违法上下客行为检测区域检测到行人携物特征，且携物类型在预先设定的范围内时，结合行人移动方向与车辆停靠位置的相对分析，判别违法上下客行为，算法将自动拍摄现场图片及短视频，进行违法取证，为管理部门非现场执法提供依据。

图3 疑似违法上下客行为判别

3 应用系统试点

3.1 高速公路服务区违法上下客检测系统原型

针对上述的违法上下客检测技术及流程，本研究开发了一套应用系统原型。包括前端嵌入式识别抓拍系统、后台处理中心和应用系统，各组成部分通过专线网络进行通信。

系统开发的技术要求：操作系统ubuntu 16.04；16G 及以上内存；4 核，2.4GHz 及以上主频；500G 及以上硬盘；配置NVIDIA GTX1080Ti 或更高级别的英伟达显卡的识别主机。

以无锡梅村服务区为应用试点，来验证技术的可行性和落地性。

图4 违法上下客检测系统原型图

3.2 实验样本采集

（1）技术要求

视频安装高度：6-8 米；

拍摄角度：30-60 度，视角最好在客车右侧，保证车与人员全都在拍摄范围；

像素：200 万以上；分辨率≥1920*1080。

（2）样本采集

在应用试点宁沪高速无锡梅村服务区进行了样本数据的采集，为后续的算法应用研究提供训练及测试样本。部分实验样本如下：

图5 违法上下客部分样本数据

3.3 违法上下客检测效果

通过实验检测结果显示，在天气晴朗、无视觉干扰、无背光或反光的应用条件下，对行人违法上下客的检测率能达到95%以上，部分检测结果如下：

图6 系统违法上下客行人检测部分效果图

4 结论

本文利用机器视觉技术，基于违法上下客行为特征对服务区内车辆及携物行人进行检测识别，实现高速公路服务区违法上下客行为的自动检测识别、自动抓拍取证和联合稽查执法等功能，并在试点得到有效应用。本研究探索了一种智能化、精准化稽查执法新模式，为执法管理部门提供完整、直观的数据支撑，有力提升监管水平和执法效率。