基于雷视融合感知技术的公路隧道交通管控系统研究

陈 宏, 付立家, 尚 康, 朱香敏

(1.山东高速股份有限公司, 济南 250014; 2.招商局重庆交通科研设计院有限公司, 重庆 400067; 3.重庆交通大学 交通运输学院, 重庆 400074)

《交通强国建设纲要》《公路“十四五”发展规划》明确指出,推进新一代信息技术与公路交通运输的深度融合,加强交通流量、突发事件、违法超限等信息的自动感知[1-2]。传统的交通信息感知设备与技术已难以满足信息化、智能化交通发展的要求[3]。为提高公路隧道信息感知水平,精准探测隧道运行状态,并辅助支撑隧道交通管控决策,以雷达与视频检测设备为基础,融合雷视检测数据,建立公路隧道交通管控系统。

近年来,国内外对雷达和视频数据融合方法都有深入研究,提出各种理论模型和应用方案。在融合方法方面,Xu D等[4]融合雷达和视频检测数据定位目标区域,以拉格朗日插值在时间维对齐,改进型Hausdorff距离匹配算法在空间维对齐,实现了高匹配度车辆检测。Giancarlo A等[5]通过雷达数据定位目标区域,根据车辆垂直对称性实现了车辆的检测。丁俊杰[6]以改进YOLOv5目标识别算法为基础,提出一种三阶段雷达视频异构数据融合算法,依次进行时间融合、空间融合和交通信息融合感知。在应用方案方面,王祥雪等[7]以雷视数据为基础,在视频监控系统中融入车辆识别、交通事件检测等功能,实现了基于车辆信息的多模态数据绑定和可视化联动。张皓月等[8]将雷视融合技术应用于高速公路重点路段,建立了高速公路事件检测与分析系统。孟维伟等[9]融合毫米波雷达和视觉传感器的检测数据,实现了交通状态及风险事件的实时检测。曾磊等[10]基于新一代信息技术,建立了智慧公路隧道管控体系框架,实现了高效、节能和安全管控隧道的目的。

目前,针对雷视融合解决方案多依赖于专家经验设计,存在融合步骤繁琐,数据利用率低,且难以有效用于公路隧道交通管控等问题。本文探究雷达和视频数据的高效融合方法,以期达到高精度、高鲁棒和大范围的检测交通信息目的,并以此建立公路隧道交通管控系统体系框架,探讨其关键技术、应用平台和实现功能。

1 雷视融合感知技术

该技术通过雷视一体机和边缘处理器依次实现雷达和视频数据的采集、识别和融合,流程如图1所示。1) 雷视一体机对目标区域内通行车辆数据进行实时采集,获取雷达与视频检测数据;2) 边缘处理器分别提取雷达与视频检测数据,以YOLOv5算法[11]提取视频中的车辆车型信息,以3DSSD雷达目标检测算法提取车辆位置信息;3) 对提取的目标数据进行时空同步,经时间配准剔除无效雷达与视频帧,经空间标定将有效雷达数据空间转换到像素空间;4) 以ROI方法融合雷达和视频检测的车辆目标,并根据检测距离融合雷视目标信息,实现公路隧道通行车辆全息感知。

图1 雷视融合流程

1.1 雷视信息时空同步

由于毫米波雷达与摄像机感知交通信息的原理和方式都不相同,导致交通信息在采集频率、数据空间、数据维度上存在差异,因此需在时间上和空间上分别进行同步,实现雷视数据的同频同维度呈现。

1) 时间配准

时间配准是将相同采样时间的雷达与视频数据帧相映射,实现步骤如下:(1) 同步数据起点,以保证雷达与摄像机采样起始时间相同,规避采集时间不同导致的雷达和视频数据无法融合;(2) 计算2类传感器工作频率的最大公约数,寻求数据融合的最大频率;(3) 向下兼容同步2类传感器,筛选出相互映射的雷达和视频数据,实现雷达和视频数据在时间层面精准匹配,如图2所示。

图2 时间配准原理

2) 空间标定

空间标定是实现雷视数据的同空间呈现,通过大地空间坐标系和相机空间坐标系将雷达空间坐标系转换到像素空间坐标系,如图3所示。雷达空间坐标系是以雷达为中心的三维球坐标系,像素空间是以图像左上角为中心的二维笛卡尔坐标系。空间标定步骤为:(1) 将雷达空间坐标系转化为大地空间坐标系(以雷达为中心的三维笛卡尔坐标系);(2) 经平移和旋转操作后,将大地空间坐标系转化为相机空间坐标系(以相机为中心的三维笛卡尔坐标系);(3) 根据小孔成像原理及图片像素宽度,将相机空间坐标系转化为像素空间坐标系。

图3 空间标定原理

1.2 基于ROI的雷视目标融合算法

通过时空同步实现雷达和视频数据同频同维呈现后,引入目标区域ROI(Region of Interest),在像素空间内关联两者检测目标信息,包括目标类型、像素位置、空间位置等信息。假设雷达的目标区域面积定义为SR,区域中心点为OR,视频目标区域面积为SP,中心点为OP,可通过ROI来计算目标间关联度,见式(1)。

(1)

式中:Oτ、Sτ为目标关联度阈值,仅当雷达和视频目标区域的中心距离小于Oτ,交并比大于Sτ时,输出两者融合目标;ΔO、IOU如图4所示。若有雷达目标与所有视频目标均未关联成功,则单独输出该目标;若有雷达目标与多个视频目标均能关联成功,则输出高关联性融合目标。

图4 ROI目标融合

1.3 基于距离的混合检测方法

毫米波雷达探测距离约为250 m,探测距离远,精度高,环境适应性强;视频检测器有效探测距离仅为50 m到100 m[12],探测距离近,成本低,信息丰富。由于两者检测区域只存在部分重叠区,在重叠区融合雷达和视频检测目标;在非重叠区以雷达检测目标为主,视频检测为辅,如图5所示。雷达检测目标交通信息包括车型、大地位置坐标、车速等信息,视频检测交通信息包括车牌号码、车型、像素坐标和颜色等信息。在重叠区建立雷达和视频检测目标的映射关系,实现全方位、高精度的感知交通信息,为隧道管理、控制、节能减排等提供稳定的数据支撑。

图5 雷视距离融合

2 公路隧道交通管控系统

2.1 系统架构

系统总体方案按照数据标准规范体系和运营维护保障体系设计,采用分层设计的多层系统体系架构,如图6所示。系统架构分为设备层、通信层、数据层、应用层和用户层。设备层包括交通感知设备、交通控制设备和环境感知设备,构成隧道数据采集的基本设施;通信层包括公路隧道架设的光纤网、4G/5G网、紧急电话专网和物联网等;数据层包括大数据技术支撑下的数据采集、储存、清洗、分析、应用、保护、清理和共享等操作,其中公路隧道数据库包括车辆基本数据、轨迹数据、交通流数据、异常事件数据、违法数据和环境数据等结构化数据和非结构化数据;应用层围绕公路隧道运营管理的核心业务,包括公路隧道三维实景化管控系统、数据分析研判系统、应急联动管控系统和信息共享系统;用户层包括政府部门、公路隧道运营管理企业、科研机构、检测单位和驾乘人员等。

图6 公路隧道交通管控系统体系架构

2.2 关键技术

1) 车辆定位与轨迹融合技术

车辆定位技术是将雷达和视频数据经边缘处理器分析融合,全息感知隧道检测区域内所有车辆目标的位置、类别和特征信息。车辆轨迹融合技术是按照多目标跟踪算法对检测区域的雷达和视频目标信息进行目标检测、跟踪和特征提取等。根据车辆位置和特征,对不同位置设备采集到的车辆特征进行匹配,并进行多目标跟踪,生成车辆唯一身份ID与行驶轨迹,实现设备间数据传递和数据融合,生成车辆通行隧道轨迹信息。

2) 运行状态感知技术

公路隧道运行状态感知主要是对断面交通流、区域交通流、车辆违法信息和交通事件信息的精准感知,如表1所示。根据车辆定位和轨迹融合技术建立车辆通行隧道全息化、可视化和数字化模型,以车辆高精度轨迹数据判断车辆逆行、违规变道等;以车辆速度判断车辆超速、慢行等;以特征匹配、深度学习等检测并判断交通事件类型。公路隧道运行状态感知技术为公路隧道数字孪生、精确预警和联动管控等提供强有力的数据保障。

3) 数字孪生技术

依据三维建模、地理信息、数据可视化、人工智能、AR/VR/MR等技术建立数字孪生隧道[13],实现物理世界的现实交通向信息世界的虚拟交通映射,如图7所示。融合隧道监测设备采集的数据,建立实时数据的多维度立体数据库。采用计算摄影学、三维GIS实景建模、三维可视化轻量建模等技术对实时交通流、异常交通事件、车辆行为、环境状态的实时孪生呈现,通过动态数字建模、数据驱动与靶向数据交互技术,实现对隧道的立体化、精准化、智能化监控管理。

表1 公路隧道运行状态信息

图7 公路隧道数字孪生体系

2.3 系统功能及应用

1) 三维实景化管控平台

该平台是以交通感知信息驱动,基于雷视融合感知技术、运行状态感知技术和数字孪生技术等搭建三维虚拟孪生隧道。为公路隧道提供全方位的智能管控方案,包括车道控制、速度控制、限行管理、封闭控制、交通诱导、交通预警、通风控制、照明控制等功能。在满足公路隧道日常运营基础上,通过大数据、人工智能、数字孪生等技术探究公路隧道低碳环保、节能减排和精细化的智能管控策略。如在保证公路隧道通行能力下根据交通流参数动态调整灯具亮度,达到节约能源目的。

2) 数据分析研判平台

该平台通过对隧道运行数据的收集、分析和处理,为隧道提供数据挖掘、统计分析、预测模型、数据可视化和运营安全评价等功能。以隧道传感器检测信息为基础,分析隧道内数据特征,多源和多元数据融合,建立公路隧道交通流、交通违法、交通事件等数据库,对隧道运营、控制和维护提供稳定数据支撑,并为隧道管理人员提供辅助决策参考。如根据交通量预测模型,提供动态调整可变限速、开关通行车道数、风机开启数量和时间等辅助决策方案。

3) 应急联动管控平台

该平台主要是对隧道应急事件的管理、协调和应对,为隧道提供交通事件检测、资源管理、突发事件报警、发布预警信息、应急调度指挥和应急培训演练等功能。将联动系统嵌入应急管控平台中,实现交通事件的远程监控,并对照明、通风、交通诱导、环境监测和火灾等设备联动控制。该平台采用一隧一预案对事件类型进行分类,突发事件时快速响应“一键下发”,自动修改情报板提示语,自动切换信号灯等机电设备,在极大提升应急响应速度的同时保障了隧道内部人员和车辆安全。

4) 信息共享平台

该平台可提供出行前和出行中的信息共享服务,其中出行前信息服务包括隧道基础信息、路况信息、交通管制信息、限行信息等。出行中信息服务包括车道指示信息、交通违章信息、交通诱导信息、限速信息和预警信息。该平台可实现隧道内部与外部信息的互通共享,促进跨部门、跨系统之间协作和协调,实现信息的整合和共享,提高信息资源的利用效率和质量,从而提高隧道安全性、运营效率、管理水平和应急响应能力等。

3 工程应用

3.1 工程概况

山东高速股份有限公司运营管辖的济莱高速公路起点为济南市港沟南,终点是莱芜市东北西峪村,全长75.5 km,共有8座隧道,其中长隧道3座,作为山东省济南和莱芜区划合并后的同城高速公路,交通量大且持续增长,隧道智能交通管控技术需求迫切。

3.2 工程效果

济莱高速公路隧道智能管控平台部分功能界面如图8所示,其依次展示了公路隧道交通管控主页、应急预案管理页面、应急联动管控页面和三维实景化管控页面。

该平台选取定位精度、异常事件检测准确率、交通流数据采集准确率、多目标融合精度等指标来衡量应用效果。

该平台于2022年12月上线使用至今,经工程应用验证,车辆定位精度达到厘米级,交通流数据采集准确率、多目标融合精度达到95%以上,有效解决了隧道安全运营的状态识别、安全监测、预警与有效管控等运营安全问题;雷视融合感知提供的精确交通流数据有力支撑了隧道照明智能调光控制技术应用,隧道运营成本同比降低20%以上,有效提高了隧道交通安全与通行水平,增强了应急处突能力,示范效果显著,取得了良好的经济效益和社会效益。

(b) 应急预案管理页面

(c) 应急联动管控页面

(d) 三维实景化管控页面

4 结论

1) 雷视融合感知技术是集合毫米波雷达和视频检测技术于一体的复合感知技术,融合雷达和视频感知优势,取长补短,克服单一技术缺陷。

2) 通过时空同步、ROI目标融合和距离融合方式构成雷视目标融合技术,经时空同步实现雷视数据同频同维呈现,ROI目标融合实现雷达和视频检测目标匹配,根据雷达和视频检测范围划分重叠区和非重叠区,分区域融合雷达和视频检测信息。雷视融合感知技术可实现交通信息全方面、高精度感知。

3) 以雷视融合技术、数字孪生技术等为基础,建立设备层、通信层、数据层、应用层和用户层5个层次的公路隧道交通管控系统体系框架。该系统能准确感知隧道运营状态,制定精细化管理方案,应急联动控制隧道设备,监测并降低电力能源消耗,全面提升公路隧道的运行效率和管理水平。