基于雷视融合技术的全域车辆感知方案应用研究

韦乐香,黎琮莹

(广西交通设计集团有限公司,广西 南宁 530029)

0 引言

随着国家新基建战略的深入推进,加快新型基础设施建设成为交通领域发展关键,在国务院印发的《“十四五”数字经济发展规划》中明确提到,有序推进基础设施智能升级,是提升交通领域数字化的发展方向。其中交通领域数字化转型的关键技术之一,是交通状态感知的数字化。

在高速公路领域,传统交通感知的手段通常采用基于视频图像方案对路段交通状态进行人工查看和事件检测,其主要特点为:可视范围广、成像效果直观、目标可辨别度高以及硬件成本低等;其缺点为:易受周边气象和光照影响、提取数据精度不高以及有效感知距离不足等,不能形成深度精确感知,无法对交通状态进行实时连续识别。

而毫米波雷达具有波长短、频带宽、穿透能力强等特点,因而具备抗干扰能力强、识别精度较高、探测感知距离远等优点,已广泛应用于汽车和路段检测各领域[1]。基于雷视融合技术的全域路况感知方案采用毫米波雷达+视频数据融合模式,具备实时目标检测、目标类型精确识别、车流量统计、车速检测、目标位置连续跟踪等能力,可获取车辆实时轨迹,并通过模型算法的跟踪传递,达到道路的全域轨迹跟踪,实现全路段的交通信息有效感知,实时掌控交通态势。

1 系统构成

基于雷视融合技术的全域车辆感知系统由毫米波雷达传感器、数据边缘计算单元、高清视频监控设备(高清枪式、球型摄像机)、中心管理计算服务器、管理工作站以及通信网络构成,如图1所示。

图1 全域车辆感知系统构成示意图

1.1 毫米波雷达设备

毫米波雷达设备主要负责对检测区域内所有的目标进行实时跟踪定位检测,并对每个目标物体的类型进行精准区分。目标类型主要包括:车辆、行人、障碍物体等。雷达传感器对每个目标进行实时跟踪定位检测并判断其运动状态和位置信息。

毫米波雷达传感器主要由高频发射单元、信号接收单元、数据处理单元和通信单元等组成,其核心数据处理单元采用多线程高速处理器,能够同时对检测区域内的目标物体进行实时跟踪定位。雷达检测器能够获取每个目标物体的独立信息,包括即时速度、运动方向、所在车道、目标类型(大型车辆、中型车辆、小型车辆、行人、障碍物)、经纬度、目标尺寸、ID编号、方向角等重要信息。

1.2 高清视频监控设备

高清视频监控设备与毫米波雷达配合使用,与毫米波雷达同址设置,主要用于提取车辆的各类信息。毫米波雷达触发抓拍,利用图像识别技术来获取年辆的特征信息。车辆的特征信息包括:车牌、车标、车系、车型、颜色、车速信息等。

高清视频监控设备主要包括高清枪式摄像机和高清球形摄像机两类。

1.3 数据边缘计算单元

数据边缘计算单元主要为前端数据处理和跟踪服务处理模块,负责完成雷达设备与车辆高清抓拍卡口设备数据的采集、分析、处理、雷达设备与摄像机同步触发抓拍、被跟踪目标丢失补偿、目标轨迹修正、轨迹再现、多雷达之间目标信息数据相互传递、雷达目标动态数据与车牌抓拍获取的车辆特征数据深度融合、被跟踪目标信息回溯、数据格式转化、目标定位实时解析输出高精度经纬度信息等多种功能。外场感知设施设置示意图如图2所示。

图2 外场感知设施设置示意图

数据边缘计算单元与毫米波雷达采用同址设置,每个点位设置1套数据边缘计算单元。数据边缘计算单元实现以下功能:

1.3.1 目标跟踪数据采集

数据边缘计算单元采用网络连接方式与雷达传感器进行互联,获取雷达传感器视场范围内所有目标的原始数据信息,并按照预先设定的各种条件和参数来对原始数据进行分析、处理、融合。数据边缘计算单元采用网络连接方式与视频监控设备进行互联,获取、分析、处理获取抓拍的车辆特征信息。经过数据边缘计算单元处理后的雷达数据可以实时推送目标跟踪数据和报警数据到车牌抓拍服务端。对收集到的车辆类型的目标数据进行实时记录,为目标建立系统中唯一编码作为该目标唯一标识,并纳入持续跟踪列表。

1.3.2 目标跟踪数据补充与轨迹修正

当系统判定目标数据完全丢失时,系统会启动该功能并继续运行目标跟踪数据补充和轨迹修正服务,降低目标数据受影响程度。

转眼到了柚子的采摘期，可能是因为那年夏初时分的气温过低，人们把柚子采摘下来一看，傻眼了，这些柚子的皮足有三四厘米厚，柚瓤却又小又瘦。往年一到这个时候，外地水果商贩们都会一车接一车地把柚子收购去，但今年，虽然水果商们同样一批又一批地来到这里，但最终却又一批又一批地摇头离去。果农们为了把柚子卖出去，不断主动压低价格，但这同样没有让商贩们心动，商人们深知，东西不好再便宜也没用。

1.3.3 雷达触发摄像机抓拍及融合

当雷达检测到被跟踪的车辆进入到高清摄像机最佳抓拍区域时,雷达会发出同步触发捕捉的命令触发摄像机抓拍,以保证将同一辆被跟踪定位的车辆的动态数据信息以及被车辆精准监控卡口设备获得的车辆的特征信息进行绑定及融合,并进行数据输出。

1.3.4 多雷达目标连续跟踪

要想实现目标全路径的跟踪定位,在保持目标能够被连续跟踪的同时更要实现两个相邻雷达传感器之间数据有效的相互传递。当目标运行至两个雷达重叠检测区域时,系统会自动启动目标融合算法,对被两个雷达同时跟踪的同一车辆进行融合匹配[2]。实现目标从第一个雷达检测区域平滑过渡到第二个雷达检测区域内,并保持目标唯一身份信息不变。

1.3.5 数据融合共享

通过上述服务,达到对雷达目标数据的持续跟踪,并完成车牌抓拍数据与雷达目标跟踪数据的融合。将两种数据按照预定规则格式进行封装,建立数据共享服务,实时与中心管理计算服务器进行通讯,共同完成异常事件和交通控制措施的联动运行。

1.4 中心管理服务器

中心管理服务器主要用于承载系统平台的相关应用。平台通过与外场路侧的数据边缘计算单元进行通信,获取数据边缘计算单元上传的数据信息、报警信息、图像信息等,并对其下发控制指令、参数设定指令、与其他相关系统的联动指令等。

2 系统方案

南宁沙井至吴圩高速公路是交通运输部在广西开展的交通强国试点工程。该项目融合多维度交通运行数字化感知、北斗高精度定位、车路协同云管控工程、全生命周期高精度多模态空间数据工程等技术方案,创新试点先进技术的应用,建立车路协同示范应用等一系列创新设计场景。项目全线长度约为26 km,设计采用在主线范围进行道路全域部署感知设施方案,以支撑基于车路协同的智能驾驶相关应用。

2.1 系统设置方案

项目按照350 m的间隔设置定向毫米波雷达传感器、高清监控摄像机。雷达探测器与高清摄像机设置于道路中央分隔带立杆上,边缘计算单元设于道路路侧,视距不良的特殊路段采用加密方式布设。

毫米波雷达探测器采用定向探测传递方案,安装高度为6 m,探测距离为400 m。为保障雷达探测器的数据有效性,在视野开阔的直线路段上的布设间距为350 m,对于弯道视距不良路段,对探测器设置间距进行加密。

2.2 系统工作流程(图3)

图3 毫米波雷达和摄像机探测方案示意图

当车辆驶入毫米波雷达传感器所覆盖的检测区域,毫米波雷达传感器通过实时扫描的方式来获取车辆的初始数据,该数据通过本地网络传至路侧边缘计算单元,路侧边缘计算单元再通过对雷达传感器上传的数据进行实时分析和处理,获取雷达传感器所覆盖的检测区域内每一个目标车辆的实时动态信息。主要包括以下内容:目标车辆的经纬度信息、运行速度信息、运行方向信息、所在位置信息,并生成检测区域内唯一ID数字标识信息等。

当系统通过雷达传感器跟踪并定位到车辆进入预先设定的抓拍触发检测区域时,系统会将触发信息通过边缘计算单元传输给高清监控摄像机,触发高清监控摄像机对驶入的车辆进行图像抓拍,然后将抓拍的图像数据传至边缘计算单元,由其进行图像AI结构化,实时提取该车辆的特征信息,主要包括车辆的颜色、车型、品牌、商标、车牌、类别等信息。

边缘计算单元将雷达传感器和摄像机所获取同一辆车辆的动态信息与车辆特征信息进行融合,融合的每辆车辆将具备唯一的完整数据信息,并采用车辆身份信息编制原则在系统中生成唯一的车辆身份信息。

雷达传感器通过数据处理后可精准跟踪定位每一个目标车辆所在位置,定位精度达到车道级。因此,为防止车辆并行、遮挡而导致高清监控摄像机误触发,进而导致对于同一车辆获取车辆特征信息与动态信息错误匹配和错误融合,应按照实际车道数量安装车牌抓拍摄像机以及设置对应的触发抓拍区域,以保证雷达传感器、边缘计算单元、高清监控摄像机协同工作完成车辆同步触发抓拍、精准数据融合。

3 系统功能

3.1 实现道路全域连续感知

通过在主线布设的毫米波雷达设备和高清摄像机,系统可对道路全域进行连续感知。通过在监控中心对道路状态进行实时全域展示,解决了视频监控无法对道路进行连续查看的情况,达到了对道路的全程连续检测,且避免了恶劣天气和光线的影响,实现全天候实时感知。

3.2 实现精准检测,报警数据有效化

系统采集毫米波雷达数据和高清摄像机的视频图像数据,并通过在路侧部署的数据边缘计算单元中进行数据分析,形成“雷视融合”,筛选二者数据中的优质数据,排除二者由于不利因素分别带来的低质量数据,实现精准检测。系统采用同时间、同位置、同类型、同时分析的逻辑报警方式,从而提高道路数据的质量,减少误报警。

系统能够对各种路段(单向多车道、双向多车道、桥梁)进行可靠的事件检测,检测类型包括:车辆停驶、车辆拥堵、车辆排队、车辆逆行、车辆慢行、行人以及特定区域的非法入侵等异常事件,对异常事件快速形成报警信息予以提示。当系统检测到异常事件时,能够联动与雷达配套的高清枪式摄像机或者距离事件最近的高清球形摄像机对异常车辆、行人或事故现场持续自动跟踪、定位和查看,降低监控人员的劳动强度。

3.3 实现全面采集和全方位掌控

通过前端感知设备的采集数据,不仅可以得到单个车辆的动态信息和报警数据,同时可以得到覆盖范围内的交通路况信息和交通状态信息:道路流量信息、车辆平均速度信息、区域内车辆数量信息、车型统计信息、道路通行状态信息等。道路运营管理者以此信息为依据,可清楚地了解当前道路交通状况,并根据不同交通状况和事件,采取不同的管理措施,对道路形成全方位的掌控。

3.4 实现系统数据互联互通

系统在路侧部署边缘计算单元,通过光纤连接通信,将路侧各个单元节点、边缘计算单元、中心监控平台之间的通信链路打通,数据传输协议打通,使整个系统的各个节点形成系统性关联,各设备之间的数据互联互通。系统支持将更多感知设施和边缘处理单元集成进来形成统一的系统,避免形成信息孤岛,造成重复建设和数据资源的浪费。

4 结语

通过基于雷视融合技术的全域车辆感知方案,可实现多场景、多功能的应用,包括交通事件检测、目标实时跟踪、路况信息、交通流量信息、车辆实时信息等,多个感知设备之间实现数据互通、融合、智能分析。本文提出的方案弥补了传统视频监控系统存在的不足,并可根据不同的路况与需求进行多种功能的实现与拓展,为车路协同与智慧交通等各类应用场景提供可靠的基础支撑。