一种基于AI算法的雷视融合事件检测系统

文 / 孙磊 刘洪纪 顾永鑫 黄晓斌

一、传统公路事件检测系统存在问题

传统的事件检测系统是基于视频监控系统。监控系统是公路三大机电系统之一，在重大事故易发的公路领域，视频监控在其中扮演着重要角色。但如何让视频监控系统在公路运营管理中体现最大价值，是多年来公路运管部门一直在努力解决的问题。传统视频监控主要存在以下问题和需求：

（一）看不快——公路全程拥堵程度及事故信息不能及时呈现

事故或灾害响应滞后。传统的视频事件检测，在检测到拥堵及事故信息时需要通过换网传输至监控中心进行信息确认。此过程易造成延迟，不能快速及时的通过现场设备发布信息，交通使用者便无法提前预知及时做出决策，会导致事故或灾害响应滞后，容易引发次生事故及拥堵。

（二）看不准——视频监控在夜间、雨雾等场景下基本是失效的，雷达几乎不受可见光条件影响

恶劣天气条件下看不清。传统的视频监控在大雾、大雨等低照度情况下，难以看清监控目标，最终会导致视频监控难以充分发挥作用。雷达通过检测物体的反射频率，既可以测距，也可以测速。在视频监控难以看清的时候，雷达可以有效弥补视频监控的不足，让视频监控持续工作。

二、解决的技术措施

（一）AI视频交通事件检测系统

视频交通事件检测单元，适用于各种类型的摄像机，可按每个车道进行精细化交通事件、交通参数的检测，可自动检测、分析、评估道路实时状况，并自动与监控中心联动。该系统的核心技术集动态图像背景自适应技术和车辆图像跟踪技术于一体，彻底消除光线、雨雪、灰尘对系统的影响，是基于事件本身的检测技术。

主要功能包括：1、交通异常事件；2、道路异常事件；3、交通参数；4、设备异常事件。

优势分析：

不受背景变化的干扰。传统的事件检测系统是先检测背景，在背景不同的基础上识别目标，而AI交通事件检测系统直接识别目标，不受背景变化的干扰。

事件检测更加快速准确高效。捕获率≥98%，准确率：≥96%；平均检测时间：≤8 秒；漏报率：≤2%；误报率：每路视频平均每24小时不超过 1 次。

全天候使用。自适应恶劣天气环境。包括不限于雾霾、雨雪、冰雹等天气条件，且能见度不低于 200 米情况下正常检测。

自适应摄像机镜头出现短暂视频丢失、清晰度、噪声、冻结等情况下，对有效检测画面内的检测区域正常检测。

更短的延迟。延时是毫秒级别， 并且所有都可以实时展现。

（二）基于毫米波雷达与AI事件光感机深度融合关键技术

雷达主要由信号的发射接收天线、射频的收发通道以及数据处理单元所构成，通过发射天线向周围辐射电磁波触碰到障碍物之后，形成反射电磁波，障碍物反射回波通过接收天线进入雷达系统，具备自身特有的波频、时间、相位等信息。这些信息可计算解读障碍物与雷达之间的距离、相对速度、相对角度等信息。视频传感器采集监测区域目标物图像信息，并将图像划分为测试样本和训练样本，通过数据训练，对样本中的目标物类别和位置信息进行标注，将标注后的样本输入检测模型，输出目标物中心点的像素坐标、目标物的类别，以及目标物的相关信息。

原始数据级别的融合指的是两种传感器在同一模块内，对目标物的采集、检测和识别，雷达和视频对同一目标的检测融合，如图1所示。经过雷达和视频传感器然后通过时间和空间上的数据处理和融合，通过内部链接交互，最终得出融合后的处理结果。这样将提高目标识别准确性，并且对于交通违法和交通事件可以直接进行分析、取证和视频场景推送。

三、应用场景

（一）交通诱导

1.场景描述

曾经的传感系统对于公路上及隧道内大流量易发拥堵段的视频场景推送不够精确，无法实时获得任一区域由点到面的动态信息。交通诱导系统就是通过采集道路实际交通拥堵状况，向公众及时发布路段实时交通路况等信息，为公众驾车出行提供最优信息以做出最佳路径选择的系统。

2.功能实现

视频雷达融合交通诱导系统利用原始数据级别的融合将有效提高目标识别准确性，并且对于交通违法和交通事件可以直接在“雷达视频融合区”进行分析、取证和视频场景推送。

（二）重点路段/枢纽预警系统

1.场景描述

重点路段/枢纽为根据运营数据事故多发、易拥堵的危险路段，互通、枢纽是两条或者两条以上交通的交汇的场所，具有易发事故及事故危害大、难以处理等特点。当重点路段、互通或枢纽路段内发生交通事故时，公路通行能力减弱，易引发二次交通事故，尤其在互通、枢纽区，施救较为困难。视频雷达融合交通诱导系统利用原始数据级别的融合将有效提高目标识别准确性，并且对于交通违法和交通事件可以直接在“雷达视频融合区”进行分析、取证和视频场景推送。

2.功能实现

系统信息采集及传输硬件主要由重点路段/枢纽入口预警区间内的基于毫米波雷达与AI事件光感机的雷视一体机、前端区域控制机箱及后台服务器组成。

雷视一体机采集预警区间内的事故故及拥堵信息，安装高度≥6.5米、根据其信息采集检测范围（详见图1），确定安装间距220～250m。交换机等网络设备安置于抱杆设备箱内，采集的数据利用工业以太网交换机接入区域控制机，区域控制机内建多种工作模型，当发生事故时，只需一键下发控制模式，即可实现与路段上预警灯、情报板等信息发布设备的联动响应。此外采集数据还可通过光纤传输到监控中心，在上级管理站配置控制软件后从而实现监控中心远程控制。远程控制的优先级高于本地控制。

拥堵区域后方的道路使用者可通过信息发布设备快速获得重点路段/枢纽交通事故拥堵等信息，从而有效采取合适的行驶速度以有效减缓持续拥堵时间并避免二次事故的发生。

（三）全息路口

1.场景描述

交叉口是城市道路、低等级公路、甚至一二级公路的“咽喉”，是交通拥堵和事故多发点。消耗在交叉口的旅行时间占比不容小视，由于需要根据信号灯来调整车速，容易导致追尾等事故发生。

此外，利用实时车辆位置信息在交通信号控制中产生价值，通过将车辆实时位置导入交通仿真，去做路网运行短时预测，与智慧灯控后台系统实时对接，实现信号控制的优化，进而实现区域协调控制。

2.功能实现

全息路口通过布设雷视设备对雷达数据和视频数据的融合，可以初步实现对道路交通全要素的高精度实时采集，真实还原行人、非机动车和车辆的行驶轨迹。帮助交通事故快处快赔，通过AI算法对行驶轨迹进行精准判断、对事故的自动识别预警，减少二次事故和拥堵的发生。

（四）隧道事件检测系统

1.场景描述

传统的隧道交通管理系统普遍采用视频分析，每一路或几路视频需要配备一个视频事件分析通道，对配备事件分析通道的视频进行24小时的实时分析。而交通大部分时间都是正常运行，交通违法行为和交通事件数量有限，期间的分析结果是无用数据，因此会导致一定程度的资源浪费。

2.功能实现

基于视频雷达融合的隧道交通事件检测系统主要应用视频雷达的分离配合功能。雷达以检测（交通流、交通违法和交通事件检测），视频配合进行后台离线分析、取证和视频场景推送。在该区域，雷达负责检测，视频负责录像，当发生交通违法行为（如实线变道）时，雷达通知后台视频事件分析服务器，调取相关区域事件发生时间段内的录像，对视频进行离线分析取证。

四、结语

本文提出了一种基于雷达与AI事件光感机数据融合的公路事件检测采集方式实现快速、准确、全面采集交通信息的言说，不久的将来，作为智慧公路的感知层基础设备，将有效助力公路“快速、绿色、智能、安全”目标实现，为智慧公路的应用层提供有力的支撑。