基于雷视融合的高速公路智能监控边云协同分析系统建设探究

吕永萍

山西省交通信息通信有限公司 山西太原 030006

高速公路智能监控边云协同智能分析系统的构建，是实现高速公路高效管理的重要条件和基础技术手段。同时这一系统构建的问题，也是当前我国道路交通部门重点关注的管理内容。为了提升高速公路的服务水平，保障高速公路使用者的生命财产安全，促进社会稳定和谐发展，我国相关交通部门开始实施数字化的智能监控。在本篇文章中，笔者对当前我国现存的高速公路智能监控系统存在的问题进行了客观的论述，在此基础上，笔者提出了基于雷视融合的高速公路智能监控边云协同分析系统构建的重点技术。希望能够有效实现高速公路的安全管理，实现高速公路的社会经济价值。

1 现有系统存在的弊端和挑战

随着2019年国务院《交通强国建设纲要》明确提升智慧交通战略地位的趋势，全国各省份智慧高速建设也相应迎来加速推进，实现传统基建与新兴 ICT技术的深入融合成为未来大势所趋。目前高清视频监控技术是现有高速公路管理的成熟手段，高速公路管理大多推行数字化高清监控视频来实现全过程的监控管理，保障高速公路过往司乘人员的生命与财产安全，也属于新时期道路交通部门重点管理和改进的工作内容，但随着视频路数的增加，现有管理手段大都是靠人工及时发现确认交通事故及道路紧急情况的话工作强度极大。

为进一步提升高速公路管理单位对高速路网营运全过程的掌控力度，提高高速公路的运营管理效率，提升服务水平，加强高速公路突发事件的应急处置能力，对高速公路全程监控的需求越来越迫切，目前已有部分理念领先的高速公路管理单位已经开始尝试使用基于AI视频分析的智能事件检测技术来协助人工管理，来自动检测车辆停驶、车辆逆行、人员闯入、交通拥堵等事件、事故也可以提升监控视频系统的使用效果[1]。

但随之带来的弊端就是，高清摄像机虽然能够准确感知车辆的车型、车牌等特征属性，但是在探测距离、速度等运动属性的时候精度差一些，而且由于摄像头的光学特性，极易受到周围环境的干扰，例如强光直射或发射、雨雪雾、夜晚弱光等恶劣天气或光照的气候条件都会明显影响摄像头的正常工作，导致其采集的影像信息结果不够准确，智能事件检测准确度较低，在高速公路前端采用多种传感器组合进行数据采集的趋势愈发突出。

另一方面，随着高速公路管理对于监控摄像机画面质量和分辨率的提升要求，高清摄像机的画面像素开始逐步从200万像素（1080P摄像机）持续升级到800万像素（4K摄像机）、1200万像素甚至更高的参数规格，超高清摄像机的带宽提升对于高速公路智能事件分析系统的视频专网的带宽、延时和抖动影响很大，现有系统将前端所有摄像机视频回传到监控机房智能分析服务器进行统一智能分析处理的系统组网架构遇到很高的挑战，经常会遇到画面卡顿、马赛克、延时较长的问题，无法实时预警和处理现场突发事故。

根据以上问题，基于雷视融合的高速公路智能监控边云协同分析系统将在现有高速公路高清视频监控系统的基础上，在前端传感设备层增加毫米波雷达检测，和高清视频检测形成全天候采集信号功能互补，在网络层，通过增加边缘计算智能事件分析服务器和云端智能事件分析服务器，形成边云协同系统架构，通过对高带宽业务的本地分流，降低对核心网络及骨干传输网络的占用，提升通信网络的利用率，缓解前端带宽压力，通过内容与计算能力的下沉，提升高速公路事件检测处理实时性[2-3]。

2 系统总体架构设计

2.1 系统组网架构设计

基于雷视融合的高速公路智能监控边云协同分析系统的整体系统组网架构如下：

图1 系统组网架构

前端传感层：在前端传感设备层将高清摄像机和毫米波雷达融合检测高速公路现场信息，毫米波雷达和高清摄像机形成全天候采集信号功能互补。

边缘侧智能事件分析系统：在系统组网架构采用边缘计算和云端计算相结合的边云协同理念，通过在边缘侧本地增加边缘计算智能分析服务器来进行第一次智能事件分析处理，对高带宽业务的本地分流，降低对核心网络及骨干传输网络的占用，提升高速公路事件检测处理响应速度。

云侧事件分析系统：云端智能事件分析服务器进行二次加工处理，将边缘侧智能事件分析系统的分析结果进行二次分析确认以及实现云端模型管理、算法管理、训练管理以及和边缘侧系统实现数据上报和AI能力下发的系统联动，从而持续提升高速公路的事件检测准确率，形成边云协同系统架构。

工作台：在业务展示的工作台，通过网页、大屏、App、声光告警灯相关软硬件的方式，实现智能事件分析、路网事件检测和车流量分析等功能。

2.2 系统逻辑架构设计

图2 系统逻辑架构图

基于雷视融合的高速公路智能监控边云协同分析系统，接入终端支持各类高清摄像机和毫米波雷达等各种接入终端的数据采集及回传。边缘计算设备兼容各类X86及ARM边缘计算终端，支持海量视频数据和毫米波雷达数据的实时接入与计算分析，边云协同智能框架提供支持边缘侧分布式训练和分布式推理任务执行，兼容Caffe、TensorFlow等业界主流深度学习框架，集成了丰富的AI算法库与模型库，支持云端算法库上传和下发，支持AI能力下发、数据上报、设备适配、能力调用功能，实现事件检测、交通参数检测、车流量分析的功能，通过灵活的配置管理界面设置各种事件告警触发策略、交通参数统计策略，提供Web Portal、App、声光告警等多种展示方式，可以进一步拓展高速公路智能化的更多领域。

3 关键技术应用

3.1 雷视融合技术

与高清摄像机相比，毫米波雷达不受任何天气、光线环境的影响，包括浓雾、烟尘、风暴、雨雪、眩光、全黑等情况下都可正常工作，即使在浓烟或浓雾的情况下，依然可以可靠的进行车辆、人体的检测与跟踪；实现快速发现，快速定位，监测功能不受任何影响，因此能真正做到全天候24小时监控，在智慧交通、智慧安防等领域广泛应用和快速发展，可以实时、稳定、准确地提供探测区域内多种交通数据，在智能交通管理领域里得到了广泛的应用[4]。

但雷达在可视化上明显较差，对于信息量的采集有限，比如只能采集车速或车流量等交通信息，无法采集车牌等信息，不过它在测距测速功能和恶劣天气下明显更胜一筹，可以说每种传感器都有自己的优势也有自己的软肋。想做到完美的传感器融合，就要接受不同传感器的输入，并利用综合信息更准确的感知周边环境，其得出的结果比不同传感器各自为战要好得多。表1是现有各类传感器的特点比对：

表1 现有各类传感器特点比对表

基于雷视融合的高速公路智能监控边云协同分析系统能够接受不同传感器的输入，在前端将视频数据采集和雷达数据采集融合，并利用综合信息更准确的全天候感知周边环境和事件发生状态，规避单个传感器工作的弊端和不足。

图3 雷视数据融合

3.2 边云协同架构

基于雷视融合的高速公路智能监控边云协同分析系统将智能事件分析处理流程在边缘侧和云端进行二次分层处理，来解决由于800万像素、1200万像素超高清摄像机的带宽提升对于高速公路智能事件分析系统组网的带宽压力。边缘计算靠近现场执行单元，作为云端所需数据的采集、筛选和初步处理单元，可以更好地支撑云端应用。云计算通过大数据分析优化输出的业务规则或训练模型可以下发到边缘侧，边缘计算基于新的业务规则或模型运行[5]。

云计算擅长全局性、非实时、长周期的大数据处理与分析，能够在长周期维护、业务决策支撑等领域发挥优势；边缘计算更适用局部性、实时、短周期的本地数据的处理与分析，能更好地支撑本地业务的实时智能化决策与执行。

图4 边云协同架构图

边缘计算与云计算需要通过紧密协同才能更好的满足各种需求场景的匹配，通过边云协同 AI 技术可以很好的解决在边缘训练和推理的精度、时延、通信量、数据隐私等问题，从而放大边缘计算和云计算的应用价值。

4 系统主要功能

基于雷视融合的高速公路智能监控边云协同分析系统能够提供高速公路的交通流量监测和交通事件检测的智能分析，系统主要功能包括：

图5 系统功能图

4.1 异常停车事件检测

系统可以通过雷达和视频的融合信号，识别车辆在高速公路的行车道、应急车道，隧道内的行车道、停车带上的异常停车事件。车辆在道路上由行驶变为停止状态，超过一定时间，判定为停车事件。并自动及时告警。

4.2 道路拥堵缓行事件检测

系统能通过通过雷达和视频的融合信号，采用深度学习技术，系统能够通过道路上车辆通行速度及监测范围内车辆密度判断出道路交通拥堵情况，并自动报警。

4.3 车辆逆行事件检测

系统能通过通过雷达和视频的融合信号，可以识别车辆在高速公路或隧道内逆向行驶事件。车辆在道路上的行驶方向与所规定方向相反，即判定为逆行事件。

4.4 抛洒物事件检测

系统能通过通过雷达和视频的融合信号，可以识别高速公路或隧道内车道上抛洒物或遗留物事件。可识别的物体体积不小于50×50×50cm）。

4.5 行人事件检测

系统能通过通过雷达和视频的融合信号，可以识别高速公路、隧道中出现的行人事件。行人进入高速公路上或隧道内，如高速公路的行车道、应急车道，隧道内的行车道、停车带、人行道，或者其他禁止进入区域，判定为行人事件，并自动及时告警。系统还能够检测识别区分工作人员和普通人员，并根据人员不同，展示不同的告警级别[6-7]。

4.6 车辆速度过高/低检测

系统能通过通过雷达和视频的融合信号，通过雷达检测出车辆速度，能通过实时获取道路卡口摄像机抓拍的车辆高清图片，当速度高于设定阈值或者低于设定阈值时，自动报警。

4.7 车辆占用和驶离应急车道事件检测

系统能通过通过雷达和视频的融合信号，采用深度学习技术，系统能够通过车辆占用和离开应急车道时自动报警，记录车辆占用应急车道的时长。

4.8 交通事故检测

系统能通过通过雷达和视频的融合信号，采用深度学习技术，系统能够通过检测道路发生车辆碰撞等交通事故，并自动报警。

4.9 车型识别

系统能通过通过雷达和视频的融合信号，采用深度学习技术，系统能够通过识别小轿车、大客车、小客车、货车、危险品车、面包车。

4.10 车流量检测

系统通过计算引擎对车辆检测、车牌识别、雷达数据进行实时大数据分析，及时、准确分析特定区域内的车流总量数据。

4.11 分车型车流量分析

系统通过计算引擎对车辆检测、车型识别、车牌识别数据进行实时大数据分析，准确分析特定区域内分车型车流量数据。

4.12 视频质量诊断

系统运行视频诊断程序，在服务器上自动检测摄像机等设备故障，可以检测摄像机信号丢失、摄像头画面遮挡、视频画面冻结、视频画面模糊、视频画面对比度差异、视频画面剧烈抖动、摄像机偏离预置位等视频质量问题。

5 总结和展望

基于雷视融合的高速公路智能监控边云协同分析系统，通过雷视融合技术提供了全天候智能事件检测方案，解决了摄像头极易受到强光照射、雨雪雾、夜晚等恶劣天气或光照的气候条件都会影响智能事件检测系统正常工作的问题，可全天候全方位监测公路车流量信息，识别效率和准确度均大大超过人工能力，提升车流量分析准确率，减少损失。

同时本智能事件分析系统通过边云协同架构解决了高清摄像机对于视频专网的带宽压力、事件时延等问题，并可以将公路通行情况在公路外情报板上进行实时路况提醒，并诱导用户注意拥堵以及事故，降低拥堵和二次交故发生的概率，减少相关经济损失，从而提高高速公路的运营管理效率，提升服务水平，加强高速公路突发事件的应急处置能力。