基于图像识别技术的高速公路实时监测与预警系统研究

摘" 要：为了解决高速公路监控人员手工巡检工作量大、效率低、准确性低的实际痛点，采用图像自动识别技术，以视频信号采集为起点，通过图像预处理、特征提取、目标识别与跟踪、异常事件检测、自动预警与处置的工作流程，建立YOLOv5目标检测及DeepSORT目标根据算法，实时自动发现高速中出现的异常事件并及时预警处置，研究成果经过实际工程应用，验证了技术的创新性及可行性，可大大提高高速公路运营管理效率。

关键词：YOLOv5目标检测；DeepSORT目标跟踪；特征提取；事件检测；机器深度学习

中图分类号：TP18；U491.2" " 文献识别码：A" " 文章编码：2096-4706（2024）10-0143-07

Research on Highway Real-time Monitoring and Early Warning System Based on Image Recognition Technology

FU Yiheng

（Guangdong Road and Bridge Construction Development Co.， Ltd.， Guangzhou" 510663， China）

Abstract： In order to solve the actual pain points of large workload， low efficiency and low accuracy of manual inspection of monitoring personnel， the automatic image recognition technology is adopted， starting from video signal acquisition， and through image preprocessing， feature extraction， target recognition and tracking， abnormal event detection， automatic early warning and disposal and so on， the abnormal events in the highway are automatically discovered in real time and timely early warning and disposal. Through the practical engineering application， the innovation and feasibility of the research results are verified， and the technology greatly improves the efficiency of the highway operation and management.

Keywords： YOLOv5 object detection; DeepSORT target tracking; feature extraction; event detection; machine Deep Learning

0" 引" 言

根据国家统计局公布数据显示，截至2022年12月31日，全国的高速公路总里程达到17.7 km，目前，高速公路上的超速、违法停车、行人非法闯入、抛洒物、交通事故等事件的监、管、控，主要是通过监控管理人员手动轮询手段来实现，存在工作量大、效率低、漏报、误报、应急联动性差等痛点。近两年来视频事件检测产品已经开始在行业内应用，并且已被越来越多的高路公路运营管理单位青睐。作者多年来一直从事高速公路智慧化产品的开发研究及高速公路的运营管理，针对现在高速公路运营管理的痛点，开展基于图像识别的智能实时检测预警系统研究，实现高速公路上发生的各种异常事件的实时监测及自动识别具体有重要意义。

1" 设计思路

从高速公路的运营管理痛点出发，利用高速公路上已部署好的摄像机对高速公路的路域、桥梁、隧道、收费站、枢纽等场所的视频进行采集，在监控中心部署视频分析服务器，对采集到的视频信息进行识别、分析，通过算法自动识别出高速公路上的超速、低速、违规变道、违规停车、行人、抛洒物、隧道火灾、山体滑坡等事件，并实时预警，遵循事件的实时检测、自动识别、及时预警、紧急处置的闭环原则[1]。

2" 设计依据及标准

本研究的设计依据主要是以下标准及规范，这些标准规范对视频检测及识别的检测范围、检测内容、检测时间、检测准确率、漏报率、虚报数等做出了规定：

GB/T 28789—2012《视频交通事件检测器》、DB14/T 1335—2017《高速公路交通事件信息交换规范》、GB/T 29100—2012《道路交通信息服务 交通事件分类与编码》、GB/T 29096—2012《道路交通管理数字字典交通事件数据》、GB/T 40768—2021《视频流与时空信息整合编码规范》、GB/T 31493—2015《数字音视频分析仪技术要求》、GB/T 24726—2009《交通信息采集视频车辆检测器》、GB/T 34959—2017《音频、视频、信息技术和通信技术设备环境意识设计》。

根据以上技术指标要求，本研究技术指标定义为：事件检测准确率≥96%，检测时间≤8秒，漏报率≤2%，24小时虚报数不多于1条[2]。

3" 系统框架

系统架构包含基础层、数据采集层、信息传输层、数据处理层、支撑层和应用层组成，系统架构图如图1所示。

基础层为系统运行的基本保障层，包含服务器、工作站、通信设备、存储设备等硬件部分以及操作系统、数据库等。

数据采集层主要是高速公路上部署的各种摄像设备，负责车型、车流、交通事件的视频信号采集。

传输层负责视频信号、设备状态数据、控制信号等的传输，通常有光纤专网、4G/5G/NB、Wi-Fi、LoRa等方式。

数据层包含数据的清洗、分析、融合、挖掘等功能，数据的类型包含设备基础信息、状态信息等结构化数据，还包含视频、图片等非结构数据。

支撑层包含数据接口分析、分析引擎、报表引擎、实时计算、GIS服务、视频服务等功能支撑。

应用层包含交通事件识别与分析、车型车流分析、目标检测与跟踪、事件查询、事件分析统计、事件预警处理、紧急处置等业务流程。

4" 工作流程

本研究的工作流程是利用图像识别技术，对高速公路上发生的超速、违停、逆行、违规变道、行人闯入、抛洒物事件进行自动识别并预警，主要包含数据采集、特征提取、算法模型训练等功能，主要功能如图2所示。

4.1" 图像采集及预处理

高速公路上每隔500～1 000 m就要部署一套摄像机，通过摄像机可以获取海量的视频数据，视频信号是由一帧一帧的图像组成的，为了提高识别准确性，需要对图像信号进行去噪、大小调整、灰度化等预处理[3]。

4.2" 图像特性提取

经过预处理的图像信号，需要从中提取边缘、纹理、颜色、形状等有意义的特征，可以使用预训练的深度学习模型（如卷积神经网络）来提取图像特征，通过大规模数据进行模型训练，这些模型能够捕获图像中更高层次的语义信息。

4.3" 图像标记

经过预处理的图像包含有车辆、行人、抛洒物等目标物体，需要对这些目标物体进行边界标记，一般用矩形框来标记，将标记转化为（x，y，width，height）的坐标信息形式来表示。

4.4" 算法模型训练

建立训练分类器，将已做标签的数据集随机划分训练集和测试集，其比例为9：1。将数据集输入到模型中进行反复训练，将图像的提取特征和相对应的标签进行匹配，建立图像特征和事件类别的关联模型。

4.5" 测试与评估

算法模型训练完成后，将没有做标签的图像数据输入到分类器进行测试和评估，通过测试图像输入到分类器中预测测试结果，将测试结果与真实标签的结果进行对比，评估分类器的属性和准确性。

4.6" 部署及应用

算法模型在测试和评估确定其准确性后，可以根据实际应用场景进行部署，将图像数据输入到算法中，并对结果进行分析和跟踪。

5" 核心技术

5.1" 基于YOLOv5的高速公路目标检测技术

YOLOv5是一种目标检测算法，是YOLO经过第一代到第四代发展后的最新版本，与以往四代相比，YOLOv5在输入端增加了Mosaic数据增强、自适应描框、自适应图片缩放；在基准网络中加入了Focus结构和CSP结构[4]；在Neck网络结构中添加了FPN+PAN结构，在Head输出层改进了损失函数GIOU_Loss [5]。

5.1.1" YOLOv5的网络结构

对于高速公路上的车辆、行人、抛洒物等目标的检测，可以将网络分成输入端（Input）、基准网络（Backbone）、Neck网络及Head输出端（Prediction）四个模块。网络结构如图3所示。

5.1.2" YOLOv5的基础组件

CBL：CBL模块由Conv+BN+Leaky Relu 激活函数组成，如图3中模块1所示。

Res unit：借鉴ResNet网络中的残差结构，用来构建深层网络，CBM是残差模块中的子模块，如图3中模块2所示。

CSP1-X：由CBL模块、Res unint模块以及卷积层、Concate组成而成，如图3中模块3所示。

CSP2_X：由卷积层和X个Res组成，如图3中模块4所示。

Focus：首先将多个slice结果Concat起来，然后将其送入CBL模块中，如图3中的模块5。

SPP：采用1×1、5×5、9×9和13×13的最大池化方式，进行多尺度特征融合，如图3中的模块6。

5.1.3" Mosaic数据增强

在YOLOv5中输入端采用了Mosaic数据增强方式，选了4张图片进行随机裁剪、随机缩放及随机排列拼接，这样大大增加了数据量，提升了算法训练的网络速度，还降低了算法训练的内存要求。

5.1.4" 自适应描框尺寸

传统目标检测需要利用滑动窗口来提取被检目标，由于窗口尺寸固定，无法覆盖尺寸不同的目标，且窗口的数量较多，需耗费大量运算资源，算法性能较差[6]。根据不同的数据集来自适应计算Anchor，对于不同的数据集，都会计算先验框Anchor。然后在网络训练时，网络会在Anchor的基础上进行预测，然后输出预测框，再和标签框进行对比，最后就进行梯度地反向传播，并将此功能嵌入到整个训练代码里中。

自适应的计算具体过程：

1）获取数据集中所有目标的宽和高。

2）将每张图片中按照等比例缩放的方式到resize指定大小，这里保证宽高中的最大值符合指定大小。

3）将bboxes从相对坐标改成绝对坐标，这里乘以的是缩放后的宽高。

4）筛选bboxes，保留宽高都大于等于两个像素的bboxes。

5）使用K-means聚类三方得到n个Anchors。

6）使用遗传算法随机对Anchors的宽高进行变异。倘若变异后的效果好，就将变异后的结果赋值给Anchors [7]；如果变异后效果变差就跳过，默认变异1 000次。这里是使用Anchor_fitness方法计算得到的适应度fitness，然后再进行评估[8]。

5.2" 基于DeepSORT的高速公路多目标跟踪技术

DeepSORT是多目标跟踪算法，是在SORT基础上添加了级联匹配以及轨迹状态变化判断的一种改进算法，在匹配过程中同时考虑目标的预测框、形状及轨迹变化三个要素。在高速公路目标中存在车辆、行人等多目标跟踪，还存在车辆之间相互遮挡、门架及隔离带绿化物对车辆遮挡的情况，选用DeepSORT算法，可以提高多车辆连续跟踪的稳定性和准确性。DeepSORT的多目标跟踪算法流程如图4所示。

5.2.1" 目标跟踪步骤

1）当检测到高速公路上车辆目标的视频时，目标检测器负责对检测框（Detections）进行检测，预测当前帧的轨迹信息（Predict tracks），每次预测都是在上一次时间的基础上加1。

2）如果预测轨迹得到确认，则输入到检测框进行级联匹配，经过级联匹配成功后将通过卡尔曼滤波更新轨迹信息。

3）级联匹配未成功且距离上一次更新时间为1的轨迹信息，和未经过匹配的轨迹输入到IoU检测框进行匹配，如果匹配成功则更新轨迹。

4）IoU匹配未成功的轨迹分为暂定态和确定态，暂定态轨迹直接删除，设定一个MaxAge值，如果确定态轨迹信息距离上一次更新时间大于MaxAge值，则直接删除；如果不大于MaxAge值则进行下一轮预测。

5）将所有轨迹中是确定态且距离上次更新时间小于n的轨迹作为最终跟踪结果输出，其中的n为可选参数，当n为1时，只输出最新更新的轨迹，此时的跟踪更为精确，与观测值更接近。但如果发生漏检情况，轨迹会有短暂中断。当n大于1的数时，如果此时发生漏检，最终输出会由卡尔曼滤波预测框弥补检测漏检目标，轨迹会更加连续[9]。

5.2.2" 卡尔曼滤波预测车辆运动状态

高速公路上车辆的速度变化不大时，可以通过卡尔曼滤波来预测车辆运动状态，在卡尔曼滤波中主要通过观测方程和状态转移矩阵对车辆目标状态进行预测估计。

卡尔曼滤波观测方程为：

Zt = Hxt + vt" " " " " " " " " " " " " " （1）

其中，Zt表示在t时刻高速公路上车辆目标的观测值，H表示当时的观测矩阵，xt表示t时刻车辆目标的观测值与真实值的对应关系，vt表示t时刻观测系统噪声，此时噪声满足正态分布。

为了减少算法运算时的消耗，将高速公路上行驶的车辆目标建模为匀速运动，车辆运动的状态表示为（b，v），其中b表示车辆目标的位置，v表示车辆的速度，目标车辆的状态可表示为以下向量：

x = （x，y，a，h，vx，vy，va，vh）T" " " " "（2）

其中，x、y、a、h表示目标的各个位置，vx、vy、va、vh各个位置对应的速度。

状态矩阵及观测矩阵可分别表示为：

，（3）

其中，F表示时刻4的状态矩阵，H表示观测矩阵，I4表示时刻4时的位置坐标值，O表示坐标相对值。

卡尔曼滤波初始化时v全为0，b为检测框参数。完成初始化后就进入预测阶段，再通过后续匹配成功的检测框对预测结行进行优化调整，经过初始化及优化调整后就完成了对高速公路目标车辆的状态的预估，达到相关联帧之间目标车辆的关联跟踪。

5.2.3" 关联匹配算法

高速公路上的事件识别需要对多目标进行跟踪，本研究选用的匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法，在高速公路的多目标跟踪问题中，用于匹配轨迹预测框与目标检测框。可以将外观特征距离、马氏跟踪、IoU距离等相关信息构建代价矩阵，通过行归约和列归约后尝试指派，如果指派成功则完成级联匹配，如果匹配失败，则通过调整行列值来更新代价矩阵，这样可以解决目标跟踪中相关联帧之间的最大匹配问题。匈牙利算法的流程图如图5所示。

6" 案例应用

本研究成果主要应用于汕梅高速的莲花山隧道群异常事件视频检测中，在路运一体化平台的基础上，研发基于图像识别技术的高速公路实时监测与预警系统，在监控中心部署算法服务器及深度学习事件检测分析平台[10]，对管养的莲花山隧道群实行视频事件检测，实现隧道内的车辆超速、违规停车、违规变道、行人、抛洒物、烟雾等异常事件的自动精准识别并预警。

6.1" 类别及特征判断的检测

本应用场景为莲花山隧道，隧道内的行人、动物、摩托车、烟火、抛洒物，只需要对目标进行类别及特征判断，提取目标的特征及类别，用YOLOv5算法的步骤进行描框、缩放、Mosaic数据增强、自适应处理识别。

6.2" 车辆特征的检测

由于车辆是属于行驶的目标，涉及车辆状态的实时跟踪以及车辆被遮挡的情况，所以需要用YOLOv5自法对车辆特征进行检测，用DeepSORT对车辆进行目标跟踪，用检测框代替正确的跟踪框组成连续帧片段，通过卡尔曼滤波及级联方式完成目标的跟踪。

6.3" 硬件拓扑结构

硬件拓扑结构包括场外及场内两部分，场外设备包括摄像机、通信专网，主要完成视频信号的采集和传输，场内设备包括文件服务器、交通信息分析服务器、视频入侵检测分析服务器、应用服务器、视频上墙设备以及展示设备，主要完成算法训练、深度学习（目标检测、跟踪）等功能。硬件拓扑如图6所示。

6.4" 软件系统设计

因为视频分析需要做大的算法训练，运算量非常大，所以需要选择多核及高性能的处理器（CPU），在图形处理中大量应用机器深度学习及神经网络模型分析，所以需要配备高性能的图形处理单元（GPU），在路达高速的项目应用中，服务器的配置关键参数要求如下：

主板：超微X11DAI-N，1块；内存：三星16 GB REG ECC DDR4 2666，4条；CPU：intel Xeon 4114+风冷风扇，2个；GPU：GeForce GTX 1080Ti；显示卡：RTX 3080；硬盘：三星PM883 480G SSD；硬盘：希捷4 TB 企业级硬盘；系统：Ubuntu 18.04.5 LTS。

选择Python作为编程语言，选择OpenCV作为图像处理库，选择PyTorch 1.7.1为深度学习框架，界面框架则选择PyQt5。系统界面如图7所示。

6.5" 检测结果

系统上线以来，在交通量检测及安全监控方面大大提高了管理效率，能够自动检测到车辆超速、车辆违停、车辆逆行、抛洒物、违规行人等事件，对高速公路上发生的事件通过目标检测、分析、跟踪进行识别，当检测到事件时及时将报警信号发回监控中心，监控人员根据事件类别进行应急处理。识别效果如图8所示。

7" 结" 论

本研究从高速公路异常事件监测的痛点出发，从系统的架构设计、工作流程上进行设计，应用YOLOv5目标识别及DeepSORT目标跟踪技术，构建图像分析识别算法，自动识别出高速公路上超速、逆行、违章停车、违章变道、摩托车闯入、抛洒物、行人闯入、动物闯入等异常事件，研究成果在路达高速实际工程中应用验证，采用图像识别技术对高速公路各场景的实时监控，能够大大提高速公路的运营管理效率，成为高速公路行业视频事件识别的先驱和典范，为高速公路自动化智能化管理提供参考和借鉴。但由于图像识别受天气及夜间光线影响，夜间识别准确率有待提高，接下将与雷达等不受光线影响的技术及设备相结合，进一步完善图像识别的算法，研究出更加完善的高速公路实时检测与预警系统。

参考文献：

[1] 魏溪含，涂铭，张修鹏.深度学习与图像识别：原理与实践 [M].北京：机械工业出版社，2019：89-100.

[2] 全国智能运输系统标准化技术委员会.视频交通事件检测器：GB/T 28789—2012 [S].北京：中国标准出版社，2013：2-3.

[3] 扶松柏.图像识别技术与实战 [M].北京：清华大学出版社，2022：148-155.

[4] 李斌，文莉莉，邬满，等.基于注意力机制的SK-YOLOv5海洋目标检测分类算法 [J].广西科学，2023，30（1）：132-138.

[5] 许璧麒，马志强，宝财吉拉呼，等.基于YOLOv5的高速公路小目标车辆逆行检测模型 [J].国外电子测量技术，2022，41（11）：146-153.

[6] 李海生，蒋周龙，李杰，等.高速公路交通视频事件检测系统应用探讨 [J].中国交通信息化，2022（3）：102-106.

[7] 张超，王亮.基于边缘计算的行人检测算法研究 [J].现代信息科技，2023，7（6）：81-84

[8] 李少君.基于YOLOv5的实时检测算法研究 [D].武汉：武汉邮电科学研究院，2022.

[9] 郭玉彬.基于视频图像的车辆检测跟踪及行为识别研究 [D].北京：北京交通大学，2021.

[10] 张立，王卫华，王靖然，等.基于改进ResNet50的石油管道焊缝缺陷分类 [J].现代计算机，2021（20）：98-102.

作者简介：付毅恒（1984.01—），男，汉族，广东肇庆人，交通工程工程师，本科，研究方向：智慧交通。