高速公路异常事件检测中的目标检测和主体识别算法

肖杨 廖惠宇 覃琳

摘要：针对高速公路监控中心需要轮询查看大量视频的繁琐任务及人员消耗，文章提出了基于人工智能计算机视觉的高速公路事件检测方法。该方法针对传统检测无法判断事件主体是否为工程养护车辆和工作人员的情况，制作了工程养护车辆和工作人员的数据集，采用yolox网络结构作为基础，在网络结构中增加目标识别头，同时对人和车辆进行检测和识别。经实际应用后表明，该方法检测效果优于对比组，可有效检测和识别社会车辆和工程养护车辆、普通行人和工作人员。

关键词：高速公路；目标检测；主体识别

中图分类号：U495A491673

0引言

高速公路上车辆行驶速度较快，易造成重大人员伤亡事故。事件检测系统可实时发现道路异常事件，及时进行告警处置，避免二次事故的发生。事件检测的核心算法是目标检测和识别，只有准确地发现和识别目标，才能对异常事件进行准确的判定。

王滢暄等［1］针对高速公路特定场景下的目标检测问题，提出了一种基于YOLOv4网络的改进算法，对交通场景下的车辆目标进行检测，将多幅图像的拼接层连接后再进行车辆检测，提升了网络的运行效率；姚兰等［2］在对目标检测跟踪的基础上，提出了一种基于车辆轨迹特征的异常事件检测方法，减少了背景环境变化的对跟踪算法的影响，结合高速公路实际场景，加入滑动窗口机制，提升了对远距离和复杂场景下异常事件的检测能力；李浩澜［3］通过改进YOLOv3和deep-sort算法，提高了对车辆的跟踪速度，并定义了异常事件检测算法，实现了高实时、高准确性的异常事件检测功能。

可以发现，目前研究人员对于高速公路的异常事件检测已经提出了多种解决方案，并取得了较好的进展，但未有针对工程养护车辆和工作人员识别的特定算法和应用，导致在实际工作中，工程养护车辆和工作人员引起了较多的异常事件告警，为监控中心人员的工作带来了较大的困扰。因此，区分社会车辆人员与工程养护车辆人员，具有重要的意义。本文提出一种基于YOLOX的改进算法，在网络结构中加入目标分类头，在对车辆人员进行检测的同时，对目标进行分类，以此来辨认工程养护车辆人员，提升高速公路事件检测的实用性。

1算法及其网络结构

1.1检测算法及模型

随着深度学习的发展，目标检测算法也取得了巨大的进步，目前主流目标检测算法可大致分为单阶段算法和两阶段算法。单阶段算法是基于回归分析的目标检测算法，通过采样网格对anchor进行回归和分类，一个神经网络模型可直接输出结果，其结构简单，计算效率较高，如SSD、YOLO系列算法等；两阶段算法是基于候选区域的目标检测算法，需要进行候选区域提取、候选区域分类、候选区域位置修正3个步骤，模型复杂度较高，如R-CNN、SPPnet、Faster R-CNN等。由于事件检测对实时性要求较高，因此采用单阶段目标检测算法。

Joseph Redmon提出了darknet骨干网络，用于提取特征，Ge Z等［4］使用Darknet 53

骨干网络，采用了预测分支解耦、数据增强、Anchor-free等方法，对YOLO系列的网络模型进行改进，提出了YOLOX网络，对80类目标进行端到端训练，取得了非常好的效果，其网络结构如下页图1所示。

在输入端，将图像首先缩放为宽和高均为640像素的3通道图像，利用Mosaic数据增强［5］和MixUp数据增强［6］等数据增强方法，通过随机缩放、随机裁剪、随机排布的方式进行拼接，提升了小目标的检测效果；骨干网络则采用Darknet53的网络结构，由CBL、Res unit、ResX三种结构组合而成；Neck部分采用了SPP模块，再用FPN+PAN［7］结构将强语义特征和强定位特征进行融合，提升特征提取能力；在预测头部分，采用了3个解耦头，在提高了精度的同时，也提高了训练过程中网络的收敛速度，采用Anchor Free的方式，减少了网络参数量，加上新的标签分配方式和Loss计算方式，构成了YOLOX网络的预测头，进一步提升了网络模型的表达能力。

本文以YOLOX网络为基础，在网络的预测头部分，增加了目标分类头，将目标检测和分类任务同时完成，相比于传统的先检测再识别的方式，提高了算法的整体效率。改进的预测头网络结构如图2所示。网络检测3个类别：人、车、骑行者；2个识别任务：普通车辆/工程车辆、普通人员/养护工作人员。最终输出维度如下：Decoupled Head①为20×20×10，Decoupled Head②为40×40×10，Decoupled Head③为80×80×10，输出10×8 400的二維向量信息。其中的10维特征，前3维为3类检测结果，第4维为前景背景判断，第5～8维为位置信息，第9维为车辆分类结果，第10维为人员分类结果。

1.2损失函数

经过对比实验，Decoupled Head的方式可以提高检测精度和算法收敛速度；Anchor-free的方式减少了2/3的参数量；标签分配算法确定预测框正样本和负样本，以计算最终的损失。

预测框只有少部分是正样本，绝大部分都是负样本。所以，通过初步筛选和精细化筛选两个步骤，基于预测框和锚框的重合度进行筛选，用改进的SimOTA进行精细化筛选［8］，Ldsij是目标框的类别预测分数，Lnegij是目标框的坐标信息预测分数，λ是权重系数，样本选择代价函数如式（1）所示：

经过标签分配，可以对应预测框和目标框，检测框坐标损失lossiou采用giou_loss，其他损失losscls、lossobj、lossvehicle_cls、lossperson_cls均采用BCE_loss，λ1、λ2、λ3、λ4是权重系数，最终损失函数如式（2）所示：

1.3评价指标

目标检测常用的评价指标包含mAP、AP等，由于网络要同时检测行人、车辆和骑行者，还要区别普通行人/工作人员、社会车辆/工程养护车辆，因此采用mAP为评价指标。

mAP为AP的平均值，AP值为PR曲线下的面积，计算公式如式（3）所示：

2实验

目前公开数据集中有大量城市场景下行人、车辆和骑行者的数据，但对于高速公路场景，没有公开的数据集，也没有高速公路场景下，对工作人员和工程养护车辆的分类数据。为满足本文所述网络的多种任务，采用广西某公司的监控视频，其包含200多路视频，每路视频选取了不同时段的100帧图像，共2万张图像，对这些图像进行标注。在最终的数据集图像中，工作人员和工程养护车辆的图像占比约为25%。

本次实验所用环境为Ubuntu16.04、CUDA11.2、OpenCV4.5.4、pytorch1.8、显卡为1张RTX 3080。检测效果如图3所示。

使用本文网络检测并识别行人、车辆、骑行者与其他网络的对比如表1所示。

Faster R-CNN 是两阶段算法，通过RPN生成待检测区域，实现了端到端训练，SSD和YOLOX均为单阶段算法，通过框回归的方式，大幅提高了算法的计算效率。

实验表明，采用本文网络结构的检测识别算法，在不同程度的mAP值上都优于对比网络，这得益于该网络将检测和识别任务分到了不同的检测头，增大了网络的表达能力。在fps上，超过Faster R-CNN和SSD，略低于YOLOX，可以满足实时性要求。

3结语

本文基于YOLOX网络，增加专用于普通行人和工作人员识别、社会车辆和工程养护车辆识别的检测头，对高速公路上的行人、车辆和骑行者进行检测并识别；制作了高速公路场景下，细分行人和车辆的数据集。实验结果表明，不同程度的mAP值均优于对比组。由于数据集的局限，仅适用于高速公路场景，对于如城市、国道等其他场景的适用性不足，未来还可以对工程养护车辆进行细分，如扫地车、拖车等。

目前的交通事件检测系统大多应用于高速公路上。然而在其他非封闭的道路场景，同样对交通事件检测有一定的需求，在非封闭的道路场景中，存在更多不同的主体，对不同的主體有不同的关注程度，因此，未来对道路目标的检测和主体识别会有更大的需求。本文针对高速公路这类封闭道路进行了基于统一网络模型的目标检测和主体识别的算法探索，为后续不同场景下的快速目标检测和主体识别研究提供了新的方向。

参考文献

［1］王滢暄，宋焕生，梁浩翔，等.基于改进的YOLOv4高速公路车辆目标检测研究［J］.计算机工程与应用，2021，57（13）：218-226.

［2］姚兰，赵永恒，施雨晴，等.一种基于视频分析的高速公路交通异常事件检测算法［J］.计算机科学，2020，47（8）：208-212.

［3］李浩澜.基于视频图像的高速公路异常事件实时检测系统［D］.重庆：重庆理工大学，2020.

［4］Ge Z，Liu S，Wang F，et al.YOLOX：Exceeding YOLO Series in 2021［R］.2021.

［5］Bochkovskiy A，Wang C Y，Liao H.YOLOv4：Optimal Speed and Accuracy of Object Detection［R］.2020.

［6］Zhang H，Cisse M，Dauphin Y N，et al.mixup：Beyond Empirical Risk Minimization［R］.2017.

［7］MeiY，Fan Y，Zhang Y，et al.Pyramid Attention Networks for Image Restoration［R］.2020.

［8］Ge Z，Liu S，Li Z，et al.OTA：Optimal Transport Assignment for Object Detection［R］.2021.

［9］Ren S，He K，Girshick R，et al.Faster r-cnn：Towards real-time object detection with region proposal networks［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1 137-1 149.

［10］ Liu W，Anguelov D，Erhan D，et al.Ssd：Single shot multibox detector［C］.European conference on computer vision，2016（9）：41-53.

基金项目：广西重点研发计划“智慧高速车路一体技术研究与示范项目”（编号：桂科AB21196008）

作者简介：肖杨（1983—），工程师，主要从事智慧交通领域相关软、硬件产品的设计、研发、测试、实施、推广及配套解决方案的设计工作。