RoadNetv2：高速公路弱小异物目标实时检测算法

朱晓峰，李 林，，张德津，罗文婷

1.福建农林大学 交通与土木工程学院，福州 350100

2.南京工业大学 交通运输工程学院，南京 211816

3.深圳大学 建筑与城市规划学院，广东 深圳 518060

近年来高速异物事件时有发生，已经成为威胁高速公路交通安全的重要问题，给高速公路运行埋下了安全隐患[1]。现阶段道路养护部门对待高速异物问题，可以总结为两种解决方案：第一种是人工巡查法。即通过安排专门的巡查车辆对各自负责的养护路段进行保洁巡查，发现高速异物及时清理，但此种方法效率低、容易出现消极怠工的情况；第二种方法是重点位置架设高清摄像头实时监控，这种方法的弊端在于首先高清定点摄像头无法对高速公路全路段进行监控，同时高速异物具有不固定性，对于高清摄像头监控到的高速异物无法得到及时有效的清理。

针对现阶段人工巡检可以及时清理异物，但存在消极怠工的情况。本文提出了一种轻量化高速异物实时检测算法（RoadNetV2）辅助人工巡检。该方法在模型训练阶段，针对现阶段无可靠高速异物公开数据集的问题，使用高速公路模拟场景数据集扩充方法，提升自建数据集的复杂程度。在算法结构方法，RoadNetV2算法采用了light-focus浅层信息增强模块和C3_CD特征提取模块作为主要部件搭建模型的backbone部分，在neck部分采用了CoordConv和Conv的卷积组合的path aggregation network（PAN）模块降低整体模型复杂度，提升模型推理速率，在损失函数方面，选用Alpha-CIOU作为损失计算函数，并采用多权值平衡计算策略，提升弱小目标的梯度值，以此增加弱小目标的识别精度和回归精度。由RoadNetV2算法所生成的高速异物自动识别模型，搭载自研巡检设备可以有效地辅助养护部门的人工巡检。

1 相关工作

近年来，随着计算机技术的不断发展，国内外越来越多的学者将自动化检测方法应用于高速异物识别问题中。在高速异物检测算法方面，主要以RGB图像作为主要研究对象。文献[2]以视频序列中五帧图像之间运动目标位置差别很小作为前提条件，提出五帧差分法对高速公路的抛洒物进行检测。文献[3]提出了帧间差分自适应法，该方法基于连续帧间差分法和均值背景减除法对抛洒物进行检测。文献[4]提出了背景分离高斯混合模型（BS-GMM）的动态建模方法对进入静止状态的抛洒物进行检测。以上三种方法均是基于传统图像处理方法的高速异物检测算法。文献[5]针对城市道路的小像素目标，首次应用了深度学习目标检测算法，提出了一种基于YOLOv3的卷积神经网络RoadNet检测方法，对城市道路中的小型目标物（如石块、纸屑等）进行检测。文献[6]提出了一种基于实例分割模型Center-Mask优化的高速异物检测算法，使用空洞卷积优化的残差网络ResNet50作为主干神经网络来提取目标特征进行多尺度处理，实现对高速异物的检测。

在深度学习目标检测模型的实际部署中，往往受到部署硬件的限制，从而影响模型的实时性。在轻量化模型探索方面，MobileNetV2[7]将深度可分离卷积与逆残差模块相结合，不仅提升了模型的推理速度还减少了模型在下采样过程中带来的信息丢失；ShuffleNetV2[8]进一步探索了轻量化模型的设计准则，提出了四项轻量化模型设计标准同时提出了一种更高效的网络组件。在实际生产应用中，文献[9]在路侧交通监控场景下，针对现有模型检测速度慢、占有内存多等问题，借鉴了Ghost-Net思想将传统卷积分为两步，利用轻量化操作增强特征，降低模型的计算量，提出了车辆检测算法GS-YOLO；文献[10]在人脸口罩检测与规范佩戴识别的问题中，针对自然环境下模型参数量大、难以部署应用等难题，引入了轻量级骨干网络（light CSP dark net）和轻量化特征增强模块（light-FEB）增强轻量级主干网络的特征提取能力。

2 数据库构建

现实生活中，由于高速公路信息安全的限制，图像质量良好、高速异物类型齐全的开源数据集可以直接使用。故本文通过实验室自主研发的巡检设备与福建省各级养护站的合作采集，经人工筛选后得到一份小型高速异物数据集。同时为了解决自建高速异物数据集复杂度低的问题，提出了模拟场景扩充的方法。

2.1 自主研发的巡检设备

现阶段常规的自动化检测的交通数据主要以视频流数据为主要代表。考虑到在人工巡检过程中，存在车辆短暂停留现象，常规的视频流数据给设备主机带来了更大的存储压力，同时在后期检测的过程中也会浪费大量的时间和计算资源在重复场景中，所以自主研发了一款道路多功能采集设备（以下简称巡检设备），其组成部分包括双目相机、定位模块（GPS）、便携式主机（内置Jetson NX边缘计算单元）。开展巡检作业时，巡检工作人员仅需将双目相机设备放置于副驾驶顶部获取道路前景图像，通过USB数据线将前景图片传输至设备主机进行实时保存或处理，设备安装方式与主要部分如图1所示。

图1 自主研发的巡检设备样式Fig.1 Self-developed inspection equipment style

设备抛弃了传统的时间触发保存前景图像的方式，而是选择以固定的间隔（设为fx）作为主机保存图像的方式。即当车辆移动了第一段距离后，利用GPS传感器得到位置变化信息，通过计算不同频率之间的坐标值得到车辆位移值fd，如果fd≥fx则将生成电信号传入主机，当设备主机接收到相应的电信号后，会做出相应的响应，即保存双目相机的前景图片、景深图像以及同一时刻的传感器基础信息。距离触发的优点是针对自由移动的载体，能够选取合适的距离间隔采集数据，从而减少视频流数据大量信息重复的问题，实现对巡检路段进行轻量化数据采集。

2.2 真实数据集处理与划分

通过与福建省宁德市下白石养护站、三沙养护站的合作，对其人工巡检路段进行数据采集。通过人工初筛一共获取得到1 533张含有高速异物的图像。由于单种高速异物类型数量少，所以在人工标注时，对所有高速异物仅提供foreign body单类标签，同时对部分图像中的里程桩进行补充标注，以便后期对高速异物进行组合定位。数据集划分按照7∶3的比例进行划分训练集和验证集，详细信息如表1所示。

表1 真实数据集详细信息Table 1 Real dataset details

2.3 模拟场景扩充

数据集的复杂程度在一定程度上影响了检测模型的泛化能力。针对自建高速异物数据集复杂度低，本文采用模拟场景自增广的方法来提升数据集数量和数据特征，主要方法是：首先通过百度AI studio提供的生活垃圾等数据集，经过人工筛选出一些可能出现在高速公路中的目标物作为提取目标样本，对样本进行人工提取，其次为了提升目标物的多样性，对提取到的目标物进行HSV变化、水平翻转、旋转变换等图像增强方法，最后将变换后的目标物叠加到不同的高速公路背景中。

模拟场景扩充过程中，为了不影响真实数据分布，做了以下两点限制：首先为了保证数据真实样本的数量，仅扩张500张模拟数据，同时根据真实数据集的划分比例，将70%的数据样本放置在训练集中，将30%的数据样本放置在验证集中。其次为了保证样本的可靠性，在叠加到不同的高速公路背景图中时，仅选取道路中央作为目标区域。

2.4 数据集聚类分析

对标注框的中心点与高宽比进行聚类分析，可以初步了解数据集的样本情况。如图2（a）所示，扩充后的数据集标注框中心点多分布于y轴的上方，说明标注的目标物大部分位于图像的下方，即路面、中央分隔带与路肩等区域，符合高速异物在现实中的真实分布；如图2（b）所示所示，标注框的高宽分布主要聚集于原点附近，说明目标物以小目标为主，符合高速异物在现实中的成像结果。因此可初步认定该数据集符合研究要求。

图2 数据集聚类分析Fig.2 Dataset clustering analysis

3 RoadNetV2高速异物检测算法

RoadNetV2高速异物算法主要包括：基于Light-Focus模块和C3_CD模块的轻量化主干网络、基于Coord-Conv优化的PAN特征融合网络和基于alpha-CIOU损失函数的预测框优化。其网络结构如图3所示。

图3 RoadNetV2高速异物检测算法结构图Fig.3 Structure diagram of RoadNetV2 highway abandoned object algorithm

3.1 Light-focus浅层信息加强模块

高速异物在图片中呈现出区别于自然场景的颜色表征，为了让算法可以更加注意到此种浅层信息，本文通过改进focus结构，提出了一种轻量且高效的浅层信息加强模块（light-focus）。light-focus的结构图如图4所示。

图4 Light-Focus结构Fig.4 Light-Focus structure

Light-focus位于backbone的第一层。对于输入图片数据X∈Rh×w×c，首先进行常规的切片操作，将原有的图像维度从h×w×c降低至，该步骤可将图像信息从空间维度转化至通道维度中，由此可以有效地降低图片数据在下采样的过程中的信息丢失。然后，将传统的级联卷积（即先对数据进行级联，在进行卷积特征提取）处理修改为深度卷积级联处理（即先使用k×k深度可分离卷积对切片数据进行逐通道信息提取，再进行特征级联）。

深度卷积级联处理具有两大好处：首先逐通道处理可以提升模型对于浅层信息的提取能力，其次相比于普通卷积，深度可分离卷积可以有效降低模型的浮点计算量，提升模型在边缘端的计算效率。该变化根据深度卷积核的尺寸来决定浮点计算量的降低比率，其计算公式如公式（1）所示：

式中d表示中间过程的通道数，一般情况下为，由于d＞＞k，所以浮点计算量的降低比率可约为

3.2 C3_CD特征提取模块

高速异物目标物在RGB图片成像中的成像特点如图5所示（图中红色框为异物所在区域）。传统的CNN目标检测模型在处理像素占有率少和特征纹理不明显的目标物时，在下采样过程中容易丢失特征信息与全局信息，影响最终的检测效果。因此本文提出了一种新型的特征提取模块（简称C3_CD）。

图5 高速异物图片Fig.5 Image of highway abandoned objects

模型在下采样过程中带来的信息丢失是影响模型精度的一大重要因素。C3_CD模块将上一级的输入xi根据通道均分原则划分为，将x′i′送入稠密连接模块中进行多次通道扩充（扩充数为k），经过n次扩充后，原有的数据通道由c增加值c+nk，在经过一个Transition层变换后与另一条通道的x′i进行通道对齐。经过稠密模块的x′′i可以有效地保留上一级特征图信息，而另一条通道的x′

i保证了信息流的梯度逆向传播。跨级稠密连接模块在非线性变化过程中往往会丢失对全局信息的关注，为此在x′′i的非线性变化过程中引入了contextual transformer block（COT）[11]。COT模块的结构图如图6所示。COT模块首先根据公式（2）生成特征向量q、k、v：

图6 Contextual transformer block结构Fig.6 Structure of contextual transformer block

式中Wk、Wv分别是卷积核大小为3和1的卷积运算。然后通过公式A=[k,q]·Wδ·Wγ生成特征向量q、k之间的注意力系数矩阵A，式中Wδ与Wγ分别是1×1的自定义卷积。随后将注意力系数矩阵A与特征向量v通过点积运算生成动态特征图Kd。最后融合k与Kd的特征信息作为该部分输出。

将上下文信息注意力模块与跨级稠密连接有效结合，其产生的C3_CD模块结构如图7所示。

图7 C3_CD模块结构Fig.7 C3_CD block structure

3.3 基于位置卷积优化的PAN特征融合

C3_CD模块提升了backbone的特征提取能力，但也提升了该部分的推理消耗（如图8所示）。为了使整体模型更加轻量化，选择了简单的特征融合网络path aggregation network（PAN）[12]，并使用CoordConv与Conv的卷积组合降低整体模型的运算消耗。CoordConv与Conv的位置关系如图3中的卷积组合所示。

图8 消融实验结果图Fig.8 Ablation experiment results

由图2（a）高速异物锚框聚类分析所示，高速异物的锚框中心点在(x,y)∈( 0.8,0.7)范围内具有更强的聚集性，说明目标物在该位置出现频率更高。结合高速异物目标框的位置特性，在特征融合网络中引入了CoordConv，用于提取目标物的位置特征。Coord-Conv[13]在非线性变化H()·中引入了x位置编码（即Cx）与y位置编码（即Cy），因此该类层级的输出为通过将CoordConv与Conv的卷积组合可以大幅降低C3_CD模块给模型推理带来的负面影响，同时引入位置信息编码有助于提升模型的检测精度。

3.4 基于多权值平衡的alpha-CIOU回归优化

损失梯度影响模型的收敛速度和收敛精度。为了更加精准地回归出目标物的位置信息，本文选用了带有惩罚因子的Alpha-CIOU对目标框进行位置回归，同时为了提升小目标的识别精度和回归精度，采用了多权值平衡计算策略，给予小目标损失项更大的权重值。

RoadNetV2总损失函数如公式（3）所示：

式中Lbig和α分别代表大目标检测头的总损失和权重值，Lmiddle和β分别代表中目标检测头的总损失和权重值，Lsmall和η代表着小目标检测头的总损失和权重值。在本文实验中，α=0.4，β=1，η=4。

RoadNetV2单一尺寸损失由置信度损失（confidence loss）、定位损失（localization loss）、分类损失（classification loss）组成，其中每种损失都会有对应的权重值来改变模型的关注点。单一尺寸的损失函数计算公式如公式（4）所示：

式中Lcls和Lobj为分类损失和置信度损失，采用二元交叉熵的计算方式，同时采用低权重值的方式降低算法对其的关注点，Lbox为定位损失，采用Alpha-CIOU作为损失函数，同时赋其高权重值提升回归精度。

定位回归性能受限于预测框和标注框之间的交并比[14]。其交并比值受到IOU阈值的影响，进一步决定了AP计算中的正负样本分配。选用的Alpha-CIOU有利于弱小目标（即难样本）的学习，从而可以有效地回归出图片中的异物目标，提升算法精度，同时根据惩罚因子（在高速异物数据集中惩罚因子选择为2.5）的合理选择可以加快模型的收敛。Alpha-CIOU计算公式如公式（5）至公式（7）所示：

式中b和bgt为预测框与标注框的中心点，p()·为欧式距离计算，ν为预测框与标注框的长宽比相似程度，β为长宽比相似度的权重函数，α为损失函数的惩罚因子。

4 实验验证

本文实验环境为：Intel®Core™i5-9300HF CPU 2.40 GHz，16 GB内存，GTX 1660Ti 6 GB显卡，Window10操作系统，Pytorch深度学习框架。在模型训练阶段，采用浮点计算量、权重文件大小、平均类别精度mAP@0.5：0.95（简称mAP）作为模型的评价指标。其中浮点计算量、权重文件大小表示模型的复杂程度，而mAP能够全面表达目标检测模型对于各类目标物的综合精度，并且已经作为COCO目标检测数据集的官方竞赛指标。在mAP的计算中，首先应该计算出模型的精确率（precision，P）和召回率（recall，R）这两个指标，其计算公式分别如公式（8）和公式（9）所示：

式中P为精确率，R为召回率，TP为目标物被预测为正样本的个数，FP为非目标物被预测为正样本的个数，FN为非目标物被预测为负样本的个数。

通过精确率和召回率指标可以计算出平均精度指标AP（average precision），计算方式如公式（10）所示：

式中P(r)为召回率是横轴坐标、以精确率为纵轴组成的P-R曲线，通过积分可以得到其曲线与坐标轴围成的面积，n为IOU阈值，如AP50表示IOU阈值为0.5的平均精度。

平均类别精度mAP的计算公式如公式（11）所示：

式中n表示类别数。一般情况下，mAP值越高，表示模型的检测精度越高。

为了验证模型在实际案例中的表现。本文还构建了一份不同天气下的测试集，测试集大小为1 500张，内含818个高速异物，即含有高速异物的图片与未含高速异物的图片大致比例为1∶1。为了更为直观地展示模型的好坏，定义了三个更为直观的指标：正检率（A值）、误检率（F值）、漏检率（M值）。正检率指模型正确检出的数量占目标总数的比例；误检率指模型错误检出的数量占目标总数的比例；漏检率指模型未检出个数占目标总数的比例。相比于深度学习模型中的P值、R值以及AP值等，A值、F值、M值更能令高速公路部门从业人员直观了解算法的好坏。

4.1 训练方法

在训练阶段，训练轮数（epoch）为200，动量（momentum）为0.937，权重衰退值为0.000 5，批量大小（batch size）为1，初始学习率（learning rate）为0.01，采用随机梯度下降（SGD）进行优化，整个训练阶段采用指数滑动平均（EMA）和余弦退火学习率调整方法，在训练的前3 000次迭代中采用warmup，warmup阶段动量为0.8，学习率为0.01。由于RoadNetV2是一款基于锚框的目标检测算法，所以本文采用K-means聚类方法生成预设锚框，得到初始锚框值为：[11，6，17，7，15，11]、[25，10，27，18，39，15]、[46，29，73，47，107，72]。

4.2 消融实验

消融实验的主要目标在于验证各优化模型对Road-NetV2算法的影响。消融实验选用YOLOV5s作为基准模型，实验各阶段结果如图8所示。其中优化步骤1为模拟数据集扩充方法，优化步骤2为Light-focus浅层信息增强模块，优化步骤3为引入C3_CD特征提取模块，优化步骤4为采用CoordConv与自定义Conv的组合，RoadNetV2为引入多权值Alpha-CIOU后的最终算法。如图8所示，当引入CoordConv构建轻量化融合网络时，检测性能出现大幅度降低，但仍优于基准模型。当引入多权值Alpha-CIOU后，RoadNetV2高速异物检测算法在精度和浮点计算量上都达成了最优效果。

如图8所示，发现采用优化步骤4以后，模型的浮点计算量大幅度减少，但与此同时，模型的mAP值也由原来的61.0%降至了60.2%。当引入多权值权衡的Alpha-CIOU后，在不影响浮点计算量的情况下，模型的mAP值反而提升至了61.1%，高于优化步骤3的结果。为了探寻采用多权值权衡的Alpha-CIOU是否在不使用优化步骤4时，也能够对模型精度产生促进效果。本文在不改变参数配置的情况下，对含有优化步骤4的算法（Exp1）与未含有优化步骤4的算法（Exp2）进行了比较，其结果如表2所示。结果表明，当不使用优化步骤4时，提出的多权值权衡的Alpha-CIOU在与其他优化步骤后的算法组合搭配时，模型的精度由90.7%降至90.4%，召回率由85.6%降至82.4%，mAP值由61.1%降至58.6%。

表2 优化步骤4的消融实验结果Table 2 Ablation experimental results of optimization step 4 单位：%

4.3 对比实验

为了保证算法对比的公平性以及降低对比难度，本文并未使用迁移学习和遗传算法对RoadNetV2进行优化。同一算法在多次训练容易造成性能波动，为此本文将不同算法进行了多次训练（本文进行了5次训练）并取平均值作为最后的对比结果。

本次对比的算法为YOLOV5s、YOLOXs和Ghost-YOLO[15]算法，其实验结果如表3所示。在表3中可以直观地发现本文提出的RoadNetV2高速异物检测算法相比于其他三种YOLO算法，在精度上分别提升了1.7、2.3和3.5个百分点；参数量相比减少了2.59×106、4.47×106和0.41×106；权重文件仅为8.72 MB；模型的浮点计算量降低至12.1×109，FPS提升至37.0。

表3 实验结果对比Table 3 Comparison of experimental results

4.4 实例分析

通过实际案例的分析与对比可以更好地得知模型在未来的使用过程中的表现稳定性。对测试的结果进行人工统计正检率、误检率和漏检率其结果记录在表4中。

表4 实例结果对比Table 4 Comparison of example results单位：%

如表4所示，RoadNetV2算法在测试集中一共检出了297个抛洒物，漏检率为63.7%，在检出的抛洒物中正确检出259个抛洒物，正检率为87.2%，但也存在着12.8%的误检率。

在图8中，发现当对数据集进行模拟场景扩充后，模型的mAP值仅提升了0.1个百分点，但此过程需要大量的人工参与，这是否会降低该方法的应用价值？针对此问题，对扩充前后的数据集分别进行了实际案例分析，其结果如表5所示。结果表明，对数据集进行模拟场景扩充后（Step 1实验结果由扩充前数据得到），降低了模型的漏检率，提升了正检率。其原因可能是，加入的模拟场景数据，在保证数据分布的情况下，让模型学习到此类相似目标物的共有特征。在真实数据集有限且自然场景下的图像算法不成熟的情况下，采用模拟场景扩充的方法有利于提升算法的应用价值。

表5 各数据集实例分析结果Table 5 Example analysis results of each dataset单位：%

各实验结果表明不同算法均有较高的漏检率，分析主要原因可能是：数据集样本过少，由于硬件算力限制模型训练的数据集中仅有1 573个抛洒物标签，无法完全覆盖抛洒物全部类别特征从而导致出现了大量的漏检。但在高速公路巡检的实际使用中，高正检率相比于高漏检率往往能带来更大的可靠度，即相关从业人员会更加信任模型检出的目标物，同时高漏检率可以通过构建更大更全的数据集以及相关图像生成算法来解决此情况。

RoadNetV2解决了同框架下的YOLOV5s对于弱小目标的漏检以及误检情况。两种算法的实例测试结果如图9所示。在图9（a）中，基准模型YOLOV5s遗漏了中央分隔带的下水口处的水瓶而RoadNetV2高速异物检测算法可以对其正确检出；在图9（b）中，基准模型YOLOV5s将桥梁排水口误判为高速异物同时遗漏了图上的白色异物，而RoadNetV2并没有对其进行误判，同时可以检测出弱小目标物。

图9 实例测试结果对比Fig.9 Comparison of example test results

5 结束语

针对现阶段高速公路场景下，人工巡查异物容易出现懈怠等问题。本文提出了RoadNetV2高速异物检测算法，该算法提出了light-focus浅层信息增强模块增强模型对于浅层信息的学习；将跨级稠密连接与上下文自注意力机制有效结合提高特征提取能力；在特征融合部分采用CoordConv与Conv两结合的方式，降低了模型的复杂程度；最后利用多权值平衡计算策略辅助Alpha-CIOU对目标物的位置信息进行高效回归。实验结果表明，在相同硬件设施且不适用迁移学习方法和超参进化的情况下，RoadNetV2相比于其他的YOLO系列目标检测模型，在高速异物这个检测任务中具有mAP值更高、浮点计算量更低、参数量更少等优点。RoadNetV2深度学习模型，可在搭载Jetson NX的巡检设备上达到实时检测的帧率，其产品可以更好地辅助养护部门对其养护路段进行人工巡查，降低巡查压力提升巡查速度。但现阶段精测精度仍有待提高，未来仍将进一步地研究高速公路背景下轻量化神经网络的检测精度问题，提升模型对于弱小目标物的检测精度。