面向高速公路的公里桩检测及误检改进

吴镇涛，罗文婷，李 林，秦 勇，陈文婷，温王鹏，胡喜生

(1.福建农林大学 交通与土木工程学院，福州 350108；2.南京工业大学 交通运输工程学院，南京 211816; 3.北京交通大学 轨道交通安全与控制国家重点实验室，北京 100084)

随着我国高速公路的大规模开发建设，对于大型路网的管理问题日益突出。高速公路公里桩(以下简称“公里桩”)是一种科学有效的公路定位手段。在高速公路中驾驶员突发紧急状况时，可通过公里桩获取当前所在的位置信息寻求帮助，以便高速公路管理人员进行事故救援；道路巡检部门可以通过公里桩更加高效便捷地管理高速公路资产，以及路面病害的定点修补回查等工作。实现公里桩自动检测可以帮助使用人员和车辆更快速、准确地确定位置信息，在实际应用中具有重要意义，并能为道路巡检等管理做好保障[1-2]。

近年来，关于交通标志的自动检测，国内外学者发表了一些研究成果，主要包括基于深度学习的检测算法、基于机器视觉以及传统图像处理的目标检测等方法。成怡等[3]采用ResNeSt50作为CenterNet的主干提取网络，并在网络结构中引入PSConv，通过对多尺度感受野、注意力机制和特征增强等模块的设计，提升不同尺度交通标志的检测能力。Liu等[4]在检测阶段使用多尺度反卷积操作获得更高的召回率，在RPN内部融合特征方面，通过上下文信息来增强特征表示。张万征等[5]通过颜色分割和Hough变换算法实现交通标志的区域检测，并控制算法的复杂程度以满足实时性要求，最后利用LeNet-5对目标区域进行分类识别。Zhu等[6]在SSD算法基础上去除了高级特征映射，在底层特征图上调整比例，使底层可以分布更多的回归框，从而使模型更好地适应交通标志这类目标。刘胜等[7]在YOLOv3的基础上改进网络架构，利用U-Net网络优化目标定位，最后选用空间变换网络实现目标分类任务。孙超等[8]提取不同维度的位置和方向信息来改善浅层特征感受野，在深层特征上，通过特殊的卷积核进行卷积，改进注意力机制通道并融入目标空间信息。李哲等[9]在不同层级的特征图上使用合理尺度的滑动窗口策略，最后引入注意力机制，聚焦图像中的关键信息。胡聪等[10]通过将道路场景的彩色图像转化成灰度图像，使用Gabor滤波强化边缘信息，通过MSERs算法抓取图像中感兴趣区域，最后提取HOG特征，使用SVM分类器进行分类。胡晓光等[11]在提取标志局部特征之后，使用字袋模型量化，将得到的本征特征输入到SVM训练中获得识别分类器。梁敏健等[12]通过融合目标HOG和Gabor特征向量，采用Softmax分类器对其进行分类识别。胡月志等[13]基于ORB算法对归一化的交通标志图像进行特征点描述符计算，借助此全局描述符采用KNN分类器进行分类识别。Zaklouta等[14]通过图像红色增强来减少空间搜索时造成的多余分割，然后基于图像中的HOG特征利用SVM分类器和随机森林进行检测识别。孙晓艳等[15]利用颜色和形状特征实现目标检测，应用自适应伽马变换对图像进行增强，采用最大稳定极值区域算法提取出感兴趣区域，最后基于HOG和SVM对交通标志进行分类识别。Yao等[16]利用HOG提取多种特征信息，并运用网格搜索算法优化SVM参数，从而识别出道路交通标志。上述学者在交通标志自动检测领域提出了自己的研究方法，但由于数据集来源约束和计算量大、耗时多等问题，使得研究难以实时有效地应用到实际场景中。

在深度学习发展中，两阶段算法代表有Fast-RCNN和Faster-RCNN[17]，一阶段算法代表有YOLO[18]和SSD，一阶段算法在网络速度方面优于两阶段算法，但准确性较差。在交通标志检测研究中：Zhang等[19]在YOLOv2网络的中间层采用多个1×1卷积层，并减少顶部的卷积层，从而降低计算复杂度，提高检测性能；Xiao等[20]使用resnet101网络取代原来的darknet-53网络，改进后的YOLOv3在检测速度、精度方面得到一定提升；张威[21]通过优化主干网络，采用DIOU_nms方式对检测层进行改进，较改进前的YOLOv4检测性能变化不大，但训练时长有所减少。因此，速度和准确度的综合优势以及轻量级的特质，使得YOLOv5更易于在各领域应用。在YOLOv5的研究基础上，结合Hu不变矩法，对高速公路公里桩检测开展研究，可为交通标志检测提供思路。

1 数据准备

1.1 采集设备

研究采用课题组自研发的道路智能巡检采集系统，进行高速公路图像采集。采集系统集成了双目相机、GPS集成模块、IMU惯性测量单元以及软件，双目相机拍摄图像根据GPS接收器提供的实时定位信息计算，频率为每3～5 m拍摄一张，采集系统可以同时生成匹配的前景图像和景深图像、同位异构信息、行车轨迹。文中使用的数据为前景图像，设备外观如图1所示，采集图像数据如图2所示。

1.2 采集路段

研究所用数据为福建省内高速公路，总长约为190 km，最终采集到的高速公路前景图像约为60 000余张。研究中将硬件设备搭载在检测车上，并在高速公路上行驶采集，然后从数据库中人工筛查出部分存在公里桩的图像，方便后续半自动检测标注使用。

图1 设备外观

1.3 训练库构建

由于人工筛选出足够用于训练使用的公里桩图像工作量较大，因此，筛选出一部分公里桩图像用于YOLOv5s检测模型，粗略检测剩余前景图像中的公里桩图像并自动标注，然后人工调整标注区域，可大大缩小人工筛选范围，半自动标注流程和标注结果如图3～4所示。最终标注出600张作为训练数据集，为测试模型性能，研究中将一段连续道路的图像作为测试数据集。

图2 采集图像数据

2 YOLOv5s网络架构

2.1 YOLOv5s模型

实现高速公路公里桩实时检测是高速巡检工作的必然要求，因此，对选用的深度学习网络模型在效率和精度方面都有着较高要求。YOLOv5模型检测速度快，能够满足高速公路上的实时处理需求且泛化能力好。本实验选用YOLOv5系列中深度最小、特征图宽度最小的YOLOv5s网络模型，对于大目标检测、高速度有较好效果。YOLOv5s网络结构包括输入端、骨干网络、颈部网络、输出端4个部分，图5为YOLOv5s的网络架构。其中，在骨干网络阶段使用切片操作将原始图像从608×608×3转变成304×304×12的特征图，再通过32个卷积核的卷积操作，最终转变成304×304×32的特征图，减少算法计算量、加快计算速度。在颈部网络阶段，借鉴了跨阶段局部网络(CSPNet)设计的CSP结构，加强了网络特征的融合能力。

图3 半自动标注流程

图4 公里桩标注结果

图5 YOLOv5s网络架构

2.2 模型训练

构建公里桩样本数据库，样本包含训练集和验证集，按照8∶2(其中训练集480张、验证集120张)的比例输入到深度学习网络中，并进行检测模型训练和验证。在本实验中，YOLOv5s的训练参数设置如下：训练迭代次数为400，每次输送到神经网络的批处理量为16，训练图片尺寸为896，采用模型训练过程中默认选中的最优模型。

3 基于Hu不变矩的公里桩检测

对于训练好的YOLOv5s检测模型输出的检测区域，通过读取检测区域的坐标信息，对检测区域内目标物轮廓线的 Hu不变矩特征进行图像识别。Hu在1962年提出了不变矩(简称Hu矩)[22]，不变矩是图像中的特殊属性，是指在平移、旋转、大小变化情况下结果均不变的特征，图像技术领域常用此特征进行图像对比操作。

3.1 尺寸归一化

由于检测区域尺寸均不相同，使用Hu不变矩判别检测区域图像会出现较大偏差，需要将图像尺寸归一化，处理成统一尺寸，如图6所示。

图6 尺寸归一化前后对比

3.2 灰度化处理

此次实验使用的前景图像为彩色图像，采用加权平均灰度化处理法将彩色图像转化为灰度图像，对各通道的像素值进行加权平均(见式(1))。作为图像的灰度值，此过程可以在不影响轮廓提取的情况下减少计算量，提高图像处理效率，灰度化前后对比如图7所示。

f(i,j)=0.299R(i,j)+0.587G(i,j)+

0.114B(i,j)

(1)

式中:f(i,j)为像素点灰度值；R，G，B为各像素点值。

图7 灰度化前后对比

3.3 自适应二值化

检测区域经过上述尺寸归一化、灰度化处理后，对检测区域内目标和背景进行图像分割，分割后的图像有利于进一步提取目标轮廓线。由于熟知的公里桩色调较为一致，且与复杂背景之间存在一定差距，所以此次实验使用自适应二值化法分割。

受自然状态下的光照因素影响，图像的明暗程度难以控制，文中采用两种自适应二值化方法相结合，即基于Otsu的阈值分割法和基于低明度的阈值分割法。当检测区域内对象的明度较高时，Otsu阈值分割法对于前景和背景有明显区别的图像分割效果较佳。当检测区域整体明度较低时，对象和背景的差距不大，使用平均明度作为阈值进行图像分割。

R′=R/255

(2)

G′=G/255

(3)

B′=B/255

(4)

V=max(R′,G′,B′)

(5)

式中：R′，G′，B′为图像中R，G，B的换算值；V为每一像素中R′，G′，B′的最大值。

HSV颜色空间包含H、S、V通道，分别为色调、饱和度和明度，其中需要将R、G、B的值转换到0～1之间，然后计算V值。在openCV中处理图像时需要将V换算成0～255范围内，取V通道的平均值，即平均明度。实验中取图像的明度阈值为70，作为两种方法的划分，自适应二值化前后对比如图8所示。

图8 自适应二值化前后对比

3.4 轮廓提取

实验利用公里桩独特的六边形外轮廓作为轮廓特征，这也是与其他误检物区分的重要依据，通过自适应二值化处理后的二值图像具有多个闭区域，采用cv2.RETR_EXTERNAL检测每个闭区域的轮廓，通过计算每个轮廓的面积，选取面积最大时对应的轮廓作为目标物外轮廓。图9(a)是检测出包含两个轮廓以上的情况，为提取公里桩轮廓，将面积最大的轮廓作为识别物体的形状特征，如图9(b)所示。

图9 公里桩轮廓提取

3.5 相似度对比

通过图像的7个不变矩特征来计算图像之间的相似度。先选取多个具有代表性的公里桩及其他目标物轮廓进行相似度计算，当计算值大于所设置的阈值，则认定为误检目标。

对高为N、宽为M的二维离散图像f(x,y)，其(p+q)阶矩可定义为

(6)

式中：p，q=0，1，2，…。

相应的(p+q)阶中心矩可定义为

(7)

归一化的(p+q)阶中心矩定义为

(8)

由上述(p+q)阶中心矩结果可推导出以下7个Hu不变矩

φ1=φ20+φ02

(9)

(10)

φ3=(φ30-3φ12)2+(3φ21-φ03)2

(11)

φ4=(φ30+φ12)2+(φ21+φ03)2

(12)

φ5=(φ30-3φ12)(φ30+φ12)[(φ30+φ12)2-

3(φ21+φ03)2]+(3φ21-φ03)(φ21+φ03)[3(φ30+

φ12)2-(φ21+φ03)2]

(13)

φ6=(φ20-φ02)[(φ30+φ12)2-(φ21+φ03)2]+

4φ11(φ30+φ12)(φ21+φ03)

(14)

φ7=(3φ21-φ03)(φ30+φ21)[(φ30+φ12)2-

3(φ21+φ03)2]+(3φ12-φ30)(φ21+φ03)[3(φ30+

φ12)2-(φ21+φ03)2]

(15)

由于φ1～φ7的数量级相差较大，所以需使用对数转换将所有值分布到相同范围中，其中sign(x)为符号函数、Hi为不变矩转换后的数值。

(16)

Hi=-sign(φi)log|φi|

(17)

根据式(9)～(15)进行计算获得图像的7个Hu不变矩，并通过式(16)～(17)转化成相同范围内的数值，再由式(18)计算A，B两个图像轮廓之间的相似度D(A,B)，其值越小表示两个轮廓之间越相似。

(18)

4 实验与结果分析

4.1 基于YOLOv5s模型的公里桩区域检测

为检验YOLOv5s检测模型的性能，采用测试数据集6 000张作为评估此模型的基础数据。实验训练模型采用的服务器为CPU：Intel i7-10700K；GPU：Nvidia GeForce RTX 3080ti，16 GB。模型训练过程中验证集的表现优异，平衡点F值几乎达到了最佳状态，F值常用来衡量网络模型性能好坏，其中P和R分别为准确率和召回率，如式(19)～(21)所示。

(19)

(20)

(21)

式中：NTP为正确检测出的公里桩数量；NFP为错误检测出的公里桩数量；NFN为属于公里桩但未检测出的数量。

如图10所示，YOLOv5s测试模型在6 000张测试集上的表现为：召回率达到了100%，准确率为52.7%。通过实验，在文中运行环境下，YOLOv5s检测模型处理每张图像的平均时长为0.138 s，基本能满足高速公路场景下的实时巡检要求。

图10 检测图像结果

从实验结果可以看出，YOLOv5s检测模型对公里桩具有强大的搜索能力，且检测速度能满足实时巡检工作，但在高速公路的复杂场景下，存在较多与公里桩颜色和形状相似的区域，这就容易导致测试模型将其误认为公里桩，因此，准确率会不尽如人意。

4.2 基于Hu不变矩的公里桩识别

在6 000张测试集中共检测出169个目标物，其中公里桩89个、其他误检目标80个。设定相似度的最大阈值为0.1，超过0.1的则被认定为误检目标。

识别结果如表1所示，分析其中的错误识别原因主要有以下两方面：一是经过尺寸归一化后，部分图像质量有所下降，影响最终提取轮廓信息的效果；二是公里桩部分区域被其他物体遮挡，提取的轮廓不完整，导致计算得到的相似度数值较大，从而被判定为误检目标，测试区域及轮廓提取结果如图11所示。

表1 识别结果统计 个

图11 测试区域及轮廓提取

文中利用公里桩独特的轮廓形状作为剔除误检的依据，在YOLOv5s检测算法的基础上添加Hu不变矩误检剔除算法，较未添加前时的准确率有大幅提升，但由于对部分正确检测公里桩的误识别而导致召回率有所下降，改进前后结果对比如表2所示。

表2 改进前后对比

5 结 论

研究采用实验室自主研发的道路智能巡检设备采集高速公路场景下的图像数据，并通过YOLOv5s模型进行公里桩自动识别，结合Hu不变矩算法实现对公里桩的误检筛除，得到以下结论。

1)采用YOLOv5s模型进行公里桩自动识别，统计公里桩检测的准确率、召回率以及F值，综合检测速度和全面性得出YOLOv5s模型具有较强的综合表现能力，能够较准确地完成高速公路下的公里桩检测。

2)将深度学习目标检测与Hu不变矩图像处理技术相结合，实现了筛除大部分误检，从而提升公里桩检测准确率，为交通标志牌识别提供新思路。

3)在误检筛除中，有部分公里桩存在被遮挡现象，在相似度对比中容易造成误判。因此，后续研究中需要对遮挡部分作还原处理，以便进一步提升误检筛除的准确性。