基于优化ERFNet的智能车辆车道线精确检测算法

杨 静,郎璐红,马书香,徐 慧

(芜湖职业技术学院 信息与人工智能学院,安徽 芜湖 241006)

车道线检测是自动驾驶技术中非常重要的一环,它可以帮助车辆在行驶过程中避免发生与道路边缘发生碰撞的现象,因此车道线检测的准确性对于车辆行驶安全具有非常重要的作用[1-2]。目前,主流的车道线检测算法主要有基于边缘检测和基于区域生长的算法两大类。高扬等人[3]主要基于边缘检测的算法通过对道路图像进行边缘提取和滤波,然后将得到的边缘图像输入到下一个网络进行车道线检测,可以得到较为准确的车道线位置;陈建等人[4]主要基于区域生长算法则是先将道路图像划分成若干个区域,然后通过区域生长对各个区域进行提取和融合得到最终的车道线检测结果。其中,基于区域生长算法由于其具有较强的鲁棒性和适应性而被广泛应用于道路车道线检测中。以上的检测算法中,传统区域生长算法对道路图像要求较高,仅适用于交通较为简单、图像较小或单一类型车辆行驶情况下的道路图像处理。然而,在实际应用中,由于车道线位置易受道路环境影响,传统的车道线检测算法结构简单,往往难以对复杂场景中出现的车道线进行准确检测。因此,如何在保证车道线检测准确性的同时提升车道线检测算法对复杂场景下复杂道路图像处理能力已成为当前研究人员所面临的一个重要问题。本文针对现有方法中存在的不足之处提出了一种基于优化后有效残差分解网络(ERFNet网络)车道线检测算法,并对其进行了实验验证。

1 智能车辆车道线精确检测算法

1.1 基于优化ERFNet的车道线图像语义分割

本节介绍了使用改进后的ERFNet来进行车道线图像语义分割的基本流程。首先,用ResNet-50网络进行训练,并将其输出结果作为输入,然后通过优化后的ERFNet网络得到最终结果[5]。在车道线语义分割的过程中,图像特征提取是一项重要的环节。该网络可以有效地提取出图像中的有效特征,但网络结构复杂,需要大量计算资源[6]。为了进一步提高模型的性能和计算效率,本文提出了一种优化后的ERFNet网络。该网络主要由一个多尺度残差模块、两个空洞卷积模块和两个残差模块组成。本文所建立的优化ERFNet模型如图1所示。

图1 优化ERFNet模型

在以上的模型中,主要由非常多的功能模块组成。相关的模型参数如表1所示。

表1 优化ERFNet模型结构参数

在该网络中,首先增加了一个空洞卷积模块,这可以增加图像中特征信息的提取深度[7];其次是将多尺度残差模块与空洞卷积相结合,提高了图像中特征信息的提取精度;最后是通过残差模块和空洞卷积将多尺度信息融合起来,实现车道线图像在检测前的情景语义分割。

1.2 车道线信息提取

在完成图像的语义分割后,提取图像中的车道线信息。经过语义分割之后的车道线图像数据集中包含了24种不同类型的车道线,包括了倾斜、平直、弯曲和交叉车道线等多种情况,通过对MNIST数据集进行预处理,提取出的数据集包含了较多的车道线信息,对于提高模型的泛化能力具有重要作用。在预处理时,本文使用了一种简单有效的方法——图像切片和小线段提取[8-9]。具体步骤为:首先将原始图像进行二值化处理,然后将其转化为灰度图;其次以图像的上边界作为起点进行边缘检测,截取像素高度为h的图像作为第一个水平切片图像。按照上述步骤,直至完成原始图像所有信息的截取[10-12]。最后根据边缘的分布情况确定图像中车道线的位置。得到的图像切片结果示意图如图2所示。

图2 图像切片示意图

在图像切片完成后,将MNIST数据集划分为训练集和测试集两个部分。其中训练集包含了图像中所有车道线信息,用于提高模型的泛化能力;测试集则包含了在MNIST数据集中已经检测出的所有车道线信息[13-15]。为了统一计算方式,将切片图像的像素坐标进行转换。具体计算如式(1)所示。

(1)

式(1)中,(x′,y′)表示水平切片图像中的像素点坐标,(x,y)表示原始图像中的像素点坐标,W表示原始图像的宽,H表示原始图像的长,Δh表示每次切割向下移动的像素高度,i表示图像切片的序号。经过转换之后,将得到的切片图像进行Hough变换[16-17],以提取出小线段。变换过程如式(2)所示。

ρ=xcosθ+ysinθ

(2)

式(2)中,(ρ,θ)为参数的空间坐标,将检测到的小线段根据θ的大小进行划分,得到两个集合表示为Sl和Sr,即车道线的左右两侧的集合,那么满足如(3)式所示。

(3)

根据式(3),对图像中的小线段进行集合聚类,实现车道线信息的提取。

1.3 智能车辆车道线拟合检测算法设计

由于车道线检测的前提是车道线的精确检测,因此,本文将对车道线进行拟合检测。首先,根据车道线的颜色、宽度和形状,提取出道路图像中的感兴趣区域,并对其进行标注;其次,对ROI中的车道线进行拟合[18],可以得到拟合后的车道线图像;最后,根据拟合后的车道线图像与周围环境中的车道线进行比较,实现车道线的精确检测。本文算法将输入图像的像素作为输出图像的重要依据,这样能够将复杂多变的道路特征进行提取。对于实际道路上采集到的图像来说,其像素值可以反映真实情况。因此,本文利用这些像素值对图像进行处理来解决这些问题。在提取到上述的车道线信息之后,需要对车道线进行拟合。需要对得到的车道线信息图像进行统计直方图操作,利用滑动窗口进行拟合检测[19-20]。根据道路的实际情况,设置窗口的数量,并确定窗口尺寸。在拟合过程中,本文所选择的曲线拟合函数不需要全部数据点的残差[21]均为0,即矛盾方程组如式(4)所示。

εi=φ(xi)-f(xi)

(4)

式(4)中,φ(xi)为拟合函数,f(xi)为残差函数。在拟合过程中,将道路图像分成两部分:一部分是原始图像(即没有经过处理和分割的图像);另一部分是经过处理和分割后的图像(即经过预处理和分割后的图像)。将原始图像作为输出图像后,本文可以将其像素值代入下式中进行计算如式(5)所示。

y=ax2+bx+c

(5)

从而得到拟合后的曲线[22]均方误差如式(6)所示。

(6)

将式(6)的多元函数进行求导,得到极值,能够解出二次曲线的各个系数,得到拟合后车道线图形曲线。至此完成基于优化ERFNet的智能车辆车道线精确检测算法的设计。

2 实验

2.1 实验设计

为了验证本文所设计基于优化ERFNet的智能车辆车道线精确检测算法在实际应用过程中的有效性,实验设备选择RTX 3060 12GX显卡,EPYC嵌入式9004系列处理器,内存256G;Ubuntu20.04 LTS操作系统,配合CUDA、Matlab R2021b、ERFNet车道线检测等其他编程软件。

为了检验本文设计检测方法能够准确评估行驶中路况,通过数据集搜集了不同城市、不同天气、不同时间,道路场景下车辆车道线情况作为测试数据样本。部分样本如图3所示。

图3 不同场景车道线示例

以上的车道线样本图中,相关的测试样本分类以及描述如表2所示。

表2 不同道路场景车道线测试样本

在以上数据集下,分别使用本文设计的基于优化ERFNet的智能车辆车道线精确检测算法、基于Canny算子的检测方法共同进行测试,并将测试结果进行对比与分析。

2.2 实验结果与分析

为了验证本文检测方法的可行性,将所提算法与传统基于Canny算子的检测方法的性能进行对比。通过精准率与准确率两个指标进行判定,具体数据如表3所示。

表3 ERFNet和本文检测性能对比

由表3可知在不同路面情况下两种检测性能呈现出不同的精准率与准确率,具有较大差异。

(1)理想状态:两种方法均可以对路面车道线情况进行准确分析判断,但是后者精准率和准确率更高分别维持在99.42%和98.37%。

(2)非常规路面:当路面车道线出现新旧线交替、磨损严重、积雨积雪、夜晚路面反光等复杂情况,ERFNet检测方法无法对路况进行准确的判断,因此给出的辅助引导也不再具有参考性。相比之下所提算法的输出指标也有所下降,但是仍然保持着86.71%的精准率和85.37%的准确率,具有较强的指导意义。

实验过程中,本文对不同检测方法在不同道路场景下的检测速度进行采集分析,所得数据如表4所示。

表4 不同检测方法检测速度

由表4可知的数据可以看出,本文方法在理想状态下完成整个检测时间仅为60ms,即使在路况恶劣情况下也不高于140ms,综合判定本文设计的智能检测系统无论在输出精准率、准确率和检测时间方面,性能更高,具有更高的参考性。

综上所述,传统检测方法由于功能单一,结构简单,具有较快的数据采集和后处理速度,但是精准率及准确率较低,不具有参考性;在数据采集部分耗费较长时间,是由于在非理想状态下,如夜间或积雪情况路面被遮挡的原因。所提算法后处理部分花费时间较长的原因是,在检测前对采集数据进行分析和预判,提前做好准备工作。虽然总体检测速度较传统检测方法不占优势,但是具有高精准率和高准确率,在实际应用中具有一定的实用意义和价值。

结语

车道线检测是智能车辆驾驶中的一个重要任务,是确保车辆行驶安全的前提条件,其检测精度直接影响到驾驶安全。然而,当前车道线检测算法中仍然存在许多问题,如特征提取网络不够完善、网络训练样本不足、网络深度不够等。由于本文所用数据集的特殊性,在使用之前需要对数据进行预处理,然后再将其转化为RGB格式。此外,由于道路场景中存在光线、阴影、反光等因素,因此本文在使用预处理后的数据集时并没有对原始图像进行处理。为了进一步提高车道线检测精度,后续将考虑对预处理后的数据进行处理,以便提高车道线检测精度。由于车道线检测属于高精度要求的任务,后续也将考虑采用其他更高精度的方法来检测车道线。