基于语义分割的无人驾驶车道线检测算法研究

孙斌艳　曹馨窈　张连勇　郭继峰

摘  要： 自动驾驶车辆在实际行驶过程中，往往对车道线检测的算法效率有着很高的要求，针对这一问题，本文基于2018年提出的经典车道线检测模型Lanenet，提出一种检测时间开销较小的算法，本算法主要通过两个方法提升车道线检测实时性：一是压缩网络结构，减少图片前向处理时间;二是使用时间复杂度小的k-means算法对车道线像素进行聚类，加快聚类效率。在相同实验环境下，本算法在总时间上比Lanenet减少了77.9%，能更好的解决车道线检测实时性能差这一问题。

关键词： 车道线检测; 语义分割; 实时检测; 无人驾驶

中图分类号：TP391.4          文献标识码：A     文章编号：1006-8228（2022）05-39-03

Research on autonomous lane detection algorithm based on semantic segmentation

Sun Binyan， Cao Xinyao， Zhang Lianyong， Guo Jifeng

Abstract： In the actual driving process of autonomous vehicles， high algorithm efficiency of lane detection is often required. Based on the classic lane detection model Lanenet proposed in 2018， an algorithm with less detection time overhead is proposed. In this algorithm， two methods are used to improve the real-time performance of lane detection： one is to compress the network structure and reduce the time of image forward processing， the other is to use the K-MEANS algorithm with low time complexity to cluster lane pixels， which speeds up the clustering efficiency. Under the same experimental environment， the total time of this algorithm is 77.9% less than that of Lanenet. It can better solve the problem of poor real-time lane detection performance.

Key words： lane detection; semantic segmentation; real-time detection; driverless

引言

无人驾驶[1]车辆成为汽车产业发展的新趋势。在无人驾驶车辆行驶过程中，车辆需要计算出车道线的位置以调整车辆前进方向，这个过程被称为车道线检测，它能够帮助车辆进行轨迹规划与偏移决策，保证无人驾驶车辆的安全性，在车辆辅助体系中发挥着至关重要的作用，也是目前无人驾驶领域研究的重点。为了能够与人的判断力和反应力相媲美，车道线检测需要极高的准确度和极快的检测速度，这也是目前车道线检测研究工作需要突破的难点。

传统的车道线检测方法主要应用Canny算法[2]，透视变换[3]，霍夫变换方法[4]等图像处理方法，这些方法实现过程比较简单但难以应对复杂的道路场景，在实际应用中存在一定问题。

相比传统的检测方法，基于深度学习的检测算法表现出了更高的准确性与更强的鲁棒性。目前，许多研究团队提出将语义分割模型FCN，U-net，DeepLabV等应用于车道线检测算法。文献[5]提出一种将编码信息融入的解码阶段的双分支图像分割算法，该算法计算量大、时间开销大。文献[9]提出一种能够预测车道线数目的语义分割网络，然而该网络结构复杂，参数量大，存在准确度与实时性的矛盾。基于上述分析，本文针对车道线检测时间复杂度高的问题，提出基于改进Lanenet[6]网络的高实时性车道线检测算法，主要通过以下两种方法减小时间花费：①调整Lanenet主干网络E-net的结构，减少参数量;②选用k-means算法进行聚类，使每条车道线对应不同的实例。

1 算法

1.1 Lanenet算法原理

Lanenet是一个多任务网络模型，它包括两个任务分支：分割分支与嵌入分支。分割分支输出一个二值图像，将原始图像像素点分为两类：车道线类与背景类。另一任务分支为车道线像素嵌入分支，输出一幅N通道像素嵌入图像用于后续车道线的实例分割。Lanenet采用编码——解码架构的Enet[7]网络，Enet网络框架如图1所示。基于Enet编码模块大而解码模块小的特点，Lanenet的两个网络分支共享前两个阶段，而后三个阶段，两个分支分别训练不同参数和输出通道数。

1.2 改进的Lanenet算法

Enet网络具有计算量小、存储空间小、运算速度快等优点，并在语义分割的应用上表现出较高的准确性，很适合应用于车道线检测。为了进一步提升算法效率，首先对Enet网络进行压缩，压缩后的网络模型如图2所示，其中stage1由原来的四层网络结构压缩为双层网络结构，一层普通卷积提取图像基本特征，一层空洞卷积在保持特征图尺寸不变的同时，增大感受野。基于文献[8]的思想对Lanenet进行调整，双分支共享编码器的前两个阶段后进入各自分支的主干，嵌入分支保留stage3及解码阶段，而分割分支經共享阶段后直接进入stage4，以减少参数量与计算量。

Lanenet采用meanshift方法进行聚类，这种聚类算法的优点在于不局限于固定数量的车道线，常出现聚簇结果过多的情况，算法在时间开销上很大，时间复杂度为O（T[n2]），（k是聚类中心个数，n是样本点数，T是迭代次数），对此，我们选用时间复杂度为O（knT）的K-means算法，加快聚类效率，减少聚类处理时间，更好的满足车道线检测的实时性。

2 实验过程

2.1 网络模型搭建与实验环境

模型由Python实现，采用Pytorch框架搭建，实验环境配置为Windows10 64bit， Intel（R） Core i5，训练及测试于CPU（1.60GHz～1.8GHz）上进行。

2.2 数据集的选取与处理

本次实验采用tusimple数据集，该数据集共有6408张不同交通状况下的道路图片，其中，训练集占57%，测试集占43%，该数据集发布公司还提供了原始图像车道线的标注json文件，json文件所含信息有：车道线坐标值，图片绝对路径等，用于后续数据集训练与测试。

2.3 模型训练

2.3.1 训练预处理

训练前，首先将tusimple训练集根据车道线标记json文件分别转换为二值图像（1表示车道线，0表示背景）与实例图像，并将处理好的3626张图片按比例分为8：1：1的train_set（2900张），valid_set（362张），test_set（363张），其中train_set用于训练模型，test_set用于测试模型效果。预处理后数据集效果如图3（二值图像）及图4（实例图像）所示。

2.3.2 训练参数及损失收敛

Epoch=30，batch_size=8，Adam优化器（lr=5e-4，weight_decay=0.0002），学习率下降间隔step_size=10，学习率调整倍数gamma=0.1。

3 测试结果与分析

3.1 时间

如图5，改进后的算法前向处理时间为原Lanenet的0.43倍，聚类处理时间为原模型的0.19倍，总时间减少了77.9%，提高了算法效率，极大地减少了时间开销，在相同时间内改进后的算法能处理更多帧图片。

3.2 车道线检测准确率

如图6，改进后的分割模型准确率有所损失，分析损失原因如下。

⑴ 压缩后的模型计算量小，参数量减少，减少了处理时间的同时牺牲了部分准确率。

⑵ 分割分支网络层与嵌入分支网络不对称的结构造成了像素不匹配的问题。

3.3 检测效果

检测效果如图7所示。

4 结束语

车道线检测算法在无人驾驶实际运用中有着至关重要的作用。本文通过对车道线检测研究现状的分析，提出一种基于改进Lanenet模型的新车道线检测算法，通过对网络结构进行调整及聚类算法替换减少了算法时间复杂度，并通过实验证明了该算法能够达到检测实时性的要求，但在准确率上有所牺牲。未来将通过加深网络结构调整分支以提高准确率。

参考文献（References）：

[1] 张超.无人驾驶时代临近：传统广播节目的破垒与发展——

以FM107城市之声《汽车工作室》为例[J].传媒，2021（17）：72-74

[2] 沈梅，杨洪涛，姜阔胜，等.一种基于树莓派平台的车道线检测

识别方法[J].现代电子技术，2021，44（17）：141-145

[3] 李海华，万热华，陈小玲，等.一种基于逆透视变换的车道线

检测方法[J].工业仪表与自动化装置，2021（2）：97-100

[4] 周奇丰，凌莉萍.基于OpenCV视觉库的车道线图像识别[J].

汽车实用技术，2021，46（17）：18-21，33

[5] 蔡英凤，张田田，王海，等.基于实例分割和自适应透视变换算

法的多车道线检测[J].东南大学学报（自然科学版），2020（4）：775-781

[6] Neven D，De Brabandere B，Georgoulis S，et al.Towards

end-toend lane detection：an instance segmentation approach[C].IEEE Intelligent Vehicles Symposium（IV）， IEEE，2018：286-291

[7] Paszke A，Chaurasia A，Kim S，et al.Enet：A deep neural

network architecture for real-time semantic segmentation[J].arXiv：1606.02147，2016

[8] 刘彬，刘宏哲.基于改进Enet网络的车道线检测算法[J].计算机

科学，2020（4）：142-149

[9] 周苏，吴迪，金杰.基于卷积神经网络的车道线实例分割算法[J].

激光与光电子学进展，2021，58（8）：381-388

收稿日期：2021-10-25

*基金项目：东北林业大学大学生创新创业训练计划项目资助（41111214）

作者简介：孙斌艳（2001-），女，吉林长春人，本科生，主要研究方向：计算机科学与技术。

通讯作者：郭继峰（1974-），男，黑龙江哈尔滨人，博士，高级工程师/硕士研究生导师，主要研究方向：人工智能與智能控制，物联网技术，电器可靠性理论。