恶劣天气下基于锚点的多尺度融合车道线检测及优化方法

邓文博 刘翔鹏 安康

摘  要： 针对黑夜和大雾天气下车道线检测的问题，在数据预处理阶段采用改进的自适应伽马变换对过暗或漂白的图片进行增强，并利用暗通道先验法对大雾场景下的图像进行数据增强，从而降低干扰. 在特征提取阶段，采用改进的rotation forest block（RFB）网络提取车道线的特征信息，并通过基于锚点的分类方法实现了快速而准确的车道线检测功能.

关键词： 车道线检测； 数据增强； rotation forest block （RFB）； 暗通道先验法； 目标检测

中图分类号： TP 18    文献标志码： A    文章编号： 1000-5137（2024）02-0161-06

Multi-scale fusion lane detection and optimization method based on anchor points in adverse weather conditions

DENG Wenbo， LIU Xiangpeng^?， AN Kang

（College of Information， Mechanical and Electrical Engineering， Shanghai Normal University， Shanghai 201418， China）

Abstract： The challenges of lane detection in night time and foggy weather scenarios were addressed and researched in this paper. In data preprocessing stage， an enhanced adaptive gamma transform was applied to enhance images that were too dark or overexposed. Additionally， the dark channel prior method was employed to augment image data in foggy conditions， reducing interference from heavy fog and low-light nighttime scenes on lane recognition. For feature extraction， an improved rotation forest block （RFB） network was utilized to capture lane features effectively. Furthermore， a rapid and accurate lane detection effect was achieved through an anchor-based classification approach.

Key words： lane detection； data augmentation； rotation forest block （RFB）； dark channel prior method； object detection

目前，車道线检测算法主要分为传统方法和深度学习方法. 传统方法在车道线检测中通常需要手动调整滤波算子^［1］和曲线调节^［2］等参数，导致工作量大且不具备良好的稳健性. 其次，传统方法对行车环境的变化较为敏感，即当场景发生变化时，检测效果可能不佳，如基于霍夫变换、LSD直线、俯视图变换、拟合以及平行透视灭点^［3］等的方法，在应用场景、稳定性和实时性方面存在一定局限性. 霍夫直线检测方法难以应对存在弯道的场景，其拟合效果不够稳定，仿射变换对遮挡情况敏感，透视变换对相机参数的要求较为严格.由于传统方法在实际应用场景下稳健性不佳，在处理车道中间的指示箭头和人行道等情境时，面临相当大的困难. 深度学习方法在车道线检测任务中表现出不错的效果，但是基于像素的深度学习网络存在检测速度慢、难以落地等问题. 为此，QIN等^［4］提出基于锚点的车道线检测方法，显著提升了深度学习方法检测车道线的速度. YU等^［5］在标准的卷积里面注入空洞，显著增加感受野大小.

本文作者采用锚点预测方法，结合空洞卷积增大感受野，提升目标检测和锚点分类的预测速度和精度. 对于夜晚图像中亮度较低、大雾天气图像存在大量白色噪声的情况，使用神经网络提取车道线较为困难. 传统方法将原图输入神经网络，对参数进行拟合，会引入大量的噪声，影响网络的稳健性.JEONG等^［6］使用伽马变换显著增强低光图像的对比度. 本文作者使用改进的自适应伽马变换对亮度较低或过曝光的图像进行增强，采用暗通道先验法，降低大雾对车道线检测的干扰，为在不同场景下的车道线检测研究提供新思路.

1  相关方法

1.1 改进的自适应伽马算法

伽马矫正是在图像处理任务中分别提取图像的深色和浅色部分，并将两者的比例增大，从而提升图像的对比度，进而使一些信息更容易被观测. 面对过暗和过曝光图像，使用伽马函数进行矫正可以增加低灰度处的对比度，更利于分辨灰度值低的图像细节.

伽马变换后输出的图像灰度值：

， （1）

其中，为输入图像灰度值；为常数，可以自定义调整. 针对不同亮度图片，采用如下自适应调整方案：若一张图片的所有像素归一化后的均值约为0.5，则

， （2）

其中，表示图像所有像素灰度均值.

使用如下方法来均匀整张图片灰度值：

. （3）

1.2 暗通道先验法去雾

暗通道先验法^［7］假设在无雾图片的RGB通道中总是存在一个通道，其灰度值很低，几乎趋近于0，即：

. （4）

使用大气散射模型处理图像数据：

， （5）

其中，x是图像的空间坐标；I（x）表示有雾图像（待去雾图像）；J（x）表示无雾图像（待恢复图像）；A表示大气光值；t（x）表示大气透射率. 使用暗通道先验理论进行推理，通过有雾图像、大气光值和透射率推导出无雾图像公式：

， （6）

， （7）

其中，表示去霧程度；y表示x图像空间的点；c表示RGB颜色空间一个颜色通道；表示图像的一个颜色通道值；表示一块以x为中心的区域点的集合；表示一个颜色通道的大气光值.

经过验证，当为0.95，为0.2时，模型获得较好的效果. 采用导向滤波^［8］去除光环和块效应带来的影响.

导向滤波基于局部线性模型，在二维窗口内假设图像具有线性关系，对于图像中的每个像素，利用线性回归方法计算局部线性函数的系数，其中输入图像可以是待滤波的图像或引导图像，具体实现步骤如下：

1） 计算待滤波图像和引导图像的乘积，然后对乘积图像进行盒式滤波；

2） 分别对待滤波图像和引导图像进行盒式滤波；

3） 计算协方差图像，即待滤波图像和引导图像在窗口内的协方差；

4） 计算引导图像在窗口内的方差；

5） 计算线性系数，将协方差图像除以引导图像方差，得到线性系数；

6） 计算窗口中心位置的输出值，即利用线性系数和均值加权平均.

在实际应用中，导向滤波能够产生更加自然、真实的去雾图像，增强图像的对比度.

1.3 rotation forest block（RFB）-L

车道线检测任务不仅需要识别车道线的位置，还需要学习图像的全局信息^［9］，包括道路上车辆的走向、路障的位置等. 为体现全局信息对车道线定位的影响，需要扩大感受野和注意力. 由此，本文作者提出RFB-L模块，结合空洞卷积^［10］大感受野、低计算量，以及能捕获多尺度上下文信息的优势，设计RFB各层卷积核和膨胀系数，并通过膨胀卷积进行多尺度上下文信息的聚合.

使用小核空洞卷积学习局部信息，使用大核卷积^［11］扩大感受野，为降低计算量，将7×7卷积核拆分为7×1及1×7两层卷积进行计算.

整体网络设计分为两个任务进行训练，包括目标检测和分类任务. 为提升车道线检测速度，使用分类任务进行预测，可以实现更高效的车道线检测.

参考文献［4］，将图像分割成锚点，预测锚点为车道线的概率即可，使原大小的图像缩小为锚点图. 只提取左右各两条车道的位置，每行只需要预测4个列号，显著降低了计算量.

本研究中，使用RFB-L模型集成到轻量化的ResNet18^［12］作为Backbone，用于有效提取图像的高低层次信息，以更全面地学习车道线的特征数据. 通过将不同层次的特征图输入到实例分割网络，以提升实例分割能力，主干网络输出模型完成对特征图的锚点预测. 引入实例分割网络有助于提升数据对车道线分割的识别能力，增强网络对车道线锚点的准确识别能力，充分利用深度学习模型的特征提取和分割能力，以优化车道线检测的性能.

在Backbone部分，加入空洞卷积提高感受野^［13］，可以帮助ResNet更好地提取特征. 在实例分割部分，利用多尺度特征，对局部特征进行建模，实现对Backbone部分的辅助训练，这一部分模型将不参与预测阶段锚点位置的计算. 分类器部分使用全连接层预测车道线锚点编号，在不损失精度的情况下，实现对车道线的快速预测.

2  网络设计流程

2.1 算法设计

算法的整体处理流程图如图1所示，包含数据增强、标签延伸、图像分割、图像锚点分类等步骤.

数据增强部分针对恶劣天气下的图像进行处理，提高车道线的识别准确率. 若当前图像存在部分过曝光或过暗部分，进行伽马矫正，提升对比度.

通過在灰度图上计算图像的均值和方差，检测是否存在亮度异常. 图像的均值接近于一般亮度中间值，且方差较大时，表明图像不存在亮度异常，反之亦然.

此外，通过计算灰度图的平均亮度，可以判断图像是否为黑夜图片. 如果平均亮度小于设定的阈值，可以认为图像处于黑夜条件下. 这一方法利用了图像的灰度信息，通过对亮度特征的分析，为评估图像的曝光情况提供了一种简单而直观的手段.

若暗通道图像中，小于128的像素区域占比大于70%，即判断当前图像为大雾天气，需用文暗通道去雾算法减小大雾对车道线特征提取的影响. 为了提高网络的泛化能力，采用由旋转、垂直和水平移动组成的增强方法进行车道检测实验，结果如图2所示.

如图2（c）所示，车道线检测结果图中存在一些偏离车道线的点，推测是由于模型未能完全去除大雾而产生的噪声，这也是本项工作以后研究的方向之一. 总体而言，本模型在大雾天气下可以较为准确地预测车道线位置.

存在局部曝光场景的黑夜条件下，对车道线的检测结果如图3所示.

由图2（c）和图3（c）可以看出，执行图像增强操作和提取大感受野的特征可以较好解决恶劣天下的车道线检测难题.

对在网络上搜集的车道线数据集以及TuSimple数据集进行实验，结果如表1所示.

9.33

从表1中可以看出，大雾天气下准确识别车道线的效果较差，这是因为大雾与车道线的颜色较为接近，模型易出现误判（假阳性）. 黑夜条件下存在对向来车车灯的局部曝光情况，虽然采用本文改进的伽马算法可以有效减缓局部曝光的影响，但相较于白天车道线检测的效果，准确率较低. 总体而言，本算法在恶劣天气下对车道线的识别准确率达到了90%，并有效降低了环境变化给车道线识别带来的影响.

3  结语

针对恶劣天气下车道线检测任务中存在的问题提出有效的图像预处理方案，并综合考虑此任务的难点问题，提出空洞卷积和大内核相结合的思想，提升网络感受野，以便更有效地学习车道线特征. 在TuSimple数据集和从网络中搜集到车道线数据上进行实验，所提出的方法表现出较高的识别准确率.此外，如何提升不同天气下的车道识别准确率和检测速度是本研究需要逐步完善和改进的方向. 面对复杂的交通环境，更有效地处理遮挡对检测任务的影响也是本研究今后的工作.

参考文献：

［1］ CANNY J. A computational approach to edge detection ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1986，8（6）：679-698.

［2］ FENG Z Y， GUO S H， TAN X， et al. Rethinking efficient lane detection via curve modeling ［C］// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans： IEEE， 2022：17041-17049.

［3］ YOO J H ， LEE S W ， PARK S K ，et al. A robust lane detection method based on vanishing point estimation using the relevance of line segments ［J］. IEEE Transactions on Intelligent Transportation Systems， 2017（12）：1-13.

［4］ QIN Z Q， WANG H Y， LI X. Ultra fast structure-aware deep lane detection ［J/OL］. arXiv： 2004. 11757， 2020 ［2023-10-10］. https：//arxiv.org/abs/2004.11757.

［5］ YU F， KOLTUN V. Multi-scale context aggregation by dilated convolutions ［J/OL］. arXiv： 1511. 07122， 2015 ［2023-10-10］. https：//arxiv.org/abs/1511.07122.

［6］ JEONG I， LEE C. An optimization-based approach to Gamma correction parameter estimation for low-light image enhancement ［J］. Ad Hoc Networks， 2021，113：1-7.

［7］ HE K M， SUN J， TAN X O， et al. Single image haze removal using dark channel prior ［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2011， 33（12）：2341-2353.

［8］ HE K M， SUN J， TANG X O. Guided image filtering［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013，35（6）：1397-1409.

［9］ XIAO L Y， XIANG L， SEN Y， et al. ADNet： lane shape prediction via anchor decomposition ［J］. arXiv： 2308. 10481， 2023 ［2023-10-10］. https：// arxiv.org/abs/2308.10481.

［10］ SZEGEDY C， LIU W， JIA Y P，et al. Going deeper with convolutions ［C］// 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015：1-9.

［11］ DING X H， ZHANG X Y， HAN J G， et al. Scaling up your kernels to 31×31： revisiting large kernel design in CNNs［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans：IEEE， 2022：11963-11975.

［12］ HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016：770-778.

［13］ WANG P Q， CHEN P F， YUAN Y， et al. Understanding convolution for semantic segmentation ［C］// 2018 IEEE Winter Conference on Applications of Computer Vision. Lake Tahoe： IEEE， 2018：1451-1460.

（責任编辑：包震宇，顾浩然）

DOI： 10.3969/J.ISSN.1000-5137.2024.02.003

收稿日期： 2023-12-25

基金项目： 上海师范大学一般科研项目（SK202123）

作者简介： 邓文博（1998—）， 男， 硕士研究生， 主要从事计算机视觉方面研究. E?mail： 1000513343@smail.shnu.edu.cn

* 通信作者： 刘翔鹏（1987—）， 男， 讲师， 主要从事人工智能方面的研究. E?mail： xliu@shnu.edu.cn

引用格式： 邓文博， 刘翔鹏， 安康. 恶劣天气下基于锚点的多尺度融合车道线检测及优化方法 ［J］. 上海师范大学学报 （自然科学版中英文）， 2024，53（2）：161?166.

Citation format： DENG W B， LIU X P， AN K. Multi-scale fusion lane detection and optimization method based on anchor points in adverse weather conditions ［J］. Journal of Shanghai Normal University （Natural Sciences）， 2024，53（2）：161?166.