基于传感器融合和方向可调卷积神经网络的车道检测算法研究∗

潘顺莉 吴训成 张伟伟

（上海工程技术大学 上海 201620）

1 引言

车道检测在智能交通系统中起着重要作用，可用于自动车辆驾驶和高级驾驶辅助系统。在高级辅助驾驶功能中，车道偏离预警和换道辅助都与车道检测密切相关。目前大多数车道检测研究都使用相机传感器作为唯一的道路数据来源［1～3］，这在复杂场景下可靠性不足。一方面当传感器出现误差时，没有其他测量结果用于比较修正，另一方面基于相机的车道检测算法的检测距离有限且很容易受到外界环境的干扰。T.Ogawa和K.Takagi［4］利用激光雷达的反射强度信息来检测车道线。虽然雷达传感器具有较相机传感器检测更远的距离和抗环境干扰的能力［5～7］，但纯粹地基于激光反射的车道检测是不够的，还需要结合相机视觉信息［8］。激光雷达更适合使用距离信息来检测道路表面［9］。因而需要采用相机和雷达融合的方式进行车道检测，提高检测结果的鲁棒性。Guangtao Cui等［10］将车道线检测任务分为两步进行，首先利用相机采集的图像进行车道特征检测，然后利用雷达点云分割驾驶区域，之后对应到第一步的车道特征提取结果，消除道路区域障碍物。朱雨桐［11］利用激光雷达检测道路边缘，相机检测车道线，最后将基于激光雷达和相机的检测特征进行了融合，适用于结构化和非结构化道路。

不同于已有的方法，本文中提出了一种基于传感器融合和方向可调卷积神经网络的车道检测算法。首先利用滑动窗口对雷达点云进行道路表面提取，将提取好的道路表面投影到图像坐标后，限制车道特征提取的范围为道路表面；其次将融合道路空间信息的二维图像作为方向可调卷积神经网络输入，提取道路中的车道特征。同时，本算法在方向可调卷积神经网络用于目标检测的现有基础上改变了方向可调卷积滤波器的方向函数和网络的输出层，提高了车道线上下文信息提取的准确率。该方法适合于各种复杂道路场景，具有较好的检测性能。

2 算法概述

本文提出的算法的输入为多传感器融合的实时数据（相机和激光雷达），输出为当前车辆行驶的车道线信息，主要分为道路提取、车道特征提取和车道拟合回归三大模块，如图1所示。其中，道路提取模块是车道检测的预处理部分，道路表面提取以激光雷达点作为输入，利用滑动窗口提取道路表面，并投影到图像坐标；车道特征提取模块是基于方向可调卷积神经网络模型［12］，并针对本文所应用的复杂道路场景进行了优化；车道拟合和回归模块利用随机抽样一致（RANSAC）拟合方法［13］拟合车道特征。

图1 系统框架示意图

3 道路表面提取

为了有效地组织激光雷达点，本文直接利用滑动窗口沿着扫描线提取道路点。由于相邻点的高度值具有相似的特征，因此在提取过程中仅使用高度参数。道路表面提取主要分为两步：第一步是利用连续点之间的范围、角度或者GPS时间差［1］提取扫描线；第二步是滑动窗口的构造，基于同一扫描线中的相邻激光点构建滑动窗口，如图2所示。本文使用式（1）和（2）提取路面点。

其中HP0是滑动窗口中心点的高度，HPn是滑动窗口中其他点的高度，n是滑动窗口的大小（滑动窗口的规格通常是3×3，5×5和7×7），H0是扫描车下激光点的高度，ΔH1与道路粗糙度和密度有关，ΔH2用于限制激光点的分布范围。通过使用式（1）和（2）的计算，可以快速获取地面激光点并消除干扰或噪声（例如：行人，车辆，树木，建筑物和其他辅助设施）。最后移除道路边界外的地面点［14］，并将这些地面点保留在道路边界内以获得路面激光点。文献［15］使用了四个数据集对道路表面提取进行实验，发现当ΔH1=0.15，ΔH2=0.50且n=3×3时实验结果最优，因此本文使用同样的参数值进行实验。

图2 基于扫描线的滑动窗口的结构

本文中激光雷达与相机的外部联合标定采取文献［11］中的标定方法，通过校准结果将LIDAR点转换为相机坐标，如式（3）所示：

式中PLIDAR代表在雷达坐标系上的一个坐标点［x LIDAR，y LIDAR，zLIDAR］T，Pcamera代表在相机坐标系上的一个坐标点［xcamera，ycamera，zcamera］T，Φ和Δ分别是LIDAR坐标到相机坐标变换的外部旋转矩阵和平移矩阵。将已提取好的道路表面激光点按照如上方法投影到相机坐标系中。

4 方向可调卷积神经网络

方向可调卷积神经网络是基于方向可调滤波器的深度卷积网络，下文中将讨论如何在深度卷积神经网络中实施方向可调卷积滤波器的三个部分。首先，详细介绍了如何通过方向可调滤波器获得方向可调卷积滤波器；其次，系统地解释了网络的具体结构；最后，展示了在反向传播阶段如何学习方向可调卷积滤波器。

4.1 方向可调卷积神经网络

为了将方向特性结合到方向可调卷积神经网络中，方向信息需要被编码到卷积滤波器中。方向可调卷积滤波器中基滤波器可以捕获图像中的方向信息，增强了相应的卷积特征。用于车道检测的方向可调滤波器是基于高斯函数的二阶导数，Gxx、Gxy和Gyy分别对应图像中x、x-y和y方向的二阶导数。对式（4）、（5）和（6）进行线性组合能够得到任意方向的滤波输出，如式（7）所示。

式中θ是指方向可调滤波器的方向输入。在被方向可调滤波器学习之前，标准的卷积神经网络是通过反向传播算法进行学习。基于卷积滤波器上使用方向可调滤波器的学习过程来获得方向可调卷积神经网络如图3所示，具体的滤波器学习的信息如式（8）所示。

式中Ci，o是指标准卷积神经网络中的卷积滤波器；◦是指方向可调滤波器S(x，y)和每个卷积滤波器Ci，o之间的逐元素乘积运算；Ci，u是指卷积滤波器通过方向可调滤波器S(x，y)学习后获得对应u方向上的方向可调卷积滤波器。

图3 方向可调卷积滤波器的学习过程

4.2 网络结构

本部分将具体介绍方向可调卷积神经网络的网络结构，主要从输入层、特征提取层和输出层具体描述，如图4所示。

图4 方向可调卷积神经网络的网络结构

输入层：预处理后的图像经过方向可调卷积滤波器卷积后输入到特征提取层。

特征提取层：在方向可调卷积神经网络中，方向可调卷积滤波器主要用来产生特征映射，这些特征映射增强了深层特征的方向信息。网络的输出特征映射定义如下：

式中F(j)是指输入的特征映射，F(j+1)是指输出的特征映射。F(j)的通道个数通过以下卷积获得：

式中(n)是指特征映射F和Ci，u的第n个通道，是F(j)的第u个方向上的响应。

输出层：为了更好地检测车道线信息，本文在原先的方向可调卷积神经网络的基础上改变了网络的输出层，直接利用了Faster R-CNN［16］网络的输出层，包括了Region Proposal Networks（PRN）、ROI Pooling和全连接层（Full Connection Layer）。PRN用于生成目标区域，该层利用Softmax判断目标候选框，在通过位置回归算法修正目标候选框的位置，获得精确的目标区域。ROIPooling层收集输入的特征图和目标区域，综合以上信息提取目标提议区域的特征图，最后送入后续的全连接层判定目标。

4.3 更新方向可调卷积滤波器

与标准的卷积神经网络不同，方向可调卷积神经网络的前向计算中涉及的权重是指方向可调卷积滤波器的权重，但是被保存的权重仅仅是指卷积滤波器中的权重。因此，在方向传播过程中，只需要更新卷积滤波器。文中将方向可调卷积滤波器中的子滤波器的梯度总结为相应的卷积滤波器，计算如下：

式中L是损失函数。从以上公式发现，反向传播过程很容易被实施，仅需要更新卷积滤波器的参数。

5 实验结果与分析

5.1 数据集

本文使用两个数据集进行实验，分别为KITTI道路数据集和SUES道路数据集。KITTI数据集包含了289个训练图像和290个测试图像，大多数图像是在良好的天气和光照环境下采集的，这是模糊相机图像和激光雷达相结合的好处。出于这个原因，本文以图5所示的自主研制的智能车采集复杂场景下的道路数据集，即SUES道路数据集。表1提供了数据集具体分配信息，城市良好的道路场景来自于KITTI道路数据集，城市复杂的道路场景来自于SUES道路数据集。由于RGB图像在整流过程具有不同的尺寸，因此使用零填充以确保每个训练图像具有384×1248像素的相同尺寸。

图5 SUES道路数据采集车

表1 数据集分配信息

5.2 车道检测算法比较

文中选取了方向可调滤波器算法［17］和标准的卷积神经网络算法［18］与本文提出的方向可调卷积神经网络对车道线的检测性能进行对比。本部分实验均在KITTI数据集上开展，从召回率和精确率对检测性能进行定量评价，召回率（REC）和精确率（PRE）的定义如下：

式中TP表示的是车道线被正确识别的事件；FP表示的是场景内容被误判成车道线的事件；FN表示的是车道线没有被识别的事件。为了凸显传感器融合下的道路表面提取步骤的优势，三种算法的召回率和准确率在有无道路提取步骤的情况下分别进行比较，如图6所示。

图6 基于KITTI道路数据集的算法比较结果

从图6中可以看出，本文提出的算法对于城市良好道路场景下的车道线识别的精确率更高，且基于相机和雷达的道路表面提取使得整个算法的鲁棒性增强。图7展示了标准卷积神经网络和方向可调卷积神经网络的检测结果的输出样本，浅色边界框代表标准卷积神经网络算法，深色边界框代表方向可调卷积神经网络算法。其中，左侧四张图是在无道路表面提取步骤的情况下进行车道检测，右侧四张图是在有道路表面提取步骤的情况开展车道检测实验。如图所示，基于道路表面提取下的车道检测算法即使在噪声干扰的情况下，依旧很容易检测到车道标记，并且方向可调卷积神经网络对车道线的响应更加准确。

图7 基于KITTI道路数据集的车道特征提取结果

5.3 复杂场景下车道检测结果

为了证明本文提出的算法在复杂场景下具有较强的鲁棒性，本节在SUES道路数据集上开展实验。三种比较算法实验结果如表2所示。值得注意的是，方向可调卷积神经网络性能表现最佳，在复杂场景下的准确率达到了92.21%并且F1分数最高。

表2 基于SUES道路数据集的算法比较结果（有道路表面提取步骤）

图8选取了三种复杂的道路场景，即复杂的照明条件、较多的道路表面障碍物和车道标记模糊的道路场景。在最终的车道拟合过程中，本文还将道路表面提取过程中的路肩检测结果与车道检测结果结合起来，使得无车道标记的道路路肩也能同时被检测出来。图8示出了在不同情况下的车道检测结果，结果表明本文所提出的算法在道路复杂场景下能准确地识别出车道线和无车道线标记的道路路肩。

图8 不同情况下的车道线检测结果

6 结语

针对目前单传感器检测车道时所存在的缺点，本文提出了一种基于传感器融合和方向可调卷积神经网络的车道检测算法。通过图像和点云的融合，区分输入图像上的道路区域和非道路区域。并且利用了方向可调卷积神经网络有效提取车道特征，极大地提高了车道检测的正确率。实验表明，本文实现的算法具备较强的鲁棒性和较高的检测准确度。