基于改进卡尔曼滤波的车道线与车辆跟踪系统算法研究∗

陈 洋 黄孝慈 吴训成

（上海工程技术大学 上海201620）

主题词 车道线跟踪；车辆检测；改进卡尔曼滤波；融合跟踪

1 引言

在基于计算机视觉的道路安全研究中，涉及到对车辆内部、外部和车辆行驶意图的监控。在本文中，我们主要关注车辆外部的监控。车辆外部的监控包括车道线、行人、车辆和交通标志等。使用可视化模式允许驾驶员验证系统的输出并推断当前环境是为驾驶员提供驾驶辅助的重要部分。在之前的工作中，许多研究基于检测道路上的车辆用于解决单一的问题［1~3］。Xin Liu［4］利用设计LMS特征在图像平面中提取车道线的抛物线模型，并通过计算当前车辆的横向偏移结合卡尔曼滤波跟踪车道线。Jun Li［5］等针对车道线的跟踪问题，首先使用了卷进神经网络提取了车道线的特征，同时利用递归神经网络跟踪车道线的特征。目前，多数的车道线检测跟踪方法多依靠图像中检测出的车道线特征，然而通过系统信息的交叉，可以充分利用相互补充的信息，从而获得更多关于道路环境中的特征表示。

车道线跟踪系统是自动驾驶车辆进行车道线进行换道辅助的重要组成部分［6~8］。针对车道线跟踪问题，Kaplan K［9］利用分割技术获得多分辨率的车道线Hough变换数据，并利用隐马尔科夫算法跟踪车道线模型。Hajjouji I E［10］等利用sobel算子检测车道线数据，并利用卡尔曼滤波跟踪车道线模型。对于整合车道线跟踪与车辆检测跟踪［11~12］有两种相互交叉的动机。第一个动机是通过系统集成来提高每个模块的跟踪性能，第二个动机涉及到利用更高层次交通场景理解的信息。在本文中，我们介绍了一种用于车辆驾驶辅助的融合车道线和车辆跟踪算法。利用车辆跟踪结果，可以消除搜索空间中虚假的车道线检测响应，同时提高车道线的跟踪性能。利用基于道路模型的车道跟踪系统对车辆进行几何约束，可以提高车辆的跟踪性能。利用两个模块的环境信息，我们可以同时提高每个模块的性能。整个集成系统在真实世界数据和基线系统中做了定量的分析。除了提高车辆跟踪和车道跟踪的性能，本文介绍了一种基于当前道路的车辆定位跟踪新方法，为道路上其他车辆提供了车道级定位。这种为驾驶辅助提供了一个道路环境中的周围环境的相关特征表示，这是在之前的文献中没有看到的。

2 算法介绍

2.1 算法概述

本文提出的融合的车道线与车辆跟踪算法，输入为摄像头采集的前方道路环境图像，输出为车道线拟合图像与前方车辆3D回归框。其系统流程图如图1所示。其中车道线提取模块是融合跟踪算法的基础，改进的卡尔曼滤波跟踪算法利用车辆两边的车道线状态与车辆3D回归框在车道线重叠部分的投影，确认受遮挡部分车道线，实时更新车道线的拟合参数信息。

图1 系统框架示意图

2.2 车道线检测

在逆透视变化图像中，我们使用了一组方向可控滤波器［13］。方向可控滤器是可分离的，并能够在不同的方向定位车道标记。它们是由高斯滤波器的二阶导数来构造的。任何方向上θ的高斯滤波器的二阶导数的可以由下式计算：

利用滤波器的响应，我们将观测到的测量结果汇总，并利用RANSAC［14］算法迭代100次拟合车道线最终拟合成车道线。在本文中，我们利用双曲线模型来拟合车道线，如下所示：

表1 车道线跟踪所需要的相关变量

利用卡尔曼滤波跟踪［15］车辆当前的状态，两车道线之间的宽度和车道模型的参数，系统的动态模型如图2所示。

图2 车辆跟踪指标模型

2.3 车辆检测

2.3.1 车辆2D检测

在车辆检测的任务中，我们使用了增强的级联Haar-like［16］特征。矩形特征对边缘、条形、垂直和水平细节以及对称结构非常敏感，由此得到有效的弱学习特征，并由Adaboost分类，形成车辆的2D检测回归框。

针对计算图像平面中地平线位置的问题，我们使用车道跟踪结果估计图像平面中地平线的位置。通过跟踪的车道线尾端切线的交点，得到抛物线所确定的消失点。消失点的垂直y坐标被视为图像平面中地平线的位置。

为了确定一个物体是否位于地平线之下，我们首先使用跟踪对象的状态向量，如式（9）所示。然后在图像平面表示的车辆检测边界框中利用式（11）计算边界回归框的中心点。如果物体的底部边缘位于地平面的估计位置之下，将该物体识别为车辆。下边缘位于估计的地平面上方的对象被滤除。

2.3.2 CNN回归3D边界框的参数

我们首先将方向角离散化并将其分成n个重叠的区间。对于每个bin，CNN网络估计输出角位于第i个bin内的角度的概率和残差旋转校正。残差旋转由正弦和余弦两个参数表示。所以每个bin得出三个输出。因此Multi⁃Bin的总损失：

置信度损失Lconf等于Softmax在每个bin中置信度的损失。Lloc是在每个bin中试图最小化估计的角度和标准的角度之间的差异，包括标准的角度和相邻bin重叠的角度。定位损失函数如下计算：

其中，nθ*是覆盖标注角度θ*的bin的数量，ci是每一个bin中中点的角度，Δθ用来修正每一个bin的中点。在计算时，选择具有最大置信度的bin，并且通过计算Δ该binΔθ与bin中心来计算最终输出。最终的输出是每个bin中计算的Δθ与中点之间的角度。

在KITTI数据集中，汽车、货车、卡车和公共汽车都是不同的类别，类别实例的对象维度的分布是低方差和单峰的。例如，汽车和骑车人的尺寸差异是几厘米的量级。因此，我们不是使用像上面的MultiBin那样的计算离散连续损的损失，而是直接使用L2损失。维度估计损失Ldims的计算方法如下：

我们的网络有三个分支：两个分支用于方向估计，一个分支用于维度估计。所有分支都使用共享卷积特征，总损失是L=α×Ldims+Lθ。

2.4 融合车道线与车辆跟踪

为了跟踪关于当前车辆行驶的车道中的车辆，我们扩展了状态向量以适应相对于车道位置的计算。给定车辆的状态向量vt由以下给出的参数组成：参数确定了被跟踪车辆的回归框的参数。参数表示从帧到帧的it和jt的变化。ξt表示被跟踪车辆的车道线的位置。车道线的参数使用了式（17）中离散的参数。车道线值-1表示当前车道线的左边，车道线值0表示车辆处于当前车道线中。车道线值1表示车辆处于当前车道右边。

为了提高车道线检测和跟踪的性能，我们首先利用了一系列的可控方向滤波器，如上文所叙述的方式。此时，我们在地平面图像中有一个车道线像素位置列表。使用单应矩阵H−1数，我们可以将潜在的车道标记从地平面图像映射到图像平面，如下所示：

为方便起见，我们将每个潜在的车道标记为图像平面中小型n×n的矩形，以映射的中心为质心。车辆跟踪提供了一系列的矩形框，对应于图像平面中的跟踪车辆位置。使用式（15）中的Pascal准则来表示矩形r1和r2的重叠，可以滤除那些在图像平面中与被跟踪车辆的位置重叠的映射的车道线标记。这有效地消除了与交通场景中与车辆有关的车道线标记。

3 车道线实时检测与跟踪实验验证

3.1 车辆3D回归框检测

为了验证算法的有效性和实时性，利用手动标注的KITTI数据集进行算法的效果验证。其实验结果图如图3所示。

图3 车辆3D检测结果

在车辆的3D检测中，我们使用了KITTI的官方评价指标AOS（Average Orientation Similarity）、AP（average precision）和OS（Orientation Score）。其中，AP由AOS的上边界确定，OS表示方法对于方向估计的依赖程度。

通过实验分析列出了出了在KITTI数据集中的实验结果，如表2所示。在道路情况良好的情况下，车辆3D回归的精确度能高达92%以上；在车辆数量较多，比较拥挤的路段，检测的精确度能达到89%，在车辆数量较多，且出现相互遮挡的情况下，检测的精度会降低到77%，分析是由于车辆相互遮挡，且前后距离过短，使得网络不能充分提取车辆的维度信息和坐标系中的角度变化导致。

表2 车辆3D检测评价指标

3.2 融合车辆检测的车道线跟踪系统

针对车道线跟踪内容，我们使用了绝对值误差（absolute error）和标准差（standard deviation of er⁃ror）指标用来评价车道线跟踪的效果。针对车道线和车辆的连续跟踪问题，我们对上海松江区新松江路路段进行了车道线的检测和跟踪。摄像机安装位置出于前挡风玻璃内侧，离地面为1.5m。且相机的光轴平行于车辆底盘所在平面，朝向为车辆行驶的方向。图4显示了融合车辆检测的车道线车辆的跟踪结果。

图4 融合车道线与车辆跟踪实验结果

图5 融合车道线与车辆跟踪绝对值误差

从融合的车道线与车辆跟踪的实验结果，我们看到单独的车道线跟踪，绝对值误差在2m附近波动，最高处能到达2.4m，最低处能达到1m，这种检测效果不能用在在实际的驾驶场景当中。在实验数据中，我们发现融合了车辆跟踪的车道线跟踪方法，对于车道线的跟踪效果有明显的提升。在绝对值误差上面，跟踪系统的平均值从2m下降到了0.2m左右。同时，标准差的数值在左、右两边车道线的数值在14cm左右。算法的实验结果验证了所提出的融合车辆跟踪的车道线跟踪算法的有效性。

表3 融合系统跟踪结果

4 结语

针对当前车道线跟踪算法存在的缺点，本文提出了一种基于卡尔曼滤波的融合车辆检测与车道线检测的跟踪系统。通过二阶高斯滤波器，选取车道线位置响应。并且利用检测的车辆3D边界框计算与车道线的重叠位置，最后使用改进的卡尔曼滤波同时跟踪车辆和车道线的状态。实验结果显示，本文提出的算法具有较强的准确性和鲁棒性。