基于无人机航拍图像的车道线检测方法综述

王秋生，贺云涛，张晓辉，刘 莉

（1.北京理工大学宇航学院，北京100081；2.北京理工大学机电学院，北京100081）

1 引 言

无人机技术发展迅速，以单、多目摄像头为代表的视觉传感器与无人机相结合，使得无人机广泛用于公路巡检、电力巡线、植保等低空测量和三维重建的技术领域中［1］。在公路养护和巡检等特殊任务中，要求跟踪路径精度高，且受地理条件的影响，传统的通过给定两个航迹点来确定航迹的方法无法满足跟踪精度要求。对于较为复杂的公路巡检等问题，需要一种精度更高的航迹规划方法，跟踪车道线就是一种精度较高的解决方案。

我国对于车道线的线型、颜色等有明确的规定，车道线相比于周围路面环境有着明显的梯度、灰度等边缘特征，根据这些特征可以实现车道线的检测和定位，进而实现对公路的识别和定位。通过对车道线进行跟踪来确定航迹，能够有效地提高道路跟踪的精度，满足公路巡检任务中对于航迹精度的要求。

随着计算机视觉技术发展和硬件平台性能提升，用于车道线检测任务的检测系统迅速发展。最初的车道线检测系统主要应用于车辆自动驾驶领域，系统通过激光雷达、全球定位系统设备（GPS）、单/多目摄像机等传感器来获取车道线信息，利用车辆搭载的计算机进行车道线的提取和检测。2015年以来，随着无人机在公路巡检等任务场景中的应用，研究人员提出了基于无人机航拍图像的车道线检测系统，并得到了很快发展［2］。

车道线检测技术主要包括：车道线边缘特征提取技术和车道线拟合技术，即首先完成车道线特征提取，再对提取特征进行拟合完成车道线检测。车道线检测技术的发展主要经历了两个阶段：从传统的边缘检测逐渐过渡到利用深度学习的自主检测，检测方法的发展方向具有两个特点，即鲁棒性更高、实时性更好。

本文对基于无人机航拍图像的车道线检测方法进行研究，介绍车道线检测系统的发展情况，分析车道线检测核心技术的发展现状，并对目前技术发展存在的难点和未来发展趋势进行分析和展望。

2 车道线检测系统

2.1 车道线检测系统简介

根据《道路交通标志和标线》［3］规定，道路标线按照功能区分如下：

指示标线，指示车行道、行车方向、路面边缘、人行道等设施的标线；禁止标线，告示道路交通的遵行、禁止、限制等特殊规定，车辆驾驶人及行人需严格遵守的标线；警告标线，促使车辆驾驶人及行人了解道路上的特殊情况，提高警觉，准备防范应变措施的标线。

车道线检测任务中的检测目标是道路交通标线中指示标线类的车行道、路面边缘标线。对于公路巡检任务，车道边缘线是主要检测目标，目前已有的车道检测系统也主要针对该类目标进行识别和检测。规定中对车道线的线宽、线型等有明确的要求：指示标线宽10～20cm，线型和颜色包括白色虚线、白色实线、黄色虚线、黄色实线、双白虚线、双黄实线、黄色虚实线、双白实线。车道线相比于路面具有明显的颜色和梯度特征差异。

车道线检测系统主要任务是输入视觉传感器捕获的图像，输出车道线检测结果的显示。目前车道线检测系统大多应用于智能车的定位、导航、无人驾驶领域，如RALPH 系统［4］、GOLD 系统［5］、LDWs系统［6］等。国内车道线检测系统研究起步相对较晚，但发展迅速：胡斌［7］等人提出了一种基于直线模型和ATN 的THMR 系统，用于机器人自主行驶；杨萍［8］利用CCD 实现了一种简单的车道线检测系统；2012年，李松泽［9］在caffe 平台基础上，提出了基于深度学习的车道线检测系统的实现方法，系统主要包括车道线标注、图片预处理、分割模型训练、车道线检测等模块。

随着无人机在公路巡检等任务场景的进一步应用，基于航拍图像的车道线检测系统也随之发展。基于无人机的车道线检测与基于智能车的车道线检测相比，主要存在两个不同点：第一、二者视觉传感器位置不同，图像视角差异明显，如图1所示，可见无人机航拍图像背景信息更复杂，路面信息占比相对较少，干扰信息较多；第二、无人机场景下的车道线目标相对狭长，检测距离要求更长。因此大部分基于智能车的车道检测系统技术并不适用于无人机。针对无人机公路巡检问题，需要设计适合处理航拍图像的车道线检测系统。

图1 不同任务场景下的车道线图片对比Fig.1 Comparison of lane line pictures under different task scenarios

2.2 车道线检测系统组成

车道线检测系统通常需要完成图像采集、车道线检测和后处理显示等任务，对应硬件主要包括：

（1）传感器：用于进行道路信息采集，包括激光雷达、GPS、单目摄像头等。其中视觉传感器最为常用，计算机视觉技术相比之下具有成本较低、信息丰富等优点，目前的车道线检测系统大多利用单目摄像头进行图像信息的采集。

（2）计算平台：用于车道线检测算法的实现，完成输入图像中车道线的提取工作。目前基于无人机航拍图像的车道线检测系统常用的计算平台有树莓派系列、NIVIDIA TX系列等。深度神经网络在车道线检测方法中的应用使得算法对于计算机平台的浮点数计算能力要求较高，机载计算平台的计算能力很大程度限制了检测效果。

（3）显示设备：用于检测结果的显示。检测需要实时地显示检测结果来提供车道线信息。

车道线检测系统中的软件部分主要包括数据采集模块、车道线检测模块、结果后处理模块，具体功能如下：

（1）数据采集模块：用于读入视频和图像文件。

（2）车道线检测模块：是车道线检测系统的核心组成部分，通过该模块来实现对车道线提取和检测。一般的车道线检测系统中，该算法由车道线特征提取和车道线拟合两部分组成。除车道线检测算法外还包括实现图像显示的预处理步骤和边缘特征提取的OpenCV库，深度学习需要依赖的CUDA、cuDNN库、TensorFlow框架等软件依赖库。

（3）结果后处理模块：车道线检测结果显示。

2.3 车道线检测系统分类

根据车道线检测核心技术的不同，目前主流无人机载车道线检测系统可分为基于传统方法和基于深度学习的检测系统。

（1）基于传统方法的检测系统

基于传统方法的检测系统是指依靠传统边缘检测方法来实现车道线检测。与路面相比，车道线具有更易区分的梯度、灰度等边缘特征，通过人为设计特征来实现车道线提取。罗林燕等［10］利用笔画宽度算法进行道路标线提取，构建了用于无人机航拍图像道路交通标线检测系统。唐涛［11］利用图像分割和聚类算法，完成了高速公路车道线检测和车辆分析软件的设计与实现，系统可以对输入的航拍高速公路图像进行车道识别和车辆违法行为检测。

（2）基于深度学习的检测系统

基于深度学习的检测系统代替了传统方法中人为设计特征的步骤，由机器进行自主学习。赵凯迪［12］基于卷积神经网络，设计了基于无人机的车辆和车道检测系统，系统获取无人机实时采集的视频图像，提供车流量的统计与显示、应急车道占用情况的检测与显示、飞行路线控制和历史信息显示等功能。基于深度学习的检测系统应用更加广泛，除了可以进行车道线提取外，也可以作为端到端的检测手段，Gansbeke 等［13］设计了一种基于全卷积网络的端到端车道线检测系统，系统分为检测模块和后处理模块，检测模块利用神经网络实现输入视觉传感器的图像信息，输出车道线参数，在后处理模块完成车道线检测结果的显示。

无人机载车道线检测系统的工作流程一般如图2所示。车道线检测系统的核心技术包括车道线特征提取和车道线拟合定位，相关研究也集中在这两个方面。

图2 车道线检测系统工作流程图Fig.2 Work flow chart of lane detection system

3 车道线边缘特征提取技术

车道线边缘特征提取技术是指对车道线的边缘特征进行检测从而提取车道线信息。研究人员将计算机视觉和图像处理领域的技术应用到车道线边缘特征检测和提取，其发展趋势是由传统边缘检测方法向深度学习过渡。

3.1 基于传统方法的边缘提取

人为设计特征进行提取是传统检测方法中的关键步骤，合理的特征设计有助于提高检测精度和速度。传统的车道线提取主要借助车道线和路面环境相比具有的边缘特征来进行车道线特征设计，目前常用的特征主要是梯度特征和颜色特征。

梯度特征是指车道线边缘和路面相比有较为明显的梯度变化，通过计算灰度图中不同方向的一阶导数或高阶导数，并搜索峰值来定位边缘，进而根据梯度的方向来确定边缘方向。通常使用边缘检测微分算子来对图像进行运算，李亚娣等［14］结合Otsu 算法和Canny 边缘检测算子，实现了夜间车道线检测。王楠［15］利用二值化处理和阈值分割在光照条件良好的条件下对车道线边缘进行检测并分类，但该方法对于复杂情况鲁棒性较差。Parajuli 等［16］认为光照阴影问题可以采用局部梯度特征进行克服。谢红韬等［17］则基于白平衡算法动态选取Canny 检测算子的阈值，优化算法鲁棒性。王云鹏等［18］在Canny 算子处理后的二值图像中得到中心道路线，在边缘检测图像中向两侧搜寻得到路侧车道线，但该方法要求图像中车道线必须保持水平且位于图片中央位置。李清泉等［19］首先进行灰度化处理、灰度校正以及平滑滤波，筛选阶跃边缘点、标线边缘点，并连接边缘点，最后进行假边缘的剔除，提取标线信息实现公路标线检测。

此外，车道线也具有较为明显的颜色特征，路面标识均为黄色或白色，因此也可以根据颜色特征来实现车道线提取。Cai 等［20］利用高斯统计颜色模型（G-SCM）在感兴趣区域提出车道线颜色，利用改进霍夫变换检测车道线，同时使用单通道图像坐标系与世界坐标系的对应关系计算车辆位置、偏航角以及车辆与车道线之间的位置。王怀涛等［21］将数据图像从RGB 空间转换到HSV 颜色空间，结合边缘特征实现了对黄色车道线的检测。葛嵩［22］基于颜色空间对航拍影像进行二值化处理，提取连通区域，进行骨架提取，简化平滑后得到最终检测结果。

基于边缘特征的特征提取方法发展已经相对成熟，实现简单。该方法以车道线的边缘特征为基础，要求其边缘特征明显。当车道线磨损较为严重或遮挡情况时，边缘特征的提取极易受到噪声的干扰。检测方法很大程度依赖于人为设计特征的合理性，导致鲁棒性差。

3.2 基于深度学习的边缘提取

深度学习是机器学习的一种方法，通过模仿人脑神经元网络，使计算机能模仿人类思考和理解；可通过学习一种深层非线性网络结构，实现复杂函数逼近，具有强大的从少数样本集中学习数据集本质特征的能力［23］。卷积神经网络（CNN）是深度学习网络的重要组成部分，是目前图像识别领域的重要工具，在图像识别、目标检测领域得以广泛使用。建立车道线数据库，用标记好的数据在神经网络训练模型，通过模型的自动学习来调整学习参数，可以避免人工设计特征。

基于深度学习的车道线检测检测方法可以分为两类：目标检测和图像分割，两种方法将车道线检测作为不同的任务利用卷积神经网络进行训练，完成车道线的特征提取，两种图像处理任务示意图如图3所示。

图3 图像处理任务Fig.3 Image processing task

（1）目标检测

目标检测［24］是指从图像中定位感兴趣的目标，需要准确地判断每个目标的具体类别，并给出每个目标的边界框。

近年来用于目标检测的神经网络相关技术迅速发展，从最初2013年提出的R-CNN［25］，到之后的Faster R-CNN［26］、SSD［27］、YOLO［28］系列，基于深度学习的目标检测网络在开放检测数据集和实际应用中都有着出色的性能和表现。除了性能方面的提升优化，网络也向着轻量化发展，从面向PC 端到面向移动端，这有助于将神经网络算法移植到适用于飞行器的机载计算机，从而实现飞行器在线的车道线检测。

基于目标检测的车道线检测方法在车辆自动驾驶领域发展迅速。梁乐颖［29］先用传统的边缘检测方法检测出车道线的大致位置，之后利用CNN对车道线区域和非车道线区域进行筛选，提高检测准确率，同时使用R-FCN 网络进行车道线检测。Kim等［30］介绍了一种将CNN 和RANSAC 相结合的车道线检测方法。在RANSAC 方法的前后均加入了CNN 网络。Huval 等［31］修改了全卷积神经网络，在Overfeat 模型的基础上，增加了由七个特征共享的卷积层组成的综合回归模块；两个分支网络分别完成车辆检测的回归任务以及车道线检测的二进制分类任务；但本文中只在高速公路且光照良好的条件下进行检测结果的评估，方法不具有普遍性。Li等［32］提出了一种融入图像空间结构信息的神经网络框架，建立用于处理外形与目标空间分布特征的多任务深度卷积神经网络，可以同时检测感兴趣区域内的目标以及目标几何属性，多任务卷积神经网络提供辅助的几何信息，帮助给定车道线结构后续建模，循环网络将自动检测车道线边界。

车辆自动驾驶场景下主要使用目标检测法进行车道线的检测和提取，视觉传感器中得到的车道线目标尺寸相对较大，适用于目标检测网络中的锚点框尺寸比例。但在无人机场景下，车道线目标相对狭长，进行前期数据标定时，难以利用目标检测网络的相应标注手段进行准确的数据标定，故该类方法对无人机载车道线检测问题适用性较差。

（2）图像分割

图像分割任务，是指将图像内容根据目标种类等语义进行分割，使得计算机可以识别图像，从而完成场景理解和认知任务。针对无人机车道线目标难以标定的问题，已有技术采用的是将车道线检测问题作为图像分割任务，通过对图像进行像素级别的分割标注完成前期的数据准备工作并进行后续训练。

在车道线检测问题中，一般利用全卷积网络等神经网络作为网络模型，利用标记好车道线像素区域的数据集进行神经网络的训练，最终得到的模型可以实现输入航拍道路图像，输出分割后的二值图，其中车道线区域像素值为1，背景部分像素值为0。

赵凯迪［12］采用了自建的包括不同光照下白天和夜间的高速公路车道图片作为数据集，通过FCN（全卷积神经网络）来实现车道的语义分割，为了避免耗时过长的问题，将FCN 网络裁剪至4 层卷积层和1层反卷积层，在牺牲了检测精度的同时，耗时减少了93%。

Kestur 等［33］针对无人机航拍图像，建立了样本容量为100 张的航空影像数据集，同时提出了一种U-FCN 网络，即形状类似U 形的全卷积神经网络。将车道线检测问题作为图像分割问题，通过对数据库中的图片进行像素级别的标注，标注出车道线区域和非车道线区域，再进行后续检测，为基于无人机航拍图像的车道线检测问题提供了方法。该方法检测准确率较高，但所用时间较长，不具有实时性。

Azimi等［34］基于德国航空航天中心的VABENE++项目框架建立了车道标记数据集Aerial Lanes18 Dataset，该数据集主要针对高空无人机的遥感图像。他们将离散小波变换（DCT）引入到全卷积网络中，同时引入代价敏感系数来修正损失函数。将车道线检测问题作为图像分割问题，最后网络输出的是二值图像。其中的车道线部分为1，背景环境为0。该方法检测效果准确率高，且速度较快。

基于图像分割的方法在无人机载车道线检测技术中应用较多，检测精度较高。但该方法依赖于前期数据集的准备，因此存在的问题是已有数据集容量不够大、场景相对单一。目前国内外公开的车道线数据集主要集中于车辆自动驾驶和遥感图像领域，常见的数据集有：Kestur等［33］建立的无人机航拍图像数据集、AerialLanes18 Data Set［34］、加州理工视觉实验室的开放数据库［35］等。公开的航拍车道线数据集较少，一方面由于车道线检测技术具有一定商用性，各团队很少公开已标注的数据集，另一方面公开的数据集往往针对单一场景下的相应问题，数据量有限。特别是针对无人机任务场景，公开数据集更少，且数据集容量均相对较小。这主要是由于：1.面向无人机的车道线检测技术研究相对较少，现有技术更集中于针对高空无人机遥感图像进行道路信息的提取，少有面向低空无人机的航拍图像数据；2.数据集采集相对困难，深度学习要求数据集样本具有一定的差异性，而对于航拍道路图像，同一路段的数据样本具有高的相似性，极易出现数据冗余的情况。数据集的相对缺失是该方法存在的主要问题。同时该方法对板载计算机性能要求较高，单张图片检测速度大约为100ms，算法实时性较差。车道线的边缘特征检测方法对比如表1所示。

表1 不同车道线检测方法对比Tabel 1 Comparison of different lane detection methods

4 车道线拟合技术

通过车道线特征的提取，一般得到阈值分割后的二值图像，其中像素值为1 的前景部分为提取的车道线信息，像素值为0 的背景部分为非车道线区域，多数检测系统还引入了利用特定曲线模型来进行拟合的步骤，来提高检测效果以便结果的显示。车道线具有特定的线型，该步骤实质是利用特定数学模型（直线模型、抛物线模型、样条曲线模型）来拟合车道线，转化成模型参数求解问题。

目前，霍夫变换和最小二乘法是最常用的方法。张翀等［36］在利用Sobel 算子和自适应双阈值完成边缘特征提取后利用经典霍夫变换，基于直线模型进行车道线的后续检测工作。周敏等［37］利用Hough 变换对公路区域进行划分提取，阈值分割后得到二值图像，利用图像匹配去除重复区域，实现对道路标线进行提取和破损检测，但该方法只适用于直线车道线。朱亚萍等［38］利用数学形态学、大津算法和Canny 算子进行处理后，使用霍夫变换结合最小二乘法进行车道线的检测定位，但只对室内微缩模型进行了测试。孙伟等［39］利用霍夫变换全局提取参数，并使用最小二乘法对直线车道进行参数拟合，具有较好的实时性。

上述方法都针对的是车道线为直线模型情况，而在实际的公路巡检任务中，道路信息十分复杂，单一的直线模型并不适用，还需要引入其他更复杂的曲线模型进行拟合。唐涛［11］对车道线特征点进行聚类处理后，采用三次B 样条曲线作为车道线模型，利用RANSAC 和卡尔曼算法进行车道线模型参数拟合，对错误车道线结果进行剔除修正，该方法只针对高速公路车道线进行检测，场景较为单一。杨欢欢［40］分析了常见的车道线直线、曲线模型，设计了一种新型混合扫描模型，能够同时识别直线和曲线，在白天和夜晚都进行了实验，检测效果较好。何鹏等［41］采用的Catmull-Rom 样条曲线模型对弯曲车道线有很好的拟合效果。王其东等［42］对弯曲车道线利用双曲线模型和直线模型拟合的车道信息进行车道线寻优，表现出较好的鲁棒性。Jung 等［43］提出一种基于改进的边缘分布函数（EDF），将输入的单帧图像分为“近视场区域”和“远视场区域”：近视场区域使用直线模型，远视场区域使用曲线模型；利用改进的霍夫变换检测两种模型对应的车道线位置。该方法适用于存在阴影、光照变化、路面破损等噪声干扰的环境；但该方法要求车道线为直线，且无其他线性结构的干扰。Aly［35］采用了贝塞尔样条曲线模型；Wang 等［44］采用双曲线模型；Haloi 等［45］假设巷道均为三次样条曲线模型并进行拟合。

车道线拟合建立在特定的几何模型基础上，一般来讲，简单模型拟合结果较差，但具有较好的鲁棒性，能有效抵抗噪声干扰；复杂模型能更加灵活地拟合车道线，但易受干扰且算法研究难度较大；单一的道路模型不能够使用于多变的路况场景。通过对提取特征的车道线信息进行参数拟合，可以输出更精确的检测结果，有助于无人机在后续道路跟踪任务中规划航迹。

5 结束语

随着无人机技术和计算机视觉技术的进一步发展，未来无人机在智能交通等领域会扮演更加重要的角色。跟踪车道线技术可以满足公路巡检等特殊任务对于轨迹的高精度要求，帮助无人机更好地执行公路巡检等任务。然而现有车道线检测方法还存在需要进一步解决的问题。比如传统边缘检测方法存在人为设计边缘特征的局限性，无人机航拍图像存在公路隔离带和道路围栏等其他相似边缘特征干扰；用于无人机道路跟踪的专用车道线数据集质量不高和数量不足，未来需要建立包含各类不同道路场景的道路航拍图像数据集；另外，检测方法实时性不够强，机载计算机计算能力和检测算法制约了车道线检测在飞行器上的在线应用，导致无人机对道路自主跟踪存在一定困难。

综上，车道线检测技术是实现无人机自主道路跟踪的关键技术之一。随着计算机视觉等相关技术的进一步发展，针对无人机道路检测的车道线检测技术势必会具有更精细的检测效果以及更高的鲁棒性、实时性，使得无人机更好地执行自主道路跟踪等任务。此外，也可推广该类算法并应用到电力巡线、石油管道巡检等任务场景，为生产和生活带来更大的便利。