基于二值空间线特征的道路检测方法

曹婷，王欢

南京理工大学计算机科学与工程学院，南京210094

基于二值空间线特征的道路检测方法

曹婷，王欢

南京理工大学计算机科学与工程学院，南京210094

CNKI网络出版：2017-06-22,http://kns.cnki.net/kcms/detail/11.2127.TP.20170622.1850.014.html

1 引言

近年来，高级驾驶员辅助系统[1-3]引发了越来越多的关注，许多学者和公司投入到该系统的研发潮流中。高级驾驶员辅助系统是一种以摄像机为主要传感器，实时感知和理解车辆周围的道路场景的车载系统。ADAS的主要功能包括车辆偏离车道线报警、前方行人和车辆检测等，旨在发现潜在危险后提前提醒驾驶员或自动控制车辆，从而帮助驾驶员避开危险，以减少交通事故的发生。该系统能够有效地提高驾驶的安全性及驾驶舒适度。

在高级驾驶员辅助系统中，准确提取道路信息至关重要。几十年来，各国的研究者提出了各种算法以实现结构化道路与非结构化道路的自动识别和检测[4-7]，主要分为两类：（1）基于图像特征的检测方法[8-9]，即特征驱动法，是基于道路图像的一些特征，如颜色特征、纹理特征或多特征融合完成识别任务，这种机制要求道路的车道线颜色较为明显，边缘较为清晰，但是该方法容易受到天气、光照变化以及强阴影干扰的影响。最新的ADAS中利用车道线信息或者护栏等典型道路分割符在视觉属性上与道路区域反差明显这一特性来预测道路区域，但是在道路场景复杂的情况下，如：车道线被遮挡或没有车道线的乡村道路，依赖于这些特性的方法则会失效。同时，针对光照和阴影干扰问题，文献[8]考虑了颜色信息背后隐含的物理成像特性，在普朗克光源和朗伯平面等假设下提出了能够消除阴影的光照不变空间；文献[9]为了防止阴影的干扰，在c1c2c3颜色空间的c1通道上进行特征提取，该颜色通道对阴影有一定的抗干扰能力，但是无法完全避免阴影的影响。（2）基于模型的检测方法[10-13]，根据提取的特征对预先定义好的车道线模型进行匹配，将车道线的提取转化为车道线模型中参数的计算问题。模型的假设主要有直线模型和曲线模型两种，其优点是对噪声不敏感，能较好地处理图像中物体局部被遮挡和覆盖等情况，但是由于道路形状的复杂性，很难假设一个鲁棒性强的道路模型。因此在形状复杂的场景下，基于模型的检测方法的适应性很差。

因此，提高驾驶员辅助系统在不同场景下的鲁棒性是一个重要的研究方向。稳定、有效地识别和检测当前场景下的道路区域在弱边界或复杂的道路场景下存在很多问题。单一的基于模型的方法和基于图像特征的方法都存在较大局限性，无法适应复杂的道路场景。文献[14]中的SPRAY特征结合了图像的局部特征和空间信息，能够有效区分局部特征相似但空间位置不同的区域，因此可以有效地处理复杂的道路场景。但是SPRAY特征需要大量的训练样本，且不能有效地适应道路宽度的变化，存在较大的区域漏检。

针对以上问题，本文提出了一种基于二值空间线特征的道路检测方法。该方法包括低级的基础分类器，二值化SPRAY特征的提取，道路区域分类器以及帧间信息复用四个关键步骤。其核心是利用二值特征来降低对道路宽度变化敏感程度，同时也加快了特征提取的效率。具体为：在基础分类器产生的图像上分别计算二值化SPRAY特征，该特征结合了视觉信息及空间信息，由此产生的道路分类器能够有效地区分在视觉特征上相似但在空间特征上不同的区域，同时保证道路分类特征对不同宽度的道路区域的宽度敏感程度，使得不同宽度的道路区域的特征更为相似。同时，通过对特征提取的改进，提高了特征提取的效率。

2 基于SPRAY特征的道路检测方法

2.1 SPRAY特征

文献[14]中提出的方法主要由三个部分组成：基础分类器、SPRAY特征提取及道路区域分类器。本文以图1中的当前场景图像为例说明了文献[14]中提出的方法的实现流程。对于离线集中的图像，空间转换后作为输入给N个基础分类器，得到N个置信度图像，对每个置信度图像计算相应的线型特征。其中，每个像素点的特征向量由N个置信度图像得到的特征融合而成。最后，大量特征集合训练生成道路区域分类器。对于当前场景图像提取相应的SPRAY特征并用分类器预测即可得到道路检测的结果。

图1 SPRAY方法的实现流程图

其中，最重要的部分是SPRAY特征的提取方法，如图2所示。对于事先定义的基点（文献[14]中基点的选择是等间隔均匀分布在图像上的），计算每一个基点的SPARY特征。每个基点的SPRAY特征由该基点不同方向上的SPRAY特征构成，对于每个方向上的SPRAY特征，具体的计算方法以图2中的红色基点为例来进行说明。

图2 SPRAY特征的提取

其中，R∂表示角度为∂，起点为基点，终点为图像边界的射线，沿着射线所经过的像素点的置信度的和即为所求的置信度吸收值A∂(ρ)。

事先定义吸收阈值（阈值的总数为T个）T={t1,t2,…,ti,…,tT}，若置信度积分达到了事先定义的阈值，则特征值为达到该阈值时的最小距离ρ。对于每个基点计算其在R个方向上的T个吸收距离即可得到该基点R×T维的SPRAY特征。最后把N个置信度图像同一个基准点得到的N个SPRAY特征进行融合，即可得到基点最终的N×R×T维的SPRAY特征。

为了检测基点是否在当前可行区域，添加了一维特征，其中(Xego,Zego)为基点在米制空间的坐标，(XBP,ZBP)为参考点的坐标，把基点到参考点的吸收积分作为一维特征来增加特征的可描述性。最终，即可获得N×(R×T+1)维SPRAY特征。

2.2 SPRAY优点及缺点

SPRAY特征模型不仅仅考虑了局部表观层次的特征，同时也考虑了场景的空间布局，有效地结合了道路的表观特征和空间特征。因此该特征能够有效区分表观特征相似但是空间位置不同的像素点。同时该特征具有良好的可扩展性。但是，文献[14]的实验是在道路宽度基本一致的前提下进行的，本文实现了该方法并通过实验发现，SPRAY特征无法适应道路宽度变化的场景。

若训练样本的场景的路宽与当前场景下的路宽发生变化，该特征生成的分类器对更宽的道路场景不具有鲁棒性。图3在仿真图像上的实验可以有效地说明这个问题。以第一行（左图：置信度图像，右图：GT）中的边界分类器的置信度图像作为训练样本，生成分类器，以第二行（左图：置信度图像，右图：GT）中的边界分类器的置信度图像作为测试样本（为了简化实验，此处仅以边界分类器为例，并将置信度图像简化为二值图像，其他分类器与此类似，不予赘述），第三行为文献[14]的方法的检测结果。可见，在图像中间区域存在大量的漏检区域。

图3 仿真图像上的道路区域检测实验

同时，在实际道路场景上的实验结果也表明原始的SPRAY特征无法满足道路宽度变化的场景。若在训练样本中的道路场景是单行道的道路，而实际检测中存在双行道甚至更宽的道路，则会出现检测不到所有的道路区域的情况。图4中以第一行中的边界分类器、道路区域分类器、行道线分类器的置信度图像作为训练样本，生成分类器，以第二行中的边界分类器、道路区域分类器、行道线分类器的置信度图像作为测试样本。第三行是文献[14]提出的方法的检测结果，可以发现对于右边的道路区域的检测存在较大的缺失区域。实验结果如图4所示。

图4 真实场景图像的道路区域检测实验

因此，本文在原始的SPRAY特征基础上进行改进，提出了基于二值空间线型特征的道路检测方法。本文的方法弱化了距离对特征的影响，保证即使道路宽度发生了变化，道路区域的特征也应该保持一定的稳定性，因此在路宽变化的场景下能够适应道路宽度的变化。在不同的道路场景下进行了定量分析，实验结果表明该方法能够有效检测道路区域。

3 基于二值SPRAY特征的改进

3.1 二值化SPRAY特征提取

二值线型特征的提取过程如图5所示。对于图5（a）中任意一点P，沿着该点的某个方向，直到图像边界，对这条射线上的所有像素点的置信度值求和。以水平方向1为例来说明线型特征和二值线型特征的不同。图5（b）为点P在方向1的积分图，水平轴和垂直轴分别为吸收距离ρ和积分值，根据图5（b）可知，满足阈值[150，300]的吸收距离为[38，40]，因此线型特征在方向1上提取的特征为[38，40]，二值线型特征在方向1上提取的特征为[1，1]。合并8个方向的特征即可得到最终的特征。分析和对比两种特征可知，在宽度不一致的道路区域，能够得到一致的二值线型特征，而线型特征则由于描述的是距离信息，因此容易受到道路宽度的影响。因此，在道路宽度变化的情况下，二值线型特征相比于线型特征具有更好的鲁棒性。

事先定义吸收阈值T={t1,t2,…,ti,…,tT}，若置信度积分达到了事先定义的阈值，则特征值为1，否则特征值为0。

图5 线型特征和二值线型特征对比

本文提出的方法如图6所示，主要由三部分组成：基础分类器、二值SPRAY特征提取及道路区域分类器。图6中给出了方法的实现流程。对于一幅道路图像，空间转换后作为输入给各基础分类器，得到各置信度图像，对每个置信度图像计算相应的二值线型特征。其中，每个像素点的特征向量由多个置信度图像得到的特征融合而成。最后，大量特征集合训练生成道路区域分类器。对于当前场景图像结合特征提取加速模块提取相应的二值SPRAY特征并用分类器预测即可得到道路检测的结果。

图6 本文方法的系统框架图

3.2 特征提取的加速

特征提取的加速是通过选取基准点来实现的，由于相邻两个场景的图像在时间和空间上存在很小的差异，因此相邻帧之间的道路区域也存在大量的共同区域，道路区域不会发生很大的变化，因此利用帧间信息可以大量减少特征提取的数量。本文在大量的实验数据集上进行统计发现，无论在什么场景下，相邻帧之间的道路区域的重复区域基本达到了90%以上，因此可以利用帧间信息极大提高速度。在表1中定义了相邻两帧之间的变量以及颜色信息，白色W表示在当前帧和前一帧都为道路；黑色B区域表示在当前帧和前一帧都为非路；绿色G表示在当前帧为道路，前一帧都为非路；红色R表示在当前帧为非路，前一帧为道路。

表1 不同场景下相邻两帧之间的重叠区域

如图7所示，场景区域被划分成四种不同的颜色。白色区域表示在当前帧和前一帧都为道路；黑色区域表示在当前帧和前一帧都为非路；绿色表示在当前帧为道路，前一帧都为非路；红色区域表示在当前帧为非路，前一帧为道路。观察颜色分布可以发现，相邻两帧道路场景有着极大的重叠区域，非重叠区域分布在道路的两侧，即道路边界。因此可以将前一帧的道路区域复用到当前道路场景，但是由于边界准确，只需对当前帧的边界位置提取二值SPRAY特征即可。

图7 不同场景下相邻两帧之间的重叠区域

本文在四个数据集上进行了定量分析，采用了公式（5）和公式（6）及公式（7）来衡量相邻两帧之间的道路区域的重叠程度，得到的定量分析结果如表2所示。通过在四个数据集上的统计数据可以发现，在直线的道路模型下，相邻两帧图像的道路重合区域最大，达到了95%以上，在其他情况下，如拐弯、道路形状发生变化时，相邻两帧的图像的道路重合区域也能够达到90%以上。因此利用相邻两帧图像之间道路区域重叠程度大的特点能够在很大程度上提高道路检测的速度。

表2 各道路场景下的定量分析结果

本文利用相邻两帧之间道路区域连续的特征来提高道路检测的速度。思想和流程如下：

（1）假设已经有ti-1时刻的场景Framei-1以及该时刻的道路检测结果Resulti-1，问题可以描述为根据ti-1时刻的道路检测结果Resulti-1对ti时刻的场景Framei提取道路区域Resulti。

（2）根据Resulti-1提取Resulti-1和Resulti的重叠区域Resultoverlap；本文对重叠区域的估计采用如图8所示的方法。

（3）对Resulti道路区域的外部轮廓进行预测Resultouter。

（4）Resulti=Resultoverlap+Resultouter。

图8 特征提取加速流程图

先根据Resulti-1提取轮廓得到轮廓Contouri-1。对轮廓进行多次膨胀，得到掩模Maski-1。根据掩模获得重叠区域Resultoverlap以及Resulti的外部轮廓，利用分类器预测外部轮廓区域得到Resultouter，合并即可得到最终的道路区域Resulti。

4 实验

4.1 实验环境搭建

每个基础分类器都会产生一张置信度图像，根据逆透视原理，把每个基础分类器产生的图像映射到米制空间，即可得到米制空间的置信度图像。由于3D立体靶标的加工成本高且加工精度受到一定的限制，文献[15]张正友等人提出了基于2D平面标靶的摄像机标定。该方法要求摄像机在两个以上不同的方位拍摄一个平面靶标，摄像机和平面靶标都可以自由地移动，不需要知道运动参数。整个标定过程中，假设摄像机内部参数始终不变。

如图9所示，是基于该方法得到的基础分类器在米制空间的置信度图像，图中像素点的黑白程度表示置信度，像素点灰度值越大置信度越高。

图9 基础分类器的结果

实验中所采用的图像是分辨率为352×288的RGB彩色图像。彩色图像投影在在米制空间分辨率为500×500，每个像素点代表实际场景下的0.5 m，因此，在水平和垂直方向表示的实际距离分别为250 m(500×0.5=250)。二值线型特征提取的参数包括方向θ和阈值th，其中，共取了8个方向，θ=[0,20,90,160,180,200,270,340]（按逆时针），阈值为th=[150,300]。由于图像在米制空间会产生畸变以及根据先验的天空位置信息和车辆位置信息可以去除一些不可能为道路的区域以及一些道路信息失真的区域。因此，为了确保实验数据的准确性，实验是基于500×500的米制空间的图像中部分图像进行的。

4.2 评估策略

查准率(Precision)表示结果中真正正确的个数占整个结果的比例。查全率(Recall)表示结果中真正正确的个数占整个数据集（检索到的和未检索到的）中真正正确个数的比例。FN（False Negative）表示在检测结果中被分为负样本但事实上是正样本的数目。FP（False Positive）表示在检测结果中被分为正样本但事实上是负样本的数目。TN（True Negative）表示在检测结果中被分为负样本，事实上也是负样本的数目。TP（True Positive）表示在检测结果中被分为正样本，事实上也是正样本（本文的正样本为道路区域，其余为负样本）的数目。

4.3 实验结果

本文在4个数据集上与文献[14]中的方法做了对比实验，数据集分别为单行道结构化道路，多行道结构化道路、半结构化道路以及夜间道路，实验平台为Win 10，8 GB内存，采用VS2013编程。具体的检测结果如表3所示。

图10为城市结构化道路（单行道）数据集的检测结果。图11为城市结构化道路（多行道）数据集的检测结果。图12为乡村半结构化道路数据集的检测结果。第一行为原图像，第二行为原图像对应的米制空间，第三行为文献[14]中的方法的检测结果，第四行为本文方法的检测结果。其中，红色为FP，绿色为FN，白色为TP，黑色为TN。

表3 实验结果对比数据%

图10 城市结构化道路（单行道）数据集的检测结果

图11 城市结构化道路（多行道）数据集的检测结果

为了验证本文方法在夜间道路场景下的有效性，本文采集了夜间道路场景数据集（弱光线场景下，有路灯）并与文献[14]中的方法进行对比实验。实验中所采集的道路场景如图13所示。可以发现，弱光条件下采集的道路场景原始图像无法识别出道路区域。

因此，本文对该场景下的道路场景进行直方图均衡化处理，再进一步进行后续的道路检测，最终的检测结果如图14所示，其中，第一行为原图像经过直方图均衡化处理之后的效果图，第二行为第一行图像对应的米制空间，第三行为文献[14]中方法的检测结果，第四行为本文方法的检测结果。其中，红色为FP，绿色为FN，白色为TP，黑色为TN。

图12 乡村半结构化道路数据集的检测结果

图13 原始的夜间道路场景图像

图14 夜间道路场景数据集的检测结果

本文引入帧间信息复用机制，利用相邻两帧之间道路区域连续的特征来提高道路检测的速度，并与文献[14]中的方法进行了对比实验，结果如表4所示，本文通过帧间复用机制极大地提高了特征提取的效率。

表4 文献[14]与本文方法时间复杂度对比结果

5 结论

在SPRAY方法的基础上提出了一个由多个基础分类器构成的分层的道路检测方法。该特征结合了视觉信息及空间信息从而产生的道路分类器能够有效地区分在视觉特征上相似但在空间特征上不同的区域。同时本文提出了二值空间线型特征，能够有效地处理道路宽度变化的场景。大量结构化和半结构化道路图像的检测实验证明了本文方法能够有效提高道路检测的精度和速度，同时能提升空间线模型对不同宽度道路检测的鲁棒性。

[1] Hillel A B，Lerner R，Levi D，et al.Recent progress in roadandlanedetection：Asurvey[J].MachineVision and Applications，2014，25（3）：727-745.

[2] Seibert A，Hahnel M，Tewes A，et al.Camera based detection and classification of soft shoulders，curbs and guardrails[C]//Intelligent Vehicles Symposium，2013，36（1）：853-858.

[3] Munajat M D E，Widyantoro D H，Munir R.Road detection system based on RGB histogram filterization and boundary classifier[C]//2015 International Conference on Advanced Computer Science and Information Systems（ICACSIS），2015：195-200.

[4] Wang B，Frémont V，Rodríguez S A.Color-based road detection and its evaluation on the KITTI road benchmark[C]//Proceedings IEEE Intelligent Vehicles Symposium，2014：31-36.

[5] Alvarez J M A，Opez A M.Road detection based on illuminant invariance[J].IEEE Transactions on Intelligent Transportation Systems，2011，12（1）：184-193.

[6] Siogkas G K，Dermatas E S.Random-walker monocular road detection in adverse conditions using automated spatiotemporal seed selection[J].IEEE Transactions on Intelligent Transportation Systems，2013，14（2）：527-538.

[7] Alvarez J M A，Gevers T，Lopez A M.Vision-based road detection using road models[C]//IEEE International Conference on Image Processing，2009：2073-2076.

[8] He Z，Wu T，Xiao Z，et al.Robust road detection from a single image using road shape prior[C]//2013 IEEE International Conference on Image Processing，2013：2757-2761.

[9] Li X，Flohr F，Yang Y，et al.A new benchmark for visionbased cyclist detection[C]//2016 IEEE Intelligent Vehicles Symposium（IV），2016：1028-1033.

[10] Laddha A，Kocamaz M K，Navarro-Serment L E，et al.Map-supervised road detection[C]//2016 IEEE Intelligent Vehicles Symposium（IV），2016：118-123.

[11] Shin J，Lee E，Kwon K K，et al.Lane detection algorithm based on top-view image using random sample consensusalgorithmandcurveroadmodel[C]//2014 Sixth International Conference on Ubiquitous and Future Networks（ICUFN），2014：1-2.

[12] 徐友春，王荣本，李克强，等.一种基于直线模型的道路识别算法研究[J].中国图象图形学报：A辑，2004，9（7）：858-864.

[13] 许华荣，王晓栋，方遒.基于B样条曲线模型的结构化道路检测算法[J].自动化学报，2011，37（3）：270-275.

[14] Kühnl T，Kummert F，Fritsch J.Spatial ray features for real-time ego-lane extraction[C]//International IEEE Conference on Intelligent Transportation Systems，2012：288-293.

[15] Zhang Z.A flexible new technique for camera calibration[J].IEEE TransactionsonPattern Analysisand Machine Intelligence，2000，22（11）：1330-1334.

[16] Kuhnl T，Fritsch J.Visio-spatial road boundary detection forunmarkedurbanandruralroads[C]//Proceedings IEEE Intelligent Vehicles Symposium，2014：1251-1256.

CAO Ting,WANG Huan.Road detection based on binary spatial ray feature.Computer Engineering and Applications,2018,54（6）：161-167.

CAO Ting,WANG Huan

School of Computer Science and Engineering,Nanjing University of Science and Technology,Nanjing 210094,China

Vision based road detection is a key technology for Advanced Driver Assistance System（ADAS）.This paper proposes a novel road detection approach,the core of which lies in the design of the binary spatial ray feature which combines both road appearance and spatial information,and an efficient road classifier based on the extracted feature.The approach mainly consists of multiple base classifiers,binary spatial ray feature extraction and road classification.Moreover,the inter-frame coherence between adjacent images is also applied to accelerate detection speed.Experiments on a large number of structured and semi-structured road images show that the proposed approach can effectively detect road under challenging conditions and is robust against changes in the width of roads.

road detection;binary spatial ray feature;advanced driver assistance system

基于视觉的道路检测是高级驾驶员辅助系统（Advanced Driver Assistance Systems，ADAS）的核心技术。针对空间线模型（SPatial RAY feature）对道路宽度适应能力弱，时间复杂度高的不足，提出了一种改进的空间线模型，利用基础分类器得到的置信度图提取二值SPRAY特征，引入帧间信息复用机制来提高道路区域检测的效率。大量结构化和半结构化道路图像的检测实验证明了该方法能够有效提高道路检测的精度，同时能提升空间线模型对不同宽度道路检测的鲁棒性。

道路检测；二值空间线特征；高级驾驶员辅助系统

2016-10-13

2017-02-20

1002-8331（2018）06-0161-07

A

TP391.4

10.3778/j.issn.1002-8331.1610-0152

曹婷（1990—），女，硕士研究生，研究领域为图像处理，E-mail：609136379@qq.com；王欢（1982—），男，博士研究生，研究领域为模式识别。