基于单目视觉的非结构化道路检测与跟踪

王燕清，陈德运，石朝侠

(1.哈尔滨理工大学 计算机科学与技术学院，黑龙江 哈尔滨 150080;2.南京理工大学 计算机科学与技术学院，江苏南京 210094)

通常智能车辆系统由道路感知、道路规划、车辆控制等功能模块组成.道路感知的方法多种多样，包括在道路中嵌入磁极、雷达、红外、激光、超声波、多传感器信息融合以及视觉等方法.传统的方法存在较大的缺陷，如:道路中嵌入磁极需要升级道路结构，这在短期内并不能实现;雷达虽然可以检测路面，但存在路面反射率不一样的问题，且这些方法不能利用道路路标的显著特征;基于多传感器信息融合的方法能够适用于各种复杂的未知环境，不需要具备环境的先验知识，然而造价较高，不适于在普通车辆上的普及.因此，基于视觉的道路检测技术提供了廉价的解决方案，成为ITS的研究热点之一.

尽管基于视觉的非结构化道路检测方法取得了突破性的进展，然而仍然存在实时性、鲁棒性、准确性等问题.为了解决上述难题，各国学者从不同的角度对道路视觉检测问题进行了研究，主要方法有:基于道路特征的方法［1-2］，基于道路模型的方法［3-6］，基于神经网络的方法［7］.

本文提出了一种基于视觉的非结构化道路检测方法.该方法将自适应道路区域分割与边缘检测方法结合，将智能车辆的运动学模型考虑在内，提出一种新型的自适应蒙特卡罗方法对道路的边界进行跟踪.

1 基于二维Otsu法的区域分割

与结构化道路具有明显的分道线标志、清晰的道路边界以及均匀的特征分布的特点不同，非结构化道路具有形状不规则、没有分道线标志、路面容易存在破损和裂痕、颜色或纹理特征不均匀以及光影、水渍的影响严重等问题.

1.1 一维Otsu法

Otsu法是一种经典的动态阈值方法，它的基本思想是利用图像的灰度直方图，以目标和背景的方差最大动态地确定图像的分割阈值.以往的研究将一维Otsu法引入非结构化道路的视觉检测，该方法在道路检测实验中体现出良好的性能，能够有效抑制路面缺损、灰度不均对检测结果影响.但是Otsu法是基于一维直方图的分割方法，它只考虑了图像的灰度信息而没有考虑像素的空间位置信息，当图像直方图没有明显的双峰或者图像信噪比较低时，其分割效果并不理想［8］.

智能车辆在道路上运动时，一个合理的假设是可以从图像的特定位置获取路面参考区域，用Otsu法对图像进行多次划分，然后借助于路面参考区域的信息合并属于路面的区域，从而提高道路区域划分的精度.

当采用Otsu法进行彩色图像分割时，不同的颜色通道也会获得不同的分割效果.使用一种自适应通道选择方法:根据路面参考区域的信息确定道路上占统治地位的颜色分量，并以该分量为准进行图像分割.颜色通道选择原理:

式中:C表示颜色通道，R代表在参考区域里占统治地位的红色通道的数量.利用式(1)确定的颜色通道进行Otsu划分能够获得更佳的分割结果.

1.2 二维Otsu法

Otsu是利用图像中的灰度直方图，以目标与背景之间的方差最大而动态确定图像分割门限值，是经典的非参数、无监督阈值选取方法.与一维Otsu法相比，二维Otsu法同时考虑了图像的灰度信息和像素间的空间邻域信息［9］，具有更高的抗噪性能，具体步骤如下:

1)对灰度级为L的M×N图像f及其邻域平滑图像g求取二维灰度直方图 hij.hij代表原图像灰度为i而平滑图像的灰度为j的像素点的个数.则Pij=hij/2×M×N为i和j的联合概率.

2)假设阈值对(s，t)分别为原始图像和平滑图像的分割阈值，显然由于目标和背景的特征自相似性，位于图1对角线上的I区和III区(分别假设为背景与目标).则

分别代表背景与目标的概率.

分别代表背景和目标的灰度均值.

代表整体图像的灰度均值.

3)将满足类间方差最大的阈值对(s，t)确定为分割阈值:

由于智能车辆所在的环境中，可能存在与道路同质的物体存在(比如水泥道路和水泥墙壁).使用Otsu方法不可避免会产生错误的划分，所以必须利用道路的边界进行约束.

图1 Ⅰ和Ⅲ代表背景和目标Fig.1 ⅠandⅢrepresent background and object

2 边缘检测与滤波

2.1 Canny边缘检测

尽管非结构化道路没有规则的形状，边界的形状也变化很大，在智能车辆附近的道路边界仍可以用直线或曲线粗略近似.其中Canny算子［10］是一个具有滤波、增强和检测的多阶段的优化算子，提取的边缘较完整，位置较准确，能够检测出图像较细的边缘部分.因此拟采用Canny算子实现边缘提取的功能.

原图像首先与高斯核

卷积，获得高斯模糊图像L(在实验中采用了9×9模板).在过滤噪声的同时保留环境的有用信息.用一阶偏导的有限差分来计算梯度的幅值和方向，对梯度幅值进行非极大值抑制，用双阈值算法检测和连接边缘.为了详尽描述Canny边缘的特征，将识别为边缘像素的梯度幅值记录并向下一环节传递，当采用霍夫变换检测候选道路边界时，用直线的长度、角度、距离和幅值强度来联合表征附近的道路边界.

2.2 Otsu边缘滤波

在Canny边缘的双阈值选取阶段，通常会面临如下的抉择:减小梯度幅值的阈值会增加边缘检出的数量，使部分属于道路边界的弱边缘能够保留，但是会带来较高的计算成本;增加梯度幅值的阈值无疑会有效减少计算量，提高系统的实时性，但可能会导致属于道路边界的弱边缘消失.为了解决这一问题，利用Otsu法分割的道路区域和非道路区域，然后用Canny边缘进行滤波，在消除复杂边缘干扰的同时，保留道路边界附近的Canny边缘.边缘滤波公式为

式中:E(x，y)为边缘图像，在(x，y)取1时为边缘像素，取0时为非边缘像素;R(x，y)为Otsu图像，取1时为目标，取0时为背景;“⊕”为异或操作符号.式(3)对半径为r区域内对角线上的像素进行计算，当出现异于其他像素点的取值时该边缘点将得以保留.

经过Otsu边缘滤波之后，位于目标和背景内部的部分边缘将会被消除，而位于目标和背景交界处的边缘将保留.这样一方面可以通过减小梯度幅值阈值增加可检测边缘的数量，另一方面利用边缘滤波减小霍夫变换的计算量.尽管非结构化道路的边界形状不规则，在大部分情况下，近处的道路边界仍可以用直线近似，因此采用霍夫变换［12］方法检测可能的道路边界.本文采用道路区域分割+边缘检测+霍夫变换作为道路检测的预处理模式，在检测出一条霍夫线之后，计算该霍夫线的有效线段的长度，同时计算有效线段的平均幅值阈值.这样，图像中的一条直线可以表示为一个四元组:

式中，d为线段的有效长度，a为有效线段的平均梯度幅值，ρ为车辆中心到直线的距离，θ为直线与x轴正方向所成的夹角.

3 蒙特卡罗道路边界检测方法

道路边界检测的任务是从纷杂的霍夫直线中选出可能性最大的道路边界.为此，一方面采用长度、梯度幅值、距离以及角度等观测信息，另一方面通过对不同帧间的直线进行关联，以获得更加准确的道路边界，即采用蒙特卡罗算法提取出最佳道路边界线.

智能车辆的运动模型如下:

式中:(Δxk，Δyk，Δθk)是车辆在k时刻的位姿(位置和方向)变化，(vk，)是由线速度和角速度2个参数组成的速度空间.

智能车辆在k－1时刻以速度(vk，ω～k－1)行驶后霍夫直线的状态更新方法:

根据图2，将式(4)代入式(5)，可以获得直线L在k时刻的ρ、θ值更新:

式中，η为归一化常量.观测模型p(ot|Lt)取决于线段Lt的长度、平均梯度强度、距离及角度等视觉观测信息.运动模型p(Lt|Lt－1，ut－1)由式(5)决定，不仅依靠前一帧检测的直线Lt－1，而且取决于前一时刻的执行的动作ut－1.

图2 直线L的计算模型Fig.2 Computational model for line L

蒙特卡罗方法［11］的主要思想是通过m个加权样本分布集来表征置信度Bel(Lt):

1)采样:从表征Bel(Lt－1)的加权样本集中随机选取样本

3)为了补偿建议分布值 qt和期望值 η× p(ot|Lt)×p(Lt|Lt－1，ut－1)×Bel(Lt－1)之间的差别，样本通过加权因子w(i)加权:

加权因子w(i)表明样本所具有的新重要度因子.

4)对步骤1)～3)的取样过程重复m次，产生m个加权样本集，并对加权因子L(i)归一化.

在一般情况下，当m变得无穷大时，样本集可以收敛到真实的后验置信度Bel(Lt)，其中收敛速度为与建议分布有关.

4 道路检测实验

为了验证本文算法的有效性，在不同的非结构化道路场景下做了道路检测实验.本文算法在320×240分辨率，USB2.0接口、主频2.4 G、内存2 G环境下的的平均处理时间为45 ms左右，能够满足智能车辆视觉导航实时性的要求.

图3给出了水渍路面的检测结果，其中图3(e)中的圆圈为通过蒙特卡罗方法滤波得到的道路左边界线，方框为通过蒙特卡罗方法滤波得到的道路右边界线.可以看出:尽管Otsu法无法把水渍从路面上分割，借助于边缘检测和蒙特卡罗方法能够把道路的边界正确的检测出来.

图4给出了光影和道路缺损条件下的道路检测结果.根据图4(b)所示的Otsu-Canny复合图像可知: Otsu能够克服道路缺损和光影的不利影响，获得较为理想的图像分割结果.尽管道路的形状不是规则的直线，检测出的候选直线能够较为理想的分布在实际的道路边界附近;从图4(d)给出的最后结果可知，边缘检测与Otsu方法能够很好地结合起来.

图5给出了典型复杂道路环境下的道路检测结果.图中的道路环境具有低照度、低对比度、部分道路边界被车辆遮挡、部分道路边界位于交叉口等特点.图5(b)对道路的右边界进行了重建，将由不规则的汽车底部构成的边缘设定为道路右边线.由于道路两侧的部分区域颜色与道路颜色接近，而被Otsu法误识别为道路区域，但是结合边缘检测能够获得稳定的道路边界检测结果.

图3 水渍路面的道路检测Fig.3 Detection for road surface with water

图4 光影路面的道路检测Fig.4 Detection for road surface with light and shadow

图5 复杂环境的道路检测Fig.5 Detection for complicated environments

5 结束语

除了道路检测之外，本算法还具有一定的障碍物检测功能:远方位于道路上的行人和汽车都被表示为背景(非可通行区)，这对于该算法应用于智能车辆的视觉导航具有重要意义.本文需要进一步改进的地方是当环境背景与道路区域的特征相似时，无法获得准确的道路检测结果，这是下一步的研究重点.

［1］TSAI J F，HUANG S S，CHAN Y M.Road detection and classification in urban environments using conditional random field models［C］//Proceedings of the IEEE ITSC 2006.Toronto，Canada，2006:17-20.

［2］刘加海，白洪欢，黄微凹.基于彩色和边缘信息融合的道路分割算法［J］.浙江大学学报:工学版，2006，40(1): 29-32.

LIU Jiahai，BAI Honghuan，HUANG Weiao.Lane segmentation based on fusion of color and edge information［J］.Journal of Zhejiang University:Engineering Science，2006，40 (1):29-32.

［3］LEE J W，CHOI S U，LEE Y J.A study on recognition of road and movement of vehicles using vision system［C］// Proc SICE.(s.l.).2001:38-41.

［4］张伟，黄席樾，杨尚罡.汽车导航系统中的道路检测［J］.重庆大学学报:自然科学版，2006，29(8):87-90.

ZHANG Wei，HUANG Xiyue，YANG Shanggang.Lane detection in navigation system of vehicle［J］.Journal of Chongqing University:Natural Science Edition，2006，29 (8):87-90.

［5］陈清华，杨静宇，陈建亭.基于自适应模板的非结构化道路检测［J］.东南大学学报:自然科学版，2007，37 (6):1102-1107.

CHEN Qinghua，YANG Jingyu，CHEN Jianting.Lane and road detection based on adaptive deformable template［J］.Journal of Southeast University:Natural Science Edition，2007，37(6):1102-1107.

［6］管琰平，贺跃，刘培志，等.基于彩色图像的非结构化道路检测［J］.计算机应用，2005，25(12):2931-2934.

GUAN Yanping，HE Yue，LIU Peizhi，et al.Lane and road detection based on colorful image［J］.Journal of Computer Applications，2005，25(12):2931-2934.

［7］CONRAD P，FOEDISCH M.Performance evaluation of color based road detection using neural nets and support vector machines［C］//Proc Applied Imagery Pattern Recognition Workshop.Washington DC，2003:2483-2486.

［8］王磊，段会川.Otsu方法在多阈值图像分割中的应用［J］.计算机工程与设计，2008，29(1):2844-2845.

WANG Lei，DUAN Huichuan.Application of Otsu＇method in multi-threshold image segmentation［J］.Computer Engineering and Design，2008，29(1):2844-2845.

［9］范九伦，赵凤.灰度图像的二维Otsu曲线阈值分割法［J］.电子学报，2007，35(4):751-755.

FAN Jiulun，ZHAO Feng.Two-dimensional otsu＇s curve thresholding segmentation method for gray-level images［J］.Acta Electronica Sinica，2007，35(4):751-755.

［10］陈杰，王振华，窦丽华.一种尺度自适应Canny边缘检测方法［J］.光电工程，2008，35(2):79-84.

CHEN Jie，WANG Zhenhua，DOU Lihua.Scale adaptive canny edge detection method［J］.Opto-Electronic Engineering，2008，35(2):79-84.

［11］石朝侠，王燕清，洪炳荣.基于混合蒙特卡罗箱方法的移动感知网节点定位方法［J］.高技术通讯，2007，17 (8):809-813.

SHI Chaoxia，WANG Yanqing，HONG Bingrong.Node localization based on mixture-MCB for mobile sensor networks［J］.Chinese High Technology Letters，2007，17 (8):809-813.

［12］KIRYATI N，ELDAR Y，BRUCKSTEIN A M.A probabilistic Hough transform［J］.Pattern Recognition，1991，19 (4):303-316.