刘景锋 李炎亮 江奎 郭雨婷
摘 要: 针对智能车辆在不同环境条件下识别道路车道线出现偏移的问题,提出了一种基于改进逆透视变换的车道线检测算法。首先利用HSL和Lab融合模型提取车道线颜色特征,经过二值化处理后利用透视变换将图像转换为鸟瞰图,然后根据二值图建立直方图,进行车道线位置的粗定位。最终通过滑动窗口算法以及直线拟合等处理,实现对车道线的精准识别。通过实验结果对比分析,提出的车道线检测算法能够解决车道线识别偏移问题。
关键词: 车道线检测; 逆透视变换; 滑动窗口; 特征融合
文章编号: 2095-2163(2021)03-0109-04 中图分类号:U461.99 文献标志码:A
【Abstract】Aiming at the problem that smart vehicles recognize the deviation of road lane lines under different environmental conditions, a lane line detection algorithm based on improved inverse perspective transformation is proposed. First, the HSL and Lab fusion model is used to extract the color features of the lane line, and after the binarization process, the image is converted into a bird's-eye view using perspective transformation. Then a histogram is established based on the binary image to perform coarse positioning of the lane line position. Finally, through sliding window algorithm, straight line fitting and other processing, the accurate recognition of lane lines is realized. Through comparative analysis of experimental results, the proposed lane line detection algorithm can solve the problem of lane line recognition offset.
【Key words】 lane line detection; inverse perspective transformation; sliding window; model fusion
0 引 言
為提高智能车驾驶安全性,实现自适应巡航、跟车行驶和车道保持等功能,实时精确的感知车道线信息是智能车自主安全行驶的基础。基于视觉算法是识别车道线常用的方法。
目前关于车道线识别的研究有很多。文献[1]提出了一种可以适应多路况的车道线识别方法,通过利用改进的TLC预警模型,提高了检测精度以及预警精度。刘萍等人[2]提出反透视变换算法解决道路遮挡干扰问题。彭浪[3]提出基于目标特征蒸馏的车道线检测算法,通过蒸馏技术和添加的解码器获取更准确的车道线信息。唐阳山等人[4]基于Roberts算子提高对车道线图像的精准分割。蒋一国[5]提出了基于GAN的车道线检测算法,利用pix2pix将车道线识别转化为图像的自动生成任务,然后提取细节特征。谢昌刚等人[6]提出了车道线隔行检测算法,通过动态确定ROI区域,识别效率提高40%,精度高达88.57%。
综上论述可知,本文提出一种基于逆透视变换的车道线检测算法,解决了对光照变化以及阴影遮挡等环境干扰较为敏感而导致车道线识别不精确和鲁棒性不足的问题。
1 图像预处理
对视觉采集的图像采取加权平均、中值滤波和最大类间方差法分别进行灰度化、平滑滤波和二值化处理[7-9],结果如图1所示。
2 透视变换
透视变换通过将摄像头采集的图像信息投影到新的平面,以获取车道线特征,消除透视形变,用矩阵表示为:
其中,(X,Y,Z) 和(x,y,z)分别表示世界坐标系和图像坐标系下的坐标值。
视觉采集的车道线图像是二维像素点,令Z轴数值为1。将(X,Y)与(x,y)带入表达式中可得:
为验证对应点选取的合理性和透视变换算法的有效性,利用Carsim软件建立理想的道路模型,如图2(a)所示,通过不断调整对应点的坐标,以获取直线道路上较为良好的透视变换图像如图2(b)所示。将该调整好的变换矩阵应用在弯道图像2(c)上来检验效果,结果如图2(d)所示。
由实验结果分析得出:透视变换图中越接近底部的车道线越清晰,上方的图像由于像素点逐渐稀少,车道线稍有模糊。
3 车道线检测
3.1 基于直方图车道线粗定位
直方图的像素点只有两种色值,分别为表示车道线特征的白色(色值为1)和设置为黑色的其他部分(色值为0)。通过直方图统计处理后的图像如图3所示。
由图3可知,直方图左半边纵坐标峰值点对应的横坐标为左车道线起始点的位置。右半边纵坐标峰值点所对应的横坐标为右车道线起始点的位置。
3.2 基于滑动窗口法的车道线检测
基于直方图的方法进行车道线的粗定位后,利用滑动窗口原理,以峰值点的位置作为滑动窗口的起始点,设定固定大小的窗口,进行网格化搜寻图像中所有车道线的点。
通过窗口滑动进行像素点的搜寻,在进行第二个窗口滑動搜寻时,以第一个窗口的上边缘作为第二个窗口的下边缘。对窗口中的非零像素(白色)个数加以统计,过滤掉数目小于设定值的窗口;大于设定值则更新窗口位置。此时,所有滑窗中的白点可能属于待检测的车道线,如图4中红色和蓝色所示。
3.3 曲线拟合处理
分别对所有蓝色像素点和红色像素点用最小二乘法进行曲线拟合,即可得到车道线的曲线方程[10],处理结果如图5所示。
3.4 逆透视变换处理
由于处理图像时使用了透视变换矩阵M得到了车道线图像的鸟瞰图,在检测完车道线后需要利用逆透视变换矩阵Minv将鸟瞰视角下的拟合结果转换到原始图像空间[11],并与原图叠加,处理结果如图6所示。
实验结果分析可得:基于Carsim建立的理想化道路模型的检测下,车道线的拟合效果非常好,检测边缘与车道线贴合紧密,十分稳定,没有波动。
4 实验结果分析
为进一步验证本文提出算法的有效性,在现有的真实道路数据集中选取正常无阴影和有阴影、光线急剧变化的道路状况进行实验测试,检测结果如图7所示。
由实验结果分析得出:当光线无明暗变换,且路面没有阴影时,检测效果较好。当弯道工况中出现光线明暗变化或路面有阴影时,车道线的检测效果较差。
通过上述过程分析得出,由于透视变换前的边缘检测不准确导致在出现光线明暗变化和阴影的条件下,车道线的检测效果较差。查看2种工况的边缘检测图可以发现,经过Canny算子边缘检测的处理,将光线明暗交替位置的边缘像素点以及树木阴影的轮廓像素全部提取出来,处理图像如图8所示。
针对在光线明暗变化或路面有阴影时的弯道工况下,车道线检测效果较差的问题,本文首先采用HSL和Lab 颜色模型提取车道线的颜色特征。通过HSL和Lab特征融合处理后,分别将车道线的白色和黄色分割出来,再进行叠加达到去噪的目的。增加HSL和Lab颜色模型后处理结果如图9所示。
由本文的实验分析可以得出:通过HSL和Lab特征融合处理不仅能更好地突出车道线信息,而且还能保留边缘信息。将改进后的算法处理前后对比分析如图10所示。
由图10的对比分析可以得出:通过HSL和Lab特征融合提取车道线颜色特征、并进行后续处理后,车道线的检测效果得到了极大的改善,检测精度与稳定性有了很大的提高。
5 结束语
本文提出的基于改进逆透视变换的车道线检测算法,解决了不同环境下道路车道线识别出现偏移的问题。实验表明,本文提出的算法在阴影、光线急剧变化、车道线磨损以及阴影遮挡等干扰较为敏感的路况下,都能够保证车道线的精确检测,为智能车实现自适应巡航、跟车行驶以及车道保持等功能提供了很好的基础。
参考文献
[1] 覃雄臻,鲁若宇,陈立明,等. 多场景车道线检测与偏离预警方法研究[J]. 机械科学与技术,2020,39(9):133-143.
[2] 刘萍,孙耀航. 基于反透视变换的车道线检测算法[J]. 计算机与数字工程,2019,47(3):678-681.
[3] 彭浪. 复杂道路场景下的多车道线检测方法研究[D]. 重庆:重庆理工大学,2020.
[4] 唐阳山,徐忠帅,黄贤丞,等. 基于Roberts算子的车道线图像的边缘检测研究[J]. 辽宁工业大学学报(自然科学版), 2017,37(6):383-386,390.
[5] 蒋一国. 基于GAN的车道线检测算法研究[D]. 长春:吉林大学,2020.
[6] 谢昌刚,黎向锋,李堃,等. 基于动态划分感兴趣区域的车道线检测算法[J]. 机械制造与自动化,2019,48(6):150-154.
[7] 宋扬,李竹. 基于深度图像增强的夜间车道线检测技术[J]. 计算机应用,2019,39(S2):103-106.
[8] 呼超,汪杰,冯玉松. 基于改进Hough变换的夜间内侧车道线检测[J]. 公路与汽运,2019(6):1-3,8.
[9] 韦唯. 基于单目视觉的车道线识别方法研究[D]. 长春:吉林大学,2015.
[10]李齐权. 车道偏移预警车道线检测技术研究[D]. 成都:成都理工大学,2018.
[11]钱基德,陈斌,钱基业,等. 基于感兴趣区域模型的车道线快速检测算法[J]. 电子科技大学学报,2018,47(3):356-361.