周劲草,魏 朗,刘永涛,张在吉,田 顺
(1.长安大学汽车学院,陕西 西安 710064;2.中国民航大学天津市智能信号与图像处理重点实验室,天津 300300)
基于改进Retinex算法的雾霾天气车道线识别
周劲草1,魏朗1,刘永涛1,张在吉2,田顺1
(1.长安大学汽车学院,陕西 西安 710064;2.中国民航大学天津市智能信号与图像处理重点实验室,天津 300300)
在雾霾天气下,针对常规车道线识别方法提取车道线准确性差以及多尺度Retinex算法去雾图像质量较低的缺点,提出了一种基于改进视网膜大脑皮层理论(Retinex)的雾霾天气车道线识别算法.首先,利用改进的暗通道优先算法对雾天图像进行去雾,将去雾图像作为多尺度Retinex算法的输入图像做进一步增强;然后将多尺度Retinex算法增强的图像进行亮度修正,从而获取理想去雾图像;再利用Scharr滤波器和大津法得到包含清晰道路边缘的二值化图像;最后利用Hough变换对车道线精确提取.实验表明,该算法不但能够在雾霾天气下对车道线进行准确的识别,与常规算法相比,能够有效地提高图像质量,并且具有良好的实时性,对于提高车辆主动安全性具有重大意义.
雾霾;视网膜大脑皮层理论;车道线识别;图像增强;车辆主动安全性
伴随着人类活动频率的加剧以及气候的变化造成了空气中悬浮颗粒物以及水汽的日益增加,导致了雾霾现象的大面积出现.近年来雾霾正逐渐在各个方面影响着人们的生活,尤其是在交通运输中,雾霾造成的低能见度对于行车安全带来了巨大的隐患.在雾霾天气的驾驶过程中,驾驶员难免会因雾霾造成的低能见度而使汽车偏离正常的行驶车道进而酿成车祸.因此,设计一种在车辆出现无意识的车道偏离时能给予驾驶员及时提醒的系统,可以有效地减少车道偏离事故的发生[1].在这种系统中,车道标志线的准确识别是非常关键的一步.目前,虽然已经有很多基于视觉的车道线检测算法[2-4],但是这些算法只能够在白天和阴天的工况下具有较高的检测和识别的成功率,针对雾霾这一特殊天气情况下的图像处理效果却不佳.
在雾霾天气下,由于大气中存在随机介质,光从路面反射到达相机的过程中会发生吸收和散射等变化.在该过程中,原本应当沿直线传播的光发生了散射从而偏离了原来的传播路径,一些其他光路的光却由于散射作用进入到该光路,从而导致图像对比度严重下降,使车道标志线难以辨识[5].针对降质图像的增强, Retinex算法作为一种经典算法,能够通过对原图像进行某种高斯平滑来提取亮度图像,不仅可以有效增强原图的对比度和清晰度,而且具有颜色高保真性,能够使图像质量得到很大的改善[6],但是经典的多尺度Retinex算法(Multi-scale Retinex,MSR)的清晰程度却不高.为了提高图像的清晰度,文献[7-8]中将暗通道优先算法与MSR算法相结合有效地提高了图像的清晰度,但是依然沿用了软抠图法(Soft Matting)平滑过滤透射图像,使得计算实时性大打折扣.文献[9]用巴特沃斯低通滤波器取代软抠图法,使得去雾速度大幅提高,然而去雾图像较暗,不适合采用常规方式进行车道线识别.针对这些问题,本文首先利用巴特沃斯低通滤波器取代软抠图法,利用改进的暗通道优先算法对雾天图像进行去雾.然后使用MSR算法对去雾图像进行增强并对其进行亮度修正,得到理想的输出图像,再利用Scharr滤波器和大津法得到包含清晰道路边缘的二值化图像,最后通过Hough变换对车道线精确提取.
本文将改进后的暗通道先验算法与传统MSR算法相结合,并对输出图像进行亮度修正从而获取理想的去雾图像.
1.1Retinex理论
Retinex理论是将图像分成入射光分量L(x,y)和反射光分量R(x,y),其数学表达式为
S(x,y)=R(x,y)×L(x,y).
(1)
(1)式中:S(x,y)是显示图像中坐标为(x,y)点的亮度;R(x,y)是反射函数;L(x,y)是入射函数.
人体生理学实验指出,当人眼感知物体时,主要依靠3种锥细胞通过视网膜(Retina)和皮层(Cortex)感知颜色,3种锥细胞分别能够感知红色、绿色、蓝色3种颜色[10].由于取对数可以在计算过程中使复杂的乘除计算简化为简单的加减计算更加符合人眼视觉成像效果,故对(1) 式两边取对数后得到
logS(x,y)=logR(x,y)+logL(x,y).
(2)
令Q=logL(x,y),得到
Q=logS(x,y)-logR(x,y).
(3)
由于R(x,y)=S(x,y)/L(x,y),由此可以得到
(4)
的输出函数.(4)式中:F(x,y)表示一个与(x,y)坐标点像素相关的函数;Qi(x,y)表示第i个通道的输出;Si(x,y)表示第i个通道像素的强度值,当i=1,2,3时分别表示红色、绿色、蓝色;“*”表示卷积.
(5)
其中K由归一化条件∬F(x,y)dxdy=1确定.
1.2改进的Retinex算法
(1) 首先求取含雾图像的暗原色图为
(6)
(2) 对Idark(x,y)边界处暗原色进行修正,得
(7)
(3) 求取透射率为
(8)
(5) 获取无雾图像[9]公式为
(9)
(6) 将无雾图像J1(x)作为MSR算法的输入图像,得到去雾图像J2(x).
(7) 为了进一步提高去雾图像亮度,将上一步中得到的去雾图像J2(x)乘以一个亮度修正系数α(α≥1,本文α=1.5)即可获取最终的去雾图像Jf.去雾图像对比图见图1.
(a)雾天原图
(b) MSR算法
(c)文献[7]算法
(d)本文算法
相比Sobel算子,Scharr滤波器具有更高的准确性以及相同的计算速度[12].因此本文采用Scharr滤波器凸显左、右车道线的边缘.对于左、右两侧车道线本文分别采用Scharr滤波器卷积计算核,公式为:
经过上一步Scharr滤波器对边缘的增强,图像依然包括许多噪声,要想从多值的数字图像中直接提取出车道标志线,最常用的方法就是对图像进行二值化.本文利用大津法获取图像阈值并进行全局二值化.
由于在结构化道路的设计和修建过程中执行一系列严格的行业标准,其车道标志线在延伸方向上有平滑曲线,并且曲率很小,一般近视野内车道线可以近似看做直线[13],并且由于Hough变换能将原始图像中给定的曲线或直线变换成参数空间的一个点,把原始图像中曲线或直线的检测问题转换成寻找参数空间中峰点的问题,因此变换不易受到噪声和曲线间断的影响,能较好地实现车道标志线的识别.本文以直线作为车道线模型,采用Hough变换检测车道线.
3.1Hough变换原理
Hough变换是一种使用表决原理的参数估计技术.其原理是利用图像空间和Hough参数空间的点-线对偶性,把图像空间中的检测问题转换到参数空间.通过在参数空间里进行简单的累加统计,然后在Hough参数空间寻找累加器峰值的方法检测直线.Hough变换的实质是将图像空间内具有一定关系的像元进行聚类,寻找能把这些像元用某一解析形式联系起来的参数空间累积对应点.在参数空间不超过二维的情况下,这种变换有着理想的效果[14].(10)和(11)式分别表示极坐标系ρoθ和直角坐标系θ下的直线方程:
ρ=xcosθ+ysinθ;
(10)
y=ax+b.
(11)
3.2车道线检测
在极坐标系ρoθ空间内建立二维叠加数组A,第一维ρ的取值范围为[-l,l],l指图像的对角线长度.第二维θ的取值范围为[0°,180°],并将数组A赋值为0.利用Hough变换分别计算出图像空间中的各点(xi,yi)所对应的极坐标值(ρi,θi)(i= 0,1,2,3,…)并依次赋值给数组A(ρi,θi)中的相应元素,最后所得到的数组A中的值就是图像空间中与原点距离为ρ、与x轴夹角为θ的点的数目[15].由于本文仅考虑单向行驶车道,故图片中仅检测距离行驶车辆所在车道最近的两条车道线,以左右两侧的直线束中距离与图像底部中点坐标pmid(x0,y0)最近的直线作为当前行驶车的车道线.由(10)式得到图像底部中心pmid(x0,y0)与车道线的距离
(12)
车道线识别对比图见图2.由图2看出,在不经过任何图像处理的雾天原图,使用常规手段无法检测出车道线,而传统的MSR算法、文献[7]中的算法以及本文算法都能获取良好的车道线识别效果.
(a)雾天原图
(c)文献[7]算法
(d)本文算法
虽然MSR算法、文献[7]算法及本文算法去雾的图像均能通过常规手段对车道线进行识别,但是图像的增强效果好坏直接影响后续雾天防追尾行车系统研究中的准确性,因此本文对上述3种算法的增强效果进行评价分析.
4.1图像增强效果分析
为了便于对比,采用图像信息熵、标准差和清晰度分别对雾天原图、MSR算法、文献[7]算法和本文算法进行了计算,结果见表1.
表1 图像增强效果分析
由表1看出,本文算法所得到的去雾图像信息熵要明显高于MSR算法,但是为了提高计算速度弃用了软抠图法使得结果较文献[7]有所下降;而图像标准差和清晰度均明显优于文献[7]和MSR算法.
4.2算法实时性分析
4.2.1算法实时性计算
图3 车道线识别耗时对比
对于高速行驶的汽车而言不但需要能够在雾天准确地识别出车道线而且必须具备良好的实时性,本文对图片去雾所采用的实验平台:处理器为Pentium Dual-Core 1.86 GHz、内存为4 GB运行Windows XP的PC机,编程语言为Matlab R2009a.依次对大小为256像素×192像素、320像素×240像素、512像素×384像素、640像素×480像素、1 024像素×768像素的图片进行去雾,其运行时间如图3所示.
4.2.2算法实时性对比
为了定量分析各算法的实时性,图3中图片大小为256像素×192像素、320像素×240像素、512像素×384像素、640像素×480像素、1 024像素×768像素的图片,并且定义一个加权延滞系数ψ,即
(13)
(13)式中tj表示第j图中改进算法的时间;Tj则表示第j图中MSR算法的时间.ψ值越小说明改进算法的相对实时性越好,文献[7]和本文的加权延滞系数分别为ψ1=3.352,ψ2=0.344.显然本文算法不仅比传统的MSR算法有效增强图像清晰度,而且在算法实时性上要明显优于文献[7].
基于MSR改进算法的车道线识别技术,不但有效地解决了雾霾天气下仅凭常规方法无法准确识别车道线的问题,而且在提高图像质量的同时提高了运算速度.因此在车道偏离预警系统中具有广泛的运用价值,为提高车辆在雾霾天气中行驶的主动安全性,降低交通事故的发生率具有非凡的意义.但是仍有部分问题值得进一步研究,对于在高速行驶中的车辆来说,事故往往是发生在极短的时间内,因此算法的实时性至关重要,如何保证在拥有较高的识别准确率的基础上进一步降低算法的运行时间,仍需不断的研究和完善.
[1]王荣本,余天洪,郭烈,等. 基于机器视觉的车道偏离警告系统研究综述 [J]. 汽车工程,2005,27(4):463-466.
[2]KIM Z W. Robust lane detection and tracking in challenging scenarios [J]. IEEE Transactions on Intelligent Transportation Systems,2008,9(1):16-26.
[3]刘伟,黎宁,张丹,等. 基于自适应分割阈值的夜间车道标志线识别[J]. 计算机与数字工程,2015,43(2):308-309.
[4]陈军.基于 DSP 的高速公路车道偏离报警系统研究 [D]. 天津:天津大学,2010.
[5]祝培,朱虹,钱学明,等.一种有雾天气图像景物影像的清晰化方法 [J]. 中国图像图形学报,2004,9(1):124-128.
[6]JOBSON D J,RAHMAN Z U,WOODELL G A. Properties and performance of a center/surround Retinex [J]. IEEE Transactions on Image Processing,1997,6(3):451-462.
[7]舒婷,邓波,陈炳权,等. 基于暗原色先验与Retinex理论的去雾算法 [J]. 吉首大学学报(自然科学版),2014,35(2):52-56.
[8]肖胜笔,李燕. 具有颜色保真性的快速多尺度Retinex 去雾算法 [J]. 计算机工程与应用,2015,51(6):176-180.
[9]肖钟捷,余文森,程仁贵,等. 基于暗通道先验的快速图像去雾算法[J]. 吉林师范大学学报(自然科学版),2014,8(3):106-110.
[10]江兴方,王戈,沈为民. 一种色彩改进型Retinex彩色图像增强方法[J].光电子·激光,2008,19(10):1402-1403.
[11]JOBSON D J,RAHMAN Z U,WOODELL G A. Properties and performance of a center/surround Retinex [J]. IEEE Transactions on Image Processing,1997,6(3):451-462.
[12]杨炜. 客运车辆危险行驶状态机器视觉辨识系统研究 [D]. 西安:长安大学,2013.
[13]金辉,吴乐林,陈慧岩,等.结构化道路车道线识别的一种改进算法[J]. 北京理工大学学报,2007,27(6):01-505.
[14]鞠乾翱. 基于机器视觉的快速车道线辨识研究 [D]. 上海:上海交通大学,2013.
[15]杨喜宁,段建民,高德芝,等.基于改进Hough变换的车道线检测技术 [J]. 计算机测量与控制,2010,18(2):292-294.
(责任编辑:石绍庆)
Lane detection in haze weather based on improved Retinex algorithm
ZHOU Jin-cao1,WEI Lang1,LIU Yong-tao1,ZHANG Zai-ji2,TIAN Shun1
(1. College of Automobile,Chang’an University,Xi’an 710064,China;2. Tianjin Key Lab for Advanced Signal Processing,Civil Aviation University of China,Tianjin 300300,China)
In this paper,a new algorithm based on an improved Retinex algorithm was proposed for lane detection in haze weather which couldn’t be detected by traditional algorithm. Firstly,the lane images in haze weather was enhanced by an improved dark channel prior algorithm and using defogged images as the input image for MSR algrithm to have a further enhancement,ideal image was obtained after brightness enhancement. Binary images of road edges was obtained by Scharr filter and Ostu algorithm then. Finally,the road lane was extracted by Hough transform. Experimental results showed this new algorithm could not only detect road lane in haze weather accurately,but also could improve image quality effectively and has better real-time. Thus has great influence on the improvement of automobile active safety.
haze weather;Retinex algorithm;lane detection;image enhancement;automobile active safety
1000-1832(2016)03-0054-06
2015-09-30
国家自然科学基金资助项目(51278062).
周劲草(1989—),男,博士研究生,主要从事车辆安全工程研究;魏朗(1957—),男,博士,教授,博士研究生导师,主要从事汽车主动安全性、道路事故多发点与治理方法、道路交通事故分析与再现技术研究.
TP 391[学科代码]580·2010
A
[DOI]10.16163/j.cnki.22-1123/n.2016.03.011