李运生 张名佳
摘 要: 为了有效地保障汽车驾驶人员及乘车人员的生命财产安全,缓解交通拥堵现象,针对智能交通静态目标的自动识别系统进行研究。利用CCD摄像头采集的公路视频样本,基于先进数字图像处理技术,实现对视频中交通公路静态目标标线的自动检测识别。针对标线形态特点,进行有效的数字图像滤波除噪处理,提出采用累计概率霍夫变换算法对标线进行识别,有效地检测出公路行车标线,实现对视频图像中公路标线的跟踪识别。
关键词: 智能交通; 静态目标; 公路标线; 自动识别; 边缘检测; 累计概率霍夫变换
中圖分类号: TN911.73?34 文献标识码: A 文章编号: 1004?373X(2018)15?0141?06
Research on static target automatic recognition system of intelligent traffic
LI Yunsheng, ZHANG Mingjia
(School of Automation, Xian University of Posts & Telecommunications, Xian 710121, China)
Abstract: The static target automatic recognition system of intelligent traffic is studied to protect the safety of life and property of drivers and passengers effectively, and alleviate the traffic congestion. The highway video samples acquired by CCD camera and advanced digital image processing technology are used to realize the automatic recognition and detection of the highway static target marking in the video. According to morphological characteristics of marking, the digital image is filtered and denoised effectively. The cumulative probability Hough transform algorithm is used to recognize the highway marking, detect the travelling marking of the highway, and realize the tracking and recognition of the highway marking in video images.
Keywords: intelligent traffic; static target; highway marking; automatic recognition; edge detection; cumulative probability Hough transform
近年来,智能交通系统(Intelligent Traffic System,ITS)的概念逐步形成并越来越受到社会的关注。ITS以信息技术作为先导,并融合了其他相关先进科技,旨在凭借现代化科学技术改善交通现状[1],这已成为全球范围内的重要发展趋势。在国内,国防科技大学从20世纪80年代起逐步开始研究该项技术[2]。
在日常车辆行驶中,交通情况瞬息万变,很容易酿成严重的交通事故。为了保障行车安全,同时缓解公路拥堵现象,急需研究公路交通静态目标的自动识别系统。以往的研究所识别的目标准确度低、误判现象较多,并易受外界环境的干扰[3]。本研究对公路交通静态目标车道标线的识别进行目标建模、跟踪[4]、分析、识别和判断,提出采用累计概率霍夫变换算法对标线的检测,以期实现在复杂的公路交通环境下,可以实时对驾驶人员发出预警,提示驾驶员安全的行车区域、有效地避免意外事故的发生[5?6],提高安全驾驶的可靠性。
针对公路标线图像的特点和实际环境条件,提出如图1所示的系统流程结构框图。
对于一幅待处理的公路图像,本研究所关注的重点是公路上的车道标线,所以只对图像中的关注区域(Region of Interest,RoI)[7]进行处理。
RoI是确定需要着重处理的图像区域,明确RoI以便有针对性地进行处理,同时简化系统目标的识别过程,并减少处理时间。为了有效地分析处理,针对公路车道标线图像的特点进行采集提取。提取效果如图2所示。
为了将图像信号中的噪声波段挑出来去掉,滤波就是一种十分重要的抑制噪声的手段[8?10],通过滤波可以尽可能地防止噪声的干扰。线性滤波处理过程为:
为了能更好地进行对比,增加辨识度,本研究将图3中不同滤波方法检测的结果对应地展示为边缘检测后的结果,如图4所示。
线性滤波易于实现,对高斯噪声的滤除成效显著。但是当噪声变成散粒噪声后,线性滤波就基本上失去了作用。例如,对突然出现的较高值,线性滤波就只能把它缓解下来而不能彻底消除。因此就显出了非线性滤波[13]的重要作用。
对图3以及图4的4幅图像进行比较,可知对于每个单独使用的滤波方式,其处理效果差别很小,基本保持在同一层次。
因此,本研究考虑使用中值滤波和双边滤波等多种滤波方式相结合的多重综合滤波方法对图像进行边缘检测分析,并采用相关像素运算处理法以增强处理效果。
同样为了更明显地表示出滤波效果,对图5中的结果进行相应的边缘检测处理,结果如图6所示。比对图5和图6以及使用单个滤波器的图3,图4,尤其是图6与图4的比对中,可以明显地看出,本研究所采用的多重综合滤波方法使除噪效果有了显著的改善。
公路标线与路面有较明显的边界,而且标线的形状十分规则,分辨起来比较有规律。通过对公路图像进行Canny边缘检测[14],可以将标线的边界分离出来。利用概率霍夫变换[15?18]进行标线识别,以确定标线的位置,并进行标记。
霍夫变换(Hough Transform)的原理:一条直线在[2?D]空间里的表达形式有多种。对于霍夫变换,通过由极径和极角[(r,θ)]表示的极坐标系形式表示的直线如图7所示。
在极坐标系中,画出全部通过定点[(x0,y0)]的直线,得到一条正弦曲线如图8所示(部分曲线)。
对图像中全部的点进行上述操作,针对两个不同的点,如果得到的曲线在极坐标系相交,说明它们通过同一条直线。
如图9所示,三条曲线相交,交点坐标表示的是平面内参数对[θ?r] 构成的直线。
通常情况下,可以通过在平面[θ?r]上寻找相交于定点曲线的数量来检测直线。经过某一点的曲线越多,说明经过该点的直线上的点越多。本研究设置通过定点的曲线数量作为阈值,该阈值表示只有大于该值时,才认为检测到了一条直线。
霍夫变换要检测图像中每个点。当交于一点的曲线数量大于阈值时就会被标记出来。表明这个点表示的参数对[(rθ,θ)]在原图像中是一条直线。这种算法就是标准霍夫变换(Standard Hough Transform),能提供一组参数对[(rθ,θ)]的集合来表示检测到的直线。
使用标准霍夫变换法进行标线识别标记的结果如图10所示。
从图10可以看出,公路中的标线被有效地标识了出来。但是经分析判断,标准霍夫变换法不能检测出公路标线的两个端点,所以无法识别出公路标线中的虚标线类型。
本质上,标准霍夫变换是在它的参数空间上将目标映射出来,需要计算所有的[M]个特征点,因此计算量大、耗时多,无法实现对公路标线的实时检测与识别。针对上述问题提出一种算法,即考虑只解决[m(m 累计概率霍夫变换法是执行起来效率更高的霍夫变换。它输出检测到的直线的端点[(x0,y0,x1,y1)]只在一定范围内进行霍夫变换,从而减少计算量,缩短计算时间,不仅效率得到提高,而且可以检测出直线的两端。 累计概率霍夫变换算法流程图如图11所示,其主要流程步骤如下: 1) 随机抽取一个目标的特征点,也就是目标的边缘点。若此点已被标记,那么就在余下的特征点中继续选择,直到所有边缘点都抽取完。 2) 对该点实行霍夫变换,然后进行累加并计算。 3) 选择霍夫空间内数值最大的点。假如该点的数值小于预先设定的阈值,则返回到步骤1),否则继续执行以下步骤。 4) 通过霍夫变换获得最大值点。从该点出发,沿直线的方向移动,直到寻找到直线的两个端点。 5) 计算检测出的直线长度。如果长度大于预先给定的阈值,就作为良好的直线输出结果。 采用累计概率霍夫变换法进行公路标线的检测与识别,其识别标记出的结果如图12所示。 对于标准公路,本研究采用累计概率霍夫变换法对公路车道标线进行检测,能够检测出目标的两个端点。这就是本文方法最重要的特点。3 公路视频处理及标线识别
根据本系统所要识别目标的特点以及系统流程框图,将视频中提取出帧图像的目标识别作为实用性研究的主要方面。
通过直接调用视频以实现对图像的采集过程。需特别注意的是,须在提取视频的同时设置所需的主要参数,包括帧率、编码解码、文件名等。另外,待处理的图像尺寸须与提取视频时指定的尺寸一致。
选择的编码解码格式为MJPG,定义输出的视频大小为320×240 。结合图像识别处理过程,最终可以实现对视频的提取和标识,如图13所示。
从整个视频中截取一帧视图如图13a)所示,考虑到现实中的视角,在每一帧中只分析下半部分的区域,如图13b)所示。
本研究的过程分为两部分:首先是对单一图像的标线分析识别;其次是对视频的标线识别。通过本研究的提案,对车道标线的识别达到了清晰准确的效果。
针对城市中的一般公路,对车道标线识别的结果如图14a)所示。继续行驶一段距离改变视野后,再次进行图像分析处理,车道标线识别的结果如图14b)所示。
从图14a)中可以看到:本研究所提出的方法可以将图像区域内的标线准确、清晰地标记出来,同时虚标线的两端也能够有效地识别出来。根据阈值的设置,在检查目标时会排除低于阈值的目标,或者将与目标对象相似的伪目标误判为真实目标而被标记出来,这样会导致识别结果的偏差。如图14a),在识别区域的右上角存在一段被标记的伪目标,而在识别区域视野最远处的虚标线并没有被标记,这说明系统在这两处跟踪查找目标时出现了小范围的波动。
实际上,图像视野中越远的地方,标线显现得越细越短。对虚标线而言这种特征更明显。所以可以认为,即使视野识别区域最远处的虚标线偶然出现误判和漏判不能完全标记出,但是对比图14b),最远处的虚线在车辆向前行驶一段距离后,这种漏判或误判就会被重新识别出来。因此从实际识别效果上判断,完全不会影响到本系统的可行性和有效性。
经过反复测试实验,在不同的拍摄角度和公路环境中,对标线的整体识别达到了精准、良好的效果。
通过对视频样本的测试,最终可以实现对公路视频中的车道标线进行跟踪标识。在输出的视频中,可以看到对目标的标记具有一定的连贯性,而且在普通公路和高速路环境中对目标识别的误判漏判现象少、识别的精确性高。
不同环境下公路标线视频图像及其跟踪识别的结果如图15所示。图15a)和图15c)为普通城市公路,图15e)为高速公路环境。如图15b)、图15d)、图15f)所示,从识别结果中可以清楚地看出识别效果。对于实线和虚线的车道标线能够明确地辨别和跟踪,并进行实时标记。在普通城市公路(图15a),图15c))和高速公路(图15e))的不同道路环境下进行测试实验,其结果表明本研究具有广泛性和实用性。
此外,在光照方面,从图15e)和图15f)中判断,系统在阴天光照较弱的环境下也可对目标进行准确地跟踪与识别,可见本系统对光线的适应性良好。
本研究实现了对公路交通静态目标车道标线的自动识别。提出将累计概率霍夫变换法作为本课题研究的核心算法,可以有效地辨析识别出标线目标图像,尤其是对于出现的虚线车道,可以准确地判断出其标线的两端。
同时,结合标线识别的具体特点,通过对图像检测算法进行分析比较,采用Canny算法进行标线的边缘检测,并对检测出来的目标进行标记输出,实现了对公路标线的跟踪标识。
通过对普通公路和高速路环境下车道标线图像的目标跟踪和识别系统的研究,充分表明所提出并采用的累計概率霍夫变换法在公路交通图像识别应用的有效性和实用性。
参考文献
[1] 何鹏.我国智能交通系统技术发展现状与展望[J].建筑工程技术与设计,2016,13(5):3377.
HE Peng. Present situation and prospect of intelligent transportation system technology in China [J]. Building engineering technology and design, 2016, 13(5): 3377.
[2] 潘琪.智能交通:促进城市交通可持续发展的最佳途径[J].综合运输,2010(7):85?89.
PAN Qi. Intelligent transportation: the best way to promote the sustainable development of transportation [J]. Integrated transport, 2010(7): 85?89.
[3] 金茂菁.我国智能交通系统技术发展现状及展望[J].交通信息与安全,2012,30(5):1?5.
JIN Maojing. The development of intelligent transportation system [J]. Traffic information and security, 2012, 30(5): 1?5.
[4] LI Y, TAKEZAWA H, SUZUKI M, et al. Prediction of fish motion by neural network [C]// The 3rd International Symposium on Autonomous Minirobots for Research and Edutainment. [S.l.]: Springer, 2005: 217?222.
[5] 徐杰.智能车辆视觉导航中公路边界识别技术的研究[D].长春:吉林大学,2001.
XU Jie. Research on highway boundary recognition technology in intelligent vehicle vision navigation [D]. Changchun: Jilin University, 2001.
[6] 邢艳云.强光照条件下车道标识线识别与跟踪算法研究[D].长春:吉林大学,2006.
XING Yanyun. Study on lane mark identification and tracking algorithm under illumination [D]. Changchun: Jilin University, 2006.
[7] 李业伟.基于感兴趣区域的图像处理算法研究[D].济南:山东师范大学,2012.
LI Yewei. Study on image processing algorithms based on the region of interest [D]. Jinan: Shandong Normal University, 2012.
[8] 李龙光,苏静,韩海伦,等.不同光照条件下二值化技术研究及应用[J].电子世界,2015(20):145?149.
LI Longguang, SU Jing, HAN Hailun, et al. Research and application of two value technology under different illumination conditions [J]. Electronic world journal, 2015(20): 145?149.
[9] 杨立敬,刘鑫,朱双东.基于颜色分量补偿的交通标志图像预处理[J].计算机工程与应用,2008,44(36):184?186.
YANG Lijing, LIU Xin, ZHU Shuangdong. Traffic sign image preprocessing based on color component compensation [J]. Computer engineering and applications, 2008, 44(36): 184?186.
[10] 陈君.滤波技术研究[J].工业控制计算机,2014,27(12):157?158.
CHEN Jun. Research on filtering technology [J]. Journal of industrial control computer technology, 2014, 27(12): 157?158.
[11] 江莉.基于多尺度空间分析的图像模糊测量方法研究[D].成都:西华大学,2014.
JIANG Li. Research on image fuzzy measurement based on multi?scale spatial analysis [D]. Chengdu: Xihua University, 2014.
[12] 李俊生.图像非线性滤波技术的研究[J].常州工学院学报,2005,18(2):21?23.
LI Junsheng. Research on image nonlinear filtering technology [J]. Journal of Changzhou Institute of Technology, 2005, 18(2): 21?23.
[13] 吕风君.数字图像处理编程入门[M].北京:清华大学出版社,1999.
L? Fengjun. Introduction to digital image processing programming [M]. Beijing: Tsinghua University Press, 1999.
[14] 赵吉广.基于视频图像的路面性能参数采集方法研究[D].南京:东南大学,2006.
ZHAO Jiguang. Research on the method of pavement performance parameter collection based on video image [D]. Nanjing: Southeast University, 2006.
[15] 杨喜宁,段建民,高德芝,等.基于改进Hough变换的车道线检测技术[J].计算机测量与控制,2010,18(2):292?294.
YANG Xining, DUAN Jianmin, GAO Dezhi, et al. Lane detection technology based on improved Hough transform [J]. Computer measurement and control, 2010, 18(2): 292?294.
[16] YU Zhiding, ZHANG Wende, VIJAYA KUMAR B V K, et al. Structured Hough voting for vision?based highway border detection [C]// 2015 IEEE Winter Conference on Applications of Computer Vision. Waikoloa: IEEE, 2015: 246?253.
[17] SAYANAN Sivaraman, MOHAN Manubhai Trivedi. Looking at vehicles on the road: a survey of vision?based vehicle detection, tracking, and behavior analysis [J]. IEEE transactions on intelligent transportation systems, 2013, 14(4): 1773?1795.
[18] 冯伟兴,贺博.Visual C++数字图像模式识别技术详解[M].北京:机械工业出版社,2013.
FENG Weixing, HE Bo. Detailed Visual C++ digital image pattern recognition technology [M]. Beijing: Mechanical Industry Press, 2013.