基于图像去雾和图像检测的交通信息提取算法

徐 军, 王秀艳， 张晓宇

(华北科技学院 电信工程学院, 河北燕郊 065201)



基于图像去雾和图像检测的交通信息提取算法

徐 军, 王秀艳， 张晓宇

(华北科技学院 电信工程学院, 河北燕郊 065201)

基于图像拍摄成像过程中雾霾天气及相机抖动，提出了一种从单幅图像中移除未知相机抖动的算法，利用图像的形状特征、颜色特征、纹理特征及Hough变换，可以有效地识别交通信号灯、障碍物及道路。利用先近后远，先简单后复杂的原则，设计了一种基于图像去雾和图像检测的交通信息提取算法。算法首先进行图像预处理，然后对图像进行边缘检测，获得每个物体的多边形轮廓；然后根据物体特征分别利用不同算法对物体进行分类。实验结果表明，算法可以有效地对实时环境中包括道路、车、行人、盲道、斑马线、交通灯类型等物体识别，图像检测算法可以满足导盲的要求。

图像去雾； 电子导盲； 边缘检测； 图像检测； 交通信息

0 引 言

本文交通信息的提取需要解决的目标识别分为:交通信号灯的识别;障碍物的识别;斑马线的识别和盲道的识别。对交通标志识别的提取算法既要考虑实时性和精度的平衡，又要考虑交通标志图像具有规范性和标准性特点。障碍物的识别包括：人及动物、沟、坎、楼梯、建筑物、机械设备等一切静态存在的物体，汽车、自行车等一切运动中的物体。

对目标物体的提取主要用图像分割。图像分割是将图像中有意义的特征部分提取出来，包括图像中的边缘、区域等，以便进行图像识别、分析和理解。图像分割的方法很多，基于边缘的分割方法主要是基于区域边界的像素灰度值变化往往比较剧烈，首先检测图像中的边缘点，再按一定策略连接成轮廓，从而构成分割区域。最简单的边缘检测方法是并行微分算子，它利用相邻区域的像素值不连续性，采用一阶或二阶导数来检测边缘点，常用的一阶导数算子有梯度算子、Prewitt算子和Sobel算子，二阶导数算子有Laplacian算子，Kirsch算子和Wallis算子等非线性算子。另外，还有基于曲面拟合的方法，将灰度看成高度，用一个曲面来拟和一贯小窗口内的数据，然后根据该曲面决定边缘点。基于边界曲线拟合的方法，将平面曲线表示不同区域之间的图像边界线，根据图像梯度等信息找出能正确表示边界的曲线，基于形变模型的方法，它综合利用了区域与边界信息，通过使用图像的约束信息和目标的位置、大小和形状等先验知识，进行分割、匹配和跟踪分析；基于区域的图像分割方法，有直方图转换法、基于二阶灰度统计的方法、松弛法已及基于过渡区域提取的分割方法等。

在进行图像分割前，由于拍照的种种因素，需要先进行图像预处理。雾天条件下的图像具有对比度下降、物体不清晰、颜色变暗淡等缺陷；在晴朗天气条件下成像，由于大气散射作用，相片的清晰度同样受到影响。另外，由于相机抖动的因素，图像具有抖动模糊。

1 图像预处理

路面交通信息提取主要为无人驾驶、辅助驾驶及导盲者。图像拍摄环境为高速行驶的车辆或者视力障碍者穿戴。因此图像具有抖动的特点，在检测前需要进行去抖动模糊的处理，另外拍摄的气象条件具有雾霾、阴雨天气的情况，因此需要进行去雾霾处理。

目前对于雾天图像的处理方法主要有雾天图像增强和雾天图像复原。文献[15]中用以下物理模型来描述雾霾等对图像造成的影响，

其中：x为图像像素的空间左标；H是观察到的有雾图像；F是待恢复的无雾图像；r表示大气散射系数；d代表景物深度；A是全局大气光，通常情况下假设为全局常量；F(x)e-rd(x)表示景物表面的反射光在介质中传播时因散射等作用而衰减；A(1-e-rd(x))称为环境光或大气光幕，它导致图像色彩和亮度的偏移。设：

则有

估计出环境光L(x)和全局大气光A后，则可恢复出图像，

其关键步骤为求大气透射率用了一个调节参数，这个需要根据先验知识，在算法中固定，选择合适的调节参数，来平衡图像去雾效果和对原图质量的干扰。另外对有雾图像进行了均值滤波。

文献[3]中提出了基于一种简单但有效的图像先验规律——暗原色先验来作为单一图像去雾。造成暗原色中低通道值主要有：① 汽车、建筑物和窗户玻璃的阴影，或者树叶、树和其他自然景观的投影；② 色彩鲜艳的物体或表面，在RGB的3个通道中有些通道的值很低；③ 颜色较暗的物体或者表面，例如灰暗的树干和石头。对于任意的输入图像J，其暗通道可以用下面模型表达：

其中:JC表示彩色图像的每个通道;Ω(x)表示以像素x为中心的一个窗口。暗通道先验理论指出Jdark→0,

其中:I(x)为已有图像;J(x)为要恢复的图像;t(x)为透射率;A为大气光成分。

对RGB三通道来说，有：

其中，C表示R、G、B 3个通道。然后根据视觉要求保留一定程度的雾，求出透射率的预估值，ω由先验得到，0<ω<1，通常取0.95。在算法中假设A是全局大气光为已知的。在应用中，通过有雾图像获取该值。方法为从暗通道图中按照亮度的大小取前0.1%的像素，在这些位置中，有雾图像中寻找具有最高亮度的点的值，作为A值。这样，恢复出的图像为

可见这两种算法均依赖于物理模型，

算法的区别在于求取透射率和全局大气光A的方法不同，同时算法复杂度也不同。

Rob Fergus等[16]提出了从单幅图像中移除未知相机抖动的算法，其思路是利用自然图像的灰度具有特殊统计分布作为先验。

抖动时，成像后的每一个像素包含被摄物体多个点的信息，从而导致图像模糊。点扩散函数为点光源的光场分布。能够描述抖动模糊图像与被摄物体间的对应关系，本文根据：① 扩散函数关于中心点对称；② 假设抖动为变速运动的先验性假设，提出了一种抖动模糊的图像恢复算法。

设点扩散函数为h(x,y)，抖动区域为以L为半径的圆型区域，抖动位移像素数为π(L/2)2。其点扩散函数为

采用维纳滤波法,可由下式表示：

其中：G(x,y)，h(x,y)，F(x,y)分别为抖动模糊图像、抖动图像点扩散函数及恢复图像的傅里叶变换；h0取0.5。对F(x,y)进行傅里叶反变换，可得到恢复图像。

2 交通信息提取及分类

交通信息包含交通标志、斑马线、盲道及障碍物等。近年来，国内外出现了许多信号灯的识别方法，信号灯识别的研究主要有：① 信号灯的特征，包括信号灯的颜色特征和形状特征；② 机器学习。以颜色特征来识别的算法有：基于HIS颜色空间，基于HSS颜色空间，基于RGB颜色空间，基于RGB空间相似距离，Lab颜色空间等等。以形状特征来识别的算法有：候选区域圆形度，候选区域圆形的标准差，hough变换检测圆，候选区域的矩形度，利用信号灯矩形背板来进行模板匹配，利用信号灯杆的几何形状信息。采用基于分类器的机器学习主要有两种：文献[13]中提取信号灯的局部二值特征，只识别了圆形信号灯，还有一种采用小波变换和分类器识别箭头形信号灯，但处理时间达到152ms。不能满足实时性要求。

交通信号灯的识别包括颜色提取、颜色增强及区域过滤。颜色颜色增强为了使目标颜色对比度更强。区域过滤是为了降低干扰物对信号漏检及误检比率，在确定目标区域后依次遍历图像中所有轮廓，根据轮廓特征进行过滤，得到符合信号灯特征的图像区域。区域过滤设置3个条件，即面积、形状、颜色比重，只有同时符合3种条件的目标图像才为信号灯类型。面积条件：求取区域内所有轮廓的面积。假定图象有N个侯选区域，记为Ri，i=1,2，…，N，Ai表示轮廓面积。如果2π(ri-1)≤Ai≤2π(ri+1)，则满足面积条件，其中ri表示轮廓区域中心点到边界的平均距离。形状条件：对每个轮廓求其外接矩形，其外接矩形的宽高比大于0.8小于1.2。颜色比重条件：每个轮廓的颜色比重

如果pi≥0.7，则符合条件。符合以上3种条件的为圆形信号灯，如果仅面积条件符合，

α为标准中箭头型信号灯面积与圆形信号灯面积之比，且pi≥0.3，则为箭头型信号灯。

道路斑马线由一组黑白交替、等间隔的条形带构成。斑马线区域最显著的特征就是具有很强烈的灰度对比度和规律性。道路斑马线是重要的交通安全标志，Mohammad等通过分析斑马线的间隔、方向和斑马带条数等指标来判定图像中是否有斑马线。文献[14]中通过引入一个表征灰度图像对比度的双极系数突出斑马线区域，并对双极系统图像进行消噪和形态学处理，利用原图像和Randon变换域图像的关系，通过变换域特征提取后重建斑马线，以判定图像中是否存在斑马线。

盲道的两条边界线在实际中为一组平行的直线，但由于图像中有透射的因素，因此在图像中表现为梯形形状。盲道铺设砖的颜色为黄色，并且有明显的凸起纹理。标准盲道或接近标准的盲道可以通过颜色区域差异进行图像分割。通过分析盲道纹理与人行道的不同，利用基于纹理分割的方法或利用Hough直线检测直接找出盲道边界。

透水砖对小雨和中雨有一定的下渗效果，但如果是短历时暴雨，透水砖则来不及下渗。我国北方缺水城市年降水的绝大部分在汛期，一半以上的降水是大雨或者暴雨。所以透水砖有一定效果，但只能起辅助作用。另外，受人为活动等影响，透水砖的透水空隙随着时间的增加会出现堵塞，失去透水性能。

3 基于图像去雾和图像检测的交通信息提取

在处理图像的物体类型时，遵循先近后远，也就是图像中从最下方的目标开始处理，先运动目标后静止目标的原则进行。在目标物体判断方面，先复杂度低的算法，以满足实时地要求。

由于要识别的目标物体的光照度、背景、边缘效应、天气条件等成像条件差异很大。本文提出了一种根据不同目标类别的图像分割算法。算法描述如下：

(1) 图像预处理，对图像进行图像去雾、图像去抖动、图像增强；

(2) 图像Sobel算子进行边缘检测。

(3) 利用多边形包含关系[2]获得每个物体的多边形轮廓。

(4) 对多边形轮廓中的每一类物体，进行目标物体分类。

(5) 如果为交通信号灯及箭头标志，判断交通灯类型，读取信号灯时间，转第(4)步。

(6) 如果不是，利用Hough变换判断是否为斑马线，是则转第(4)步。如果不是，是否为盲道，是则转第(4)步，如果不是，利用纹理识别[2]的方法判断是否为盲道，是则转第(4)步。利用Mean Shift算法进行图像分割，判断是否为道路，转第(4)步。否则判断为障碍物，利用纹理识别[2]和多边形判断方法识别障碍物轮廓。

(7) 多边形轮廓中的物体未检出完，转第(4)步。

(8) 生成交通信息并存储。为了生成历史先验交通信息。供导盲系统的利用先验数据进行路径规划用。

4 实验结果

图2中比较了图像分割算法。分水岭分割算法接近于均值漂移算法，金字塔分割算法需要很长的时间。值得注意的是分水岭算法对标记很敏感，需要仔细而认真的绘制，金字塔算法用时2 189 ms;均值漂移分割算法用时492 ms；本文算法用时386 ms。另外采用Meanshift算法并未把细节分割开，而本文算法能够识别细节。特别对光照条件不好的复杂图象，本文算法优点明显。

图3为夜晚的十字路口，可以看到系统能较好地识别车灯及斑马线，交通灯和车灯等物体较好地识别，但斑马线模糊。图4为标准的禁令标志图像，图5为采用本文算法识别的图像。图6为简单道路识别。图7为抖动效果图，可见抖动的去除效果明显。

(a) 原图

(b) 文献[15]算法

(c) 本文算法

图1 去雾效果图

(a) 原始图象

(b) Meanshift算法

(c) 本文算法

图2 图像分割图

(a) 原始图像

(b) 识别图

图3 夜晚的交通灯的识别

5 结 语

本文较好地识别了道路、信号灯及障碍物。但对障碍物的类别进行分类和障碍物距离较精确的定位还需要进一步研究，另外在复杂环境下物体识别的精确程度及实时性能有待提高。

图4 警示标志识别(原始图像)

图5 警示标志识别(检测图像)

(a) 原始图像

(b) 识别图

图6 道路识别

(a) 原图

(b) 效果图

图7 去抖动效果图

[1] 王爱明,沈兰荪. 图像分割研究综述[J].测控技术, 2000, 19(5):1-16.

[2] 徐 军,叶澄清.一个基于多边形轮廓的图像合成方法[J].自动化学报,2002,28(5):811-815.

[3] Kaiming He, Jian Sun, Xiaoou Tang. Single Image Haze Removal using Dark Channel Prior[C]∥IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2009.

[4] 武 莹,张小宁,何 斌.基于图像处理的交通信号灯识别方法[J],交通信息与安全.2011,29(3):51-54.

[5] 赵志帅.基于彩色图像处理的铁路信号灯识别及其测距技术研究[D].武汉：武汉理工大学,2010

[6] Choi Ahn B T, Kweon I S. Crosswalk and traffic light detection via integral framework[C]∥2013 19thKorea-Japan Joint Workshop on Frontiers of Computer Vision. IEEE,2013:309-312.

[7] Yu C,Huang C, Lang Y. Traffic Light Detection During Day and Night Conditions by a Camera[C]∥2010 IEEE 10thInternational Conference on Signal Processing. 2010:821-824.

[8] Diaz-Cabrera M, Cerri P, Sanchez-Medina J. Suspended Traffic Lights Detection and Distance Estimation Using Color Features[C]∥2012 15thInternational IEEE Conference on Intelligent Transportation Systems. 2012:1315-1320.

[9] 赵 珊, 安志勇, 周利华. 基于颜色矢量角的彩色图像检索算法研究[ J] . 红外技术, 2006, 28( 8) : 460- 465.

[10] 王 鹏,郑光宇,宋开亮.一种新的基于图像识别技术的信号灯识别算法[J].兵工自动化,2009,28(3):73-75.

[11] Yelal M R, Sasi S, Sharrer G R,etal. Color-based sigal light tracking in real-time video[C]∥Proceedings of the IEEE International Conference on Video and Signal Based Surverillance.2006:67-69.

[12] 谷明琴,蔡自兴,李 仪.应用圆形度和颜色直方图的交通信号灯识别[J].计算机工程与设计 ,2012 ,33(1): 243-247.

[13] 谷明琴,蔡自兴,黄振威,等.城市环境下箭头型交通信号灯的实时识别算法[J].中南大学学报(自然科学版),2013,44(4):1403-1408.

[14] 曹玉珍,刘 刚，杨海峰.导盲系统中的道路斑马线识别方法[J].计算机工程与应用,2008,44(15):176-179.

[15] 刘 倩,陈茂银,周东华.基于单幅图像的快速去雾算法[C]∥第25届中国控制与决策会议论文集,2013.

[16] Fergus Singh B,Hertzmann A.Removing camera shake from a single photograph[J].ACM Transactions on Graphics,2006,25(3):787-794.

Traffic Information Extraction Algorithm Based on Image Dehazing and Image Detection

XUJun,WANGXiu-yan,ZHANGXiao-yu

(School of Telecommunications Engineering, North China Institute of Science and Technology, Yanjiao 065201, China)

The key problems of traffic information are the haze weather and camera shake appeared in the imaging process. To solve these problems, an algorithm is proposed to remove the unknown camera shake from a single image. By using shape features, color features, texture features and Hough transform, the algorithm can effectively identify the traffic signal lamp, obstacles and road. Finally, by the near-first, brief-first principles, an image to the fog and traffic information extraction algorithm is designed based on image detection. The algorithm firstly makes pre-processing of image, and then detects the image edge and obtains polygon contour for each object, at last depends on each object characteristic to use different algorithms to classify objects. The experimental results show that the algorithm can process many objects effectively including road, vehicle, pedestrian, blind path, zebra crossing, the traffic lights types. In real-time environment, the image detection algorithm can satisfy the requirements.

image dehazing； electronic guide system； edge detection； image detection； traffic information

2015-02-28

国家自然科学基金(61304024); 中央高校基本业务经费(DX1201A)项目

徐 军(1970-)，男，湖南新宁人，博士，高级工程师，副教授,研究方向，移动通信系统，嵌入式系统，数字图像处理。

Tel.13681025976; E-mail:jtcembx@sina.com

TP 391.41

A

1006-7167(2015)12-0009-04