基于显著性特征的交通信号灯检测和识别∗

许明文 张重阳

（南京理工大学计算机科学与工程学院南京210094）

基于显著性特征的交通信号灯检测和识别∗

许明文 张重阳

（南京理工大学计算机科学与工程学院南京210094）

提出一种基于显著性特征的交通信号灯检测方法，并通过SVM分类器进行识别。首先，对低分辨率图像生成颜色、亮度和边缘特征图并融合成显著图。其次，获取交通信号灯候选区域，利用交通信号灯的几何特征和颜色特征过滤噪点。然后，提取交通信号灯目标，得到只包含单个箭头灯、圆灯和数字灯的区域。最后，提取检测区域的HOG特征，通过SVM分类器进行识别。实验结果表明，该算法检测率和识别率均超过97%。

显著图；交通灯检测；交通灯识别；交通数字灯；图像检测

Class NumberTP391

1 引言

交通信号灯检测和识别系统是无人驾驶和辅助驾驶系统的重要组成部分，针对交通灯检测和识别的研究受到了许多国内外研究者的关注。Masa⁃ko和Shinichiro提出RGB颜色分割后通过Hough变换检测圆形的方法检测圆形交通信号灯［1］，该方法仅仅适用于圆形信号灯，无法检测箭头型和数字型信号灯。Gong Jianwei等在HSV颜色空间下分割图像［2］，并利用跟踪算法对交通灯区域进行跟踪，该方法在较为复杂环境中检测和识别率不高。徐成等提出基于Lab色彩空间和模板匹配的方法［3］，由于其模板是人为生成的，匹配程度不高。谷明琴等提出先用颜色分割和形态滤波定位交通灯灯板［4］，然后将灯板区域在YCbCr颜色空间下分割，得出候选区域，再用二维Gabor小波变换和二维独立分量分析提取特征，最后用最邻近分类器分类。该方法中定位灯板区域时容易受到背景干扰，造成漏检。S.Sathiya提出一种识别单个数字信号灯的方法［6］，通过计算二值化之后的目标区域中七个子区域是否为有效区域作为特征进行分类，该方法对于过爆和灯周围存在光晕的情况下检测识别效果不佳。Levinson J等提出基于先验GPS地图的检测方法［7］，首先建立先验GPS地图，根据先验地图和当前GPS位置信息计算出交通灯出现在图像中的位置，从而达到定位目的，但是该方法前期建立先验地图时需要投入的工作量太大。针对不同天气、光照和复杂背景下漏检率较高，以及交通信号灯检测类型不全面等问题，本文提出了一种基于显著性特征的交通信号灯检测和识别方法，该方法首先生成低分辨率图像的显著图，其次，分割出候选区域，利用交通信号灯HSV颜色特征和几何特征过滤噪声。然后，对同时包含两个数字的信号灯区域进行分割，提取出只包含单个箭头灯、圆灯和数字灯的目标区域。最后提取区域的HOG特征，利用SVM分类器进行分类。

2 基于显著性特征的交通信号灯检测

由于自然场景下，光照和背景大不相同，因此，交通信号灯检测中的关键问题之一就是如何快速准确定位交通信号灯位置。显著性检测模拟了人类视觉可以迅速准确定位到少数重要的视觉对象上的特点［8］，所以可以通过生成显著图的方法快速定位到交通信号灯区域，再对感兴趣区域进行后续处理。图1是本文检测交通灯的基本流程。

图1算法流程

2.1 生成颜色、亮度、边缘显著图

本文根据交通信号灯特点，生成颜色、亮度、边缘特征图。为了降低处理时间复杂度，将原图利用双线性插值法降到1/4尺度，在该尺度上生成相应特征图。并融合得到显著图。

颜色特征图（SC）：对图像进行高斯平滑，根据交通灯颜色特点生成红色和绿色特征图，再融合成颜色特征图。

亮度特征图（SI）：取R、G、B分量最大值作为亮度值。

边缘特征图（SE）：Gabor滤波器是一个用于边缘检测的线性滤波器，对亮度特征图进行0°，45°，90°，135°四个方向的Gabor滤波，生成边缘特征图SE。Gabor滤波复数表达为

其中

将SC，SI，SE归一化后融合得到显著图S，并将S归一化：

结果如图2（b）所示。

2.2 获取候选区域

对显著图使用固定阈值进行初步分割得到特征显著区域。分割结果中大部分交通灯区域可以形成单连通区域（如图3（b）中的数字0和6，以及图3（e）中的数字1，其中如图3（b）所示的两个数字包含在一个单连通区域的情况需要通过后续处理将两个数字分开），而少数信号灯区域分割后会出现断开的情况从而无法形成单个连通域（如图3（e）中的数字9），为了解决此问题，对初步分割后的二值图进行形态学闭操作，重新获取感兴趣区域后，对显著图相应区域进行二次分割，形成新的二值图。本文选取的二次分割阈值是T=M-n×SD，其中M为区域的均值，SD为标准差；n为多次试验的经验值，本文取0.5。二次分割结果如图3（c）和图3（f）所示，可以看出，二次分割后信号灯断开无法形成单连通区域的问题得到很好解决。

图3形态学处理和阈值分割

2.3 几何特征和颜色特征过滤

由于新的二值图分割出的候选区域中有许多噪点，需要根据交通信号灯的几何特征和颜色特征对噪点进行过滤。记候选区域R1，其外接矩形宽（W）、高（H）、面积（A1）需要满足条件：

经过几何特征过滤后，满足条件的区域映射到原尺度，将原图区域转换到HSV颜色空间［2］，统计该区域内符合红灯，黄灯，绿灯区间的有效像素个数CR、CG、CY，分割阈值见表1。记原图区域为R2。

表1 HSV颜色阈值

R2中有效像素个数C=CR+CG+CY，R2的面积记为A2，如果有效像素个数达到一定比例，即满足条件C/A2＞T，则认为R2是交通灯区域。再根据CR、CG、CY所占像素比例判断灯颜色。

2.4 提取交通信号灯目标

为了利于识别，需要提取单个信号灯目标，得到只包含单个箭头灯、圆灯和数字灯的区域。而在阴雨天或者光照较弱时，交通灯发光区域周围会在图像中呈现出明显的光晕现象，导致检测过程中两个数字常常被检测为一个单连通区域，如图3（a）～图3（c），需要将这种情况的信号灯区域分割开，提取两个只包含单个数字的区域。本文采用基于投影的方法进行分割。首先将原图候选区域转为灰度图，然后根据OTSU（最大类间方差）［9］阈值将灰度图二值化，如图4（b），统计二值化之后区域的垂直方向投影值，如图4（c），再根据投影结果提取只包含单个数字的区域。

图4数字分割过程和投影结果

3 基于HOG和SVM的交通信号灯识别

3.1 HOG特征提取

梯度方向直方图（Histogram of Oriented Gradi⁃ent，HOG）［10］通过计算图像梯度方向信息的统计值作为特征值。将图像分割成多个小的连接区域Cell，多个Cell组成一个块Block，计算每一像素点的梯度方向，点（x，y）处的梯度幅值和梯度方向为

其中Gx(x，y)和Gy(x，y)表示点(x，y)处的水平方向梯度和垂直方向梯度。然后按梯度方向统计bin值，形成每个Cell特征向量。再将一个块内的Cell特征向量串联起来并归一化组成Block的HOG描述符，将所有Block的HOG描述符组合在一起形成最终的特征向量。本文首先将检测出的结果区域统一到32*32大小，Block大小设为8*8，Cell大小设为4*4，统计每个Cell内9个方向的梯度直方图。

3.2 SVM分类器

SVM（支持向量机）分类器是有限训练样本下机器学习的常用方法，其输出是一个最优分类面［10］。分类面表达式为

其中β0为偏置，β为权重向量。求最优化分类面即为求：

限制条件为

其中yi为表示样本类别标记。

4 实验结果与分析

本文使用搭载高分辨率工业相机的无人驾驶汽车采集图像，分辨率为2448×2050。采集不同天气不同时间段的视频序列，选取其中2700帧共7719个交通信号灯和数字灯作为训练集，2697帧共7626个交通信号灯和数字灯作为测试集。表2显示和本文和文献［13］的算法实验结果比较，文献［9］采用RGB颜色初步分割，利用交通灯及背板的颜色和几何特征过滤噪声，取水平和垂直方向投影值作为特征，然后利用最近邻分类器进行分类的方法识别箭头灯和圆灯，将其识别方法同时运用到数字型信号灯的识别以作为比较。

表2 实验结果

本文运用显著性特征，融合了交通信号灯和数字灯的颜色、亮度和边缘特征，而非单一的颜色特征，在不同天气和光照条件下取得了较好的检测效果。由表2可以看出本文算法检测和识别率均较高，总体检测率达到97.2%，总体识别率达到98.4%。

5 结语

本文提出一种基于显著性特征的检测箭头型、圆形和数字型交通信号灯的方法，并通过SVM分类器进行识别。融合低尺度图像的颜色、亮度、边缘特征图得到显著图。分割得到特征显著区域后，利用形态学处理和二次分割解决了部分信号灯无法形成单连通区域的问题。根据交通灯几何特征和HSV空间颜色特征过滤噪声，确定交通灯位置。采用基于投影的分割方法将部分场景下检测过程中两个数字灯相连的区域分开，提取出单个信号灯目标。相比于常用的颜色分割获取感兴趣区域的方法，通过显著图获取感兴趣区域在不同光照和背景下具有较好的稳定性。最后提取目标HOG特征并利用SVM分类器进行分类。实验结果证明该方法的准确性和稳定性。

［1］Omachi M，Omachi S.Traffic light detection with color and edge information［C］//2009 2nd IEEE International Conference on Computer Science and Information Technol⁃ogy，Washington DC：IEEE，2009.284-287.

［2］徐成，谭乃强，刘彦.基于Lab色彩空间和模板匹配的实时交通信号灯识别算法［J］.计算机应用，2010，30（5）：1251-1254. XU Cheng，TAN Naiqiang，LIU Yan.Traffic lights recog⁃nition algorithm based on Lab color space and template match［J］.Journal of Computer Applications，2010，30（5）：1251-1254.

［3］GONG Jianwei，JIANG Yanhua，XIONG Guangming，et al. The recognition and tracking of traffic lights based on col⁃or segmentation and CAMSHIFT for intelligent vehicles［C］//IEEE Intelligent Vehicles Symposium，San Diego：IEEE，2010：431-435.

［4］谷明琴，蔡自兴，黄振威.城市环境箭头型交通信号灯的实时识别算法［J］.中南大学学报，2013，44（4）：1403-1408. GU Mingqin，CAI Zixing，HUANG Zhenwei，et al.Re⁃al-time arrow traffic light recognition in urban scenes［J］. Journal of Central South University（Science and Technolo⁃gy），2013，44（4）：1403-1408.

［5］S.Sathiya，M.Balasubramanian.Real Time Recognition of Traffic Light and Their SignalCount-Down Timings［C］// IEEE International Conference on Information Communi⁃cation&Embedded Systems，Chennai：IEEE，2014：1-6.

［6］Levinson J，Askeland J.Traffic light mapping，localiza⁃tion，and state detection for autonomous vehicles［C］//In⁃ternationalConferenceonRoboticsandAutomation（ICRA），Shanghai：IEEE，2011：5784-5791.

［7］YING Jie，CHEN Xiaomin，GAO Pengfei，et al.A new traf⁃fic light detection and recognition algorithm for electronic travel aid［C］//Proceedings of 2013 Fourth International Conference on Intelligent Control and Information Process⁃ing，Beijing，China：IEEE，2013：644-648.

［8］鲍蕾，陆建江，李阳，等.基于全局和局部信息融合的图像显著性检测［J］.模式识别与人工智能，2015，28（3）：275-281. BAO Lei，LU Jianjiang，LI Yang，et al.Image Saliency De⁃tection Based on Global and Loacal Information Fusion［J］.Pattern Recognition and Artificial Intelligence，2015，28（3）：275-281.

［9］吴泽峰，张重阳.基于投影特征值的交通信号灯检测与识别方法［J］.现代电子技术，2016，39（9）：160-163. WU Zefeng，ZHANG Chongyang.Traffic lights detection and recognition method based on projection eigenvalue［J］.Modern Electronics Technique，2016，39（9）：160-163.

［10］周宣汝，袁家政，刘宏哲，等.基于HOG特征的交通信号灯实时识别算法研究［J］.计算机科学，2014，41（7）：313-317. ZHOU Xuanru，YUAN Jiazheng，LIU Hongzhe，et al.Re⁃search on Algorithm for Real-time Recognition of Traffic Light Based on HOG Features［J］.Computer Science，2014，41（7）：313-317.

［11］Akhan Almagambetov.Mobile Standards-Based Traffic Light Detection in Assistive Devices for Individualswith Color-Vision Deficiency［J］.IEEE Transactions on Intel⁃ligent Transportation Systems，2015，16（3）：1305-1320.

［12］Andr'es E.G'omez；Francisco A.R.Alencar.Traffic Lights Detection and State Estimation Using Hidden Mar⁃kov.Models［C］//IEEE Intelligent Vehicles Symposium，Dearborn：IEEE，2014：750-75.

Traffic Light Detection and Recognition Based on Salience Map

XU MingwenZHANG Chongyang
（School of Computer Science Engineering，Nanjing University of Science and Technology，Nanjing210094）

An approach for detecting traffic lights is proposed based on salience feature，and recognized by SVM.Firstly，col⁃or，luminance and gabor edge feature map are generated in low resolution resolution of image，and merged into saliency map.Sec⁃ondly，traffic lights candidate region is obtained，and noise is filtered according to geometric and color features of traffic lights. Thirdly，the objects of traffic lights are obtained，the areas which include only one arrow，circle and digit lights are gotten.Lastly，HOG feature and recognizing are extracted by SVM.Experiment results indicate the detection rate and recognition rate of the pro⁃posed method are over 97%.

saliency map，traffic light detection，traffic light recognition，traffic digit light，image detection

TP391

10.3969/j.issn.1672-9722.2017.07.035

2017年1月8日，

2017年2月23日

2013-2016国家自然科学基金重大研究计划集成项目（编号：91220301）：自主驾驶车辆关键技术与集成验证平台资助。

许明文，男，硕士研究生，研究方向：模式识别。张重阳，男，博士，副教授，研究方向：模式识别。