基于色域差分与伽马校正的交通灯识别 

叶茂胜李必军莫柠锴孔格菲

摘要：无人驾驶中交通灯的识别是一项重要任务，提出无人驾驶中基于车载摄像头拍摄的视频序列的交通灯检测和识别技术。通过对图像进行伽马校正，增强图像的对比度和亮度，得到预处理后的图像；通过形态学处理，从而比较准确地提取交通灯的候选区域；计算候选区域的几何特征，保留符合特征的区域作为交通灯区域；在RGB色彩空间内进行色域差分，得到交通灯的色彩信息。

关键词：无人驾驶；伽马校正；几何特征；RGB彩色空间；色域差分

DOIDOI：10.11907/rjdk.161783

中图分类号：TP317.4

文献标识码：A文章编号文章编号：16727800（2016）009015704

基金项目基金项目：国家自然科学基金重点项目（41531177）

作者简介作者简介：李必军（1969-），湖北武汉人，博士，武汉大学测绘遥感信息工程国家重点实验室教授，研究方向为地面激光扫描集成技术、汽车导航技术与智能交通技术。

0引言

计算机视觉在无人驾驶领域发挥了重要作用，它以摄影机和电脑代替人眼对目标进行识别、跟踪和测量，在交通灯、车道线方面有着重要作用。本文主要针对交通灯检测和识别，基于计算机视觉提出了一种基于色域差分和伽马校正的新方法，有效提高了检测的效率和准确性。

过去几年，无人驾驶飞速发展。国内国外的研究团队对交通灯的识别和检测进行了大量的研究工作，谷歌无人车团队[1]更提出了基于地图进行交通灯定位后识别的新思路，传统交通灯检测使用色彩空间转换至HSV空间[210，14]或Lab空间[11]、分类器[37，8，13]、模板匹配[24，10，1213]等方法进行识别。在国内，杨明等[8]提出了基于级联滤波器的交通灯识别，利用RGB空间提取色彩信息，通过级联滤波器过滤非交通灯区域，再利用NCC匹配的方法确定信号灯。但是这种方法在阴雨天气下识别能力不佳，而且有赖于模板的选择，实用性有待提高。谷明琴等[9]提出了基于圆形度和颜色直方图的信号灯识别，利用圆形度特征作为选取候选区域的一个标志，然后将得到的候选区域图像转为HSV空间，统计H分量，识别交通灯的类型。这种方法在对黄灯的识别中，准确性不足，对于候选区域的过滤仅仅利用形状信息，约束性略差。

为了克服上述缺点，本文提出了一种在RGB空间下基于伽马校正以及色域差分的交通灯识别方法。首先对原始图像进行伽马校正，通过伽马校正提高红绿灯区域的对比度；接着进行灰度化与二值化处理，并且利用形态学滤波的方法进行滤波，利用交通灯的几何特征进行筛选，标定交通灯区域；最后对交通灯区域进行色域差分，在R通道上，与G通道上进行差分处理，进而判断出交通灯的类型。算法描述如图1所示。

1伽马校正

在交通灯识别中，交通灯区域定位是一个关键步骤。常规方法是利用RGB空间的色彩信息，或者利用HSV空间的色彩信息，在一定程度上确定出候选区域。但是在复杂环境中，利用上述方法确定的候选区域数量过多，有时甚至难以找出候选的交通灯区域，需要通过调整阈值才能完成候选区域的提取。因此，这些算法缺乏健壮性与自适应性。

在相机条件不佳或者直射强光源条件下，检测的图像出现泛白光现象。当光照条件不足时，图像亮度偏暗。从摄影学专业术语上讲，这两种情况称为过曝、欠曝现象。在这两种情况下，图像的色调和亮度都将发生失真，这种失真使得运用上述方法进行检测时，RGB颜色信息发生改变，（经过实验改变量在百分二十浮动），对应的阈值无法适应当前情况，因此无法正确识别出红绿灯区域。

当进行伽马校正之后，校正值大于1时，整体亮度被压缩，高光部分被扩展，但是对比度得到提升，而暗调部分被压缩；校正值小于1时，整体亮度得到提升，而暗调部分被扩展，对比度得到提升。利用这一特性，可以改善画面失真、成像扭曲的情况。在图像偏暗时，使用大于1的伽马值，可以迅速拉升图像中的亮区域，使得红绿灯区域更加明显。在图像泛白光或者偏亮时，使用小于1的伽马值，可以有效降低白光亮度对比，在一定程度上解决白光问题。

因此，本文根据伽马校正的特点，利用伽马校正在增强图像对比度中的优秀特性，在图像预处理之前对图像进行了伽马校正，以此凸显红绿灯区域。对图像进行非线性色调编辑的方法，检测出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果。

在图像处理之前预先进行伽马校正，如图3所示，图像经过伽马校正之后，红绿灯的区域变得更加明显。原本未经检测出的红绿灯区域，经过伽马校正后，提取效果得到提升。

corrected=255×（uncorrected255）gamma

2图像预处理

图像预处理包括图像的灰度化和二值化处理。选取0.299R分量、0.587G分量、0.144B分量将彩色图转化为灰度图像。

g（x，y）=0.299×R（x，y）+0.587×G（x，y）+0.144×B（x，y）

其中，（x，y）为像点坐标，R、G、B分别代表颜色的3个分量，g（x，y）代表灰度图像上（x，y）点上的灰度值，这样的比例比较符合人类视觉的灰度。将得到的灰度图像使用阈值T进行分割，得到二值图像。

Binary（x，y）=0，g（x，y）T

通过实验，取T=100时，分割效果最好。

3滤波器处理

通过上述两个步骤处理可以得到一幅包含若干候选区域的二值图像。但是图像中存在过多的噪声区域以及噪声点，经过形态学处理，可有效减弱噪声对于图像的干扰。同时进行滤波处理，可过滤掉大量不属于交通灯区域的候选区域。

交通灯区域应具有较好的几何形状特征以及填充的饱和度。经过形态学处理后，图像中仍然保留着区域较大的候选对象。对于这些区域，本文选择直接利用交通灯本身的几何特征进行滤波处理。

经过上述步骤处理后的交通灯区域很难保持圆形的属性特征，但其最小外接矩形仍可以保持较好的形状特性。本文定义Ratio值及填充比进行滤波处理。

（1）长宽比。图像中候选区域的最小外接矩形长度为length，宽度为width，则定义Ratio值为：

Ratio=widthlength

由于交通区域是一个圆形区域，其最小外接矩形应为正方形区域，但受到图像处理过程中的一些误差影响，所得到的最小外接矩形并不是严格的正方形。本文经过大量的数据统计，给出Ratio阈值范围，将Ratio值大于0.8或者小于0.2视为噪声区域直接过滤。

（2）像元个数。交通灯区域不会存在较大的空洞区域。根据交通灯这一特性，本文定义了填充比作为判断要素之一。实际计算中，通过计算最小外接矩形内像素的个数除以最小外接矩形的面积，可得到这一要素值。根据统计资料，本文取0.8作为阈值。

经过上述两项滤波处理，可以得到满意的交通灯区域。

4色域差分

在得到交通灯区域后，为进一步判定交通灯颜色，必须对区域的属性作出判断。常规的判断方法，如通过RGB空间或者HSV空间的某些分量设定阈值，在一定程度上，精度受限于图像质量，同时，阈值的选取较为复杂，甚至需要通过模板训练的方式才能确定。这在一定程度上影响了交通灯识别的实时性。因此，本文利用红绿灯区域在RGB空间的成像特点，提出色域差分的方法。

通过将RGB空间的图像在3个通道上进行分离，得到3个色域上的图像。将R通道的图像与G通道的图像做差分。本文采用改化后的Sigmod函数进行差分运算。

y=1.00.008+0.01×e-0.1×（Diff-70）

根据大量统计资料可以发现，红绿灯区域在RGB存在如下特性：在红灯时，红绿灯区域的R分量远大于G分量，而在绿灯时，红绿灯区域的G分量远大于R分量。

基于这一特性，只需对R色域的图像与G色域的图像相互做一次差分，便可以将绿色信息与红色信息相互分离开来，得到差分红色信息图像R-G与差分绿色信息图像G-R。同时，对R-G和G-R，在差分之时对差异较大的区域进行指数拉伸，以增加区域信息饱和度。

为避免出现其它物体颜色干扰现象，增强算法的鲁棒性，本文在进行差分处理后，对交通灯区域再次进行形态学处理。通过在差分图像内提取轮廓，统计轮廓内的平均灰度信息，在R-G的差分图像内，如果平均灰度信息大于一定的阈值，则认定该区域是红灯区域，在G-R的差分图像内，如果平均灰度信息大于一定阈值，则认定该区域是绿灯区域。

本文通过预处理的形态学处理，以及色域差分过程中的形态学处理，保证了交通灯区域的可信度。在图像最终输出时，利用颜色信息以及形态学信息作为检核条件确保整个提取方法的准确率。

5验证实验与结果

为验证本文所提出的交通灯识别方法的有效性，本文进行了大量实验。利用车载摄像头，以25帧/s的速度在在不同光照条件、不同天气条件以及不同的街头进行数据采集。本文实验所使用的相机为行车记录仪中的相机。对采集的图像利用本文算法进行识别，得出识别率如表1所示。

6结语

在交通灯识别和检测方法中，很多方法都是基于色彩空间或者形态特征进行分割识别。本文在总结这些方法时，发现了这些方法在自适应性以及实时性方面的不足，尤其在确定阈值方面，在不同环境下存在很大的不确定性，这给交通灯的识别带来了很大困难。因此，通过大量的统计资料以及对图像成像特点的理解，本文提出了基于伽马校正及色域差分的交通灯识别方法。在RGB空间内先是利用伽马校正增强了图像的对比度，简化了后序处理，接着利用形态学处理得到候选区域，通过形态特征的滤波去除噪声区域以及大的背景区域的干扰，最后对确定的交通灯区域进行色域差分，识别颜色信息。大量实验证明，本文提出的方法在复杂环境下仍然有较高的识别准确率，充分说明了本文方法的鲁棒性以及有效性。

图9显示了本文交通灯识别方法在不同环境下的识别效果，包含了雨天、阴天、背光、正对光等的情况，其中图像均已进行过伽马校正。

从实验结果来看，本文提出的算法在各种光照条件以及天气条件下的识别率都比较高，均达到94%。但本文的交通灯识别方法是在主动光的前提下，当被动光强度过大时，容易产生一定的误检现象。

参考文献参考文献：

[1]NATHANIEL FAIRFIELD CHRIS URMSON.Traffic light mapping and detection[C].2011 IEEE International Conference on Robotics and Automation （ICRA），2011：54215426.

[2]CHUNG Y C，WANG J M，CHEN S W.A visionbased traffic light detection system at intersections[J].Taiwan Normal University：Mathematics，Science & Technology，2002，47（1）：6786.

[3]DE CHARETTE R，NASHASHIBI F.Traffic light recognition using image processing compared to learning processes[C].In Proc.IROS，USA：IROS，2009：333338.

[4]LINDNER F，KRESSEL U，KAELBERER S.Robust recognition of traffic signals[C].In Intelligent Vehicles Symposium，2004：4953.

[5]S WENDER，O LOEHLEIN.A Cascade detector approach applied to vehicle occupant monitoring with an Omnidirectional Camera[C].Intelligent Vehicles Symposium，2004：345350.

[6]C WOEHLER，J ANLAUF.Realtime object recognition on image sequences with the adaptable time delay neural network algorithmapplications for autonomous vehicles[J].Image and Vision Computing，2001，19（910）：593618.

[7]KIM Y，KIM K，YANG X.Real time traffic light recognition system for color vision deficiencies[C].Harbin：ICMA 2007 International Conference on Mechatronics and Automation，2007：7681.

[8]金涛，王春香，王冰，等.基于级联滤波的交通信号灯识别方法[J].上海交通大学学报，2012，46（9）：13551360.

[9]谷明琴，蔡自兴，李仪.应用圆形度和颜色直方图的交通信号灯识别[J].计算机工程与设计，2012，33（1）：243247.

[10]YEHU SHEN，UMIT OZGUNER，KEITH REDMILL，et al.Arobust video based traffic light detection algorithm for intelligent vehicles[C].IEEE Intelligent Vehicles Symposium，2009：521526.

[11]徐成，谭乃强，刘彦.基于Lab色彩空间和模板匹配的实时交通灯识别算法[J].计算机应用，2010，30（5）：12511254.

[12]JOHN V，YONEDA K，ZHENG LIU，et al.Saliency map generation by the convolutional neural network for realtime traffic light detection using template matching[J].IEEE Transactions on Computational Imaging，2015，1（3）：159173.

[13]GOMEZ A E，ALENCAR F A R，PRADO P V，et al.They are used for traffic lights detection and distance estimation[C].2014 IEEE Intelligent Vehicles Symposium Proceedings，2014：750755.

责任编辑（责任编辑：孙娟）