雾霾天气下交通信号灯的识别

李慧淼 方振国

摘  要：针对雾霾天气下交通信号灯定位准确率较低、图像增强时出现图像亮度不均匀的问题，该文提出一种基于改进的带色彩恢复的多尺度视网膜增强（Multi-Scale Retinex with Color Restoration ，MSRCR）的雾霾天气下信号灯识别算法。首先利用改进的MSRCR算法对有雾图像进行预处理，校正图像亮度并丰富图像细节；再利用最大稳定极值区域（Maximally Stable Extremal Regions ，MSER）算法以及信号灯的背板信息确定信号灯的位置；最后将定位区域转换至HSV空间进行信号灯识别。结果表明，该方法能够在雾霾条件下有效地定位及识别交通信号灯。

关键词：雾霾；图像增强；最大稳定极值区域；交通信号灯识别；MSRCR算法

中图分类号：TP317.4      文献标志码：A          文章编号：2095-2945（2024）19-0035-05

Abstract： In order to solve the problems of low location accuracy of traffic lights and uneven brightness during image enhancement in haze weather， an improved Multi-Scale Retinex with Color Restoration（MSRCR） weather signal recognition algorithm based on color restoration is proposed in this paper. Firstly， the improved MSRCR algorithm is used to preprocess the foggy image to correct the brightness of the image and enrich the image details; then the Maximally Stable Extremal Region （MSER） algorithm and the backplane information of the signal lamp are used to determine the position of the signal l finally， the location area is converted to the HSV space for signal light recognition. The results show that this method can effectively locate and identify traffic lights under haze conditions.

Keywords： haze; image enhancement; maximum stable extreme value region; traffic light recognition; MSRCR algorithm

近年来雾霾天气频发，在城市交通路口，由于驾驶者在行车时能见度较低，无法及时且准确地判断交通信号灯的状态而发生交通事故[1]。因此，在雾霾天气下如何准确地识别出信号灯的状态变得尤为重要。在雾霾天气下，针对传统的去雾算法获得的去雾图像质量不高[2]，交通信号灯的定位准确率较低的问题，本文提出了一种能够在雾霾天气下有效识别出信号灯的算法。

目前，国内外研究学者针对有雾图像的去雾处理和交通信号灯的识别问题已做大量研究。唐斌等[3]提出一种高亮度与对比度的去雾算法，该方法可获得细节清晰的去雾图像，由于相同的大气光强度用于3个颜色通道，导致去雾图像有少量偏色。李夷进等[4]提出一种多尺度Retinex（视网膜大脑皮层理论）色偏恢复算法与暗通道先验算法相结合的去雾方法，该算法提升了去雾图像的可视度和清晰度，但此算法的适用范围较小。金充充等[5]通过引导滤波对图像进行去雾处理，再利用Harris角点检测和信号灯的矩形框对信号灯进行定位，进而识别出交通信号灯，该算法可以提升去雾图像的对比度，但在复杂背景下检测到信号灯的准确率较低。在交通信号灯定位和识别方面，余泽东[6]首先对源图像进行预处理，再利用最大类间方差法和Hu不变矩的方法将信号灯的区域筛选出来，最后利用HSV颜色空间中的H（色调）分量识别出信号灯的类型，但该方法对背景复杂的图像处理效果不好。吴国庆等[7]针对不同颜色的信号灯在RGB颜色空间下的通道直方图分布存在差异，从而筛选出信号灯颜色，然后基于Radon变换将所选区域进行形状特征滤波，进而识别出信号灯的颜色状态，但该方法在光照强度较大的情况下不利于颜色的提取。谷明琴等[8]首先将源图像进行预处理，其次将候选区域的圆形度计算出来，再根据信号灯的背板信息确定信号灯的区域，最后将该区域图像由RGB空间转换至HSV颜色空间，最后通过图像的H分量的分布特征来识别出信号灯的颜色，但该方法在复杂背景下的识别率不高。Jia等[9]首先对源图像做预处理，将图像由RGB空间转换至HSI空间并且利用形态学处理的方法对候选区进行提取，最后根据区域像素信息并结合模板匹配来识别出交通信号灯的颜色。

本文提出一种在雾霾天气下能够有效识别交通信号灯的算法。首先对带色彩恢复的多尺度视网膜增强算法进行改进，使图像亮度更加均匀，丰富图像细节，再利用最大稳定极值区域及信号灯的背板信息确定信号灯的位置，最后将信号灯区域从RGB空间转换至HSV空间，再通过色调H提供的颜色直方图统计信息识别出信号灯的颜色。

1  改进算法描述

针对带色彩恢复的多尺度视网膜增强（Multi-Scale Retinex with Color Restoration， MSRCR）算法获得的去雾图像细节不丰富，亮度不均匀的问题，本文算法在MSRCR算法的基础上进行改进，通过高斯环绕函数联合伽马变换改善原有算法的光照估计，改进的算法既对图像亮度进行校正又丰富了图像细节，同时去雾效果较好。

1.1  MSRCR算法

人眼观测到的有雾图像S（x，y）可分解为光照分量L（x，y）和反射分量R（x，y），光照分量能够反映图像的光照强度等低频信息；反射分量能够反映图像的内在属性，代表图像纹理细节等高频信息，其数学表达式如下

。（1）

为了更加接近人眼的感知能力，通常借助对数变换将式（1）转换至对数域。

。 （2）

高斯环绕函数表达式为

式中：K为归一化因子，取值需满足

的条件，σ为尺度因子。通过高斯环绕函数F（x，y）与有雾图像S（x，y）做卷积运算就会得到原图像的低频分量，原图像减去低频分量得到图像的高频分量，采用不同尺度的高斯环绕函数提取反射分量再进行加权平均，表达式为

式中：ωi为第i个尺度高斯环绕函数得到的光照分量的系数，通常各取1/3，取N=3（选择σ=128，256，512的尺度因子）。

由于对3个颜色通道分别进行处理，可能会出现色彩失真问题，MSRCR算法引入色彩恢复因子Ci（x，y）是第i颜色通道的色彩恢复系数，是用来补偿去雾时存在的颜色失真问题，表达式为

式中：β是增益常数，α是非线性强度的控制因子，本文将β设置为45，α设置为125。

MSRCR算法的输出R′i（x，y）是Ri（x，y）和Ci（x，y）的乘积。

R′i（x，y）=Ri（x，y）Ci（x，y）。（7）

1.2  优化算法

1）通过高斯环绕函数F（x，y）和有雾图像S（x，y）做卷积运算，采用不同尺度的高斯环绕函数分别提取光照分量进行加权平均，进而得到光照分量的估计值为

2）构造二维伽马函数，利用光照分量的分布特性来调整伽马函数的参数。对于光照过暗的区域提高其亮度值，对于光照过强的区域降低其亮度值，实现光照不均匀图像的自适应校正[10]，伽马函数表达式为

， （9）

， （10）

式中：G（x，y）为校正之后输出图像亮度值；m为光照分量的亮度均值；γ为亮度增强指数。

3）去除伽马校正后的光照分量得到物体的反射分量，从而获得物体的本来面貌。

4）将Ri（x，y）乘以色彩恢复因子Ci（x，y）得到R′i（x，y）。

图1为原图；图2为MSRCR算法获得的去雾图像，图像颜色过渡不平缓，亮度不均匀，图像细节不突出，人眼看起来不自然；图3是优化后获得的去雾图像，看起来明亮自然，细节清晰，图像质量有所提升。

2  信号灯的定位与识别

2.1  MSER算法检测信号灯区域

最大稳定极值区域（Maximally Stable Extremal Regions，MSER）[11]是指灰度图像经阈值处理后得到的二值图像，小于阈值的像素在图像中显示为黑色，反之显示为白色。当阈值等于0时，二值图像为全白；逐渐增大阈值，图像逐渐出现黑色区域，这些黑色区域逐渐由小区域汇成大区域；当阈值等于255时，二值图像为全黑。在阈值逐渐增大或减小的过程中，在较大范围阈值内，一些连通区域面积变化比较缓慢，那么这些区域就是MSER。

利用本文提到的优化算法得到去雾图像，并将去雾图像灰度化，如图4所示，然后利用MSER算法以及交通信号灯的背板信息对交通信号灯进行区域定位，具体步骤如下。

第一步：将灰度图像通过MSER算法提取出最大稳定极值区域，如图5所示，其中相邻区域的每种颜色代表着一个最大稳定极值区域[12]。第二步：对每个最大稳定极值区域都用等效椭圆目标拟合，如图6所示。第三步：设通过MSER算法提取出Q个最大稳定极值区域，那么第k个最大稳定极值区域拟合出的椭圆目标可记为

，     （12）

式中：（xk，yk）为中心坐标，ak，bk为等效椭圆的长轴和短轴，θk为椭圆主轴和X轴的夹角，椭圆离心率的公式为

式中：0

2.2  信号灯颜色识别

将截取的信号灯区域由RGB空间转换至HSV空间，HSV空间由H（色调），S（饱和度），V（亮度）这3个分量组成[13]，对H分量进行归一化处理，根据不同颜色在H分量的分布范围不同，如图8—图10所示，从上到下依次为红灯，黄灯，绿灯在H分量上的直方图，利用颜色直方图统计能够准确地区分信号灯的状态，图8—图10的横坐标范围为0～1，不同颜色在H分量的分布不同；纵坐标表示颜色像素点的数量。

设区域总像素的个数为M，分析图像中色调H的颜色直方图，记3种颜色处于H分布范围内的像素点数为Nμ，那么Rμ=Nμ/M，μ∈{r，y，g}若Rr>δ，则信号灯为红灯；若Ry>δ，则信号灯为黄灯；若Rg>δ，则信号灯为绿灯。阈值δ一般选取的范围是0.50～0.80，本文选取的δ为0.65，通过计算可得图像中的信号灯是红灯，如图11所示。

3  结果分析

本文提出的研究方法针对的是圆形的交通信号灯，使用软件Matlab对上述提出的研究方法进行信号灯的识别，通过算法1[14]，算法2[15]以及本文算法依次对交通信号灯进行识别，识别结果见表1。

4  结论

本文针对常见的去雾算法获得的图像质量不佳以及传统的信号灯定位方法准确率较低的问题，提出了一种在雾霾天气下有效识别信号灯的方法。通过对MSRCR算法进行优化获得去雾图像，利用MSER算法和信号灯背板信息对信号灯进行定位，再将该区域图像转换至HSV空间，利用颜色直方图统计准确地区分信号灯的状态。实验结果表明，本文提出的研究方法能够较准确地识别交通信号灯，准确率达90.0%。

参考文献：

[1] 赵金阳，张甜甜.雾霾能见度对交通流影响分析[J].科学技术创新，2022（33）：22-25.

[2] 张晓东，秦娟娟，贾仲仲.多尺度Retinex在图像去雾算法中的应用研究[J].西昌学院学报（自然科学版），2021，35（3）：60-65.

[3] 唐斌，申红婷，龙文.使用局部大气光的单幅图像去雾算法[J].科学技术与工程，2021，21（26）：11246-11252.

[4] 李夷进，闫睿，杨峰，等.排水管道图像雾气及光斑干扰去除方法研究[J].科学技术与工程，2022，22（16）：6599-6606.

[5] 金充充，何立平，朱仲杰，等.雾霾天气下交通信号灯定位与识别算法[J].浙江万里学院学报浙江万里学院学报，2018，31（6）：61-68.

[6] 余泽东.基于otsu算法和Hu不变矩的交通信号灯识别[J].武汉大学学报（工学版），2020，53（4）：371-376.

[7] 吴国庆，王星星，张旭东，等.基于图像处理的交通灯检测技术[J].现代电子技术，2017，40（8）：103-106.

[8] 谷明琴，蔡自兴，李仪.应用圆形度和颜色直方图的交通信号灯识别[J].计算机工程与设计，2012，33（1）：243-247.

[9] JIA L，DONG Y. A new night traffic light recognition method[J].Journal of Physics：Conference Series，2019，1175（4）：62-66.

[10] 李广豪，席志红.基于图像融合的水下光照不均匀图像增强算法[J].计算机仿真，2023，40（4）：330-335.

[11] 李英杰，全太锋，刘武启.基于MSER的自适应学习自然场景文本检测[J].小型微型计算机系统，2020，41（9）：1966-1971.

[12] 卢军，胡秀文.弱光复杂背景下基于MSER和HCA的树上绿色柑橘检测[J].农业工程学报2017，33（19）：196-201.

[13] 王明明，刘姣娣，刘栩廷，等.基于图像增强与边缘检测技术的蔗芽识别[J].计算机仿真，2022，39（10）：224-228.

[14] 桂欣悦，李振伟，吴晨晨，等.基于MATLAB的红绿灯识别系统研究[J].电子设计工程，2020，28（16）：133-136.

[15] YING J，CHEN X M，GAO P F，et al.A new traffic lightdetection and recognition algorithm for electronic travel aid[C]//Proc.2013 Fourth International Conference on Intelligent Control andInformation Processing.[S.l.]：IEEE Press，2013：644-648.