复杂环境下的交通标志检测与识别方法综述

林炜

摘要：交通标志检测需要在现实场景中进行实时检测，环境多变是其特点之一，進而检测速度和精度往往会受到较大影响。在检测过程中面临的困难主要有：光照条件难以控制，不同天气、季节和背景下的亮度均不同，曝光、反光以及昏暗情况差异较大;褪色、损坏以及部分遮挡等情况常有。一方面交通标志牌常年暴露在外，使得部分标志牌表面出现了褪色不清晰、损坏等现象。另一方面，雾和雪等恶劣天气往往会遮挡住标志牌信息，同时标志牌也容易被旁边的树木叶子所遮挡。车辆运动过程的抖动起伏，特别是路面出现坑洼不平等情况时，拍摄的图像出现模糊伪影、重影。以上问题，在影响较小时，通过一定的预处理和对应点处理方法可以得到较好的结果。但在情况严重时则无法得到想要的结果。

关键词：交通标志检测与识别;复杂环境;交通标志数据集

引言

在恶劣天气和强光、昏暗等复杂光线的环境下，户外采集的图像普遍存在图像模糊、光照不足等问题。在检测期间，会出现漏检和定位不准确的情况，无法满足实际需要。因此，需要对获得的图像进行预处理，以满足随后的使用。在对在这种环境下拍摄的图像进行预处理时，这些图像与其他场景不同：交通标志通常是户外的，没有任何遮蔽，全年都受到暴风雨的侵蚀，从而使其颜色、形状和内容受到一定的损坏。

1、交通标志检测与识别方法

1.1交通标志检测

交通标志有固定颜色（红、蓝、黄）和特定形状（三角形、圆形、矩形、多边形），这些特性使其与其他物体有所区分。因此，一些学者从颜色、形状和混合特征三个角度进行了交通标志的检测研究。基于颜色特征的检测方法是因交通标志通常以鲜亮可见的颜色进行染色，很好地和周围环境进行了区分。具体检测方法是将拍摄的图像划分为若干相似颜色属性的子集，然后通过处理颜色阈值进行分割，进而提取交通标志。其中基于色彩空间的方法有：基于红、绿、蓝（RGB）的颜色空间;基于色调、饱和度和值（HSV）颜色空间;基于色相、饱和度和强度（HSI）的色彩空间和其他颜色空间。但是，基于颜色特征的检测方法很容易受天气和光照的影响。

1.2交通标志识别

在图像中检测出交通标志后，需对其提取标志特征，然后进行分类识别。主要识别方法有模板匹配法、基于机器学习法和基于深度学习法。模板匹配法是图像处理中常用的匹配方法，也是最基本的模式识别方法，其原理是用定义好的模板在图像像素点上进行搜索匹配。基于机器学习法主要采用“人工特征提取+机器学习方法”的方式进行识别。基于深度学习法越来越受欢迎，这是因为卷积神经网络无需设计手工特征就可完成输入图像的特征提取与内容识别。

2、交通标志检测与识别难点

近几十年来，许多研究人员提出了许多检测和鉴定方法，但目前的研究结果还不能很好地适应复杂的环境。TSR系统包括图像处理、人工智能、模型识别等多个领域。现阶段在检测和识别路标方面遇到的困难如下。（1）复杂驾驶环境对路标的影响。主要表现为路标损坏、恶劣天气下拍摄的图像质量受到影响、全年展出路标、不可避免地损坏、变色等。这会给信号板的检测带来一些困难（2）驾驶环境的影响。外部环境中的干扰较多，使得特征提取的准确性较低。（3）射击角度的效果。镜头角度的差异可能导致图像失真，不利于实时检测和识别路标。（4）在车辆行驶过程中，所拍摄的图像具有运动模糊、失真等条件，这会增加检测和识别的难度。总之，因为在生活中有以上问题的存在，所以在设计交通标志检测与识别算法的时候应有针对性的解决上述问题。

3、复杂环境下交通标志检测与识别

3.1雾与雾霾环境下交通标志识别

针对雾霾这一现象，提出了一种雾霾环境下交通标志检测与识别的方法该方法首先是检测图像中是否有雾，如果有雾进行图像去雾处理，如果没有则跳过。图像去雾采用的方法是双边滤波，过滤其图像中的雾霾噪音。然后，通过使用经典的物理模型来描述雾霾天对图像造成的损失程度来恢复原图，此模型包含衰减模型和环境光照模型两部分。该方法的思想是从图像中估计环境的光照和全局大气光，来达到图像去雾的目的;在交通标志检测阶段，使用传统的混合特征进行检测，先将其图像的颜色空间改为HSV，然后进行Canny边缘检测和计算边缘形状角度来完成检测;在识别阶段，采用经典的模板匹配法进行标志识别。但是此方法计算量较大、耗时较长。

3.2雨、雪环境下交通标志识别

在图像去雨方面，通过低通滤波处理方法将图像中雨雪点和雨雪线两种不同形式分解成粗糙和细节两部分;之后，将细节部分通过稀疏编码和字典学习算法分成纹理图和雨痕图;最后，根据雨痕形状特征的先验信息，通过雨痕长宽比对所述纹理图和雨痕子图进行二次判别，以便更精确的将纹理图从细节图中分解出来，从而得到清晰图像。在交通标志检测方面，根据交通标志特有的颜色、形状、梯度以及位置建立了多层特征显著性模型，并采用提升方法算法（Boosting）进行训练。同时，采用级联式卷积神经网络对标志进行识别。该级联式卷积神经网络由两部分组成：第一部分卷积神经网络是对输入的标志进行简单的粗分类，且将结果传送到第二部分;第二部分的卷积神经网络进行细分类，进而达到准确识别的目的。但是此方法计算量较大，并不满足实时性要求。

4、交通标志识别关键技术

4.1预处理

自然场景中收集的信号板可能受到各种因素的影响，例如天气条件、人为损害、光照强度和复杂背景。类似的路标图像可以具有不同的形状和大小。这些因素将影响相似标志的相似性。信号板图像预处理的目的是消除图像中的冗馀信息，提高信号板的精度。

图像呈灰色，路标的图像颜色主要为彩色。信号板的彩色图像所代表的信息很大，因此直接提取的实体尺寸会非常大，学习和识别时间也会相对较长。因此，需要将彩色图像转换为灰色图像，以减少实体大小以及学习和识别时间。此过程称为灰度图像处理。在自然场景中收集的彩色路标图像中的每个像素包含三个组件：r、g和b，每个组件的变化范围为0到255。每个像素都有颜色变化范围（255 * 255 * 255），而灰度图像是由三通道RGB分量计算的特殊颜色图像，只有256个颜色变化范围。图像变暗可以大大减少计算量，提高培训和识别速度。目前图像灰度的主要方法是加权平均法归一化，因为采集设备和信号板之间的距离和位置不是固定的，所以生成的信号板图像具有不同的比例，像素范围很大，并且不一致的比例会影响提取的图元的大小。在信号板识别过程中，通常使用邻近的插值方法，也就是说，在给定区域中变换的像素的灰度值等于最近像素的灰度值。

4.2基于深度学习特征+分类器

近年来，由于深入学习的发展，许多研究人员通过卷积神经网络提取了较高的特征，而无需人工设计提取特征，通过卷积神经网络提取的特征代表了更多的信息卷积神经网络是在BP神经网络的基础上发展起来的，是深度结构的超前神经网络，其驱动思想是通过直接传播和反向传播优化迭代，从而减少输出值和设定值之间的误差。采用卷积神经网络分类方法检测GTSRB中的信号板，实验结果表明，该方法的识别率首次超过人眼识别率。

结束语

随着计算机硬件性能的提高，深度学习的优势也逐渐显现。基于深度学习方法的交通标志检测与识别在其准确度和实时性上有了很大的提升，但其处于复杂环境时，仍然有较大的提升空间。

参考文献

[1]董晓华，韦玉科.交通标志识别技术方法综述[J].电脑知识与技术，2020，16（25）：193-194+199.

[2]张德禄，王群.交通标志牌的图文关系与解读过程[J].外语教学，2020（04）：27-30，35.

[3]刘欢.交通标志检测与识别技术研究[D].沈阳理工大学，2020.

[4]尹涛.自然场景下交通标志牌的检测与识别[D].南京理工大学，2019.

[5]卢言.基于单片机的智能水下目标检测识别系统设计[J].电子制作，2019（01）：40-42.