复杂环境下的交通标志检测与识别方法综述

陈 飞，刘云鹏，李思远

浙江万里学院，浙江 宁波315100

2020年新冠疫情全球蔓延，武汉多地医院使用无人车进行应急物资配送，无人驾驶再次进入了公众视线。交通标志的准确识别是无人驾驶安全行驶的首要前提，然而在检测与识别过程中会遇到诸多影响，导致标识在检测与识别时出现准确率不稳定且处理时间过长的问题，这对无人驾驶的普及是一个巨大的阻碍。因此，解决复杂环境下交通标志检测与识别的鲁棒性与实时性问题显得急为迫切与重要。

交通标志检测需要在现实场景中进行实时检测，环境多变是其特点之一，进而检测速度和精度往往会受到较大影响。在检测过程中面临的困难主要有：光照条件难以控制，不同天气、季节和背景下的亮度均不同，曝光、反光以及昏暗情况差异较大；褪色、损坏以及部分遮挡等情况时有发生。一方面交通标志牌常年暴露在外，使得部分标志牌表面出现了褪色不清晰、损坏等现象。另一方面，雾和雪等恶劣天气往往会遮挡标志牌信息，同时标志牌也容易被旁边的树木叶子所遮挡。车辆运动过程的抖动起伏，特别是路面出现坑洼不平等情况时，拍摄的图像出现模糊伪影、重影。以上问题，在影响较小时，通过一定的预处理和对应点处理方法可以得到较好的结果，但在情况严重时则无法得到想要的结果。

本文主要研究恶劣天气与复杂光线情况。在雨雾等恶劣天气和强光、昏暗等复杂光线的环境下，室外采集的图像普遍存在图像模糊、光照不足等问题。在检测时会出现漏检和定位不准确的情况，无法满足现实需求。因此需要预处理采集到的图像，以满足后期使用。在此环境下对拍摄到的图像进行预处理异于其他场景：交通标志通常处于户外且无任何遮挡物进行保护，常年受风雨的侵蚀，使得其颜色、形状以及内容会受到一定的损伤。同时，在雾霾等天气下，整个标志牌都会被遮挡。在不同光线下，标志牌会出现反光和过暗等情况。交通标志识别作为无人车的应用之一，在路面行驶时发挥着重要作用。交通标志识别需要达到的基本要求是在高速运动过程中满足实时性识别和较高的准确度。交通标志检测时，往往车与标志的距离较远，进而拍摄到的图像中标志的占比较小，更加易受复杂环境的影响。复杂环境下的交通标志检测与识别技术将应用在未来的无人驾驶上，无人车上路的前提是安全第一。这一初衷是与其他图像处理应用不同的。综上所述，复杂环境下交通标志检测与识别时所使用的图像处理方法，在其处理时间、场景、难度以及清晰度等方面的要求更高，关系到未来的无人车上路安全的问题，不能出现任何状况。

交通标志检测与识别依赖于所拍摄的图像。无论是传统依靠颜色和形状的检测方法还是基于深度学习的方法，图像的清晰度直接影响标志的检测速度与准确率。如果前期图像处理效果较差，使得图像在后期识别时容易出现漏检或错检，进而导致识别出错。同时，从图像处理到标志检测再到标志识别整个过程对时效性有较高的要求，不单单是检测、识别，更是在最短的时间内高准确率的检测、识别。因此复杂环境下图像处理对后期识别有较大的影响。对于目标检测来说，好的数据集可以使实验更加准确，更能应用到现实生活中，于是数据集的来源要求要更高。复杂环境下交通标志数据集通常通过三种途径获得：实地实况下进行拍摄；网络爬虫技术爬取相关数据；通过现有的数据集进行增雾、增雨等操作。

许多学者对交通标志的检测与识别进行了归类综述。Wali[1]着重描述了在自动交通标志检测与识别（Automatic Traffic Sign Detection and Recognition，ATSDR）领域面临的挑战以及未来发展趋势，对其方法概述较少。Gudigar等[2]对ATSDR系统的三个主要步骤进行了的回顾，其着重点是图像采集系统的不同实验设置。Saadna等[3]、伍晓晖等[4]、董晓华等[5]以及Luo等[6]也只是仅仅综述了交通标志检测与识别的有效方法和技术难点。以上研究综述均未考虑恶劣天气和复杂光线时的处理方法与步骤，这正是本文的新颖之处。

1 交通标志检测与识别方法

交通标志检测是将车载相机中采集到的交通标志经过图像预处理，初步定位标志所在位置，为识别提供目标区域。因此，交通标志的检测结果直接影响到下一步交通标志识别。交通标志识别最关键的技术是对检测到的交通标志进行判别，以便确定交通标志属于哪一种具体的交通标志。以下总结了交通标志检测与识别的方法。

1.1 交通标志检测

交通标志有固定颜色（红、蓝、黄）和特定形状（三角形、圆形、矩形、多边形），这些特性使其与其他物体有所区分。因此，一些学者从颜色、形状和混合特征三个角度进行了交通标志的检测研究。

基于颜色特征的检测方法因交通标志通常以鲜亮可见的颜色进行染色，很好地和周围环境进行了区分。具体检测方法是将拍摄的图像划分为若干相似颜色属性的子集，然后通过处理颜色阈值进行分割，进而提取交通标志。其中基于色彩空间的方法有：基于红、绿、蓝（Red，Green，Blue，RGB）的颜色空间；基于色调、饱和度和值（Hue，Saturation，Value，HSV）的颜色空间；基于色相、饱和度和强度（Hue，Saturation，Intensity，HSI）的色彩空间和其他颜色空间。但是，基于颜色特征的检测方法很容易受天气和光照的影响。

基于交通标志形状检测的方法是先找到其轮廓，然后根据轮廓数量进行决策。最常见的形状检测方式是Zaklouta等[7]提出的在给定图像中隔离特定形状特征的霍夫变换方法（Hough）。其他基于形状的检测方式还有：相似性检测，即计算分割区域与每个标准形状的二值图像样本集间的相似因子进行检测；距离变换匹配，是给每个非边缘像素分配一个值来形成图像的距离变换，取离最近边缘像素距离最短的点；边缘检测特征和类Haar特征是两种无色交通标志检测方法，边缘检测是指在图像中识别和定位尖锐不连续的过程，类Haar特征的检测方法是基于Haar小波原理来进行识别。基于形状的检测方法存在一个最大的问题是当标志被部分遮挡后，该类方法就会失效。为了有效弥补上述两种方法的不足，有学者对颜色和形状两种特征进行了融合。融合后，无论是先基于颜色特征还是先基于形状特征，都体现出比单一特征较好的优势。

随着深度学习的发展，不少学者对基于卷积神经网络的交通标志检测与识别的方法展开了研究。深度学习模型无需人工设计就可以自动提取特征，避免了人工设计特征的局限性。卷积神经网络具有代表性的层次特征，与上述传统方法形成了鲜明对比。深度学习方法分为基于候选区域的两阶段法和基于回归方式的单阶段法。本节总结了常见的交通标志检测方法，见表1。

表1 交通标志检测方法与优缺点Table 1 Traffic sign detection method and its advantages and disadvantages

1.2 交通标志识别

在图像中检测出交通标志后，首先需对其提取标志特征，然后进行分类识别。主要识别方法有模板匹配法、基于机器学习法和基于深度学习法。模板匹配法是图像处理中常用的匹配方法，也是最基本的模式识别方法，其原理是用定义好的模板在图像像素点上进行搜索匹配。基于机器学习法主要采用“人工特征提取+机器学习方法”的方式进行识别。基于深度学习法越来越受欢迎，这是因为卷积神经网络无需设计手工特征就可完成输入图像的特征提取与内容识别。各种识别方式及其优缺点见表2。

表2 交通标志识别方法及优缺点Table 2 Traffic sign recognition method and its advantages and disadvantages

2 复杂环境下交通标志检测与识别

受复杂场景影响，交通标志检测与识别较正常环境存在一些难点。因此，学术界对如何提高复杂环境下交通标志检测与识别的精度与速度进行了诸多探究。本文对不同复杂情况下标志检测与识别的方法展开论述，详见表3至表5。

表3 雾霾环境下交通标志检测与识别方法及效率Table 3 Methods and efficiency of traffic sign detection and recognition in haze environment

表5 复杂光线环境下交通标志检测与识别方法及效率Table 5 Traffic sign detection and recognition methods and efficiency in complex light environment

表4 雨、雪环境下交通标志检测与识别方法及效率Table 4 Traffic sign detection and recognition methods and efficiency in rain and snow environments

2.1 雾与雾霾环境下交通标志识别

张国山等[37]针对雾霾这一现象，提出了一种雾霾环境下交通标志检测与识别的方法。该方法首先检测图像中是否有雾，如果有雾进行图像去雾处理，如果没有则跳过。图像去雾采用的方法是双边滤波，过滤其图像中的雾霾噪音。然后，通过使用经典的物理模型描述雾霾天对图像造成的损失程度来恢复原图，此模型包含衰减模型和环境光照模型两部分。该方法的思想是从图像中估计环境的光照和全局大气光，来达到图像去雾的目的。在交通标志检测阶段，使用传统的混合特征进行检测。先将其图像的颜色空间改为HSV，然后进行Canny边缘检测和计算边缘形状角度来完成检测；在识别阶段，采用经典的模板匹配法进行标志识别。但是此方法计算量较大，耗时较长。

(2)系统热容对加热时间的影响可由时间常数τ反映，其影响因素主要为系统热容Ct，系统热容越小，时间常数越小，加热时间越少，但不会影响热水器最后的温升；进气流量与进水流量决定热水器的最终温升，且进水流量越小，进气流量越大加热时间越小；当最终温升确定后，进水流量越大，时间常数越小，热水器加热时间越少。

薛玉利[38]提出一种基于暗原色原理的图像去雾和具有色彩恢复的多尺度Retinex算法（Multi-Scale Retinex with Color Restoration，MSERS）的交通标志检测方法。去雾方面是根据雾天图像的光学模型进行反推，进而恢复原图。得到恢复图像后，使用无需选取最优阈值的MSERS检测交通标志。该方法在薄雾、中雾时表现较好，但在浓雾时，图像无法得到恢复，进而后续检测工作无法进行。

盛广峰[39]对基于暗通道先验的图像去雾方法深入了解后，发现其存在诸多不足，于是针对带雾图像的景深与非景深边缘，提出多尺度窗口的自适应暗原色估计图像去雾算法。同时，作者还针对特殊情况下图像去雾后出现色彩失真的现象，提出了自适应透射率修复。首先，根据大气散射模型，定义大气耗散函数，同时获得自适应暗原色估计图估出大气光值。其次，将其作为未滤波的图像，含雾的灰色图作为引导图，进而通过引导滤波器得到暗原色图像。最后，将计算结果带入图像去雾表达式中，得到清晰图像。在交通标志识别阶段，作者使用了两种方式：一种是改进的VGG16模型，通过结合迁移学习并加入空间金字塔池化，使改进后的VGG16模型解决了固定大小图像输入的问题，提高了识别准确率。另一种方法是剔除了全连接层，改用全局平均池化层，同时引入增强特征提取的Inception卷积模块、提高网络收敛速度后的批量归一化层和Leaky ReLu激活函数，组成了一个专门用于交通标志识别的TSD-CNN网络，识别准确率得到显著提高。

陈秀新等[40]提出先去雾后识别的方法，根据雾霾下图像质量退化过程的先验信息来进行图像恢复，使用模型的优化方法和判别式学习法求解。为了使效果达到最优，将CNN网络学习方式加入到基于半正定分割的模型中去。实验表明，此方法表现较好。同时，在识别方面，为了弥补常用卷积神经网络在进行下采样时容易丢失关键信息的问题，作者在其提出的Multi-channel CNN模型的第四通道加入了A-U-Pool（AveragePool-UpSampling-Pool）模块，进而提高了一定的识别度且泛化性增强。

2.2 雨、雪环境下交通标志识别

王文成等[41]提出一种雨、雪天气中的道路交通标志识别方法。在图像去雨方面，首先通过低通滤波处理方法将图像中雨雪点和雨雪线两种不同形式分解成粗糙和细节两部分；之后，将细节部分通过稀疏编码和字典学习算法分成纹理图和雨痕图；最后，根据雨痕形状特征的先验信息，通过雨痕长宽比对所述纹理图和雨痕子图进行二次判别，以便更精确地将纹理图从细节图中分解出来，从而得到清晰图像。在交通标志检测方面，根据交通标志特有的颜色、形状、梯度以及位置建立了多层特征显著性模型，并采用提升算法（Boosting）进行训练。同时，采用级联式卷积神经网络对标志进行识别。该级联式卷积神经网络由两部分组成：第一部分卷积神经网络是对输入的标志进行简单的粗分类，且将结果传送到第二部分；第二部分的卷积神经网络进行细分类，进而达到准确识别的目的。但是此方法计算量较大，并不满足实时性要求。

康馨匀[42]设计了一种基于图像修复的雨天交通标志识别方法。该方法使用Hough变换检测图像上是否存在雨滴，存在雨滴时就将图像分成结构图和纹理图两部分，然后根据雨滴区域四周的信息对上述两部分图进行修复。修复图像的原理是利用修复区域附近的信息来填充待修复区域。在检测方面，提出了一种优化的自适应阈值分割算法进行标志检测。首先，对图像中的红、蓝、黄区域进行增强，以提高区域的对比度。然后，统计图像的灰度概率分布，计算概率密度函数，得到图像的自适应阈值。根据确定的自适应阈值对图像进行分割，得到粗滤波图像。最后，根据标志的形状特征，对粗滤波后的图像进行精确检测。检测到标志后，通过使用融合了形状信息的方向梯度直方图（Histogram of Oriented Gradients，HOG）和纹理信息的Gabor模型进行特征提取，进而使用基于单特征和多特征融合的SVM分类器对交通标志进行识别。同年，董天天等[43]使用一种小波分解再融合技术来达到图像去雨雪的目的。作者将一幅图像进行小波分解，将小波高频系数中绝对值较大的赋予给亮度急剧变化的点。然后对融合后的同样目标进行取舍，即融合前在图像X中若比图像Y中显著，融合后图像X中的目标就被保留，图像Y中的目标就被忽略。最终图像X、Y的小波变换系数在不同分辨率水平上表现不同，使得融合后的图像中两幅图像的显著部分均保留了下来。在检测与识别方面采用了改进后的YOLOv3方法：特征金字塔增强检测、Kmeans算法进行边框聚类。最终该方法的平均正确率（Mean Average Precision，MAP）为0.912 3，超过了SSD和Fast R-CNN方法。

2.3 复杂光线环境下交通标志识别

Khan等[44]开发了具有照明预处理的智能交通标志识别系统，提出了暗区域敏感色调映射，将亮度范围分为多个区域，并对其使用不同的色调映射功能。该方法较好地针对了暗区域的照明，且对明亮的标志图片影响较小。同时使用YOLOv3优化版后的TS探测器检测交通标志。TS探测器从训练数据中预先计算锚箱的大小，并在第一个检测阶段使用五个锚箱，在其余两个检测阶段使用两个锚箱。还将图像调整为更密集的网格，更加适合检测标志占比较小的图像。测试结果表明，该方法在KTSD（Korea Traffic Sign Detection）数据集和GTSDB数据集上平均精度分别为90.07%和100%，效果较佳。

赵坤等[47]提出使用图像增强方法与YOLOv3模型相结合，来对弱光照条件下的交通标志进行检测与识别。该文提出一种自适应图像增强的方法解决复杂光线下拍摄的图像样本，然后对YOLOv3中的聚类算法和损失函数进行改进，使得训练模型更加具有鲁棒性。但是这种方法在图像处理阶段比较耗时。

上述方法均能解决各复杂环境下交通标志检测与识别的任务，但检测、识别的精度与实时性要求方面还有一定的改进空间，应在今后着重加强。

3 常见交通标志数据集

交通标志数据集在交通标志检测与识别中占有重要地位，数据集优劣会影响整体识别结果的准确率。本文将概述国内外常用的交通标志数据集，见表6。

表6 交通标志检测与识别数据集Table 6 Traffic sign detection and recognition data sets

德国交通标志检测基准（GTSDB）是目前常用的数据集之一，它由900张图像（600张用来训练，300张用于测试）组成。这些图像是在德国波鸿附近拍摄的，其交通标志的类别主要有禁止标志、危险标志和强制性标志。德国交通标志识别基准（German Traffic Sign Recognition Benchmark，GTSRB）是一个多类、单一图像分类数据集，是一个大型的、逼真的数据库，有50 000多个图像和40个类。比利时交通标志检测基准（Belgium Traffic Sign Detection Benchmark，BTSDB）和比利时交通标志分类基准（Belgium Traffic Sign Classification Benchmark，BTSCB）是比利时的大型交通标志数据集，用于检测和识别。BTSDB有大约7 000个图像（4 500个用来训练，2 500个用于测试），BTSCB有10 000个图像，其中包括13 444个标志，62个类别。

目前国内主要有三大交通标志数据集：TT-100K（Tsinghua-Tencent 100K Tutorial）是Zhu等人收集的腾讯街景图片，它覆盖了中国5个城市的市中心和郊区。该数据集还注释了交通标志的边界框、类和像素掩码，但是在高分辨率的图片中，这些标志的占比都较小。Yang等[51]在2016年提出了中国交通标志数据集（Chinese Traffic Sign Dataset，CTSD），拍摄的图片来源于北京和厦门的公路、城市和农村道路。2017年，长沙科技大学的Zhang等[52]通过扩展CTSD数据集，加入了5 200幅中国高速公路图像。他们通过添加噪声、改变光照和缩放等方式来增强原始图像，现有图片量已超过15 000张。

以上数据集中均存在一种或几种复杂环境下拍摄的图像，其中占比各不相同。GTSDB数据集中的图像在进行标志检测与识别时面临的环境挑战有光照、遮挡、模糊、阴影、阴霾、下雨、阴天等；GTSRB中面临的挑战有光照、遮挡、变形、模糊；BTSDB中面临的挑战有光照、遮挡、阴暗；BTSCB中面临的挑战有光照、遮挡、变形；CTSD和CCTSDB（CSUST Chinese Traffic Sign Detection Benchmark）中面临的挑战有光照、遮挡、阴影、下雨、阴天、脏镜头、反射、雾霾、模糊；STS（Swedish Traffic Signs）中面临的挑战有光照、遮挡、阴影、模糊、多云、下雨；Stereopolis中面临的挑战有光照、遮挡、阴暗；TT-100K中面临的挑战有光照、遮挡、阴霾、阴影；LISA（Laboratory for Intelligent and Safe Automobiles）中面临的挑战有光照、遮挡、阴影、模糊、反射、镜头脏污、阴暗；DITS（Italian Traffic Sign Dataset）中面临的挑战有光照、雾霾、反射；CURE-TSD（Challenging Unreal and Real Environments for Traffic Sign Detection）中面临的挑战有雨、雪、阴影、雾霾、照明、脱色、模糊、噪声、脏镜头、遮挡、阴天。以上数据集中，复杂环境下拍摄图像占比最小的为RUG，48张图片中光线昏暗的有10张，并且对检测程度影响较小。占比最大的为超过50%的CURE-TSD，同时复杂情况较为明显，对后期的检测影响较大。其他数据集的占比在10%~30%不等。经学者研究表明，复杂环境下拍摄的图像如果直接进行检测会导致检测时间过长，且错误率较高，无法应用到无人车上，因此在进行检测前要对图像进行预处理。复杂程度决定了预处理的时间和清晰度，同时也决定了预处理所使用的方法。

4 分析与展望

本文简要阐述了交通标志检测与识别技术，然后对近年来各类复杂环境下的交通标志检测与识别文章进行了详细综述。随着计算机硬件性能的提高，深度学习的优势也逐渐显现。基于深度学习方法的交通标志检测与识别在其准确度和实时性上有了很大的提升，但其处于复杂环境时，仍然有较大的提升空间。本文对下一步待解决的问题与研究方向进行了总结：

基于深度学习方法处理图像和标志检测、识别都已成熟，但为了提高准确率，卷积神经网络层数不断增加，从而导致计算量增加，实时性不强。如何在保证准确率的前提下减少层数达到实时效果是值得思考的问题，这可成为今后的一个研究方向。

单一模型处理某种或一类复杂环境效果较好，但现实中往往出现多种复杂情况同时发生且时常伴有车辆颠簸的现象。此时，图像含噪音且画面模糊，处理难度较大且实时性要求无法满足，如何处理此状况需进一步地思考。