交通标志识别系统研究综述

马健 张敏 张丽岩 段晓科

摘  要：交通标志识别技术是智能交通和自动驾驶领域中的一项关键性技术，如何建立一个准确性高、实时性好以及安全性佳的交通标志识别系统是当下一大研究热点。在简要介绍该系统框架和比较已公开的交通标志数据集的基础上，研究了交通标志识别系统的两大核心部分——标志检测和标志识别，并阐述了各自的原理机制，最后总结了实现交通标志检测和识别所存在的难点问题并对深度学习法在该系统中的后续研究提出了几点拙见。

关键词：交通标志识别系统;检测;识别;深度学习

中图分类号：U491.5    文献标识码：A

Abstract： The technology of traffic sign recognition is a key technology in the field of intelligent transportation and automatic driving. How to establish the system of traffic sign recognition with high accuracy， good real-time performance and good safety is the current research hotspot. On the basis of briefly introducing the system's framework and comparing the published traffic sign data sets， this paper studies two core parts of the traffic sign recognition system， namely， sign detection and recognition， and expounds their respective principles. Finally， it summarizes some difficult problems of traffic sign detection and recognition as well as puts forward some humble opinions to the follow-up research of the traffic sign recognition system based on deep learning.

Key words： the system of traffic sign recognition; detection; recognition; deep learning

0  引  言

社会经济不断发展的同时，作为国民经济基础之一的道路交通系统亦日益发达，随之而来的是交通安全问题的日趋凸显。2019年全国共发生交通事故20万余次，分析事故原因主要包括有违规驾驶、雨雪雾等恶劣天气、疲劳驾驶、接听手机等，其中诸如不遵守交通标志指示的违规驾驶行为是导致交通事故的最主要原因。如何从客观的角度为车辆设置有效的行车辅助系统以约束驾驶人主观驾车行为，在这一问题背景下，交通标志识别（Traffic Sign Recognition，TSR）系统研究成为一大研究热点，有效的TSR系统能够及时地将真实、准确的实时交通信息反馈给驾驶人，提示驾车人采取相应措施或车辆自主控制达到避险目的，从而保障行车安全。

TSR系统是智能交通和自动驾驶研究领域中的一项关键性技术，其主要应用价值表现在以下几个方面：

（1）作为智能交通系统的子系统，用于处理车载摄像与传感器采集到的车辆周边实时的图像与视频，并从中检测交通标志，再进行识别，将识别信息反馈给司机，帮助其决策、辅助驾驶。

（2）作为自动驾驶控制系统中必要的组件，实时的交通标志识别可不间断的为整车控制提供相应的帮助。例如：识别结果为禁止标志可提交系统并预判危险;警告标志可协助系统提前进行避障;指示标志可帮助系统进行控制预处理，提前进行路线规划，确保车辆遵循交通指示。

（3）用于智能导航系统：将交通标志识别结果上传至导航系统中，进行数据比较，结合地图信息、车辆定位以及实时交通信息，以纠正导航路线偏差。

（4）用于交通标志的维护：受环境影响，交通标志常出现褪色、变形等问题，应用TSR技术，可监控相应路段交通标志的可用性，减少人力与时间的投入。

人工智能时代带来的技术红利，加之5G技术的落地与普及，TSR系统的应用将不再是“纸上谈兵”。本文就TSR系统进行研究，借鉴国内外学者研究成果，综述了其两大核心技术——标志检测和识别，并就深度学习在该系统中的进一步应用提出了几点建议。

1  交通标志识别系统

交通标志识别系统如图1所示，前端系统负责图像与视频数据获取，接着由信号处理系统对获取的数据进行预处理、检测与识别，并输出识别出的类别信息，最后由終端系统根据类别信息做出决策。

针对TSR系统的研究始于1970年，但因当时理论与技术不成熟而发展缓慢[1]。20世纪80年代至20世纪末，TSR系统逐渐得到日、美、德等发达国家的重视与研究[2]。日本于1987年公布了仅能识别出“限速”标志的TSR系统[3]。美国学者Kehtarnavaz等[4]在1993年研发出针对“停车”标志牌的识别系统。进入21世纪以来，得益于科技进步与计算机性能的大幅提升，TSR系统发展迅速，并逐步搭载到一些商用产品上。Mobileye与Continental两大汽车行业巨头通力合作，研发出一套针对“限速”标志的TSR系统，在传统静态标志与动态LED标志上均可达到高准确率与实时识别的效果，宝马7系列汽车和奔驰S-Class汽车分别于2008年和2009年先后搭载此系统[5]，就此标志着TSR系统正式进入市场商用阶段。此后，增加系统的识别类别成为各大汽车厂商的重点研究对象。2010年欧宝Insignia系列汽车采用了“限速+超车限制”的TSR系统，并于2011年搭载在大众辉腾系列汽车中;2014年，继2012年沃尔沃首次采用欧宝同款TSR系统后，XC90成为市场上首款标准配备TSR系统的车型，该系统可将实时的交通标志信息显示在车辆驾驶位操控台的显示屏上，提高了系统可操控性与安全驾驶系数[6]。

虽然商业化的TSR系统取得了一定的应用成效，但其能成功识别的标志类型，仍十分有限，要想大范围推入市场，仍需进行大量实证与扩展。TSR系统成功与否取决与两类关键技术的研究。一是交通标志的检测，即TSR要在复杂环境下，进行目标分割，准确将交通标志从背景图像中分离出来。二是交通标志的识别，由于禁止、警告、指示等为交通标志的多种类别，识别问题实质上是一个多分类的问题。检测与识别的算法框架如图2所示，其基本原理是模仿人类视觉系统辨识物体的特性，利用交通标志鲜明的颜色信息和规则的形状信息等进行特征检测与识别分类。

2  交通标志数据集

研发TSR系统的前提是要有庞大的且能泛化使用的标准交通标志数据集，利用数据集进行检测和识别可衡量与验证不同TSR系统算法的优劣。现公开的交通标志数据集主要有：

（1）德国交通标志数据集（German Traffic Sign Detection Benchmark， GTSDB;German Traffic Sign Recognition Benchmark， GTSRB）。

（2）比利时交通标志数据集（Belgium Traffic Sign Detection Benchmark， BTSD;Belgium Traffic Sign Classification， BTSC）。

（3）瑞典交通标志数据集（Swedish Traffic Sign Dataset， STSD）。

（4）美国交通标志数据集（LISA Traffic Sign Dataset， LTSD）。

（5）清华—腾讯交通标志数据集（Tsingtao-Tencent 100K Dataset， TT100K）。

这些数据集，主要分为3类：以GTSDB和BTSD为代表的，仅用于检测的数据集;以GTSRB和BTSC为代表的，仅用于识别的数据集;以及以STSD为代表的用于检测和识别的综合数据集。表1描述了已公开的各类数据集的基本信息。

3  交通标志检测

交通标志检测也叫交通标志分隔，是进行标志识别的前提。其原理是将交通标志的感兴趣区域（Region of Interest，ROI）从复杂的环境背景图像中快速分隔出来，再利用模式识别等方法对ROI进一步辨识，定位能准确反映交通标志信息的具体位置。通常交通标志有特定的颜色、形状等特征来起到禁令、警告和指示的作用，因而标志检测通常是根据颜色、形状以及多特征融合的方法来进行的。

3.1  基于颜色的交通标志检测

颜色是交通标志最显著的特征，根据特定的颜色可快速去除复杂场景下非ROI，缩小搜索区域，因而基于颜色的标志检测法是主流方法。颜色检测最常见的方法有RGB、、HSI、HSV等。

（1）RGB颜色空间模型

RGB即代表红、绿、蓝三个通道的颜色，人类视觉系统所能辨识的颜色几乎均可由此三基色变换得到，是运用最广的颜色系统之一[7]。

基于RGB颜色的标志检测法始于20世纪80年代，Akatsuka等人[8]在RGB颜色空间上利用阈值分割算法，根据不同颜色的阈值范围，将交通标志的红、黄、蓝等色彩标定出来，完成交通标志检测。张卡等[9]对标志图像的所有颜色信息进行统计，并根据统计信息设定红、黄、蓝的阈值，即利用全局颜色特征进行标志图像检测。黄志勇等[10]利用RGB对应的三分量差值范围一定的特点，經反复实验得到经验阈值，再对标志进行检测分割，此法不需任何乘法运算。

（2）HSI和HSV颜色空间模型

RGB阈值分割法虽然在检测速度与简易方面优势突出，但因阈值固定而无法匹配自然交通场景下不同光照的色彩，故而检测效果大打折扣。HSI颜色空间模型的提出有效地区分了颜色信息与亮度信息。其中颜色的类别H、饱和度S以及亮度I之间的相关性不大，每一个彩色图像都与一个H相对应。HSI可由RGB转换，公式如下：

H=， S=1-， I=1-

张静等[11]为将蓝色指示标志从背景图像中分割出来，将原图RGB格式先转换成HSI格式，并分别将此三分量的阈值限制在0，255间，依据大量实验确定蓝色的H分量范围，实现了最大限度地背景去除与标志提取。

HSV与HSI类似，区别在两者的数学模型，HSV颜色空间是圆锥，而HSI是双锥体，且由RGB转换成HSV的数学式更为复杂，但其更能表现出类人的直观视觉感受。Ellahyani等人[12]利用HSV这一特性，完成了交通标志ROI的分割与定位。

3.2  基于形状的交通标志检测

矩形、圆形和三角形是交通标志的主要形状类别，形状特征相对稳定，不会出现像颜色那样因光照不同而呈现出不同色域的问题，所以研究者利用标志形状不易受光照影响的特点，通过搜索ROI以及形状特点来检测是否为交通标志。其主要的可分为以下几类：

（1）霍夫（Hough）变换法：其原理是检索形状中的直线段特征，故多被用于检测由直线构成的矩形、三角形交通标

志[13]，但检测往往会被限制在一小块区域且计算量较大。

（2）径向对称检测法：为改进Hough变换法的缺点以及为解决由曲线构成的标志的检测问题，Barnes等人[14]提出径向对称检测法来检测圆形标志。李厚杰等[15]在标志具有自身的尺度特征的基础上，提出一种相较于直接径向对称检测法有着较好的参数自适应特点的改进检测算法，并在GTSDB数据集上进行了算法验证，成功的检测出圆形的禁令标志。

基于形状的交通标志检测虽在一定程度上避免了光照的影响，但因标志长期暴露在室外，会出现变形、移位、遮挡等不可避免的问题，检测效果依然欠佳，存在漏检问题。

3.3  融合颜色与形状的交通标志检测

将颜色与形状相结合，可以很好地解决基于颜色与基于形状的两种检测法各自的缺陷，双重保障带来的是检测精度的提高。张瑞等[16]提出一种基于HSI的标志分割法，并结合基于形状特征的最优拐角检测器进行了标志检测。张金鹏等[17]采用基于HSV的分割法，提取ROI，再利用Canny算子提取轮廓，最后采用标记的形状特征算法，判定轮廓形状，该检测算法在亮度变换和尺度变换下表现出了较好的准确性与鲁棒性。于平平等[18]针对预处理后的图像，利用视觉注意机制原理提取颜色、亮度等特征，经线性组合划分显著图，得到交通标志的ROI，在此粗检的基础上，再根据几何形状特征细检ROI中的形状，此法在Jetson TX2嵌入式平台测试中表现出来较好的准确性和稳定性。

4  交通标志识别

经检测后，将分割定位出的交通标志的关键ROI，采用一定的算法对其进行识别。标志识别是TSR系统中最为重要的部分，由于标志有多个类别，其识别实质是多分类，分类器的训练至关重要。目前交通标志识别的主流方法有模板匹配法、机器学习法和深度学习法。

4.1  模板匹配法

模板匹配是通过平移搜索并计算两者间的相似程度，将待识别图像与模板图像进行匹配的过程[19]，其被广泛应用于计算机视觉领域。但模板匹配只能进行平移的搜索，若原图像旋转或改变了大小，则该法无法进行匹配识别。

Qian R等[20]将结合模板匹配法与多级链码直方图对交通标志进行了识别。郝芳芳等[21]针对限速标志中分割后的字符，采取了模板字符匹配法，经相似度比较后输出识别结果。但模板匹配这种通过遍历待分类图像与模板库进行匹配的方法，运算量较大，识别速度缓慢，在复杂场景下匹配困难。

4.2  特征提取+机器学习法

采取“特征提取+机器学习”的方法进行交通标志的识别，可兼顾计算量与鲁棒性。其原理是：首先需要将图像中ROI的特征提取出来，再将这些特征进行训练，最后利用机器学习到的分类器，与待识别图像进行匹配，实现识别。

其中，特征提取的方法有：方向梯度直方图（Histogram of Oriented Gradient，HOG）特征、快速特征点提取和描述（Oriented Fast and Rotated BRIEF，ORB）、Gabor 小波特征、主成分分析（Principal Component Analysis，PCA）等。常用的机器学习分类器有：支持向量机（Support Vector Machine，SVM）、极限学习机（Extreme Learning Machine，ELM）、随机森林（Random Forest，RF）、Softmax分类器、AdBoost分类器、线性判别分析（Linear Discriminant Analysis，LDA）、最近邻算法（K-Nearest Neighbor，KNN）等。表2描述了基于部分“特征提取+机器学习”组合的交通标志识别在GTSRB数据集上的识别结果比较。

由表2分析，不难发现：在交通标志识别方面，“多特征融合+多机器学习（分类器）融合”的方法比“单特征+单分类器”方法的识别效果要好。但特征提取多为人工手动设计，耗时耗力，且鲁棒性很难保证。随着数据集容量的扩大，人工提取的特征难以泛化使用，其判别性不佳。

4.3  深度学习法

深度学习是机器学习的深度延伸，其原理在于模拟人类大脑并建立类人的神经网絡进行学习与分析，进而模拟人脑的思维、视觉、听觉等机制来解释图像、文本、声音等数据。近年来，深度学习法在交通标志识别领域中的应用发展迅速。与传统的机器学习法相比，基于深度学习的交通标志识别无需人工设计和提取标志图像特征，而是由类人神经网络在训练时通过自主学习与修正完成特征提取与识别。

卷积神经网络（Convolutional Neural Networks，CNN）是深度学习在计算机视觉中应用最广的网络模型之一，其核心网络模型构建思路为：在CNN中利用卷积核提取特征后，经卷积（Convolution，C）、批标准化（Batch Normalization，BN）、激活（Activation，A）、池化（Pooling，P）以及舍弃（Dropout，D）后，送入全连接网络（Full-Connection，F）进行识别。简言之，CNN就是输入特征的特征提取器，即CBAPD。经不断深入研究与优化，出现了5种经典CNN网络结构，分别是：LeNet、AlexNet、VGGNet、InceptionNet以及ResNet，表3对这五种网络经典结构进行了总结与比较。可见，随着网络复杂程度的提高，以及BN、Relu、Dropout的引入，利用各经典网络训练ImageNet Top5的错误率基本上是逐步降低的。

由表4分析可知，与传统的“人工特征提取+机器学习分类器”方法相比，基于深度学习的交通标志识别在识别率上有所提升。因此深度学习法在交通标志识别领域有着明显的优势，该算法有助于解决光照变化、变形、遮挡等问题。

5  总结与展望

本文对TSR系统及其两大核心部分——标志检测和标志识别进行了分析，并采用理论分析与文献比较的方法对部分检测和识别方法进行了综述与比较。

TSR系统的发展与应用是智能交通的核心课题之一，虽近年得益于人工智能技术的进步而得到快速发展，但其仍存在各种难点问题，如：长期暴露室外易造成标志颜色失真和形状变形、标志种类繁多增加了识别难度、TSR系统搭载到汽车上的安全性、准确性、实时性、经济性等无法完全兼顾以及能供训练模型且能泛化使用的数据集不足，尤其是我国公开的交通标志数据集样本匮乏。如何解决这些难点，需要更进一步的深入研究。

随着AI智能技术的进步，深度学习在TSR系统研究方面有着领先的算法优势。深度学习通过自主学习训练交通标志特征并自发学习分类，在复杂交通场景下仍能达到较高的识别准确率。针对基于深度学习的交通标志识别的研究还需不断探索，对于未来的研究方向，有以下几个方面可进一步研究：

（1）对已有的基于深度学习的各模型与各优化算法进行优化研究，并探寻两者之间更好的融合方式，以达到更高的准确率;

（2）目前的算法研究只存在于实验室仿真验证阶段，后续研究需要在改进中谋求适合实际应用场景的模型，以更好的实用性能搭载于某些嵌入式平台上，如辅助驾驶系统、智能导航等;

（3）深度学习的算法模型内存往往较大，这对计算机的硬件性能提出了很高的要求，需要在提高检测和识别精度的同时降低模型内存，并提升计算机硬件性能;

（4）梯度的有效传播，一直是CNN的研究重点之一。随着网络层次的加深，若无有效的改善算法，往往会在模型训练时，出现梯度爆炸甚至消失的问题，如何设计一个最有效的梯度下降的优化器是一个重要研究方向。

参考文献：

[1] 薛搏，李威，宋海玉，等. 交通标志识别特征提取研究综述[J]. 图学学报，2019，40（6）：1024-1031.

[2]  Fu M Y， Huang Y S. A survey of traffic sign recognition[C] // 2010 International Conference on Wavelet Analysis and Pattern Recognition， 2010，119-124.

[3]  Yuan Y， Xiong Z T， Wang Q. An incremental framework for video-based traffic sign detection， tracking， and recognition[J]. IEEE Transactions on Intelligent Transportation Systems， 2017，18（7）：1918-1929.

[4]  A de la Escalera， J M a Armingol， M Mata. Traffic sign recognition and analysis for intelligent vehicles[J]. Image and Vision Computing， 2003，21（3）：247-258.

[5] 王刚毅. 交通标志检测与分类算法研究[D]. 哈尔滨：哈尔滨工业大学（博士学位论文），2013.

[6] 王斌. 自然环境下道路交通标志的检测与识别[D]. 济南：山东大学（硕士学位论文），2017.

[7] 罗浩. RGB-D视觉内容理解及其应用[D]. 北京：华北电力大学（硕士学位论文），2015.

[8] Akatsuka H， Imai S. Road Signposts Recognition System[J]. SAE Transactions， 1987，96（1）：936-943.

[9] 张卡，盛业华，叶春. 针对车载移动测量系统的交通标志自动检测[J]. 武汉大学学报（信息科学版），2009，34（12）：1448-1453.

[10] 黄志勇，孙光民，李芳. 基于RGB视觉模型的交通标志分割[J]. 微电子学与计算机，2004（10）：147-148，152.

[11] 张静，何明一，戴玉超，等. 综合颜色和形状的圆形交通标志检测方法[J]. 计算机工程与应用，2011，47（2）：233-236，241.

[12]  Ellahyani A， Mohamed E L， Ilyas E L， et al. Traffic Sign Detection and Recognition using Features Combination and Random Forests[J]. International Journal of Advanced Computer Science and Applications， 2016，7（1）：112-128.

[13] 韦炳田. 行车视频中交通标志识别技术研究及其安卓应用开发[D]. 广州：华南理工大学（硕士学位论文），2018.

[14]  Barnes N， Zelinsky A， Fletcher L S. Real-Time Speed Sign Detection Using the Radial Symmetry Detector[J]. IEEE Transactions on Intelligent Transportation Systems， 2008，9（2）：322-332.

[15] 李厚杰，邱天爽，宋海玉，等. 基于径向对称变换的自适应交通禁止标志检测[J]. 光电子·激光，2014，25（3）：532-539.

[16] 张瑞，张朋. 基于颜色和形状的交通标志检测与分类[J]. 微计算机信息，2010，26（35）：226-228.

[17] 张金朋，方千山. 融合颜色分割与形状特征的交通标志检测[J]. 微型机与应用，2015，34（11）：83-85，88.

[18] 于平平，齐林，马苗立，等. 基于视觉注意机制和形状特征的交通标志检测方法[J]. 数学的實践与认识，2019，49（21）：123-131.

[19] 周丽莎. 基于模板匹配的视觉定位技术研究与应用[D]. 大连：大连理工大学（硕士学位论文），2012.

[20]  Qian R， Zhang B， Yue Y， et al. Traffic Sign Detetion by Template Matching based on Multi-Level Chain Code Hstogram[C] // 12th International Conference on Fuzzy Systems and Knowlege Discovery （FSKD）， 2015.

[21] 郝芳芳，王震洲. 模板匹配下的限速交通标志识别算法研究[J]. 科技风，2018（21）：245-246.

[22] 胡月志，李娜，胡钊政，等. 基于ORB全局特征与最近邻的交通标志快速识别算法[J]. 交通信息与安全，2016，34（1）：23-29.

[23]  J Stallkamp， M Schlipsing， J Salmen， et al. Man vs. computer： Benchmarking machine learning algorithms for traffic sign recognition[J]. Neural Networks， 2012，32：323-332.

[24]  Boi F， Gagliardini L. A Support Vector Machines network or traffic sign recognition[C] // Proceedings of the International Joint Conference on Neural Networks， 2011：2210-2216.

[25]  Zaklouta F， Stanciulescu B， Hamdoun O. Traffic sign classification using K-d trees and Random Forests[C] // Proceedings of the International Joint Conference on Neural Networks， 2011：2151-2155.

[26]  Pei D， Sun F， Liu H. Supervised Low-Rank Matrix Recovery for Traffic Sign Recognition in Image Sequences[J]. IEEE Signal Processing Letters， 2013，20（3）：241-244.

[27] 梁敏健，崔嘯宇，宋青松，等. 基于HOG-Gabor特征融合与Softmax分类器的交通标志识别方法[J]. 交通运输工程学报，2017，17（3）：151-158.

[28] 徐岩，韦镇余. 一种改进的交通标志图像识别算法[J]. 激光与光电子学进展，2017，54（2）：124-131.

[29] 徐岩，王权威，韦镇余. 一种融合加权ELM和AdaBoost的交通标志识别算法[J]. 小型微型计算机系统，2017，38（9）：2028-2032.

[30] 马永杰，程时升，马芸婷，等. 多尺度特征融合与极限学习机结合的交通标志识别[J]. 液晶与显示，2020，35（6）：572-582.

[31] 马永杰，李雪燕，宋晓凤. 基于改进深度卷积神经网络的交通标志识别[J]. 激光与光电子学进展，2018，55（12）：250-257.

[32] 伍锡如，雪刚刚. 基于图像聚类的交通标志CNN快速识别算法[J]. 智能系统学报，2019，14（4）：670-678.

[33] 宋青松，张超，田正鑫，等. 基于多尺度卷积神经网络的交通标志识别[J]. 湖南大学学报（自然科学版），2018，45（8）：131-137.

[34] 胡凯. 机器人视觉导航中的图像处理问题研究[D]. 南京：东南大学（硕士学位论文），2015.

[35]  D Ciresan， U Meier， J Masci et al. A committee of neural networks for traffic sign classification[C] // The 2011 International Joint Conference on Neural Networks， 2011：1918-1921.

[36]  Dan Ciresan， Ueli Meier， Jonathan Masci， et al. Multi-column deep neural network for traffic sign classification[J]. Neural Networks， 2012，32：333-338.