自然场景下的交通标志识别系统

范思宇 谢刚 续欣莹 谢新林

摘  要： 文中提出一种面向自然场景的新型交通标志识别系统。在分割模块，采用带色彩恢复的多尺度视网膜增强算法对图像增强色彩，并用车道线方法和提出的绿色减除分割算法提取感兴趣区域。在检测模块，运用Gist?RGB特征对5种不同形状的标志进行检测。在识别模块，首先根据颜色信息对标志预分类，再使用基于局部感受野的极限学习机识别网络对43类标志进行识别。实验结果证明，该系统对自然背景下的交通标志图像达到良好的识别效果，并且具有一定的鲁棒性。

关键词： 智能交通; 交通标志识别系统; 绿色减除分割算法; Gist?RGB特征; 极限学习机; 局部感受野

中图分类号： TN911.73?34; U491.52                 文獻标识码： A                  文章编号： 1004?373X（2019）09?0123?04

Traffic signs recognition system used in natural scene

FAN Siyu1， XIE Gang1， 2， XU Xinying1， XIE Xinlin1

（1. College of Electrical and Power Engineering， Taiyuan University of Technology， Taiyuan 030024， China;

2. College of Electronic Information and Engineering， Taiyuan University of Science and Technology， Taiyuan 030024， China）

Abstract： A new traffic signs recognition system used in natural scene is presented. The multi?scale Retinex enhancement algorithm with color restore is used in the segmentation module to enhance the color of image， and the lane line method and the proposed green subdivision segmentation algorithm are used to extract the region of interest. The Gist?RGB feature is used in the detection module to detect five different shapes of signs. The signs are pre?classified in the recognition module according to color information， and then the extreme learning machine recognition network based on local receptive field is adopted to recognize the 43 classes of signs. The experimental results show that the system has perfect recognition effect of traffic signs in natural background， and strong robustness.

Keywords： intelligent transportation; traffic signs recognition system; green subdivision segmentation algorithm; Gist?RGB feature; extreme learning machine; local receptive field

0  引  言

交通标志是一种可以传递警告、限制等信息的道路设施。交通标志识别（Traffic Signs Recognition，TSR）系统能够应用于汽车辅助驾驶系统、无人车和智慧交通等领域。

目前，典型的TSR系统主要包括分割、检测和识别三个模块。在图像预处理和图像分割模块，为应对颜色失真问题，文献[1]将多尺度视网膜增强算法（Multi?Scale Retinex，MSR）应用到他们的硬件识别系统中，在某些情况下，颜色的去饱和度很严重，会产生意想不到的色彩失真[2]。为提高检测速度，文献[3?4]分别选择图像两侧和上半部分作为处理区域。文献[5]运用RGB归一化阈值（RGB Normalized Thresholding，RGBN）分割算法，但该方法在分割红色时会把树木中的红色分量分割出来，并且当光照较低时图像噪声会被放大[6]。在标志的位置检测模块，文献[7?8]分别提出针对圆形标志和圆形禁令标志的检测方法，上述检测方法都只适用于某一种形状或者特征的标志。Gist?RGB特征被应用于航拍图像[9]和公路场景[10]领域，但很少有人将它应用到标志信息描述。在标志的识别模块，文献[11]使用随机森林方法（Random Forests，RF）识别标志，该模型的不足在于遇到数据不平衡情况时，预测结果偏向于训练样本多的类别，对样本数据不平衡的标志数据有很大影响。

为解决以上问题，本文提出一种面向自然场景的新型TSR系统。针对颜色失真问题，融合运用MSRCR图像增强算法、车道线方法和提出的绿色减除分割算法（RGB Normalized Green Subdivision Segmentation，RGBN?GSS）算法。针对检测方法适用形状单一问题，运用其他研究领域的Gist?RGB特征，提出一种适于多种形状的标志检测方法。针对训练样本不平衡的多分类问题，采用基于局部感受野的极限学习机（Local Receptive Fields based Extreme Learning Machine，ELM?LRF）识别网络，实现了准确率和算法消耗之间的良好平衡。TSR系统流程如图1所示。

图1  TSR系统流程

1  多线索融合的交通标志分割模块

分割模块首先对输入图像判断照度、模糊度参数值，利用（Multi?Scale Retinex with Color Restoration，MSRCR）算法[2]分割预处理，然后运用车道线方法[12]缩小待检区域，最后运用提出的RGBN?GSS算法进行颜色分割，流程如图1分割模块所示。

RGBN算法的归一化步骤能减弱光照影响，但在复杂的自然场景中，树木中红色分量经常被分割出来。为排除树木干扰，降低计算复杂度，提出RGBN?GSS算法。识别对象大多为红蓝标志（少量为黑色解除限速标志），算法公式如下：

运用式（1）进行颜色阈值分割得到初始二值图后，通过形态学膨胀处理，填补标志二值图残缺部分。扫描每一个像素点，满足式（2）的像素为树木部分，采用形态学膨胀处理将树木部分从初始二值图中删除。再通过形态学处理得到最终感兴趣区域（Region of Interest，ROI），算法处理过程如图2所示。连通域标记的ROI作为分割结果输入到检测模块。

图2  RGBN?GSS算法分割图

2  基于Gist?RGB的交通标志检测模块

经过图像分割，尽管已剔除大部分干扰信息，但二值图中还存在较少和不规则的干扰信息。本部分阐述经过几何约束条件初选、机器学习方法复选从图像中获得标志具体位置的過程，流程如图1中的检测模块所示。

2.1  形状约束规则

标记的ROI几何约束筛选规则如下[13]：

1） 每个ROI的高度和宽度应大于14，小于100;

2） 每个ROI的面积必须大于最小外接矩形30%且小于80%;

3） ROI的高宽比的区间范围是[0.5，1.5]。

2.2  基于Gist?RGB特征的检测模块

对于背景与标志二分类任务，轮廓特征是标志区别于背景的突出特征，传统方法大都只考虑一种形状，而使用轮廓特征可以考虑到多种形状。全局Gist特征使用灰度图像，损失颜色信息。充分考虑到标志颜色信息的重要性，Gist?RGB特征包含三个色彩通道信息，形成了1 536维的特征向量。

使用Gist?RGB特征训练ELM分类器，提取ROI的Gist?RGB特征，输入到训练好的分类器定位标志。图3为检测示意图。可以看出，分割阶段得到了3个图像块，通过分类器判断是否为标志，判断结果为“√”即为要检测出的结果。

图3  检测示意图

3  基于ELM?LRF的交通标志识别模块

经过前2个模块的处理可以获得环境中准交通标志区域。根据分割阶段颜色信息，可对标志所属类别预分类，从而选择不同识别网络;再返回原图将标志分类到特定类型中，流程见图1的识别模块，识别网络如图4所示。

图4  基于局部感受野的极限学习机

标志识别模块选择适用于多分类问题的ELM?LRF识别网络，该结构具有平移不变性、旋转不变性等优点[14]。

基于ELM?LRF的识别网络包含两个过程：基于随机卷积节点的特征映射;特征学习。训练步骤如下：

1） 线性拉伸交通标志训练样本到28×28，并根据groundtruth.csv文件确定标记，将数据矩阵和标签输入到识别网络;

2） 对样本数据分批计算随机权重下的卷积结果，同一特征图共享权重，再正交化，公式为：

式中：[Ainit]为随机生成初始权重;[r×r]为感受野大小;[K]为特征图个数;第[k]个特征图的输入权重是[ak∈Rr2]，由[ak]逐列排成，[ak]都是[Ainit]的正交基。

3） 第[k]个特征图的卷积节点的值[ci，j，k]由下式计算：

4） 对卷积结果采用平方根池化结构，求出组合层输出矩阵[H]，公式如下：

式中：输入图像大小为[d×d];[e]表示池化中心到边的距离。

5） 利用输出矩阵[H]计算输出权重[β]，公式如下：

式中：[β]为隐层与输出层间的输出权重矩阵;[H]为隐层的组合输出矩阵;[C]为控制参数;[T]为训练样例的目标矩阵;[N]为输入样例的行向量个数;[I]为单位矩阵。

4  实验结果

4.1  选择数据集和参数

实验数据集使用德国交通标志检测基准[13]（GTSDB）和识别数据集[15]（GTSRB）。分割模块选用GTSDB中阴天、雾天自然场景图像测试。检测模块选取GTSRB中39 209张标志图片作为训练正样本，由15～40不同大小的滑动窗在不包含标志的GTSDB数据集上随机截取得到不同尺寸的负样本，使用12 630张图像作为测试样本。识别模块使用GTSRB的43类共计39 209张和12 630张图像分别训练识别模型和测试识别结果。在TSR系统测试时，选择GTSDB中200幅不同场景的图像进行实验，包括不同光照、不同天气（阴天、雾天等自然场景）。

4.2  分割模块实验

图5给出部分自然场景MSRCR算法预处理结果。

图5  低光照和雾天MSRCR处理图

4.3  检测模块实验

表1给出基于Gist?RGB的ELM检测方法对圆形、正三角、菱形等不同形状检测的准确率情况。可以看出，使用Gist?RGB特征在各种形状都能取得较高的检测精度，即形状通用性强，因为使用了基于颜色和形状的描述子。

表1  不同形状检测准确率

4.4  识别模块实验

为评估样本不均衡的各类标志的识别能力，实验部分将测试结果分为6个类别统计，如表2所示。所提方法和ELM、RF方法在每个类别进行比较。从表2中可以看出，本文方法在限速、解除限速、特殊标志类别的识别准确率均高于文献[16]方法，其他类别的识别精度与另外两种方法一致。

表2  交通标志6大子类识别结果比较表

4.5  识别系统评估

为了测试TSR系统性能，对200幅800×1 360像素的非同色相连标志图像进行实验，图6为TSR系统部分测试结果。可以看出，所提系统在逆光场景、标志较小的复杂场景均可将标志检测识别出来，并且标志形状包含圆形、三角形、八角形。所以，本文方法能够适应自然场景，能够较准确地定位、识别交通标志。

图6  TSR系统识别结果

5  结  语

本文针对交通标志识别系统目前存在的技术难点，提出一种面向自然场景的交通标志识别系统，其由分割、检测、识别模块组成。本文对系统的分割预处理、检测和识别在德国标志数据集上分别进行验证，实验结果表明，所提TSR系统在大量自然场景图像的识别上具有可行性和鲁棒性。未来将重点研究同色相连标志的分离问题。

参考文献

[1] PARK J， KWON J， OH J， et al. A 92 mW real?time traffic sign recognition system with robust illumination adaptation and support vector machine [J]. IEEE journal of solid?state circuits， 2012， 47（11）： 2711?2723.

[2] JOBSON D J， RAHMAN Z U， WOODELL G A. A multiscale Retinex for bridging the gap between color images and the human observation of scenes [J]. IEEE transactions on image processing， 1997， 6（7）： 965?976.

[3] ZAKLOUTA F， STANCIULESCU B. Real?time traffic sign re?cognition in three stages[M]. North?Holland： North?Holland Publishing Co.， 2014.

[4] 宋文杰，付梦印，杨毅.一种面向无人驾驶汽车的高效交通标志识别方法[J].机器人，2015，37（1）：102?111.

SONG Wenjie， FU Mengyin， YANG Yi. An efficient traffic signs recognition method for autonomous vehicle [J]. Robot， 2015， 37（1）： 102?111.

[5] JANSSEN R， RITTER W， STEIN F， et al. Hybrid approach for traffic sign recognition [C]// Proceedings of 1993 IEEE Intelligent Vehicles Symposium. Tokyo： IEEE， 1993： 390?395.

[6] G?MEZ?MORENO H， MALDONADO?BASC?N S， GIL?JIM?NEZ P， et al. Goal evaluation of segmentation algorithms for traffic sign recognition [J]. IEEE transactions on intelligent transportation systems， 2010， 11（4）： 917?930.

[7] BERKAYA S K， GUNDUZ H， OZSEN O， et al. On circular traffic sign detection and recognition [J]. Expert systems with applications， 2016， 48： 67?75.

[8] 李迎松，郑顺义，夏远鑫，等.自然环境下圆形禁令交通标志检测[J].武汉大学学报（信息科学版），2016，41（12）：1619?1625.

LI Yingsong， ZHENG Shunyi， XIA Yuanxin， et al. Detection of round ban traffic signs in natural environment [J]. Geomatics and Information Science of Wuhan University， 2016， 41（12）： 1619?1625.

[9] RISOJEVI? V， MOMI? S， BABI? Z. Gabor descriptors for aerial image classification [C]// Proceedings of the 10th International Conference on Adaptive and Natural Computing Algorithms. Ljubljana： Springer?Verlag， 2011： 51?60.

[10] BALALI V， GOLPARVAR?FARD M. Segmentation and recognition of roadway assets from car?mounted camera video streams using a scalable non?parametric image parsing method [J]. Automation in construction， 2015， 49： 27?39.

[11] ELLAHYANI A， ANSARI M E， JAAFARI I E. Traffic sign detection and recognition based on random forests [J]. Applied soft computing， 2016， 46： 805?815.

[12] ROMDHANE N B， MLIKI H， HAMMAMI M. An improved traffic signs recognition and tracking method for driver assistance system [C]// 2016 IEEE/ACIS the 15th International Conference on Computer and Information Science. Okayama： IEEE， 2016： 1?6.

[13] HOUBEN S， STALLKAMP J， SALMEN J， et al. Detection of traffic signs in real?world images： the German traffic sign detection benchmark [C]// 2013 IEEE International Joint Confe?rence on Neural Networks. Dallas： IEEE， 2014： 1?8.

[14] HUANG G， BAI Z， KASUN L， et al. Local receptive fields based extreme learning machine [J]. IEEE computational intelligence magazine， 2015， 10（2）： 18?29.

[15] STALLKAMP J， SCHLIPSING M， SALMEN J. et al. The German traffic sign recognition benchmark： a multi?class classification competition [C]// Proceedings of 2011 IEEE International Joint Conference on Neural Networks. San Joe： IEEE， 2011： 1453?1460.

[16] HUANG Z， YU Y， GU J. A novel method for traffic sign re?cognition based on extreme learning machine [C]// Procee?dings of the 11th World Congress on Intelligent Control and Automation. Shenyang， China： IEEE， 2015： 1451?1456.