基于ROI和CNN的交通标志识别研究

黄娜君，汪慧兰，朱强军，洪名佳

(安徽师范大学 物理与电子信息学院，安徽 芜湖 241000 )

0 引言

随着社会经济的发展，现代交通已经非常发达，交通安全和交通阻塞随之成了日益严重的社会问题，同时也造成了惊人的经济损失，这使得道路交通问题的解决不得不求助于智能技术。基于此智能交通系统(Intelligent Transportation System ,ITS)这一研究领域迅速发展起来，道路交通标志识别(Traffic Sign Recognition ,TSR) 是ITS领域中难度较大的问题之一。现今车载系统中，交通标志的提示信息大多通过数字地图数据获知，但是该方法只限于作为地图数据的一部分的道路，而在其他情况下则无法获知，因此基于视觉交通标志识别系统应运而生，经过几十年的不断发展，特别近年来随着移动互联网、高性能计算机和智能移动终端的普及，图像采集设备和处理能力的提高，交通标志识别已经成为实景图像识别中热点研究问题。

现今，交通标志识别方法主要有以下两种。一种是采用“人工特征提取+机器学习”的识别方法，如支持向量机(Support Vector Machine，SVM)、基于浅层神经网络的特征识别等。这种方法，机器学习仅负责最后特征的分类或识别，而人工通过先验知识设计的特征好坏，直接影响到整个系统的性能，且复杂的特征提取花费了大量的人力和时间。另一种是近些年发展起来的Deep learning模型，如基于限制波尔兹曼机和卷积神经网络(Convolutional Neural Network ,CNN)等。其无需构造任何的人工特征，而是直接将图像像素作为网络输入，避免了传统识别算法中复杂的特征提取和数据重建过程。但整幅图像作为输入，由于运动模糊、背景干扰、光照以及交通标志局部遮挡破损等因素的影响，使得网络的识别率和识别速度往往不高。

针对这一问题，本文采用基于ROI和CNN的方法进行交通标志识别。首先为了消除天气等因素影响，对获取的一幅图像先进行光照均衡化处理；然后，充分利用交通标志的自身特点进行颜色阈值分割，再用MSER算法进行滤除，提取出交通标志所在的感兴趣区域(Region of Interest，ROI)；紧接着把分割结果输入深度卷积神经网络进行一系列的卷积和池化处理,形成交通标志图像的特征子图，将特征子图转化成为一维的特征矢量；最后可以通过一个全连接的BP网络完成一维特征矢量的分类识别，并输出结果。实验结果表明本文方法与其他方法相比，对于实景拍摄图像的识别率和识别速度不高的问题有了明显的改进。

1 感兴趣区域(ROI)的提取

为了提高网络的识别率和识别速度，对获取的一幅图像，首先提取感兴趣区域，这样大大缩小了网络识别的范围。

1.1 亮度均衡化

提取交通标志ROI的流程如图1所示。对于采集来的一幅图像，为了消除天气等因素影响，首先要进行光照均衡化处理。本文采用直方图均衡化的思想。先将采集的RGB图像转换为YCbCr颜色模型下；然后对亮度分量Y进行直方图均衡化处理；最后将处理后的图像再转为RGB模型。光照均衡化公式如下：

(1)

式中，Sk为处理后的灰度值，nj为灰度色阶j的像素数量，N为图像像素总和。

图1 交通标志ROI提取的流程图

1.2 采用MSER算法进行滤除

根据交通标志颜色特点，光照均衡化处理后，用MSER算法检测提取交通标志ROI，具有很好的稳定性、仿射不变性和计算高效快捷等特点。

MSER算法的思想是当使用不同的灰度阈值对图像进行二值化时得到的最稳定的区域。MSER提取过程如下：① 使用一系列灰度阈值对交通标志图像进行二值化处理；② 对于每个阈值得到的二值图像，得到相应的黑色区域与白色区域；③ 在比较宽的灰度阈值范围内保持形状稳定的区域是MSERs；④ 评判标准： dA/dt。其中A: 二值图像区域面积，t: 灰度阈值。

通过MSER算法提取MSERs得到交通标志ROI。图2是给出禁令标志交通标志ROI提取的过程。首先禁令标志是红色，对红色进行分割，公式如下：

(2)

在RGB模型下分割结果如图2(b)所示，再对CA进行膨胀处理，如图2(c)所示，最后通过MSER算法对图2(c)单通道图像进行滤除，得到交通标志ROI如图2(d)所示。

图2 检测提取交通标志ROI

1.3 归一化处理

将MSER算法滤除后的交通标志ROI提取分割出来，然后利用邻近插值法将ROI规格化得到固定大小(32*32)的图像。从机器视觉的角度分析，与颜色相比，形状或图形是交通标志识别的关键。因此，最后对固定大小的图像利用最大类间方差将其二值化，得到适合网络输入的图像。

2 交通标志识别

2.1 CNN基本结构

CNN是Deep Learning的一个重要算法，最早是1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野的概念[12]。其是输入到输出的非线性映射，避免了传统识别算法中复杂的特征提取和数据重建过程，是在空间或时间上的采样，具有权重共享，减少了权值的数量，降低了计算量、局部区域感知等特点。这种结构类似于生物神经网络，简化了网络模型的复杂度，对输入数据在空间上和时间上的扭曲，具有很强的鲁棒性，在输入是多维图像时表现的最为明显[13]。

根据交通标志图像的特点，这里的CNN是由一层卷积层接一层池化层后再加一层卷积层与池化层构建而成的网络结构，通过其对输入(32*32)的交通标志图像特征进行提取形成特征子图，然后把特征子图全部展开，形成一维的特征子集，最后可以加一个全连接的BP网络对一维的特征矢量分类识别，并输出结果，网络的基本结构如图3 所示。

图3 CNN网络的基本结构图

2.2 网络训练

要实现交通标志ROI的识别，首先要对网络进行训练，主要的过程是通过前向传递与反向传播的交替，反复调整权值和阈值，直到达到训练次数或要求的收敛条件为止。

具体步骤如下：

① 首先，要建立训练库，本文通过现实场景拍摄图像和德国交通标志基准库(German Traffic Sign Benchmark，GTSDB)共同构成网络训练样本集与测试库。其中GTSDB是2013年在IJCNN会议上，Stallkamp J 等人针对没有公开的交通标志数据集问题，提出来的标准的交通标志数据库[14]，并对2011年提出的GTSRB数据集进行了继承与优化。

② 然后，充分利用交通标志的自身特点进行颜色阈值分割，再用MSER算法进行滤除，提取出交通标志所在的感兴趣区域。

③ 网络权值和阈值的初始化：利用随机分布函数将权值W初始化为-1～1之间的随机数；而将阈值b初始化为0。

④ 网络训练与权值和阈值的调整：用训练样本集，对CNN进行训练，将输出矢量中的元素与目标矢量中的元素进行比较，计算输出误差：

δk=(Tk-Yk)Yk(1-Yk)。

(3)

对中间层的隐单元也计算误差：

(4)

卷积层的权值和阈值的导数：

(5)

(6)

再依次调整权值和阈值，公式如下：

(7)

Wij(k+1)=Wij(k)+ΔWij(k+1) ，

(8)

(9)

bj(k+1)=bj(k)+Δbj(k+1)，

(10)

式中，k表示迭代次数；ΔWij、Δbj分别表示权值和阈值的调整值；Wij、bj分别表示权值和阈值调整后的值；α为学习效率；η为动量因子。

⑤ 判断指标是否满足精度要求E≤ε，或训练已达到预先设定好的最大训练次数，进行下一步；否则，返回步骤④。其中E为总误差，ε表示精度要求。

2.3 网络测试

网络训练好以后，用GTSDB数据集与现实场景拍摄的大量图像组成测试库，然对库中图像进行归一化处理，得到适合网络输入标准的图像，然后网络测试参数配置，最后进行测试，输出结果。

3 结果分析

为了验证本文基于ROI和卷积神经网络交通标志识别方法的有效性，将提出的方法在现实场景拍摄和GTSDB数据集上进行了一系列的实验。充分利用CNN的海量学习能力，选取了GTSDB数据集中850张和现实场景拍摄的150张，共1 000张图像作为训练库，对网络进行训练；再在GTSDB数据集中取150张和现实场景拍摄的50张，包含运动模糊、背景干扰、光照以及交通标志局部遮挡破损等不同情况和同一环境由远及近等图像，对网络进行测试，如图4所示。

图4 测试样本集截选

每个样本通过颜色和MSER算法提取交通标志ROI，再利用邻近插值法将ROI规格化，最后将固定大小的交通标志ROI二值化得到适合网络输入的标准图像。

实验中基于相同的数据集，分别对SVM方法、传统的整幅图直接输入CNN的方法以及本文基于ROI和CNN的交通标志识别方法进行了训练和测试，测试结果如表1所示。

表1 测试结果识别率/%

名称SVMCNNROI-CNNGTSDB数据集95．7397．1297．27现实场景拍摄85．0160．5899．81平均识别率90．3778．8598．54

由表1可见，本文的ROI-CNN交通标志识别方法识别率最高，平均为98.54%，在GTSDB数据集上97.27%，在现实场景拍摄的识别率为99.81%；SVM识别方法，平均识别率为90.37%，现实场景拍摄的识别率不是很高,只有85.01%，且需要复杂的特征提取和数据重建过程；传统CNN识别的方法在GTSDB数据集上略高于SVM识别方法，为97.12%，但是在复杂背景干扰的现实场景拍摄的数据集下识别率仅有60.58%。ROI-CNN的识别结果如图5所示，在运动模糊、背景干扰、光照以及交通标志局部遮挡破损等因素的干扰下，其仍然有很好的识别结果。因此，ROI-CNN的方法无论是现实场景拍摄下的，还是在GTSDB数据集上的识别率都是最高的，特别适用于复杂背景干扰的现实场景图像，验证了基于ROI和CNN交通标志识别方法具有更好的识别与分类的能力。

图5 识别结果

算法方面对比分析，在SVM方法中，机器学习模型仅负责特征的分类，前期需要复杂的HOG特征提取和数据重建过程，特征设计的好坏直接影响到整个系统的性能。而CNN是输入到输出的非线性映射，无需复杂的特征提取和数据重建过程，具有海量学习能力，权值共享，由多层特征卷积、池化、局部响应归一化以及产生亿万级参数来表达特征，这些都是任意传统特征提取方法所不能及的，且这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性，对输入数据在空间上和时间上的扭曲有很强的鲁棒性[15]。但是直接一整幅图像作为输入，由于存在复杂的背景干扰，需要花费大量的时间进行学习，且识别率往往不高，如表1所示。鉴于此，再次验证了基于改进卷积神经网络交通标志识别方法是较优的。

由图6可见，batchsize为10，学习率为1，随着迭代的进行误差不断变小。传统的把整幅图作为CNN输入的交通标志识别方法迭代100次，收敛的速度才趋于平缓如图6(a)所示，耗时较长，需359.083 s；本文基于ROI和CNN交通标志识别的方法40次迭代就有很好的收敛效果，耗时只需144.955 s。由此可以看出，本文方法提高了交通标志识别速度。

图6 CNN与ROI-CNN结果对比

4 结束语

针对采集过程中由于运动模糊、背景干扰、光照以及交通标志局部遮挡破损等因素影响交通标志识别的现状，采取检测提取ROI作为CNN输入，实现交通标志的识别。并在现实场景拍摄与GTSDB数据集所组成的样本库上，分别对SVM方法、传统的CNN方法以及本文基于ROI和CNN交通标志识别方法进行了一系列的训练与测试。实验结果表明利用本文方法，耗时最短、准确率最高，平均识别率能达到98.54%。为了使其具有广泛的适应性，研制一个能够在移动客户端上进行实时监测的系统是下一阶段的工作重点。

[1] Zhao N,Yuan J B,Han XU.Survey on Intelligent Transportation System[J].Computer Science,2014,28(1):1-5.

[2] Juan Zhicai,CAO Wenjing.Study on Driver Traffic Signs Comprehension Basedon Cognitive Psychology [J].China Safety Science Journal,2005,15 (8):8-11.

[3] Gudigar A,Chokkadi S,Raghavendra U .A Review on Automatic Detection and Recognition of Traffic Sign[J].Multimedia Tools and Applications,2016,75(1):333-364.

[4] 郑文贵，李向云.1996-2003年全国交通事故伤害的时间序列分析[J].中国卫生事业管理,2006,22(2)：105-107.

[5] Wang Xiaogang.Deep Learning in Image Recognition [J].Communications of the CCF,2015,11(8): 15-23.

[6] Saha S K,Dulal C M ,Bhuiyan A A.Neural Network Based Sign Recognition [J].International Journal of Computer Application,2012,50 (5) :35-41.

[7] Yuan Xue,Guo Jiaqi,Hao Xiaoli,et al.Traffic Sign Detection Via Graph-based Ranking and Segmentation Algorithms [J].IEEE Traffic on Systems,Man,and Cybernetics: Systems,2015,45 (12) : 1509-1521.

[8] Schmidhuber J.Deep Learning in Neural Networks: An Overview[J].Neural Networks,2014,61(9):85-117.

[9] He K M,Zhang X Y,Ren S Q,et al.Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916.

[10] Matas J,Chum O,Urban M,et al.Robust Wide-baseline Stereo from Maximally Stable Extremal Regions [J].Image and Vision Computing,2004,22 (10) : 761-767.

[11] Greenhalgh J,Mirmehdi M.Real-Time Detection and Recognition of Road Traffic Signs [J].IEEE Transactions on Intelligent Transportation Systems,2012 ,13 (4) :1498-1506.

[12] Seokwoo Jung,Unghui Lee,Jiwon Jung,et al.Real-time Traffic Sign Recognition System with Deep Convolutional Neural Network[C]∥Xian: 2016 13th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI),2016：31-34.

[13] Hossain M S,Hyder Z.Traffic Road Sign Detection and Recognition for Automotive Vehicles [J].International Journal of Computer Applications,2015,120 (24) :10-15.

[14] Houben S,Stallkamp J,Salmen J,et al.Detection of Traffic Signs in Real-world Images: The German Traffic Sign Detection Benchmark[C]∥ International Joint Conference on Neural Networks.IEEE,2014:1-8.

[15] Szegedy C,Liu Wei,Jia Yangqing,et al.Going Deeper with Convolutions[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition.New York,2015: 1-9.