改进LeNet-5网络用于交通标志识别的方法

李 达，关志伟，2，陈 强，赵若愚

（1.天津职业技术师范大学汽车与交通学院，天津 300222；2.天津中德应用技术大学汽车与轨道交通学院，天津 300350）

近年来，我国的国民经济水平、汽车保有量、驾驶员人数以及道路通车里程呈较快增长态势，随之而来的交通事故时有发生。建立智能交通系统是降低交通事故量的有效途径，其中交通标志在交通场景中通过不同的图案和颜色为驾驶员提供前方道路的路况信息，保障交通行驶中的安全，对降低交通事故起到了一定的辅助作用。因此，在自然场景下研究如何提高交通标志的识别精度和识别准确率对开发先进驾驶辅助系统（ADAS）具有重大意义[1]。目前，交通标志检测主要有模板匹配法、传统机器学习法和深度学习法等[2]。基于模板匹配的交通标志检测法利用交通标志特有形状进行模板的特征匹配。文献[3]通过对交通标志进行形态学处理后，使用模板匹配算子对交通标志进行分类。针对交通标志特有的颜色形态，文献[4]使用颜色阈值分割和形状分析获取图像中的交通标志。该类算法鲁棒性较差，对环境因素的变化较为敏感，对交通标志特征的要求也较为严苛，只能针对某类与模板匹配较好的交通标志进行有效检测，在交通标志牌发生形变、污染等情况下，检测准确率存在一定的偏差。基于传统机器学习法，通过分析不同交通标志间的特征，选取相应的分类器对交通标志进行分类，文献[5]通过提取感兴趣区域的HOG特征输入训练好的SVM分类器，得到具体的交通标志识别结果。文献[6]提出将加权的ELM作为AdaBoost的弱分类器，将二者相结合获得最优的分类器，进行可靠的交通标志识别。但是，此类方法计算量大，大多无法满足识别过程中的实时性要求。基于深度学习的交通标志检测方法利用多层深度学习网络，自主学习图像中交通标志的不同特征，如文献[7]图像进行HSV颜色空间阈值分割后，利用方向快速旋转的短特征方法传入处理后的交通标志图像识别。文献[8]对训练数据集进行伪样本正则化策略结合Faster R-CNN的交通标志识别方法，有效降低模型在训练过程中的过拟合现象。文献[9]提出YOLO网络，通过单个回归的网络框架直接预测图像中检测对象的类概率，该类方法计算量较大，模型较为复杂，易出现模型过拟合的现象，影响检测精度。针对上述研究中的问题，本文以LeNet-5卷积神经网络为基础进行改进。

1 GTSRB数据集及算法设计流程

为了对本文提出的网络模型进行训练以及与改进前网络模型进行对比，采用德国交通标志数据集（GTSRB）[10]作为基准数据库进行测试和验证。该数据集分别从自然场景中采集包括警告、禁止、指示、其他类等43种交通标志。数据集通过车载摄像头采集特定场景中的一段视频进行处理，形成不同尺寸、不同像素的30张图片为一组，整个数据集一共包含51 839张交通标志图片，其中训练集39 209张、测试集12 630张。数据集中交通标志类别展示如图1所示。

图1 GTSRB数据集中的43种交通标志

1.1 图像预处理

由于GTSRB交通标志数据集中采集的交通标志图像均为自然环境下的道路交通场景，图像质量受环境因素以及拍摄技术等影响较大。一方面，采用的数据集图像尺寸分布不均匀，图像中含有的干扰要素较多，图片中除包含交通标志信息外，所采集的环境因素对于神经网络训练的结果会产生一定的影响；另一方面，数据集中不同种类的交通标志数量分布不平衡，在训练过程中，部分类别交通标志图像较少，使得模型的泛化能力较弱。为减弱环境因素的干扰，加强训练集的均衡性，采用图像尺寸归一化以及数据集的增广技术预处理图像，强化后续训练出的模型算法的可靠性。

1.1.1 图像尺寸归一化

GTSRB交通标志数据集中采集的交通标志图片的图像尺寸范围为15×15～250×250像素[11]。为了统一图像的尺寸，减少因图像尺寸影响卷积神经网络特征提取的结果，将数据集中所有交通标志图像尺寸归一化为32×32像素。

常用的图像尺寸归一化算法主要采用差值的方法对图像尺寸进行处理，如最近邻插值法、双线性插值法、双三次插值法等[12]。本文采取双线性插值法，根据图像中像素点相邻的4个像素点的像素值，利用2次差值计算出尺寸变换处理后图片中新的像素灰度值大小。经双线性插值法处理后的图像，其像素值较为连续，图像尺寸变化后易出现的锯齿现象不明显。该方法不仅可以弥补最邻近插值法在图像尺寸变换中出现的严重失真问题，同时降低双三次插值法在图像尺寸变换中计算量大的问题。

1.1.2 数据集增广

数据集中各类交通标志的数量分布不均匀，在卷积神经网络训练的过程中，易造成对某类交通标志的训练不够完全，无法达到应有的训练效果。为了进一步增加数据集的多样性，使训练出的模型具有更强的泛化能力，针对训练集中部分类别交通标志图像采取随机的以中心点为中心，±15°旋转的操作来补充数据集的数量。该方法取现有GTSRB交通标志数据集中交通标志图像最多的数量为基准[13]，采用第2类交通标志数量2 250张作为上限，每类数据增加后的交通标志图像数量yi计算式为

式中：i为某类交通标志的类别；xi为某类交通标志现有的数量。

经过数据集增广后，训练集整体数量较之前的39 209张增加到现在的71 398张，各类别交通标志整体数量分布如图2所示。从图2可以看出，新的训练集图像数量分布平衡性得到一定的提高。

图2 训练集增广后各交通标志数量的统计分布

1.2 LeNet-5网络及其改进

1.2.1 LeNet-5网络

传统的卷积神经网络模型由输入层、卷积层、池化层、全连接层和输出层组成，通过卷积层运算获取图像中多种不同参数的特征，利用池化层缩减图像的大小，降低运算量，全连接层将获取的参数进行分类后输出[14]。LeNet-5网络作为一种传统的卷积升级网络模型，自提出后在图像识别领域得到了广泛应用，该网络模型由8层构成，通过卷积、池化以及全连接层的组合对图像的特征进行准确提取分类后由输出层的分类器输出。其网络算法流程如图3所示。

图3 LeNet-5卷积神经网络算法流程

整个网络结构由3个卷积层、2个池化层以及1个全连接层组成，由前端输入32×32尺寸的图像后，经过多次卷积、池化操作，输出120个特征图像至全连接层，全连接层将特征图像转换为一维向量后传递至输出层的分类器，对交通标志对应类型进行分类。

1.2.2 改进的LeNet-5网络

卷积神经网络中，卷积层的作用主要是对输入的交通标志图像进行多维特征的提取，组合的多个卷积层可以实现图像特定的局部特征提取。由于图像中相邻像素存在一定的相似性，卷积层提取的多个特征图像之间信息存在一定的冗余，且数据量较大，池化层根据定义的窗口大小对输入数据进行缩减采样，突出卷积层输出图像的特征，减小网络中的参数数量。为了进一步提取交通标志图像的特征，取消传统LeNet-5卷积神经网络中的C3层，加入新的卷积层和池化层，对前面2层卷积层提取的参数进行更深层次的采样，加深模型对形状相似标志中细微差别的学习，对模型的精确度进行进一步提升。

卷积神经网络均为线性组合，通过引入激活函数可以为模型增加非线性因素。LeNet-5网络中对卷积层输出的特征图使用Sigmoid激活函数进行非线性处理，其函数表达式为

Sigmoid激活函数的值域范围在（0，1），随着x值的无限扩大，易产生梯度消失现象。该激活函数在文本识别中效果较好，在交通标志的识别上存在一定的差距。本文在网络中引入ReLU激活函数，其函数式为

ReLU函数的值域范围在[0，+∞），随着x值的无限扩大，函数的值也在扩大，该激活函数可以有效避免梯度消失问题，同时计算简单，有利于加速模型的收敛速度。

在LeNet-5网络中，在模型的末端环节仅使用1个全连接层实现交通标志特征的分类提取，对于现有设计的交通标志而言，大多采用圆形和三角形等作为交通标志的主体形状，主要区别仅存在于不同颜色的差别以及局部文字、图案等微小的差别。全连接层神经元拟合的效果不一定能满足现实中交通标志分类的需求，采用2层全连接层结构可以在一定程度上加深模型的复杂程度，使得模型的非线性表达能力得到提升，进一步增加模型的学习能力。

为了防止模型在训练参数较多时出现过拟合的现象，在模型结构的全连接层后面加入Dropout策略，并通过设置不同的参数，验证Dropout策略在模型训练过程中获得的最好效果。Dropout策略在模型每次训练的过程中，会随机地以一定的概率暂时放弃某些神经元的输出，这在一定程度上减小了网络结构的规模。这种方法可以在1个模型中使用多个网络进行交通标志的学习和训练，同时取多个网络训练，最终输出参数的平均数作为模型的最终输出，达到提高模型的泛化能力，降低模型在训练过程中出现过拟合的风险，提高识别的准确度[15]。改进后的卷积神经网络算法设计流程如图4所示。

图4 改进后的LeNet-5网络算法流程

2 实验分析

本文实验硬件环境基于Windows平台，处理器为Intel Core i5-7500，频率3.40 GHz，基于TensorFlow开源库进行算法的整体编写、运行。GTSRB数据集中的图片采用不同大小和像素值的30张相同图片作为一组，取原始训练集中每组图片中的1张制作1 306张含有各类交通标志的验证集，用于测试算法中各关键层参数和网络改进前后算法的性能。

2.1 卷积核尺寸的确定

不同尺寸的卷积核对于图像特征的提取能力不同，为了验证卷积核尺寸对于模型准确度的影响，本文在卷积层均采用同一尺寸的卷积核，分别在3×3、5×5、7×7、9×9共4种尺寸下卷积核的卷积层对模型准确度的影响进行对比实验，实验结果如表1所示。

表1 不同卷积核尺寸实验结果统计

由表1可知，在相同条件下，不同尺寸卷积核对于模型准确率的影响较大。其中，在采用5×5尺寸的卷积核进行实验时，所获得的验证集准确率最高，故本文采用5×5尺寸的卷积核进行最终的实验。

2.2 全连接层神经元个数的确定

全连接层的主要作用是对卷积层、池化层提取的特征进行加权，获取输入数据中具有类别区分性的交通标志区分信息[16]。不同神经元代表的图像特征信息数量不同，通过在相同实验条件下，比较第2层全连接层神经元数为200、400、600、800下的验证集准确率来确定最终采取的神经元个数。实验结果如表2所示。

表2 全连接层神经元数目实验结果统计

由表2可知，在第2层全连接层神经元数为600时，模型的准确识别率达到最高。因此，本文采用600个神经元进行最终实验。

2.3 Dropout策略有效性验证

Dropout策略可减少网络在训练过程中的过拟合现象，为了验证Dropout设置的有效性及合理参数的设置，在算法模型的全连接层后端加入Dropout策略，并设置0.1、0.3、0.5、0.7、0.9和1.0概率参数的Dropout策略进行比较实验，确定最终模型的Dropout参数，实验结果如表3所示。

表3 不同参数的Dropout实验结果统计

由表3可知，在相同实验条件下，添加合适参数的Dropout策略的卷积神经网络模型较未添加Dropout策略的卷积神经网络模型的模型准确识别率有一定程度的提高。对比实验可以发现，在Dropout概率为0.5时，模型的准确识别率最高，因此本文采用概率为0.5的Dropout策略进行最终的实验。

2.4 模型改进前后性能对比验证

为了验证本文提出的改进的LeNet-5网络，将本文提出的算法与传统LeNet-5网络进行对比，验证改进前后模型在验证集中的准确率和损失值变化情况。通过实验分析验证，确定改进后的模型中卷积核尺寸、全连接层神经元数以及Dropout参数。最终针对交通标志识别的LeNet-5模型改进前后的各相关参数进行对比，结果如表4所示。

表4 模型改进前后相关参数对比

本文提出的算法与传统LeNet-5网络算法在前文增广的GTSRB数据集进行实验，结果显示，模型改进前验证集准确率为94.48%，模型改进后的准确率为99.42%。

根据2模型的输出结果得到模型改进前后训练变化曲线如图5所示。从图5可以看出，在模型改进前后，在验证集中获得的准确率存在一定的差别，改进后的模型较改进前准确率提高了4.94%。模型未改进前，在前几个训练周期中，模型的损失值较大，训练周期中，损失函数的收敛较慢，无法在短时间内获得较好的收敛效果；对比改进后的模型，模型的损失值较小，且在较短的训练周期内模型的收敛效果较好。对比分析模型的准确率变化曲线可以看出，改进后的模型准确率提升较快，在较少的训练周期中即可获得较高的准确率，且模型在6个训练周期后获得的准确率均达到99%以上，超过改进前模型的最终准确率。最终经过100个周期的训练，改进后的模型获得的平均准确率达到99.42%。

图5 模型改进前后训练变化曲线

3 结语

本文以LeNet-5网络为基础，通过对GTSRB交通标志数据集进行有效预处理和数据增广后，基于传统LeNet-5网络模型进行改进，模型中加入卷积层、池化层和全连接层来增加模型的深度，使用ReLU激活函数替换Sigmoid激活函数使模型更适用于交通标志识别，通过对比实验确定改进后模型的相关参数。在最终的对比实验中，本文提出的算法在验证集中获得的平均准确率达到99.42%，较传统LeNet-5网络模型提高了4.93%，网络性能得到一定的提升。