一种基于深度卷积神经网络的车辆颜色识别方法

陈宏彩(1.河北省科学院应用数学研究所，河北 石家庄 050081；2.河北省信息安全认证工程技术研究中心, 河北 石家庄050081)

一种基于深度卷积神经网络的车辆颜色识别方法

陈宏彩1，2
(1.河北省科学院应用数学研究所，河北 石家庄 050081；2.河北省信息安全认证工程技术研究中心, 河北 石家庄050081)

车辆颜色是车辆中显著而稳定的特征之一，在智能交通系统中具有重要的作用。针对人工设计的特征提取方法难以有效表达复杂环境下车辆颜色特征的问题，本文在AlexNet网络结构基础上，通过调整网络结构、优化网络参数，形成了基于卷积神经网络的车辆颜色识别网络模型。该方法不需要预处理过程，能够自适应地学习车辆颜色特征表示。对常见的车辆颜色进行训练测试的实验结果表明，本文提出的方法应用到车辆颜色识别问题上具有较好的优势。

深度学习；卷积神经网络；颜色识别；智能交通

在智能交通系统中，车牌识别[1]是一个重要而关键的研究课题。然而，随着车辆数量增多，交通环境变得日益复杂，仅靠车牌对车辆识别已经不能满足人们的需要。车辆颜色占据着车辆身体的大部分面积，更容易引起人们的兴起，从而可以弥补因车牌遮挡、车辆套牌、一车多牌等现象造成车牌识别失败的不足。目前，车辆颜色自动识别已经成为智能交通系统中的一个重要研究课题并且被广泛应用，例如在视频监控[2]、犯罪检测和执法部门。

然而，在非可控的环境下车辆颜色识别仍是一个挑战性的任务。这个挑战主要来自两方面：1)一些车辆颜色和其它的车辆颜色非常接近，识别中容易造成混淆。2)自然场景下车辆颜色易被各种因素影响，例如，雾霾、光线、雨和雪等。为了解决这些挑战性难题，学者们已经提出了很多创新性的工作[3,4]，例如，人工设计彩色sift特征方法[3]，标准RGB直方图方法和特征纹理方法[4]，这些方法不同程度上提高了车辆颜色识别精度，但是,在真实的复杂场景下，这些方法还远远无法满足实际应用需求。而且，为了消除一些因素的影响，常规方法通常依赖于预处理技术。

作为实现深度学习的一项重要技术，卷积神经网络(Convolutional Neural Networks, CNN)[5]是目前进行图像处理研究最有效的手段之一，已在图像检测和识别[6,7]等领域取得卓越成绩。它类似于生物神经网络的权值共享网络结构可产生生物视觉中的局部感受野效应，降低网络模型复杂度、减少权值数量的同时对平移、比例缩放、倾斜等视觉形变均具有高度的抵抗能力。本文提出一种基于深度卷积神经网络的车辆颜色识别方法。

1 车辆颜色识别网络模型结构设计

深度卷积神经网络可以将特征提取和识别结合起来，通过反向传播可以不断的优化，将特征提取变为一个自学习的过程，避免了人工选取特征。经典的深度卷积神经网络模型有LeNet[8]、AlexNet[9]、GoogLeNet[6]、VGGNet[7]和深度残差等[10]。这些模型在MNIST、Cifar、ImageNet等各数据集上都取得了不错的成绩。常用的架构主要是卷积神经网络基本结构的交叉，在最后分类可以选择Softmax或者SVM[11]分类器。最近的模型朝着更深的结构发展，也伴随着有更优秀的算法加入模型中来解决训练中遇到的问题。

不同的卷积神经网络结构对数据具有一定的依赖性，所以需要根据数据本身的情况进行设计具体的网络模型。为了构建一个较好的车辆颜色识别网络模型，需要合理考虑网络深度、卷积层个数、网络中各层特征图的数量及池化大小等参数，使之适合实际数据。本文选择网络结构及参数大小适中的AlexNet模型作为基础网络，通过参考一些经典改进模型的方法和策略，设计车辆颜色识别模型，网络结构如图1所示。本网络结构共有8层，包含五个卷积层，两个全连接层，一个输出分类层。在每个卷积层后面，连接着对比度标准化，最大池化层和非线性操作，最后一层是网络的输出层，输出层参数由车辆颜色类别个数决定。每个全连接层的输出通过公式Yt=Wt-1Yt-1+Bt-1计算，参数W和B通过训练阶段学习获得。在网络结构的最后一层连接一个Softmax非线性激活函数，这个函数计算出测试数据在每个类别里的分数值。

图1 车辆颜色识别方法网络模型

2 车辆颜色识别网络模型参数设计

2.1 卷积核设计

卷积神经网络中每个特征图学习输入图像的一种特征，特征图的数量即卷积核的个数，所以卷积核的数量决定了提取特征的多少。卷积核的数量设计要合理。若卷积核个数过少，提取的特征类别少，网络学习到的信息越少，最后会使网络模型分类的准确率下降。若卷积核的个数过多，提取的特征信息冗余，会使得网络模型训练时过拟合，而且加大了卷积运算量，从而导致网络训练时间加长。另外，特征图数量选择要和实验平台配置相匹配。在实验中用车辆数据库训练并测试了几种不同卷积核个数变化对识别率的影响，如表1所示。

表1 不同卷积核数量在车辆颜色数据库上的训练结果表

图2 卷积层响应图

卷积核的大小即感受野区域。它的大小需要根据实际样本进行选择。如果卷积核大小过大，提取到局部信息的太复杂；如果过小，不能提取到有效的特征。理论上卷积核大小越小提取的特征越好，但是实际中图像中会存在噪声等情况。当卷积核大小为7×7时，通过可视化程序，观察第一层卷积层的响应情况。第一个卷积层的滤波器的权重示意图如图2所示，从图中可以看到了很多边缘信息，其中有些部分负责提取彩色特征。本文卷积核大小设置如图1网络结构参数所示。

2.2 激活函数设计

激活函数就是神经网络中，神经元的输入与输出之间的映射关系。激活函数对网络模型的收敛性影响很大，合适的激活函数可以提高网络模型的收敛速度。常用的激活函数有Sigmoid、Tanh、Relu等。其中Sigmoid和Tanh是传统神经网络中常用的两个激活函数，但是这两种函数的输出不具备稀疏性，而且Bengio[12]发现Sigmoid网络在5层之内会产生梯度消失现象。

图3 Relu函数图

与传统激活函数相比，Relu(Rectified Linear Units)能够有效缓解梯度消失问题，从而直接以监督的方式训练深度神经网络，无需依赖无监督的逐层预训练。本文设计的网络模型采用的Relu激活函数。Relu是线性的、非饱和的，而且只需要一个阈值就可以得到激活值，其函数为公式(1)，函数图像如图3所示：

g(x)=max(0,x)

(1)

从图3中可以看出，如果计算出的值小于0，就让输出值等于0，大于0的值就保持原来的值不变。因此可以在训练中，加快收敛，缩短训练时间。这样会使训练后的网络具备一定的稀疏性。Relu函数的导数形式如公式(2)：

(2)

从式子中可见，当大于0时，Relu的导数对应值为1，这使得在反向传播时，能很好的将梯度传递到前面的网络层，避免梯度消失的问题，所以在设计中首选了Relu函数作为网络模型的激活函数。

2.3 分类器设计

卷积神经网络的输入要求图像大小统一，而经过车辆定位处理后的图像大小各异，因此需要将图片进行预处理，通过归一化最后得到大小为256×256的车辆图像。

在网络的输出层中，用于训练的车辆颜色标注有8类。因此，最后的基于深度卷积神经网络的模型的输出节点为8。在输出层采用Softmax分类器，计算车辆颜色属于哪个具体颜色的概率，计算公式为：

(3)

3 实验

3.1 实验环境

为实现车辆颜色识别功能，在AMAX服务器上进行实验测试，其实验环境为：

(1)实验系统：Ubuntu14.04操作系统+CUDA7.5。

(2)硬件配置：4块型号为NVIDIA Tesla K40 GPU显卡；CPU为Intel Core i7,主频2GHz,Intel(R) Xeon(R) CPU E5-2650 V2 @ 2.60GHz，系统内存为16GB。

(3)软件配置：Cudnn、Caffe[13]和相关依赖包。

3.2 实验数据

车辆颜色识别测试数据集是从某市交通卡口获取的交通图像。通过车辆定位算法将其中车辆剪切，然后根据颜色分类，制作训练样本集及测试数据集。车辆颜色分为白色、黑色、红色、绿色、蓝色、黄色、灰色和深蓝色共8个类别，颜色样本示例如图4所示。每类训练样本数目从300张到700张不等，训练数据集总共4520张图像，测试数据集共4000张图像，每张图像的分辨率大小2048×1536。

图4 本文车辆颜色样本

3.3 训练与测试结果

在训练阶段，采用step学习策略，设置的初始学习率为0.01，使用冲量学习，冲量值设为0.9。经过调整迭代次数和训练参数，最终的训练结果如图5所示。

图5 训练和测试错误率图

在调参中，当训练迭代次数小于2000时，train loss和test loss的值一直处于下降趋势，测试的准确率也呈上升趋势，说明这个网络处于学习状态中，可以调大迭代次数，使准确率达到一个稳定值。但是迭代次数不能过高，因为随着迭代次数增加，训练阶段耗时较长。所以需要调试到合适的迭代次数。当训练模型时，会遇到train loss和test loss不断上升，说明网络模型设计出现问题；两者的值都不变时，说明学习的超参数需要调节，如学习数量、批尺寸大小。若train loss处于下降状态，test loss的值没有变化，则说明网络模型出现过拟合。

测试车辆数据，统计其车辆颜色识别正确率情况。为了证明提出方法具有意义，重复试验5次，每次获得8个车辆颜色的识别正确率，最后再取平均值，测试结果如表2所示。从表2中可以看出深度卷积神经网络应用到车辆颜色识别上达到了较好的识别效果，平均测试准确率为97.0%，识别每张车辆图像颜色需要耗时0.008ms。

表2 测试车辆颜色识别率情况

4 结论

本文提出了一个基于深度卷积神经网络的车辆颜色识别方法。这个方法基于AlexNet模型设计车辆颜色识别网络结构。从卷积核参数、激活函数、分类器等方面讨论了影响车辆颜色识别的因素。本文建立的车辆颜色识别模型能够自适应地学习车辆颜色特征，而不需要预处理过程。通过对8中常见车辆颜色识别的实验结果表明，本文提出的方法能够取得较高的识别准确率，平均识别率达到97.0%，而且在运行时间上也较快，在一台具有4块NVIDIA Tesla K40 的机器上平均处理一张图片的时间为0.008ms，具有较强的实用意义。

[1] Y.Wen et al.“An algorithm for license plate recognition applied to intelligent transportation system,” IEEE Trans.Intell.Transp.Syst.,vol.12,no.3,pp.830-845,Sep.2011.

[2] J.B.Kim and H.J.Kim,“Efficient region-based motion segmentation for a video monitoring system,” Pattern Recognit.Lett.,vol.24,no.1-3,pp.113-128,Jan.2003.

[3] K.E.Van De Sande,T.Gevers,and C.G.Snoek,“Evaluating color descriptors for object and scene recognition,” IEEE Trans.Pattern Anal.Mach.Intell.,vol.32,no.9,pp.1582-1596,Sep.2010.

[4] P.Chen,X.Bai,and W.Liu,“Vehicle color recognition on urban road by feature context,” IEEE Trans.Intell.Transp.Syst.,vol.15,no.5,pp.2340-2346,Oct.2014.

[5] 李彦冬,郝宗波,雷航.卷积神经网络研究综述[J].计算机应用,2016,36(9): 2508-2515.

[6] Szegedy C,Liu W,Jia Y,et al.Going deeper with convolutions[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2015:1-9.

[7] Simonyan K,Zisserman A.Very Deep Convolutional Networks for Large-Scale Image Recognition[J].Computer Science,2015.

[8] LeCun Y,Bottou L,Bengio Y,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11): 2278-2324.

[9] Krizhevsky A,Sutskever I,Hinton G E.Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems.2012:1097-1105.

[10] He K,Zhang X,Ren S,et al.Deep Residual Learning for Image Recognition[J].2016:770-778.

[11] 袁勋,吴秀清,洪日昌等.基于主动学习SVM分类器的视频分类[J].中国科学技术大学学报,2009,39(5):473-478.

[12] Glorot X,Bengio Y.Understanding the difficulty of training deep feedforward neural networks[C]//Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics.2010: 249-256.

[13] Jia Y,Shelhamer E,Donahue J,et al.Caffe:Convolutional architecture for fast feature embedding[C]//Proceedings of the 22nd ACM international conference on Multimedia.ACM,2014: 675-678.

A Method of vehicle color recognition based on deep convolutional neural networks

CHEN Hong-cai1，2
(1.HebeiAcademyofSciencesInstituteofAppliedMathematics,ShijiazhuangHebei050081,China; 2.HebeiAuthenticationTechnologyEngineeringResearchCenter,ShijiazhuangHebei050081,China)

Vehicle color is one of the significant and stable features of the vehicle and it plays an important role in the intelligent transportation system.Artificial designed methods of feature extracting have an imperfect description of vehicle in the complex background.Vehicle color recognition model is designed to classify vehicle color by adjusting the AlexNet network structure and optimizing network parameters.This method can adaptively learn vehicle color features without preprocessing process.The experimental results show that the approach of deep convolutional neural networks is applied to the vehicle color recognition has a good advantage.

Deep learning; Convolutional neural network;Color recognition; Intelligent transportation

2017-05-12

河北省科技计划项目(17395602D)

陈宏彩(1981-),女，河北滦南人,研究方向：主要从事图像处理、计算机视觉方面的研究.

1001-9383(2017)02-0001-06

TP391.4

A