基于卷积神经网络的汽车型号识别

陈淑君 周永霞 方勇军

1(中国计量学院信息工程学院 浙江 杭州 310018)2(杭州吾思智能科技有限公司 浙江 杭州 310018)

基于卷积神经网络的汽车型号识别

陈淑君1周永霞1方勇军2

1(中国计量学院信息工程学院 浙江 杭州 310018)2(杭州吾思智能科技有限公司 浙江 杭州 310018)

利用汽车的前视图像，提出一种基于深度学习的汽车型号识别方案。首先用Adaboost算法的级联检测器检测出汽车的车头感兴趣区域。然后针对该感兴趣区域，设计相应的卷积神经网络模型进行汽车型号识别。实验分别对比了当前流行的手工设计特征(SIFT、HOG和LBP特征)用SVM及ELM分类器的识别效果。实验结果显示，基于深度学习的方法识别率显著高于传统机器学习方法，表现出卓越的性能。

深度学习 卷积神经网络 Adaboost LBP SVM 车辆识别

0 引 言

随着经济的快速发展，汽车的数量急剧增多，关于车辆的交通事故、违法犯罪等问题也越发严重，人们对于车辆的智能化管理需求越发迫切。车辆识别对智能交通和车辆的智能化管理有着重要的作用，一直是当前计算机研究的热点。车辆的识别研究，包括车牌号识别、车标识别、汽车具体型号识别等。当前，车牌号的识别技术已较为成熟，且已广泛投入应用，但车牌号只能提供车辆的部分信息，在套牌、假牌、车牌遮挡、不挂牌等情况下，车辆身份就不明了，所以需要更完备的信息对车辆进行有效管理。而汽车具体型号是车辆的一个重要信息，尤其对打击涉车犯罪案有着重要的作用。大多数的车辆盗抢主要针对中高档轿车，其具体型号信息的获取是破案的重要依据。当前关于车辆具体型号的识别研究并不多。文献[1]中作者用GRM模板匹配方法对包含15种车型的前拍车辆图像数据库进行类型识别。文献[2]中用一种改进的2DPCA方法提取特征，再用最小距离分类器进行分类，提高了算法效率。文献[3]中作者提取车辆的HOG特征，采用Adaboost算法定位出“车脸”，然后用支持向量机的方法实现分类。这些经典的识别技术主流都是手工设计的特征提取加分类器的两段式方法。而最近几年，深度学习迅速崛起，在各个领域都有了突破性的进步，几乎掀起了一场方法革命。

本文将深度学习的方法应用到车辆型号的识别领域，设计了一个卷积神经网络模型实现汽车的具体型号识别。

1 基于Adaboost的车头感兴趣区域检测

基于图像的车辆研究，一般用车尾图像或前视图像。车尾和前视图像各有其优势，车尾图像包含了车辆的厂家，排气量等信息，但车尾图像对图像质量，分辨率等要求较高。而前视图像获取较为容易，其车头外形特征也较为明显。本文用前视图像进行汽车型号识别。相比于传统的用手工设计特征再用分类器进行识别的方法，本文直接用图像输入卷积神经网络进行识别。由于用整张前视图像进行识别，计算量大，且车窗内的人物等场景会对识别造成干扰，而车辆前视图像信息主要集中在车牌、车标、车栅栏、车灯等车头部分。所以本文选取这些区域(即车轮以上、车灯及其以下区域)作为车头感兴趣区域，进行型号识别。

本文采取经典的Adaboost算法[4]进行汽车的车头感兴趣区域检测。Adaboost算法是基础boost算法的一种改进优化。其通过集成多个弱分类器，并进行适应性调整，从而获得一个强分类器。检测所用的图像特征，我们分别实现了Haar特征和LBP特征。Haar特征是图像的矩形特征，其对于近似刚性、具有纹理、具有块状特征的事物有较好的表达效果。LBP是一种可有效表示纹理的特征，广泛应用在当前的图像纹理表示上。

用Adaboost算法训练得到模型后，然后用滑动窗口进行感兴趣区域检测，当检测出的目标区域重叠面积较大时，用非最大值抑制方法，选取面积最大的区域作为多个重叠区域的唯一检测结果。

2 基于卷积神经网络的汽车型号识别

2.1 卷积神经网络CNN

CNN是深度学习中的一种重要方法，尤其在图像领域表现出了出色的性能。CNN大量使用于1990年[5],但其发展并不顺利。随着支持向量机的崛起，渐渐消失在人们的视野中。相应地，各种手工设计的特征SIFT、HOG、LBP等也活跃在各个领域。直到2012年Krizhevsky[6]在ImageNet大型视觉识别挑战中用卷积神经网络模型大幅度的提高了图像的分类精度，重新燃起了人们对CNN的兴趣。短短几年的发展，CNN在图像分类[6-9]、人脸识别[10-11]、物体检测[9,12-14]等领域都有了突破性进步。CNN与传统的方法不同，其不需要手工设计特征，自然集成了低、中、高层的特征表示，是一种端到端的层级特征学习分类器。

2.2 网络的设计

由于车头感兴趣区域与人脸具有较高的相似性，都是由一些块状的部件组成。而人脸识别一直是计算机学者们的重点研究领域，其发展十分迅速。因此，我们借鉴人脸识别的相关研究成果。

本文主要是借鉴文献[11-12]中的DEEPID同时用识别信号和验证信号进行监督学习的人脸识别思想。其中，识别的监督信号用交叉熵表示，验证的监督信号用两张感兴趣区域特征的L2范数距离表示。

由于我们收集的车辆数据库不大，不宜设计太过复杂的网络模型，不然容易过拟合。我们设计的网络结构，包含4层卷积层(其前三层跟随最大池化层)加一层全连接层，然后用softmax进行分类。并且前三层分别增加一个全连接层，以添加识别信号和验证信号进行监督训练。我们尝试了多种卷积核和提取的特征维度，其最后设计的模型如图1所示。我们设计输入图像为47×95的彩色图像，卷积层每层分别提取128张特征图，最终全连接层提取512维的特征。

图1 CNN结构图

2.3 结合传统分类器的识别

如图1中的模型结构所示，CNN在不同层上由低到高地分别提取了不同层次的特征。我们提取出该模型结构的最后一层全连接层的特征，即512维的高层特征，作为感兴趣区域的特征。然后结合当前流行的分类器进行分类，以提高识别效果。

3 实验结果和分析

3.1 车头感兴趣区域检测的结果

作者手动剪裁了3 950张车头感兴趣区域图像作为正样本，其平面内倾斜和非平面内倾斜角度均小于45度。而负样本分成三部分。1)网上收集的2 000张包含各个不同场景且不包含该感兴趣区域的图像；2)作者从正样本中手动截取的1 000张与车头感兴趣区域区域的IoU(Intersect-ion-over-Union)大于0.1且小于0.3的部分(如车灯、车牌等)3)2 000张从正样本中截取的非感兴趣区域，如车窗、道路等。

分别设计了基于Haar和LBP的16层级联检测器。每层选取3 357张正样本，10 000张负样本(可在一张负样本中截取不同区域作为负样本)进行训练。在VS2013和opencv平台下实现。在Intel(R) Core(TM) i5-4467的处理器和8 GB内存的机子上训练，用于存储预先计算的特征值和特征索引缓存大小皆设为2 GB。其中基于Haar特征的模型需要训练两个星期左右，而用LBP特征只需要训练一天左右即可得到模型。

得到模型后，分别用5 000张图像测试结果，评价其性能。当IoU大于50%时则认为检测正确。其实验结果如表1所示。

表1 车头感兴趣区域检测结果

可发现，LBP特征能更好地表征出车头感兴趣区域的特征，对其检测性能较佳。其检测结果如图2所示。

图2 检测结果

为更好地分析该算法的性能，我们分别对感兴趣区域被部分遮挡和在不同光照条件下的情况(如图3所示)进行了更详细的测试。

图3 不同遮挡和光照条件

实验发现，该算法对光照的适应性良好，在不同光照条件下，基本都可成功检测出车头感兴趣区域。在遮挡性问题上，当遮挡面积较小时可检测成功，随着遮挡面积的增大，检测失败。说明其对遮挡性也有一定的适应性。

3.2 汽车型号识别结果

本文收集了41种常见车型的前视图像，每种车型包含20到50张图像。为了保证算法的鲁棒性，允许车头感兴趣区域被小部分遮挡(行人、树枝、车辆等遮挡)，允许不同的光照条件，包含白天和夜间图像，车辆平面内和非平面内倾斜角度允许45度内的变化。其部分样本如图4所示。用上文中描述的基于LBP的Adaboost方法检测车头感兴趣区域，其检测率为96.67%。然后用深度学习的方法对车头感兴趣区域进行汽车型号的识别。

图4 车型库部分样本

我们收集的样本图片有限，且不同类别的样本数量不一，我们随机选取样本图片(尤其是样本数量较少的类别)，通过增加噪声或随机改变图像的某个颜色分量的值增加样本数量，同时保证数据分布较为平衡。最后对每个样本生成其水平镜像图像，增加一倍数据量。

本课题在Linux操作系统下的Caffe上进行实现卷积神经网络。Caffe是一个强大的深度学习免费开源的框架，其大大减少了人们实现深度学习算法的工作量。

我们用随机梯度下降法在GPU上进行训练。结合现有研究和多次实验结果，我们选取基础学习速率为0.01，权重衰减为0.000 5，动量为0.9，其识别效果较佳。

最后，我们提取出CNN模型最后一层全连接层的特征，结合传统的分类器进行识别。我们发现，将最后一层特征用支持向量机(SVM)进行分类，其识别率提升了两个百分比。

为了更好地体现CNN的算法性能，本文将其与传统的机器学习方法进行对比。实验实现了当前流行的手工设计特征(SIFT、HOG、LBP)用流行的SVM和ELM分类器识别的方法。同时，也对比实现了数据未进行扩增时的识别效果。实验结果如表2所示。

表2 汽车型号识别结果对比表

实验结果显示：1) 相比传统手工设计特征加上分类器的识别方法，卷积神经网络的方法表现出了卓越的性能。2) 对于卷积神经网络，数据量增大，其识别率有了明显的提升，验证了其对于大量数据的需求。结合现有的研究，我们可以相信，随着汽车数据库的增大，其识别率也将会有一定程度的提升。3) 用卷积神经网络提取特征，再结合传统的分类器进行分类，是一个较好的研究方向，有较大的发展空间。

4 结 语

本文提出了一种基于深度学习的汽车型号识别方法。首先用Adaboost级联算法检测出车辆的车头感兴趣区域，然后针对该区域，设计了相应的卷积神经网络进行型号识别。实验结果发现，相比于传统的机器学习方法，卷积神经网络在识别率上表现出了卓越的性能。并且提取卷积神经网络最后一层全连接层的特征用SVM分类器进行分类，发现其识别率有了提升，可达到96.5%左右。且当前研究的主要瓶颈在于汽车型号数据库的大小，相信随着数据库的增大，将会有更理想的识别效果。

本文的工作和成果对汽车识别领域的研究和应用都有一定的作用。

[1] 唐红强. 基于GRM模板匹配算法的车型和车系识别[D]. 电子科技大学, 2014.

[2] 燕磬, 杨安平, 陈凌宇. 一种改进的2DPCA车脸识别方法[J]. 现代电子技术, 2014(8):123-125.

[3] 贾晓. 套牌车辆的车型识别与检索技术研究[D]. 大连海事大学, 2016.

[4] Viola P, Jones M. Rapid object detection using a boosted cascade of simple features[C]//Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. IEEE, 2003:I-511-I-518 vol.1.

[5] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.

[6] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012:1097-1105.

[7] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2015:1-9.

[8] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J].Computer Science, 2014.

[9] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[J]. Computer Science, 2015.

[10] Sun Y, Wang X, Tang X. Deep learning face representation by joint identification-verification[J]. Advances in Neural Information Processing Systems, 2014, 27:1988-1996.

[11] Sun Y, Wang X, Tang X. Deeply learned face representations are sparse, selective, and robust[C]//Computer Vision and Pattern Recognition. IEEE, 2015.

[12] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[J]. Computer Science, 2014:580-587.

[13] Girshick R. Fast R-CNN[C]//IEEE International Conference on Computer Vision. IEEE, 2015:1440-1448.

[14] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017,39(6):1137-1149.

VEHICLEMODELRECOGNITIONBASEDONCONVOLUTIONALNEURALNETWORK

Chen Shujun1Zhou Yongxia1Fang Yongjun2

1(CollegeofInformationEngineering,ChinaJiliangUniversity,Hangzhou310018,Zhejiang,China)2(HangzhouWusiIntelligentScienceandTechnologyCo.Ltd.,Hangzhou310018,Zhejiang,China)

Using the front view of the vehicle, we propose an algorithm for vehicle model recognition based on deep learning. First, the vehicle face region was detected by using the cascade detector of Adaboost algorithm. Then, a convolution neural network was designed to identify the region. Moreover, we compared the recognition effects of SVM, ELM classifier and popular manual design features (SIFT, HOG and LBP) respectively. The experimental results show that the recognition rate of the deep learning is significantly higher than the traditional machine learning method. Deep learning demonstrates excellent performance.

Deep learning Convolution neural network Adaboost LBP SVM Vehicle identification

2016-11-09。陈淑君，硕士生，主研领域：计算机视觉。周永霞，副教授。方勇军，工程师。

TP3

A

10.3969/j.issn.1000-386x.2017.11.042