融合整体与局部特征的车辆型号识别方法

甘凯今　蔡晓东　杨超　王丽娟

摘 要： 针对现有的深度学习模型忽略从特定图像区域提取局部特征的问题，结合智能交通系统领域的具体应用，提出融合整体与局部特征的车辆型号识别方法。首先，根据车头图像的纹理特点与车牌位置，将车头的全局图像分为多个局部图像；然后，使用优化的卷积神经网络模块分别提取图像的全局特征与局部特征，将全局与局部特征输入到多层全连接神经网络进行特征融合；最后，使用softmax进行车辆型号识别。实验表明，提出的方法能够提取有效的全局与局部特征，具有训练收敛快、识别准确率高的优点。

关键词： 车辆型号识别； 卷积神经网络； 整体特征； 局部特征； 特征融合

中图分类号： TN911.73?34； TP391.41 文献标识码： A 文章编号： 1004?373X（2017）07?0127?04

Vehicle type recognition method fusing global and local features

GAN Kaijin， CAI Xiaodong， YANG Chao， WANG Lijuan

（School of Information and Communication， Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： Since the deep learning model ignores the local feature extracted in a particular image region， a vehicle type re?cognition method fusing the global and local features is proposed by combining the specific application in the intelligent transportation system field. According to the texture feature of the image front of the vehicle and licence plate location， the global image front of the vehicle is divided into multiple local images. The optimal convolutional neural network module is used to extract the global feature and local feature of the image. And then the global feature and local feature are input into the multilayer fully?joint neural network for feature fusion. The softmax is used to recognize the vehicle types. The experimental results demonstrate that the method can extract the effective global and local features， and has the advantages of fast convergence rate and high recognition accuracy.

Keywords： vehicle type recognition； convolutional neural network； global feature； local feature； feature fusion

0 引 言

车辆型号识别是智能交通系统领域的重要研究内容。随着现代社会生活节奏的加快，汽车日益成为人们生活和工作中重要的交通工具。汽车的广泛使用为人们的出行提供了便利，然而，少数不法分子故意使用套牌车辆以躲避交通监控系统的追踪，这种行为给社会治安带来了严重的安全隐患。因此，为了打击套牌车辆的使用、减少涉车犯罪，智能交通监控系统需要识别过往车辆的型号，并对车辆的型号与车牌号码的一致性做鉴别。

关于车辆型号识别的研究，主要集中在识别大型货车、中型汽车、小型轿车等少数几类车型[1?2]，这类研究只针对车辆型号做粗略的分类。随着图像识别研究的深入，针对例如奥迪A6、宝马X3等具体车辆型号识别的研究也逐步出现。文献[3]以车头部件（车灯、挡板等）与车牌的距离比值作为几何参数特征，使用人工神经网络进行车辆型号识别，该方法利用车辆局部几何参数的独特性，在识别少量车型时取得了良好效果。文献[4]利用车辆面积、车窗位置和车轮位置为特征进行车辆类型识别。文献[5]使用特征脸方法获取车辆图像的特征，并以此识别车辆型号，该方法提取整张车头图像的整体特征，忽略车头局部图像的特征。文献[6]利用卷积神经网络结构搭建深度学习模型进行车辆型号识别，该方法使用卷积神经网络（Convolutional Neural Network，CNN）学习车头图像的整体特征，并未充分提取局部特征。

本文针对现有的车辆型号识别方法没能有效提取并融合车辆整体与局部特征的问题，提出融合整体与局部特征的车辆型号识别方法。实验表明，本文提出的融合整体与局部特征的车辆型号识别方法获得了较高的车型识别准确率。

1 车脸定位与分块

车辆型号识别遇到的首要问题是如何获取稳定可靠且特征丰富的车辆图像。为解决上述问题，本文首先使用基于车牌定位的车脸提取方法提取车脸图像，其次根据车头局部区域的纹理丰富程度对车脸做分块处理。

1.1 基于车牌定位的车脸提取

我国的车牌颜色主要有蓝底白色、黄底黑色、黑底白色和白底黑色4种类型，车牌字符间隔均匀且边缘梯度变化大，形成了特殊的纹理特征。利用车牌特有的纹理特征与颜色特征，可以快速实现车牌的准确定位。本文使用文献[7]提出的颜色和纹理相结合的车牌定位算法获取车牌中心位置与车牌宽度。在车牌定位的基础上，本文根据车牌图像与车脸图像的旋转角度、尺寸比例的几何关系变化一致性，提出基于车牌定位的车脸提取方法，使得在车辆偏转、尺寸不同的情况下，依然能准确获取车脸图像，为车辆型号识别提供稳定可靠的输入图像，具体方法如下：

以车牌中心为坐标原点，分别向左右各1.75倍车牌宽度、向上1.5倍车牌宽度、向下0.5倍车牌宽度进行区域扩展，位于扩展区域内的图像即为车脸图像。 车脸定位结果如图1所示，假设车牌水平宽度[w=1，]则右上角[A]点坐标为（1.75，1.5），右下角[B]点坐标为（1.75，-0.5）。

1.2 基于车头纹理信息的车脸分块

通过观察大量车脸图像样本，发现车灯、散热网等部件具有独特的纹理信息。为了更好地获取车脸图像的局部特征，本文按车灯、车标、散热网等部件所在的区域将车脸图像分成9块，每一块图像都包含特定的车头部件，能够为车辆型号识别提供具有良好区分度的图像特征。车脸分块结果如图2所示。

2 融合整体与局部特征的CNN模型

为了更好地提取并融合车脸图像的整体与局部特征，本文对传统的CNN模型[8?10]进行改造，提出融合整体特征与局部特征的CNN模型。与传统模型的区别在于，本文提出的模型包含多个独立的CNN模块，每个模块单独处理某个区域的图像，具体方法如下：首先将不同的图像块输入多个CNN模块，分别从整张图像提取整体特征、从区域图像块提取局部特征，然后使用全连接神经网络融合局部与整体特征，最后将融合后的特征输入到softmax层进行分类。融合整体特征与局部特征的CNN模型的结构示意图如图3所示。

2.1 CNN模型的基本层

本文提出的融合整体与局部特征的CNN模型包括四种基本层，分别是卷积层、池化层、全连接层以及softmax层。其中卷积层与池化层多次交替出现，其思想是模仿动物视觉系统的视网膜感受神经。下面对各层的基本原理做简要介绍。

卷积层：该层用可训练的卷积核对图像做卷积运算，并使用神经元激活函数计算卷积的输出值。卷积操作可以表示为：

[yj=f（bj+iki，j?xi）] （1）

式中：[xi]为第[i]层输入图像；[yj]为第[j]层输出图像；相应地，[ki，j]是连接第[i]层输入图像与第[j]层输出图像的卷积核；[bj]是第[j]层输出图像的偏置；[?]是卷积运算符；[f（x）]是神经元激活函数。本文使用ReLU非线性函数作为激活函数，即[f（x）=max（0，x）]，该函数可以加快深度网络的收敛速度。式（1）中的卷积核[ki，j]与偏置[bj]是卷积网络的训练参数，通过大量的迭代训练得到较优取值。

池化层：该层对卷积层的输出图做下采样，减小特征图尺寸，增强特征对旋转和形变的鲁棒性。常见的池化方法有平均池化与最大池化，其中最大池化可以表示为：

[pij，k=max0≤n

式中：[pij，k]为池化层的第[i]层输出图在[（j，k）]位置的值；[l]为池化的步长；[m]为池化尺寸。目前，最大池化在许多应用中表现出良好的性能，本文使用的池化操作均为最大池化。

全连接层：该层是一个单层神经网络，上一层的任何一个神经元节点都与下一层的所有神经元节点连接。全连接层的参数由节点权重矩阵[W、]偏置[b]以及激活函数[f]构成。全连接层的运算可以表示为：

[y=f（W?x+b）] （3）

式中：[x，][y]分别为输入、输出数据；[f]是激活函数。

softmax层：该层是一个分类器，连接最后一层全连接层，使用式（4）计算得到每一类的概率输出：

[yi=exp（xi）j=1nexp（xj）] （4）

式中：[xi]为softmax层第[i]个节点值；[yi]为第[i]个输出值；[n]为softmax层的节点个数。

2.2 整体特征与局部特征的提取与融合

车脸图像中，各区域的图像纹理特点各不相同，例如散热网区域以直线纹理为主，车灯区域以弧形纹理为主，因此，为了更好地提取车脸图像的整体特征与各区域的局部特征，需要对不同区域使用不同的特征提取模块。本文提出使用多个独立的CNN模块组成特征提取器，不同的CNN模块处理不同的车脸区域，特征提取器结构如图3所示，其中，CNN_0提取整体特征，CNN_1～ CNN_9提取局部特征，各个CNN模块的具体参数见表1，其中，卷积核[n*w*h]表示该层有[n]个尺寸为[w*h]的卷積核。

经过特征提取器的处理，从车脸图像中提取得到1个1 024维的整体特征向量，9个1 024维的局部特征向量。得到局部特征与整体特征后，将所有特征向量顺序连接成一个10 240维的特征向量。

在特征融合模块，鉴于全连接层每个节点都与下一层任意节点相连接，具有很强的特征融合能力，本文使用3层全接层对局部特征与整体特征进行融合，各层的全连接节点数分别是4 096，1 024，[n，]其中[n]是训练样本中车型类别数量，本文识别的车型有320种，因此取[n=320。]融合模块的结构如图4所示。

经过全连接层神经网络的融合，获得表达能力更强的图像特征，最后采用softmax层对特征向量进行分类。

3 实验结果与分析

本文选取14 500张由交通卡口监控系统获取的车辆图像进行车型识别实验，其中包含常见的72种品牌、320类车型。在14 500张车辆图像中，选择10 000张作为训练集，4 500张作为测试集。为了丰富训练集的多样性，实验随机选取训练集图像做旋转（-5°～5°）、平移（4个方向5像素距离）、尺度缩放（0.8～1.2倍）等处理，最终经过样本扩展得到的训练集包含45 000张图片。经过车脸定位后，将车脸图像尺寸统一缩放至100×175，并转化为灰度图，部分车脸图像如图5所示。实验平台的配置为Intel i3四核3.4 GHz处理器、12 GB内存、GTX980Ti显卡以及Ubuntu 14.04操作系统，并使用基于C++编程语言的Caffe工具包。

为测试本文提出的融合整体与局部特征的网络结构的有效性，实验选择本文的CNN网络与具有较强目标识别能力的CNN结构作比较，包括AlexNet[8]，VGG?D[9]，GoogLeNet[10]。使用相同的车脸图像样本训练各个网络，实验结果如图6所示。

由图6可知，本文提出的CNN模型在车型识别中获得最高准确率，并且训练收敛速度略快于其他模型。这是由于本文提出的CNN模型提取的特征区分度更高、针对性更强。

为了测试各个网络在车辆型号识别时的运算速率，实验使用相同的开发环境对4 500张测试图像进行车辆型号识别。实验结果如表2所示。

从表2可以看出，本文提出的融合车脸整体特征与局部特征的CNN模型的识别准确率最高，但运算速度比其他网络模型慢，这是由于本文方法比其他网络模型具有更多的网络参数，消耗更多的计算资源。结合实际的应用分析，每秒处理31张车脸图像的计算速率，能够满足现有交通监控系统的实时需求。

实验表明，本文提出的融合车脸整体特征与局部特征的车辆型号识别方法具有识别准确率高、训练收敛快等优点，计算速度快能够满足实时处理的要求。

4 结 语

本文提出融合整体特征与局部特征的车辆型号识别方法，使用多个CNN模块分别提取车脸图像的整体特征与局部特征，并使用全连接神经网络融合整体与局部特征。该方法具有识别准确率高，训练收敛快的优点，计算速度满足实时处理要求，可以有效地应用到智能交通系统中。同时，实验结果表明，针对图像区域不同的纹理特性使用不同的特征提取器，可以获得更好的目标识别效果。

参考文献

[1] DONG Z， WU Y W， PEI M T， et al. Vehicle type classification using a semisupervised convolutional neural network [J]. IEEE transactions on intelligent transportation systems， 2015， 16（4）： 2247?2256.

[2] 袁爱龙.基于视频的汽车车型识别研究[D].成都：电子科技大学，2013.

[3] DAYA B， AKOUM A H， CHAUVET P. Neural network approach for the identification system of the type of vehicle [C]// Proceedings of 2010 International Conference on Computational Intelligence and Communication Networks. Washington， D. C.： IEEE， 2010：162?166.

[4] 浦雅雯，刘万年，姜文涛.基于PSO?IFCM的遮挡车牌车辆识别[J].计算机工程，2012，38（14）：157?160.

[5] WANG W， SHANG Y L， GUO J Z， et al. Real?time vehicle classification based on eigenface [C]// Proceedings of 2011 International Conference on Consumer Electronics， Communications and Networks. Xian： IEEE， 2011： 4292?4295.

[6] 熊祎.基于深度学习的车辆型号识别[D].武汉：华中科技大学，2014.

[7] 张银苹，葛广英.基于HALCON的车牌识别研究[J].现代电子技术，2014，37（16）：92?95.

[8] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [C]// Proceedings of 2012 the 25th International Conference on Neural Information Processing Systems. Nevada： IEEE， 2012： 1097?1105.

[9] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large?scale image recognition [J]. Computer science， 2014（3）： 1?14.

[10] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015： 1?9.