基于多分支卷积神经网络的车辆图像比对方法

蔡晓东，甘凯今，杨 超，王丽娟

(桂林电子科技大学 信息与通信学院， 广西 桂林 541004)



基于多分支卷积神经网络的车辆图像比对方法

蔡晓东，甘凯今，杨 超，王丽娟

(桂林电子科技大学 信息与通信学院， 广西 桂林 541004)

为了更有针对性地从车辆图像的不同区域提取出独特的图像特征，提出基于多分支卷积神经网络的车辆图像比对方法。首先，根据车牌定位结果获取比对车辆的车脸图像，并根据车脸图像的纹理丰富度将车脸图像划分为多个图像块；其次，使用多分支卷积神经网络分别提取各车脸图像块的深度特征；最后，通过计算车脸图像深度特征的相似度判定比对的车辆图像是否属于同种车型。实验表明，提出的方法能够提取有效的车辆图像各区域的深度特征，获得良好的车辆比对准确率，可用于套牌车辆识别。

卷积神经网络；车辆比对；深度特征；套牌车辆识别

随着社会的发展与人们生活水平的提高，城市车辆的保有量不断上升，与此同时，车辆套牌的违法行为也日益增多。为了打击套牌车辆，减少涉车犯罪，需要对使用同一车牌号码的车辆进行比对，进而识别出套牌车辆。

现有的车辆比对方法主要提取车辆的图像特征进行比对。文献[1]用SIFT特征点匹配算法作车辆图像比对，该方法在车辆外形具有较大差异的情况下能够获得良好的车辆比对效果，但其忽略特征点的位置信息，因此难以区分外形略微相似的车辆图像。文献[2]对车辆散热网的隔栅纹理方向、车灯Hu矩的相似性进行车辆比对，该方法利用了不同车型的局部差异性获得了一定的车辆比对效果，但是只提取有限的局部特征，难以在车型种类增多时获得理想的效果。文献[3]车标识别的基础上，通过车灯的不变矩距离进行车型识别，进而根据车型识别结果作车型比对，该方法的比对效果受限于车灯的定位精确度以及车型识别的准确性。在图像特征提取方面，深度卷积神经网络(Convolutional Neural Network，CNN)具有很强的特征提取能力，但传统的CNN网络结构[4-6]行分块，直接使用整张原始图像训练网络，最终训练得到的CNN网络模型难以兼顾各局部区域独特的纹理特性，无法获取具有更高区分度的图像特征。

本文针对现有的车辆比对方法未能有效提取车脸各区域独特图像特征的问题，提出基于多分支卷积神经网络(Multi-branch Convolutinal Neural Network，MB-CNN)的车辆图像比对方法。车辆图像比对系统框图如图1所示。

图1 车辆图像比对系统框图

首先，使用现有成熟的车牌定位技术获取车牌位置，并由车牌的位置截取车头图像，即车脸；其次，根据车脸各个区域的纹理丰富度对车脸进行分块；再次，使用MB-CNN提取车脸图像的深度特征；最后，使用车脸的深度特征的相似度进行车脸比对。实验表明，本文提出的车辆比对方法获得了良好的比对准确率。

1 车脸定位与分块

为了获取稳定且具有良好区分度的车辆图像样本，本文首先依据车牌位置获取车脸图像，其次根据车脸区域的纹理丰富度对车脸进行分块。

1.1 基于车牌定位的车脸提取

我国现有的车牌颜色主要分为蓝底白字、黄底黑字、黑底白字和白底黑字4种类型，车牌的字符间隔均匀且边缘梯度变化较大，形成了特殊的纹理特征，利用车牌特有的颜色特征与纹理特征，可以实现车牌的准确定位[7-8]。本文使用颜色和纹理相结合的车牌定位算法，获取车牌的中心位置与车牌宽度。获取车牌位置信息后，根据车牌图像与车脸图像的旋转角度、尺寸比例的几何关系变化一致性，本文提出基于车牌定位的车脸提取方法，该方法在车辆偏转、尺寸不同的情况下，依然能准确获取车脸图像，具体方法如下：

以车牌中心为坐标原点，分别向左右各1.75倍车牌宽度、向上1.5倍车牌宽度、向下0.5倍车牌宽度进行区域扩展，位于扩展区域内的图像即为车脸图像，此外，为避免车牌纹理对车脸图像特征的干扰，将车牌区域像素值全部置零。 车脸定位结果如图2所示，假设图中车牌水平宽度w=1，则右上角A点坐标为(1.75，1.5)，右下角B点坐标为(1.75，-0.5)。

图2 车脸定位结果

1.2 基于纹理富集区域的车脸分块

通过对大量车脸图像样本的观察与分析，发现车脸图像的纹理具有一定的聚集性，通常集中在车灯、车标、散热网等车脸部件区域，而且不同部件区域的纹理有不同的特点。

为了更有针对性地从不同区域提取特征，本文提出基于纹理富集区域的车脸分块方法，该方法首先使用Sobel算子[9]分别获取每张车脸样本的纹理图，其次计算所有车型的车脸纹理图的平均图，得到平均车脸纹理图，最后根据平均车脸纹理图的纹理富集区域确定车脸分块准则。单张车脸纹理图与平均车脸纹理图如图3所示。

图3 车脸纹理图

由图3a可以看到，单张车脸纹理图反映了该车脸纹理的位置信息，亮度高的区域具有丰富的纹理信息。而由图3b可知，平均纹理图反映了不同区域所含纹理的丰富程度，亮度高的区域是多数车脸纹理的聚集区域，属于纹理富集区域。此外，平均纹理图的纹理富集区域与大多数车辆的车灯、车标、散热网等车脸部件的域相吻合，而且各车脸部件具有不同的纹理特性。由此可知，不同的纹理富集区域具有不同的纹理特性。因此，根据纹理富集区域对车脸图像进行分块，可以确保得到的每块图像都包含丰富的纹理信息，而且每块图像具有独特的纹理特性。

本文根据车脸平均纹理图的纹理富集区域将车脸图像分成9块，车脸分块结果如图4所示。

图4 车脸原图和分块结果

2 MB-CNN特征提取模型

在车脸图像中，各区域图像的纹理特点各不相同，例如散热网区域以直线纹理为主，车灯区域则以弧形纹理为主。为了更有针对性地提取车脸各区域的图像特征，本文对传统的CNN模型进行改造，提出MB-CNN模型，其基本单元有卷积层、池化层和全连接层。与传统CNN模型的区别在于，MB-CNN模型包含多个独立的CNN分支模块，每个分支由多个卷积层、池化层、全连接层组成，各分支单独处理某一区域的图像，能够更好地提取各区域独特的局部图像特征。同时，MB-CNN模型还使用一个独立的CNN分支处理整张车脸图像，以此兼顾车脸图像的整体特征。MB-CNN模型的结构示意图如图5所示。

图5 MB-CNN模型结构图

MB-CNN模型中，各输入图像块由基于纹理富集区域的车脸分块方法得到。多层全连接层对各CNN分支提取的特征进行融合，其输出向量即是车辆比对所用的深度特征。

MB-CNN模型各分支中，CNN_0提取整体特征，CNN_1～ CNN_9提取各区域独特的局部特征，各个CNN分支的具体结构及参数见表1，其中，卷积核n×w×h表示该层有n个尺寸为w×h的卷积核。

表1 MB-CNN模型各分支具体结构及参数

经过特征提取器的处理，从车脸图像中提取得到1个1 024维的整体特征向量，9个1 024维的局部特征向量。得到整体特征与局部特征后，将所有特征向量顺序连接成一个10 240维的特征向量，并使用多层全连接层对特征进行融合与优化。

鉴于全连接层每个节点都与下一层任意节点相连接，具有很强的特征融合能力，本文使用3层全接层对各CNN分支提取的图像特征进行融合，各层的全连接节点数分别是4 096，1 024，n，其中n由训练样本中车辆类别的数量决定，本文使用320类车型进行训练，因此取n=320。

经过多层全连接层的处理，图像特征得到进一步提炼，文献[10]通过实验证明倒数第二层全连接层的输出数据具有最好的表现能力，且维度固定，不受训练样本类别数量的影响，更适合作为目标比对的特征。因此，本文取倒数第二层全连接层的输出数据作为深度特征，其特征维数为1 024。多层全连接层网络结构如图6所示。

图6 多层全连接层网络结构

3 基于深度特征的车辆比对

进行比对的两张车脸图像经过MB-CNN处理后，分别得到相应的深度特征，该深度特征是车脸图像信息的高度概括，具有很强的表示能力。因此，在车辆比对阶段，首先计算比对车脸图像的深度特征的相似度，然后通过比较相似度与预设阈值的大小来判断输入的比对车辆是否属于同一种车型。本文选择使用余弦距离计算深度特征的相似度ω，计算方法如式(1)所示

(1)

其中：xi，yi分别是两车脸深度特征X，Y的第i个元素，由于深度特征在全连接层中经过ReLu激活函数的运算，每个元素都为非负数，因此，ω∈[0,1]。

在车脸比对阶段，需要设定一个相似度的阈值θ，当ω≥θ时，表明输入比对的两张车脸图片相似度较高，属于同一类车型，反之，当ω<θ时，表明输入比对的两张车脸图片相似度较低，属于不同车型。显然，相似度阈值θ的取值直接影响了车脸比对的准确率。经试验测试，相似度阈值θ=0.51可获得最高的车辆比对准确率。

4 实验结果与分析

为了训练得到具备较强特征提取能力的深度模型，本文选取40 000张由交通卡口监控系统获取的车辆图像作为训练样本，其中包含常见的72种品牌、320类车型。经过车脸定位后，将车脸图像尺寸统一缩放至100×175。部分训练样本如图7所示。实验平台的配置为Inteli3四核3.4GHz处理器、12Gbyte内存、GTX980Ti显卡以及Ubuntu14.04操作系统，并使用基于C++编程语言的Caffe工具包。经过大量车脸样本的反复训练后，得到具有较强特征提取能力的MB-CNN模型。

图7 部分训练样本

在车脸比对实验中，随机选取5 000对相同类型的车脸图像与5 000对不同类型的车脸图像构成比对样本，部分样本如图8所示。比对车脸图像时，分别使用深度模型提取2张车脸图像的深度特征，并将使用余弦距离计算特征之间的相似度ω，当ω≥θ则判定输入图像属于同一类车型，反之，当ω<θ则判定输入图像属于不同车型。不同的相似度阈值对应不同的车辆比对结果，比对结果如图9所示，其中，当相似度阈值θ=0.51时，车脸比对获得最高的准确率为98.93%，可见，基于MB-CNN模型的车辆比对方法能够有效提取车脸特征并准确判别2张车脸图像是否属于同一类车型。

图8 车脸比对样本

图9 车脸比对结果

为比较本文提出的基于MB-CNN模型的车脸比对方法的有效性，实验选择本文的MB-CNN与具有较强目标识别能力的CNN结构作比较，包括AlexNet[4]，VGG-D[5]，GoogLeNet[6]。首先，使用相同的车脸训练样本训练各个网络；然后，将获取的车脸图像输入预先训练好的网络，并取网络的倒数第二层全连接层的输出作为特征向量；最后，使用余弦距离计算相似度。车辆比对实验结果如表2所示，其中准确率取所有相似度阈值对应的最高准确率。

表2 各CNN网络的车脸比对实验结果

由表2可知，本文提出的基于深度特征的车脸比对方法获得了最高的比对准确率，达到98.93%，高于其他方法。原因在于本文提出的MB-CNN模型通过深度卷积神经网络单独提取车脸图像各个区域的深度特征，并对车脸图像的整体特征与各区域局部特征进行有效融合，使得最终提取得到的特征区分度更高、针对性更强。

5 结束语

基于多分支卷积神经网络的车辆比对方法通过车牌定位获取车脸图像后，使用多个CNN模块单独提取车脸图像各个区域的深度特征，并用全连接神经网络融合特征，获取表达能力更强的车脸图像特征。

结合车牌与车辆图像登记信息，当使用某车牌的车辆与该车牌登记车辆的特征相似度低于预设阈值时，则判定其为套牌车辆。该方法可应用到智能交通系统中，具有较高的工程实用价值。

[1]汪峥嵘. 基于车牌识别及车辆特征点匹配的套牌车识别[D]. 苏州：苏州大学， 2013.

[2]笪东旭. 基于车脸识别的套牌车检测方法研究[D]. 西安：西安电子科技大学， 2013.

[3]王枚， 王国宏， 于元港，等. 新车型识别方法及其在套牌车辆鉴别中的应用[J]. 计算机工程与应用， 2009， 45(17)：211-214.

[4]KRIZHEVSKYA，SUTSKEVERI，HINTONGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks[J].Advancesinneuralinformationprocessingsystems，2012，25(2)：1106-1114.

[5]SIMONYANK，ZISSERMANA.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition[C]//Proc.InternationalConferenceonLearningRepresentations.SanDiego：IEEE， 2015：1-14.

[6]SZEGEDYC，LIUW，JIAY，etal.Goingdeeperwithconvolutions[C]//Proc. 2015IEEEConferenceonComputerVisionandPatternRecognition.Boston：IEEE，2015：1-9.

[7]苗姣姣，徐望明.HSV空间和形态学处理相结合的车牌定位方法[J].电视技术，2015，39(5)：146-149.

[8]李耀，程勇，曹雪虹.一种复杂环境中的车牌定位算法[J].电视技术，2015，39(12)：104-106.

[9]梁娟， 侯海虹. 基于改进Sobel模板的灰色关联分析边缘检测算法[J]. 电视技术， 2012，36(9)：22-23.

[10]SUNY，WANGX，TANGX.Deeplearningfacerepresentationbyjointidentification-verification[J].Advancesinneuralinformationprocessingsystems，2014(27)：1988-

1996.

蔡晓东(1971— )，硕士生导师，主要研究方向为并行化图像和视频处理、模式识别与智能系统；

甘凯今(1992— )，硕士，主研模式识别、深度学习；

杨 超(1990— )，硕士生，主研模式识别；

王丽娟(1991— )，女，硕士生，主研云计算、数据挖掘。

责任编辑：闫雯雯

奥特维公司全力保障全国社会治安综合治理创新工作会议召开

2016年10月10—11日，全国社会治安综合治理创新工作会议在江西南昌召开，北京奥特维科技有限公司派出专业人员分赴南昌、厦门、石家庄、济南、昆明等地保障会议的顺利召开。

会上中央政治局委员、中央政法委书记孟建柱传达习近平总书局对会议的重要批示并发表重要讲话，约209万人通过全国党政专网电视电话会议系统参会，创造了上述系统自建成以来参会人员的新记录。

全国党政专网电视电话会议系统是中国电子科技集团公司第三研究所单体合同最大、业界知名度较高、技术较为领先的视频会议系统工程。系统自投入以来，得到用户的广泛应用，举办了多场次的高级别会议，保证了会议精神的快速传达。此次会议是对系统的又一次严格检验。奥特维公司通过增派技术人员、细致排除系统隐患、制定会议保障预案等措施，确保了此次会议的顺利召开。为期两天的紧密议程，分散全国的会议地点，未发系统突发事件，得到会议主办方的高度评价和认可。目前，奥特维公司正在进行二级网的建设任务。

Vehicle image verification based on multi-branch convolutional neural network

CAI Xiaodong， GAN Kaijin， YANG Chao， WANG Lijuan

(SchoolofInformationandCommunicationofGuilinUniversityofElectronicTechnology，GuangxiGuilin541004，China)

To more targeted extract special image features from different regions of the vehicle images， the vehicle image verification method is proposed based on multi-branch convolutional neural network. Firstly， obtain vehicle face by the location of vehicle plate， and segment entire vehicle face into many parts by the richness of texture of vehicle images. Secondly， use multi-branch convolutional neural network to extract deep features of vehicle face image. Finally， vertify the input vehicle faces by the similarity between their deep features. Experiments demonstrate that the proposed method can extract efficient deep features of vehicle image， and achieve higher verification accuracy， can be used for fake-licensed car identification.

convolutional neural network； vehicle verification； deep feature； fake-licensed car identification

蔡晓东，甘凯今，杨超，等. 基于多分支卷积神经网络的车辆图像比对方法[J]. 电视技术，2016，40(11)：116-120. CAI X D，GAN K J，YANG C，et al. Vehicle image verification based on multi-branch convolutional neural network [J]. Video engineering，2016，40(11)：116-120.

TN911.73

A

10.16280/j.videoe.2016.11.024

国家科技支撑计划项目(2014BAK22B02)；广西科学研究与技术开发计划资助项目(桂科攻14122007-5)；桂林电子科技大学研究生教育教学改革项目(YJG201402)

2016-02-29