基于车辆关键部位特征的再识别算法

赵斌 董长元

[摘 要]图像识别任务中，要想得到更具辨识度的特征的前提是精准定位到关键位置，汽车的车顶、车窗、前脸为车辆最关键的3个部位。将一种PCB-LS方法用于车辆再识别，基于提取局部特征的思想，使用ResNet50的主干网络提取特征图，然后将特征图平均划分为3个部分，对于3个部位分别训练分类器；对于模型在训练集中出现的过拟合现象，采用标签平滑的正则化方法降低模型对训练集样本的信任度，提高模型在测试集上的准确率；使用VeRi776数据集进行训练和测试，使用PCB-LS方法在测试集上能达到准确率Rank@1、Rank@5、Rank@10分别为93.62%、96.72%、97.74%，mAP为76.17%。PCB-LS方法不仅能获得辨识度高的特征，还有很好的泛化能力。

[关键词]车辆再识别；局部特征；特征提取；标签平滑；泛化能力

[中图分类号]TP391.4[文献标识码]A

车辆重识别就是在车辆数据中检索特定的车辆，并给出和特定车辆最相近的检索结果。随着深度学习在图像识别领域的发展，大量的基于深度学习的车辆再识别技术应运而生，识别车辆不仅仅是依靠车牌信息，还可以通过整体车身的有辨识度的特征。车辆的重识别技术可以应用在车辆行驶轨迹分析、高速公路ETC收费稽查系统、在逃车辆追踪等方面。

基于传感器或者人工设计特征的车辆再识别方法大致分为基于传感器的方法^[1-2]、基于人工设计特征的方法^[3-4]以及基于深度学习的方法。自从卷积神经网络被提出以后，深度学习在图像识别和检索领域逐渐流行起来，目前性能最好的图像识别模型都是基于深度学习的方法提出的。Shen et al^[5]提出了一种两阶段识别模型，并结合车辆空间实时信息来调整车辆重识别结果。He et al^[6]提出了一种简单高效的局部关键特征提取模型，该方法增强了模型对微小差别的区分能力，识别准确率获得了较大提升。文献[6-7]表明，车窗、车灯和汽车轮廓等特定位置包含更具分辨度的信息。由于车辆和行人重识别任务具有很高的相似性，部分文献还将行人重识别方法应用在车辆重识别中。Luo et al^[8]将ResNet50作为基础模型，使用随机擦除、分段学习率、将Last Stride改为1等技巧提高了行人重识别准确率，He et al^[9]将文献[8]的技巧用于车辆识别任务上，在AICITY2020中取得了96.9%Rank@1和82.0%mAP的成绩。

Sun et al^[10]提出的PCB方法是近年来非常优秀的行人重识别方法。PCB方法使用ResNet主干网络提取特征图，然后将特征图平均划分为6个部分，分别训练分类器计算交叉熵损失训练模型，使用训练的模型提取测试集图片的特征并计算之间的相似度，找出相似的车辆。车辆的局部特征也可以通过划分关键部位提取，然后分别训练网络提取特征计算相似度对车辆进行重识别。在使用训练集训练PCB模型的过程中，采用one-hot标签进行计算交叉熵损失时，只考虑训练样本中正确的标签位置（one-hot标签为1的位置）的损失，而忽略错误标签位置（one-hot标签为0的位置）的损失。这样一来，模型可以在训练集上拟合得很好，但由于其他错误标签位置的损失没有计算，导致预测时预测错误概率增大。Szegedy et al^[11]提出使用label smoothing（LS）的方法修改p值以降低模型对训练集标签的敏感度，从而避免过拟合问题，通过将PCB方法和LS方法相结合，既可以有效提取到最具有辨识度的特征，又能提高模型的泛化能力，使得模型在测试集上也有很好的预测效果。

1 车辆重识别模型

深度学习模型弥补了传统手工特征表达能力不足的问题，可以通过设计深度学习模型提取到更具辨识度的特征，提高识别率。为了更好地提取辨识度更高的特征，可以先定位关键部位，对不同的部位分别训练分类器，这正是PCB-LS模型的思想。使用ResNet50作为主干网络，将输出的tensor数据划分为3个部分，分别训练分类器并使用标签平滑（Label Smoothing）损失函数作为目标函数反向训练模型。学习率对模型的表现具有较大的影响，对于较大的批尺寸需要设定一个较大的初始值。为了避免在初始阶段出现数值不稳定的情况，使用热启动启发式学习，使学习率从0线性上升到初始学习率；为了加快模型的收敛速度，使用余弦衰减函数计算每个回合的学习率。

1.1 PCB-LS模型

PCB方法最初是在行人重识别任务中提出的，主要思想是通过提前定位关键部位来提取更具辨识度的特征。PCB方法采用ResNet50作为主干网络，删除ResNet50最后两层，将输出的特征图划分为6块，对每一块训练出一个分类器，将分类结果与标签计算交叉熵损失，用6块的损失之和作为目标损失函数，通过最小化目标损失函数来优化模型。

ResNet是当前深度学习非常流行的网络结构，残差网络通过重复使用残差块来提取特征。而在残差块中，通过对卷积相关参数的设置，控制残差块输入与输出的特征图尺寸一致，从而进行相加处理，避免深层网络的梯度消失和退化问题。ResNet50包含50层，主干网络包含5个阶段，第1个阶段为对输入的预处理，后面4个阶段都由Bottleneck组成，结构較为相似。本文采用ResNet50的主干网络初步提取输入图片特征，将图片尺寸调整为512×384后作为输入X，输入尺寸为B×3×512×384，其中B为batch-size，通过ResNet50主干网络后的特征图设为T，大小为B×2048×32×24，车辆最具辨识度的位置为车顶、车窗、前脸等3个部分，可以将特征图T划分为3个位置，使用自适应池化方法将数据变为g，大小为B×2048×3×1，使用1×1卷积核，Dropout设为0.5，然后对3个部分分别训练分类器进行训练。大致的训练流程如图1所示。

[2] JENG S，CHU L.Vehicle re-identification with the inductive loop signature technology[J].Journal of the Eastern Asia Society for Transportation Studies，2013，12（10）： 1896-1915.

[3] ZHANG Z，TAN T，HUANG K.Three-dimensional deformable-model-based localization and recognition of road vehicles[J].IEEE Transactions on Image Processing，2012，21（01）：1-13.

[4] WOESLER R.Fast extraction of traffic parameters and re-identification of vehicles from video data[C].∥ The 2003 IEEE International Conference on Intelligent Transportation Systems.Piscataway： IEEE Press，2003.774-778.

[5] SHEN Y T，XIAO T，LI H S，et al.Learning deep neural networks for vehicle re-id with visual-spatio-temporal path proposals[J].Proceedings of the IEEE International Conference on Computer Vision，2017，12（01）： 1900-1909.

[6] BING H， JIA L，YIFAN Z，et al.Partregularized near-duplicate vehicle re-identification[J].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019，12（01）： 3997-4005.

[7] SHANGZHI T， XIAOBIN L，SHILIANG Z， et al. Spatial and channel attention network for vehicle re-identification[J].Pacific Rim Conference on Multimedia，2018，23（10）： 350-361.

[8] HAO L， YOUZHI G，XINGYU L，et al.Bag of tricks and a strong baseline for deep personre-identification[J].Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition Workshops，2019，3（10）： 432-443.

[9] SHUTING H，HAO L，WEIHUA C，et al.Multi-domain learning and identity mining for vehicle re-identification[J].IEEE Transactions on Vehicular Technology，2022（09）：1-15.

[10]YIFAN S，LIANG Z，YI Y，et al.Beyond part model person retrieval with refined part pooling[J].Computer Vision-ECCV 2018，11208：510-518.

[11]SZEGEDY C，VANHOUCKE V，IOFFE S，et al.Rethinking the inception architecture for computer vision[J].Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2016：2818-2826.

[12]LIUHONGYE，TIAN YONGHONG，WANG YAOWEI，et al.Deep relative distance learning： Tell the difference between similar vehicles[J].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016，24（01）： 2167-2175.

[13]SZEGEDY C，VANHOUCKE V，IOFFE，et al.Rethinking the inception architecture for computer vision[J].Proceedings of the IEEE conference on computer vision and pattern recognition，2016，12（01）： 2818-2826.

[14]SMITH S L，KINDERMANS PＧJ，YING C，e tal. Don't Decay the Learning Rate， Increase the Batch Size[A/OL].[2018-02-24].https：∥arxiv.org/abs/1711.00489.

[15]GOYAL P， DOLLAR P， GIRSHICK R B， et al．Accurate， Large Minibatch SGD： Training ImageNet in 1 Hour[A/OL].[2018-01-30].https：∥arxiv.org/abs/1706.02677

[16]JIA X， SONG S， HE W， et al． Highly Scalable Deep Learning Training System with Mixed-Precision： Training ImageNet in Four Minutes[A/OL].[2018-07-30].https：∥arxiv.org/abs/1807.11205.

[17]GOYAL P，DOLLAR P，GIRSHICK R B，et al.Noordhuis，′ L.Wesolowski，A.Kyrola，A.Tulloch，Y.Jia，and K.He.Accurate，large minibatch SGD： training imagenet in 1 hour[J].CoRR，abs/1706.02677，2017.

[18]HE K，ZHANG X，REN S，et al.Deep residual learning for image recognition[J].Proceedings of the IEEE conference on computer vision and pattern recognition，2016，24（01）： 770-778.

[19] LOSHCHILOV I ， HUTTER F. SGDR： Stochastic gradient descent with warm Restarts[A/OL].[2017-03-03].https：∥arxiv.org/abs/1608.03983v2.

[20]LIU X，ZHANG S，HUANG Q.Ram：a region aware deep model for vehicle re-identification[C].∥IEEE International Conference on Multimedia and Expo（ICME），2018：1-6.

[21]ZHOU K，YANG Y，Cavallaro A，et al.Omni-scale feature learning for person re-identification[C].∥Proceedings of the IEEE International Conference on Computer Vision，2019：3702-3712.

[22]JIN X， LAN C， ZENG W， et al. Uncertainty-aware multi-shot knowledge distillation for image-based object re-identification[A/OL].[2020-01-21].https：∥arxiv.org/abs/2001.05197.

Vehicle Re-identification Algorithm Based on Key Position Feature

ZHAO Bin， DONG Changyuan

（School of Sciences， Hubei Univ. of Tech.， Wuhan 430068，China）

Abstract：In the image recognition task， the premise of getting more recognizable features is to accurately locate the key position. The roof， window and front face of the car are the three most critical parts of the vehicle. A PCB-LS method is proposed for vehicle re-identification. Based on the idea of extracting local features， the feature map is extracted by using the backbone network of Resnet50， and then the feature map is divided into three parts， and the classifier is trained for the three parts respectively. For the over-fitting phenomenon of the model in the training set， the label smoothing regularization method is used to reduce the trust of the model to the training set samples and improve the accuracy of the model in the test set. Using the Veri776 dataset for training and testing， the accuracy of the PCB-LSS method on the test set can reach Rank@1， 5， 10 are 93.62%， 96.72%， 97.74% respectively， and mAP is 76.17%. The PCB-LS method can not only obtain the features with high recognition， but also the excellent generalization ability.

Keywords：vehicle re-identification; PCB; feature extraction; label smoothing; generalization ability

[責任编校：张 众]