基于深度学习的轻量化车牌检测算法研究

杜铭辉，吴林煌，苏 喆

（福州大学 物理与信息工程学院，福建 福州 350108）

0 引言

自动车牌识别系统是智慧城市的重要分支之一，广泛应用于交通管理、安防监控、智能停车等领域[1]。车牌是车辆的重要信息载体，为车辆提供唯一的身份标识。自动车牌识别系统一般分为车牌检测、车牌字符分割和车牌字符识别等子模块。首先，将图像输入到车牌检测网络中进行车牌定位，然后将车牌定位的区域输入车牌字符识别中进行车牌编号识别。车牌的准确检测对于下游的车牌识别任务具有至关重要的影响，高性能的车牌检测器是自动车牌识别系统的关键组成部分。

近年来，随着计算机硬件的快速发展，基于深度学习的神经网络模型已经成为解决车牌检测、识别等计算机视觉问题的最佳工具。借助卷积神经网络（Convolutional Neural Networks，CNN）的特征提取能力，车牌检测任务在性能上取得显著的提升，但是也存在一定的局限性[2]。具体来说，更好的车牌检测性能往往意味着更深的网络模型，然而网络模型的加深不可避免会带来模型参数量及计算量的成倍增长，不利于移动端的部署，实时性差。

鉴于当前车牌检测方法存在的问题，文章提出一种基于深度学习的轻量化车牌检测算法。该方法以PP-LCNet作为骨干网络，减少模型参数量，提高计算效率。同时，融入压缩-激励网络（Squeeze-and-Excitation Networks，SE-Net）注意力[3]、SimSPPF[4]和GSConv[5]，提高了车牌检测的准确率，从而在准确性和速度之间取得平衡。

1 车牌检测网络

1.1 算法概述

基于深度学习的目标检测算法分为单阶段和两阶段检测算法。单阶段检测算法检测速度快，具有更好的实时性[6]。两阶段检测算法检测精度高，但实时性远不如单阶段检测算法。为获得更好的实时性，文章的车牌检测算法采用单阶段检测方法。轻量化车牌检测网络（Lightweight License Plate Detection Networks，LW-LPDNet）结构如图1所示。

图1 LW-LPDNet结构

1.2 PP-LCNet

深度卷积神经网络通过增加网络模型深度和复杂度，在计算机视觉任务中表现出出色的性能。但是在计算资源受限的移动端设备上，复杂模型的参数量过大会导致推理速度慢，影响车牌检测的实时性，使其难以在移动端设备上部署[7]。轻量化网络SqueezeNet、ShuffleNet、MobileNet等的出现，大幅减少了模型的参数量，使得模型在移动端的部署成为可能。文章将PP-LCNet作为骨干网络进行分析。PP-LCNet是由百度提出的一种基于深度神经网络数学内核库（Math Kernel Library for Deep Neural Networks，MKLDNN）加速策略的轻量化网络，使用多个深度可分离卷积作为基本模块叠加而成，同时采用Hard-Swish激活函数，降低了模型参数量和计算复杂度，提高了网络的推理速度。跳跃连接带来的通道拼接和逐元素相加操作会减慢模型的推理速度，而且也不会提高轻量化模型的精度。因此，PP-LCNet放弃使用跳跃连接，其推理速度可以超越其他轻量化网络。PP-LCNet结构如图2所示。

图2 PP-LCNet结构

1.3 SE-Net

注意力机制是模仿人类视觉的方法，使得神经网络在处理输入图像时更加关注重要的特征，本质上是对输入权重分配的关注[8]。SE-Net注意力通过重新校准通道特征来提高网络的性能，可分为压缩和激励两个阶段。在压缩阶段，SE-Net通过压缩特征图得到每个通道的全局信息。在激励阶段，SE-Net通过一个全连接层将每个通道的全局信息映射成一个权重向量，再通过激活函数进行归一化，得到注意力权重向量，表示每个通道的重要性。最后，将注意力权重向量与原始特征图相乘，得到加权特征图，实现对通道特征的重新校准。SE-Net注意力结构如图3所示。

图3 SE注意力结构

1.4 SimSPPF

SimSPPF是YOLOv6中提出的一种改进的空间金字塔池化方法，具有比SPPF更快的推理速度[9]。空间金字塔池化专注于空间信息，通过将输入的特征图分为不同大小的区域，对每个区域进行池化，最后将池化结果进行拼接输出。空间金字塔池化使得网络可以处理不同尺寸的图片，并融合了输入的局部特征和全局特征，提升了网络的感受野。SimSPPF结构如图4所示。

图4 SimSPPF结构

1.5 GSConv

GSConv是一种新的轻量化卷积技术，通过联合使用标准卷积（Standard Convolution，SC）、深度可分离卷积（Depthwise Separable Convolution，DSC）和通道重排（Shuffle），保持准确性的同时减轻了模型，在模型的准确性和速度之间实现很好的平衡[10]。相比于DSC，GSConv得到的特征图与SC更为相似，可以得到更接近于SC的性能，同时降低了计算量。GSConv通过添加DSC和Shuffle，增强了模型的非线性表达能力，相比于轻量化检测模型具有明显的优势。但是如果在模型的所有阶段都使用GSConv，模型的网络层会更深，这会显著增加推理时间。检测器颈部的特征图通道尺寸达到最大值，宽度和高度尺寸达到最小值，冗余的重复信息较少，能够最大限度地发挥GSConv的性能。因此，选择仅在检测器颈部使用GSConv，使得后续的SimSPPF模块能够取得更好的性能。GSConv结构如图5所示。

图5 GSConv结构

1.6 Mosaic数据增强

为了进一步提高网络的性能，在训练过程中使用Mosaic数据增强。Mosaic数据增强是YOLOv4中提出的，该方法会随机选取4张图像进行数据增广操作（翻转、缩放、色域变换）后，拼接成1张新的图像[11]。Mosaic数据增强使得网络的训练样本更为丰富，通过对图片进行数据增广操作，引入多尺度信息，加强了对小目标的检测能力。同时，由于网络需要从更多变化的背景中检测目标，大大提高了网络的泛化能力。Mosaic数据增强后得到的图像如图6所示。

图6 Mosaic数据增强图像

2 相关实验

2.1 实验环境及参数设置

实验环境如表1所示。

表1 实验环境

进行模型训练时，输入图像分辨率大小设置为640×640，批次大小设置为16。采用随机梯度下降（Stochastic Gradient Descent，SGD）优化器，初始学习率设置为0.01，动量设置为0.937，训练40个迭代轮次。采用余弦学习率衰减（Cosine Learning Rate Decay，CLRD）策略进行到最后一个迭代轮次时，学习率衰减到0.000 1。

2.2 数据集

实验选用中国城市停车数据集（Chinese City Paking Dataset，CCPD）进行训练和测试[12]。CCPD数据集是目前国内最大的车牌检测识别数据集，划分子集为CCPD-Base、CCPD-DB、CCPD-FN、CCPDRotate、CCPD-Tilt、CCPD-Blur、CCPD-Weather、CCPD-Challenge，提供超过25万张的标注图片，每张车牌图片的分辨率大小为720×1 160×3。实验将CCPD-Base均分为训练集和验证集，并将剩余的子集作为测试集测试网络模型的性能。

2.3 评价指标

实验采用平均精确度（Average Precision，AP）、每秒能处理的图像张数（Frames Per Second，FPS）以及模型参数量作为评价指标，其中AP为不同召回率下精度的平均值。评价指标计算公式为

式中：MAP表示预测车牌样本的平均精确度。

式中：PPrecision表示预测为车牌的样本中实际车牌的比例，TP表示正确预测为车牌的样本数，FP表示错误预测为车牌的样本数。

式中：RRecall表示实际为车牌的样本中，被模型预测为车牌的比例，FN表示实际为车牌却被错误预测为背景的样本数。

2.4 消融实验

为了验证提出方法的有效性，在测试集上进行消融实验，实验结果如表2所示。其中，“√”表示实验中使用的模块。

表2 消融实验性能对比

从表2可以看出，当实验使用PP-LCNet、SENet、SimSPPF、GSConv模块时，实验结果皆有显著提升。当不再使用Mosaic数据增强时，检测性能下降0.5%，验证了所提方法的有效性。

2.5 对比实验

将提出的方法与现有的车牌检测算法进行对比，结果如表3所示。

表3 不同算法在CCPD数据集上的性能对比

从表3可以看出，文章提出的方法在检测性能上明显优于其他算法，且达到243 f·s-1的检测速度，实时性高。LW-LPDNet方法检测结果如图7所示。

图7 LW-LPDNet检测结果

表4为文章提出的方法与不同车牌检测算法的参数量对比，可以看出所提方法仅有0.13 MB的参数量，远低于现有大部分车牌检测算法，能够更好地实现在移动端的部署。

表4 不同算法参数量对比

3 结语

针对自然环境中车牌检测模型参数量过大、实时性差和检测效果不佳等问题，提出一种轻量化车牌检测模型。通过将PP-LCNet作为骨干网络，解决了模型参数量过大、实时性差的问题；通过SENet注意力模块，增加模型对车牌关键信息的关注度；通过引入SimSPPF与GSConv模块，实现多尺度特征的融合，增大网络感受野，进一步提升车牌检测的性能。与现有的车牌检测算法相比，实验结果表明，文章方法在CCPD数据集上取得更好的检测精度，平均准确率达到98.90%，同时检测速度达到243 f·s-1，实时性高。