嵌入式设备实现弱光车牌图像识别*

郭士鑫 张 豪

（长安大学信息工程学院 西安 710064）

1 引言

现如今，社会正在逐步实现智能化、现代化，嵌入式技术的发展迅猛，嵌入式设备体积小、智能化、高集成度因此被人们广泛关注。无论是在日常生活还是工业生产中，总是有嵌入式的存在，应用领域比较普遍。车牌识别在车辆监控、车辆违停、闯红灯违章等方面都是一项具有重要意义的工作。在嵌入式设备上实现车牌识别［1］仍具有一定的挑战性。尤其在没有外部光源的夜间情况（如无街灯的道路）拍摄到的车牌图片会直接影响识别效果。

近年来卷积神经网络的快速发展在图像分类、目标检测和语义分割等方面具有有效性和优越性。本文结合图像增强网络模型和图像识别算法模型，在PC端进行训练，将训练好的模型在树莓派开发板上实现车牌图像识别的应用。此模型在图像增强部分改善图像的质量，针对夜间极弱光图像增强问题，可以通过物理方法提高低光下图像的信噪比，但硬件设施比较复杂，耗电，可能出现故障导致不能连续工作。传统的图像增强处理对获取的数据，应用白平衡、消噪、去噪、锐化、色彩空间转换等一系列操作。使用大量的局部、线性和学习型（L3）滤波器来近似现代成像系统中的复杂非线性管道［2］。然而，传统的图像增强方法和L3管道都不能达到处理具有极低信噪比的图像的效果。直方图均衡化（HE）［3］和伽马校正［4～5］被广泛应用，在直方图上HE使亮度更好地分布，可以在不影响整体对比度的情况下增强局部对比度；伽马校正通过压缩明亮像素来增加黑暗区域的亮度。暗通道先验方法和光照图估计方法也被提出来解决图像增强问题，美国科学家Land等在1971年提出Retinex图像增强［6～8］方法，现在也十分流行。但这些方法处理的是有外部光源的条件下获取的图像。

王洪亚［9］通过最大最小优化熵阈值分割法，加权标定字符区域的前景及背景分布，降低了字符间的粘连，孤立了噪声点，提高了车牌识别率。张培玲等［10］采用图像平滑处理增强弱光图像，利用统计车牌图像白色像素个数实现字符分割，使用基于附加动量法和改进的BP神经网络识别车牌。张秀玲等［11］在传统LeNet-5网络原结构的基础上进行加深加宽，加BN层和Dropout层优化网络，用全局池化层替换全连接层，提升了图像特征提取的有效性和运算速率。被广泛使用的字符识别方法包括模板匹配法［12～13］、字符特征法［14］、神经网络法［15～16］等。其中，模板匹配法原理比较简单、操作方便，但其易受到如光照、噪声、字符变形等外界因素影响，从而降低整个系统的识别率。字符特征法存在计算量大、识别速度慢等问题。本文利用基于深度卷积神经网络的LPRNet算法［17］，解决车牌识别问题，该算法通过不进行字符分割和后续识别，忽略车牌检测问题，以减少过程和计算复杂度，获得较高的准确率。

2 网络模型

2.1 图像增强模型

基于U-Net网络模型［18］直接处理极弱光图像，整个图像增强过程分为三个部分：前期处理、U-Net卷积网络、超分辨率重建。图像增强网络模型为图1中虚线框内部分。

图1 网络模型图

前期处理部分将输入图像压缩进四个通道中，同时，空间分辨率在各个维度上降低为原来的1/2，按一定放大比率（例如，×10、×20或×30）对图像数据进行放大。构成网络核心的卷积网络结构有：使用均方误差损失函数MSE-L2进行训练的CAN网络模型［19］、用于快速图像处理的多尺度上下文聚合网络［20］和使用平均绝对误差函数MAE-L1的U-net［21］网络。实验证明U-net网络结构内存消耗较小，能够在GPU中处理全分辨率图像，因此选用U-Net网络作为模型增强处理部分的核心结构。U-Net卷积网络部分输入为打包和放大的数据，实现图像的像素语义分割，输出为12通道的图像，空间分辨率为原来的一半。超分辨率重建部分实现亚像素填充恢复到原来的分辨率。

训练用的数据为包含几个省的车牌图片。其中752张用于训练，150张用于测试。训练时，网络输入是弱光图像，并对输入图像进行灰度处理，白天的图像作为地面真实值，并对真值图像白平衡操作。训练过程中U-Net卷积网络采用L1损失函数，该损失函数含义：预测值与真实值差值的绝对自和。公式如下：

网络采用Adam优化器［22］进行参数更新。在每次迭代中，应用随机翻转和旋转增强数据，初始学习率设置为10-4，经过2000个周期后，学习率降低为10-5。总共运行4000个周期。

2.2 LPRNet模型

LPRNet模型是为了实现对上面车牌增强图像的识别。图像增强网络的输出作为车牌识别模型的输入。对输入图像进行空间转换预处理，使用LocNet架构来更新转换参数，估计最优参数将输入图像转换为更好的识别特征。空间转换模块由定位网络、网格发生器和采样器的组成。该模块的计算速度非常快，对训练速度几乎不影响。LocNet结构如表1。

表1 LocNet网络结构

主干网以增强图像为输入，计算空间分布特征，1×13内核的宽卷积基于局部字符上下文。主干网的结构如表2所示。其中，基本构建块Small basic block见表3，在每个卷积层处理后使用批处理归一化［23］和ReLU激活函数。主干子网络输出为车牌字符概率序列，其长度与输入图像像素宽度相对应。由于译码器输出字符和目标字符序列长度不同，采用CTC loss的方法进行无分割的端到端训练，CTC是一种从每个时间步骤的概率到输出序列概率的有效方法。

表2 主干网络结构

表3 基本小模块

使用全局上下文嵌入增强预译码器的中间特征映射来进一步提高性能。通过在主干网输出上的全连接层计算的，平铺到所需的大小，并与主干网输出连接。额外使用1×1卷积将特征映射的深度调整到字符类的数量。对于推理阶段的译码过程，使用波束搜索达到输出序列的总概率最大。后滤波过程与波束搜索结合应用。后过滤过程获得通过波束搜索找到最可能的前n个序列，并返回与国家LP规则的预定义模板集匹配的第一个序列。

数据集为经过增强处理后的车牌图片，使用批量大小为32、初始学习率为0.001和梯度噪声规模为0.001的Adam优化器来训练网络模型。在每2000次迭代之后，将学习率降低10倍。在实验中，使用的是tensorflow环境，使用例如旋转、缩放和移位达到数据增强的目的。在最初的迭代后，输出识别率较低，LocNet无法从识别器中获得合理的梯度，因此，在5k迭代后才打开LocNet，输出识别率。

3 嵌入式设备

本次实验将训练好的车牌图像的增强和识别算法模型在Raspberry Pi 4B（RPI）、Google Coral（GC）、Jetson Nano B01（JN）和Khadas VIM3（KV）嵌入式开发板上应用实现。树莓派上配置和软件安装如下。

操作系统：下载安装最新Raspberry Pi Image Tool和64位操作系统。

超频：提高开发板上的时钟频率使应用程序加速运行，同时产热增加，需加散热器，产生的热量由下面公式近似表示：

其中，Cdvn为动态电容，V为电压，f为频率。动态电容由MOSFET晶体管的绝缘层给定。

加散热器和不加散热器CPU温度变化如图2。

图2 树莓派CPU温度对比

OpenCV和tensorflow：安装OpenCV处理图像和其他相关任务，tensorflow框架用于网络模型测试实验。

4 实验

4.1 数据处理

将白天拍摄到的车牌图片作为地面真值，然后将其调整变换为弱光图像，以模拟在没有光源的条件下获取的弱光图像。使用伽玛变换使图像变暗。输出为

式中A是常数，由输入图像Iin中的最大像素强度决定。当γ＞1时，给较低（较深）灰度像素强度值加权。使用均匀分布γ～uniform(1，6)把白天图像变暗。γ＞1的变换提高了图像的对比度，在伽马变换后增加了对比度调整。输出Iout为

其中，α取值在0.1～1之间来控制对比度。

生成的效果图如图3。

图3 生成的弱光图像效果图

4.2 实验结果与分析

4.2.1 树莓派CPU温度监测

在没有散热器的情况下，Raspberry Pi会立即自动降低时钟频率来避免设备受损。加装散热器后使用超频，以大约1950MHz的频率在树莓派上运行模型。在执行卷积网络模型时，更高的频率会使Raspberry Pi崩溃。增加电源电压和时钟频率，Raspberry Pi会增加产热。随着频率提高温度上升情况如图4。

图4 树莓派CPU温度变化

4.2.2 训练结果

图像增强过程每200次迭代结果保存一次，对不同放大倍数图像进行训练，图5包括参考图像和网络训练结果图。

图5 由左往右放大倍数依次为×10、×20、×30车牌图像

图像检测网络中，第1和300个周期训练结果如表4。

表4 训练结果

4.2.3 测试结果

极弱光车牌图像增强和识别网络模型应用到各个开发板上，将各平台上的测试结果进行比较和评价分析。评价指标为峰值信噪比PSNR、结构相似性SSIM［24］。图像增强部分输出结果评价指标如表5。

表5 图像质量评价

本次实验将LPRNet模型与HSV、BP和LeNet-5模型进行对比分析。结果如表6所示。结果证明应用LPRNet模型得到较高的识别准确率和速率。

表6 模型输出结果

在不同开发板设备上实现车牌图像识别，输出结果如表7。

表7 图像识别输出

由上表中得到的输出结果可知，本次实验提出的低照度图像增强和识别结合算法能够在嵌入式开发板上应用实现。实验结果表明树莓派上实现效果较其他设备图像增强效果和识别率高，速度较快。

5 结语

弱光条件下的车牌识别在嵌入式平台上的实现是具有挑战性的课题，本次实验结合图像增强和LPRNet识别算法实现弱光车牌图像识别，通过与HSV、BP和LeNet-5模型对比，验证了结合模型具有较高的准确率和速率。通过在树莓派和其他开发板上的输出结果对比，有效地说明了低照度车牌图像识别在树莓派上具有更高的识别率，速度较快，且成本较低，为智能交通做出一定贡献。