基于忆阻神经网络的车辆标志识别技术研究

罗运鑫 佘 堃 于 钥 李 洋

1(电子科技大学信息与软件工程学院 成都 610054) 2(厅市共建智能终端四川省重点实验室(电子科技大学宜宾研究院) 四川宜宾 644002)

1971年，Chua教授[1]根据电路理论的完备性和对称性预言忆阻器的存在，它是除电阻、电容和电感外的第4类基本电子元器件.忆阻器作为天然的电子突触，是模拟人脑和神经系统的最佳选择，在未来是新型人工神经网络的首选器件.忆阻器和神经网络的有效结合将大大改变人工智能领域，这不仅对神经网络硬件化的研究和人工智能领域的发展有着重要的意义，也将在违章停车、假套车牌检测、违章车辆逃逸等应用领域有重要意义.在物联网时代万物互联，车联网作为其产物之一为消费者提供了便利的出行方式，但在智能交通信息安全方面也存在各种风险[2].不安全的用户行为和各种信息安全威胁共同组成了车联网中的车辆安全问题[3].

本文基于忆阻器的特性构建忆阻交叉阵列，用于灰度图像的存储，采用的全新数字图像预处理算法实现数据增强操作.对于VLR-40数据集，忆阻神经网络准确率可达97.35%，比MobileNetV2准确率高0.3%，网络模型的泛化性能得到了提高，能有效地对抗真实场景中的噪声，具有较高的准确率，在智能交通信息安全中具有巨大的现实意义.

1 相关研究及进展

1.1 车辆标志识别的发展及研究现状

车辆标志识别的关键技术在于特征提取和分类器的选择，特征和分类器的好坏直接决定车辆标志的识别准确率，而且图像背景复杂度、图像噪声程度、光照强度和图像畸变等因素都会影响车辆标志的识别.

车辆标志识别作为智能交通系统(intelligent transportation system, ITS)的核心技术之一，有助于准确地辨别车辆身份，为假套牌车的调查提供可靠证据.国内外研究人员一直尝试着各种方法对车辆标志进行识别，也取得一定的研究成果.早期的车辆标志识别方法主要以研究特征提取为主，采用支持向量机(support vector machines, SVM)用于分类.传统的模板匹配方法[4]不仅耗时，而且对模板较为敏感，当图像出现畸变或旋转时，该方法识别率较差.2004年，罗彬等人[5]提出基于边缘直方图的快速汽车标志识别方法，然而该方法的计算量较大，识别率一般；文献[6]提出基于尺度不变特征变换(SIFT)的车辆标志识别方法，该方法对畸变图像不敏感，识别率高于模板匹配方法，但这种方法相对耗时；文献[7]提出基于BP神经网络的车辆标志识别方法，该方法是利用主成分分析法(principal components analysis, PCA)对车辆标志的训练样本进行数据降维，再通过BP神经网络进行车辆标志识别，方法简单有效.

相对于传统的神经网络，深度学习让网络自主学习特征，解放繁琐的人工选取特征的步骤.2015年， Ren等人[8]使用Faster-RCNN(faster-region convolutional neural network)实现目标检测和识别；2018年， Huang等人[9]提出一种带有2个不同卷积神经网络(VGG-16(visual geometry group-16)和ResNet-50)的Faster-RCNN模型，用于车辆标志的定位及识别，该方法对复杂外界环境中采集的含有车辆标志的图像有很好的鲁棒性，平均准确率达到94.33%；2019年，Zhao等人[10]先用带有Sobel边缘检测的平滑窗口进行车辆标志定位，然后基于SIFT特征和最近邻分类器进行识别，虽然图像的分辨率较低且光照情况不一，但识别率也达到85%左右；2020年，Zhang等人[11]改善YOLOv2网络并进行车辆标志的检测，识别效果相对原来的YOLOv2网络也有提高.

1.2 忆阻器研究现状

人类大脑是一个复杂的神经网络系统，有大约1011～1012个神经元，突触是神经网络系统的重要组成部分，具有连接神经元和信息传递功能.

忆阻器作为天然的突触材料，它的阻值会随着外加信号的变化而变化，这与生物学中的神经突触原理相似，能模拟神经系统中的突触连接强度和传递效率.忆阻器作为神经元之间的突触概念示意图如图1所示.

图1 忆阻器作为神经元之间的突触概念示意图

2011年，HP实验室的Snider团队[12]首次将忆阻器与突触联系起来，研究如何用忆阻器模拟突触的记忆功能；2010年，Jo等人[13]前后依次采用1个忆阻器和2个忆阻器模拟神经网络中突触的行为特性；2011年，Kim等人[14]分别用5个和4个忆阻器搭建类似桥的突触电路，前者电路可以实现突触权重，仅用1个忆阻器进行权值计算，另外4个忆阻器进行符号设置，后者电路不需要符号设置即可获得正、0和负突触权值；2012年，Kim等人[15]又提出一种基于忆阻桥突触设计的多层神经网络结构；2015年，西南大学Duan等人[16]提出用2个忆阻器和2个电阻的改进忆阻桥突触电路，简化了权重处理，但不适合集成；2018年，Yang等人[17]实现忆阻桥突触模拟生物突触的兴奋和抑制，并利用神经忆阻突触阵列设计细胞神经网络电路，以加速神经网络运算[18]；同年，基于忆阻突触特性，王丽丹等人[19]结合神经元晶体管，设计新型的忆阻神经网络，实现联想记忆功能；2019年，Hu等人[20]提出基于忆阻突触的Hopfield神经网络，并详细研究其联想记忆的召回时间；2020年，Wang等人[21]采用忆阻交叉阵列表示神经元之间的突触权值，提出基于忆阻器的连续Hopfield神经网络用于图像恢复.

上述一系列研究表明忆阻器具有突触特性，可以与神经网络结合，为目前神经网络发展面临的问题提供了新的方向，也为寻找新的神经网络结构提供了无限可能.

1.3 忆阻神经网络发展及研究现状

1943年，人工神经网络兴起，McCulloch和Pitts[22]提出首个用建模描述大脑信息处理过程的M-P神经元模型.2013年，Hebb[23]提出突触是联系可变的假设，促进了神经网络学习算法的研究.直到1958年Rosenblat[24]提出首个比较完整的人工神经网络-感知机模型，首次把神经网络的研究应用在实际工程中，从此相关的人工神经网络研究进入热潮.

传统集成电路缺乏集成度高和支持多连接的突触结构，采用人工神经网络模拟人脑进行智能学习很难完全实现，只能集中在较小规模的神经元和突触电路上.忆阻器的发现给人工神经网络带来曙光，它的内部离子迁移十分类似于神经突触里的神经递质扩散过程，利用忆阻器模拟神经网络中的突触成为一大趋势[13]，神经形态学电路和系统研究迎来新高潮.

2007年，Snider等人[25]提出一种忆阻突触神经网络模型，并尝试解决网络的容错能力和自组织神经系统问题；2011年，Querlioz等人[26]设计一种忆阻神经网络系统，并给出一些该忆阻CNN系统在医学应用领域的测试数据；同年，Kim等人[14]采用忆阻桥作为神经网络的突触，并搭建CNN自动机网络应用于图像处理；文献[27]结合遗传基因算法，将几种不同类型的忆阻器模型应用于自适应连接的神经网络结构，从软硬件上解决路径导航优化问题，充分验证忆阻神经网络的使用价值；2015年，电子科技大学Liu教授团队[28]在硬件电路上实现可重构忆阻Hopfield神经网络的联想记忆功能;西南大学Duan团队[29]也研究了忆阻Hopfield神经网络在联想记忆和数字识别方面的应用;2019年，Parastesh等人[30]提出一种基于忆阻器的双曲型Hopfield神经网络，并研究其网络的稳定性状态;文献[31]提出具有记忆性的深度卷积神经网络，这种网络不仅减少忆阻器的数量，在识别率方面也高于一些其他网络;2020年，Wu等人[32]提出一种全硬件执行的忆阻卷积神经网络，应用于数字识别，其识别率超过96%，这一结果有望为深度神经网络和边缘计算提供一个可行的解决方案.

2 基于忆阻神经网络的车辆标志识别

2.1 忆阻交叉阵列存储灰度图像

忆阻器是一种可以连续输出的器件，理论上拥有无数个阻值状态，可以记忆图像的灰度值.按照线性映射关系，如果1个忆阻器的阻值对应1张图像的1个像素值，那么1个大小为224×224的忆阻交叉阵列结构就可以存储1张尺寸为224×224的图像.

忆阻交叉阵列存储灰度图像的步骤如下：

1) 设置忆阻器的阻值等级，分别对应灰度图像的256级灰度.如图2所示，当给忆阻器2端施加1个幅值为1 V的正弦信号时，忆阻值会随着输入信号的变化而变化，当输入信号逐渐增大至最大值时，忆阻值逐渐变小，最终呈现最小值状态Ron，当输入信号逐渐减小至最小值时，忆阻值逐渐变大，最终呈现最大值状态Roff.按照实验需求，将电压值在0～1之间的忆阻值划分为256级，实现忆阻器的阻值等级划分，此时忆阻值最大，对应图像像素值最小，忆阻值最小，对应图像像素值最大.

图2 惠普忆阻器模型特性曲线

2) 大小为224×224的忆阻交叉阵列结构读取尺寸为224×224的灰度图像.首先将尺寸为224×224灰度图像像素值归一化至0～1之间，将2维像素矩阵转为1维像素向量，然后令1维像素向量值为电压信号幅值，实现灰度图像到幅度不同宽度相同的电压信号转变，最后灰度图像以幅度不同宽度相同的电压信号传入大小为224×224的忆阻交叉阵列结构，完成读取尺寸为224×224的灰度图像.

3) 忆阻交叉阵列存储灰度图像.按照线性映射关系，输入的灰度图像每个像素值为忆阻交叉阵列中每个交叉点处忆阻器的输入电压信号，采用离线学习中的权重写入方式，最终灰度图像的每个像素值以忆阻值的形式存储至忆阻交叉阵列.

2.2 忆阻神经网络结构设计

如表1所示，忆阻神经网络对数据集主要有3步处理：

第1步.预处理.本文利用忆阻器的存储特性，构建存储图像的忆阻交叉阵列结构，并提出一种全新的数字图像预处理算法.首先将经典3×3均值滤波卷积核分离成9个1×1卷积核，并对忆阻交叉阵列中每个交叉点处的忆阻值进行初始化；然后将输入图像进行9次移位操作，得到9张图像，紧接着9张图像分别和9个1×1卷积核执行卷积操作，得到9个新图像；按照线性映射关系，图像的每个像素值对应忆阻交叉阵列中每个交叉点处忆阻器的输入电压信号，随后将9个新图像依次传入到忆阻交叉阵列中，以调整每个忆阻器的阻值状态；最终预处理后的图像像素值以忆阻值的形式存储在忆阻交叉阵列中，完成图像预处理与存储操作.

第2步.特征提取.预处理后的图像存储在忆阻交叉阵列中：首先将忆阻交叉阵列中每个交叉点处的忆阻值映射为图像对应点处的像素值；然后将预处理后的图像传入标准卷积层，此时输出特征图尺寸减半；紧接着特征图依次传入17层瓶颈层作进一步处理.每层瓶颈层内部：首先采用1×1逐点卷积对输入特征图进行升维，丰富特征数量，使其通道数变为原来的6倍；随后通过深度可分离卷积进行特征提取；最后采用1×1逐点卷积对特征图作降维，除了第1层瓶颈层内部不对输入特征图进行升维，其他瓶颈层内部都对输入特征图进行升维，并使得其通道数变为原来的6倍.其中，当s=2时，输出特征图尺寸减半；当s=1时，输出特征图尺寸保持不变.

第3步.分类识别.首先将第2步处理后输入特征图采用1×1逐点卷积层进行升维，然后经过全局平均池化层进行降采样，最终经过全连接层和Softmax层完成分类识别.

表1 忆阻神经网络结构

2.3 忆阻神经网络学习算法

忆阻器具有存储特性，本实验采用50 176个压控忆阻器构建大小为224×224的忆阻交叉阵列结构，该结构可以存储尺寸为224×224的灰度图像.

压控忆阻器模型参数设置如表2所示.其中：U表示平均离子漂移率；D表示二氧化钛薄膜的厚度；W0表示掺杂层的厚度；Ron表示忆阻器阻值的最小值；Roff表示忆阻器阻值的最大值；p表示窗函数的控制参数；dt表示忆阻器在状态更新时的步长大小.

表2 压控忆阻器模型的参数值

压控忆阻器模型中采用Joglekar函数作为窗函数，然而在实际应用中该模型会出现边界效应，即当掺杂层和无掺杂层之间的界限达到忆阻器的边界后，没有外部激励可以再改变忆阻器的状态，它将永远保持在某个极限状态而无法恢复，Joglekar窗函数如式(1)：

f(x)=1-(2x-1)2p.

(1)

忆阻交叉阵列中每个交叉点处的忆阻器状态调整规则如算法1所示.为了解决边界效应带来的影响，在忆阻器状态调整时添加第5步操作，即在状态调整时忆阻器产生微小波动.当输入电压信号为0时，忆阻值会因为微小的状态波动阻值持续增大，直到忆阻值达到最大值状态时保持不变.此时正好对应忆阻器输入电压信号为最小值时，忆阻值为最大值，符合忆阻交叉阵列存储灰度图像的规则，如图3所示:

图3 忆阻值状态的变化

在预处理过程中，基于卷积核可分离的思想，首先将经典3×3均值滤波卷积核分离成9个1×1卷积核，并对忆阻交叉阵列中每个交叉点处的忆阻值进行初始化，其中经典3×3均值滤波卷积核如图4所示；然后对输入的224×224灰度图像依次进行3次水平移位和3次垂直移位，得到9张图像，紧接着9张图像分别和9个1×1卷积核进行卷积操作，得到9个新的图像；按照线性映射关系，将224×224灰度图像的每一个像素值映射为忆阻交叉阵列中每一个交叉点处忆阻器的输入电压信号，随后将9个新的图像以电压信号的形式依次传入到忆阻交叉阵列中，以调整忆阻器的阻值状态；最后忆阻交叉阵列中每一个交叉点处的忆阻器状态调整结束，完成图像预处理操作.此时预处理后的图像像素值以忆阻值的形式存储在忆阻交叉阵列中，按照线性映射关系，224×224灰度图像为预处理后的输出.

图4 均值滤波卷积核

算法1.忆阻交叉阵列中每一个交叉点处的忆阻器状态调整规则.

输入：224×224灰度图像；

输出：预处理后的224×224灰度图像；

初始值：

① forii<3;

② forjj<3;

③V=img[ii:224+ii,jj:224+jj]×

k[ii][jj]；

④I←V/M;

⑤dw←0.1×(W0-W)；

⑦W←(W+dw)×dt;

⑨jj←jj+1;

⑩ end for

2.4 新数据集

为了更好地模拟在真实场景中采集的数据集，基于VLR-40数据集，本节重新制作了4类含有不同噪声的新数据集，其中3类包含了26种不同噪声程度的椒盐噪声、高斯噪声、椒盐和高斯混合噪声，且噪声程度分别为0.05，0.13，0.15，0.17，0.23，0.25，0.27，0.33，0.35，0.37，0.43，0.45，0.47，0.53，0.55，0.57，0.60，0.63，0.65，0.67，0.70，0.73，0.75，0.80，0.85，0.90.另一类包含自定义模糊、均值模糊和中值模糊.部分新数据集如图5所示，不同噪声程度的Abarth图像如图6所示.

图5 部分新数据集

图6 不同噪声程度的Abarth图像

3 实验与结果分析

本文共做了2大对比实验：一是用含噪声的测试集去测试含有同等噪声程度训练集训练的网络；二是用含噪声测试集去测试无噪声训练集训练的网络.在2大实验中，令采用均值滤波的网络模型为Mea_NN，采用中值滤波的网络模型为Med_NN，采用高斯滤波1的网络模型为G1_NN，采用高斯滤波2的网络模型为G2_NN，采用新算法滤波的网络模型为忆阻神经网络，无滤波处理的网络模型为MobileNetV2.

3.1 实验1

对于VLR-40数据集，不同网络模型的准确率如表3所示，实验结果表明：采用新算法的忆阻神经网络模型准确率明显优于采用均值滤波、中值滤波、高斯滤波1和高斯滤波2的网络模型，准确率可以达到97.35%.因为原数据集中含有的噪声较少，所以在没有滤波器进行去噪处理时，无滤波处理的网络也具有较好的准确率，准确率可以达到97.05%.当使用中值滤波、高斯滤波1和高斯滤波2时，滤波处理过程给网络引入部分噪声，导致网络模型的准确率略微下降.相对于采用均值滤波的网络模型，新算法基本不会给网络引入噪声，能达到轻微去噪功能，所以采用新算法的忆阻神经网络准确率略高于采用均值滤波和无滤波处理的网络模型，即忆阻神经网络性能最好.其中：高斯滤波1的卷积核如图7所示；高斯滤波2是多维高斯滤波器，此时高斯核的标准偏差参数sigma=4.

图7 高斯滤波1卷积核

分别选取0.25，0.55，0.85这3种噪声程度的新数据集用于网络性能测试.对含椒盐噪声的新数据集，不同网络模型的准确率如表4所示；对含高斯噪声的新数据集，不同网络模型的准确率如表5所示；对含混合噪声的新数据集，不同网络模型的准确率如表6所示；对含模糊噪声的新数据集，不同网络模型的准确率如表7所示.

表3 不同网络模型的准确率(VLR-40数据集)

表4 对含椒盐噪声新数据集不同网络模型的准确率

表5 对含高斯噪声新数据集不同网络模型的准确率

表6 对含混合噪声新数据集不同网络模型的准确率

表7 对含模糊噪声新数据集不同网络模型的准确率

对含有不同类型和不同噪声程度的新数据集，本文提出的全新数字图像预处理算法能在一定程度上抑制图像中含有的噪声，具有数据增强的效果.相对于采用均值滤波、中值滤波和2种高斯滤波的网络，采用新算法进行数据增强的忆阻神经网络，整体性能处于较高水平，且对各种新数据集都具有较高的准确率.

3.2 实验2

在已有的训练集上，网络一般通过平移、旋转、反转和缩放比例等方式进行数据增强，以提高网络模型的泛化性能.由于数据集VLR-40具有一定的挑战性，所以本实验并未采用常规的数据增强操作，而采用不同滤波操作对数据集进行预处理，以达到数据增强功能.

实验2是在实验1的基础上，对忆阻神经网络性能作的进一步探究.首先采用数据集VLR-40作为无噪声训练集去训练网络，实验结果如图8所示，然后保存网络模型参数值，最后用含噪声的4类新数据集去测试无噪声训练集训练的网络模型.

图8 忆阻神经网络性能测试

无噪声训练集训练的不同网络模型对含模糊噪声新数据集的准确率如表8所示；无噪声训练集训练的不同网络模型对含椒盐噪声新数据集的准确率如图9所示；无噪声训练集训练的不同网络模型对含高斯噪声新数据集的准确率如图10所示；无噪声训练集训练的不同网络模型对含混合噪声新数据集的准确率如图11所示.

表8 对含模糊噪声新数据集不同网络模型的准确率

图9 对含椒盐噪声新数据集不同网络模型的准确率

图10 对含高斯噪声新数据集不同网络模型的准确率

图11 对含混合噪声新数据集不同网络模型的准确率

实验2结果表明：对于无噪声数据集VLR-40，本实验采用全新数字图像预处理算法对其进行数据增强操作，实验结果显示新算法对噪声具有很强的滤除功能，采用新算法的忆阻神经网络识别率高于采用其他滤波处理的网络，识别率可以达到97.35%，间接地增加了模型的泛化性能；当用含噪声的测试集去测试用无噪声训练集训练的网络时，忆阻神经网络显现出巨大的优势，可以降低噪声对模型识别率的影响，有效地对抗真实场景中的噪声，对车辆标志的识别具有很大的现实意义.

4 车辆标志识别技术与智能交通信息安全

随着经济社会的快速发展，人们生活水平逐渐提高.中国作为世界第一大汽车生产国和最大的新车消费市场，全国汽车总量逐年递增.然而，套牌车和无牌车大量出现，频繁发生的违法行为导致交通管理部门追查交通违法的难度变得越来越大，因此仅仅依靠车牌作为车辆唯一的识别标志已不合时宜.

套牌车俗称克隆车.这种车是参照真牌车的型号和颜色，将号码相同的假牌套在同样型号和颜色的车上，其中有很多是报废后偷运出来的旧车翻新的.使用伪造、变造的机动车号牌，使用其他车辆的机动车号牌，使用欺骗、贿赂手段取得机动车号牌的机动车均可以称为套牌车.套牌车在智能交通信息安全中存在以下危害：

1) 脱离国家公安机关的管控.由于车辆没有合法的牌照，这些车辆的信息公安机关也无法获得，车辆出现事故、肇事逃逸、违章行驶等违法行为时，增加了公安机关的侦破难度.

2) 害人害己的行为.大部分套牌车在质量上都会有大大小小的问题，而且套牌车经常会出现违章行驶，这都会增加出现交通事故的概率，套牌车也无法购买合法保险，损失无力承担的情况下 ，很多人会选择逃逸.

3) 逃避税费.套牌车无需办理合法手续，而办理合法手续产生的合理税费也无从缴纳，对国家税收造成大量流失.

4) 欺诈保险公司.很多套牌车出现事故后，会骗取保险公司保金，危害保险公司的合法利益.

5) 危害真实车主的利益.套牌车出现事故、违章行驶和其他违法行为之后，会对真实车主造成巨大损失，虽然大部分可以通过申诉避免损失，还是有一部分车主会蒙受不白之冤.

车辆标志识别作为ITS的核心技术渐渐受到重视，也在打击违法犯罪行为中起到非常重要的辅助作用.车辆标志作为制造商最重要的信息，在车辆信息中往往明显且难以更换，犯罪嫌疑人容易忽视车辆标志不易更换的特点，工作人员经常借助车辆标志信息进行车辆身份的甄别，正确识别车辆标志将有助于车辆身份的确定，也有助于交通信息安全管理部门打击违法犯罪.

5 结 论

本文首先设置忆阻器的阻值等级分别对应灰度图像的256级灰度，按照线性映射关系，实现了忆阻交叉阵列存储灰度图像.然后采用全新的数字图像预处理算法实现了数据增强操作，网络模型的泛化性能得到了提高，能有效地对抗真实场景中的噪声，具有较高的准确率，在智能交通信息安全中具有巨大的现实意义.