基于改进BP算法的语音车牌识别系统∗

杨 皓 张 双 尹福成

（1.成都理工大学工程技术学院 乐山 614000）（2.内江师范学院 内江 641000）

1 引言

随着电子技术、计算机技术和智能化交通网络的不断发展及交叉融合，车牌识别技术正在人们日常交通方面发挥着越来越重要的作用［1～5］。无数的科研人员正努力地研究车牌识别技术［4～7］，使得该技术成为一种积极有效、普及社会大众造福人类。本文所要论述的车牌识别技术，正是利用Matlab技术对现有车牌识别的一种新的方法——本着实时处理、傻瓜式操作的原则，优化算法的设计理念，提供了一个友好高仿真的控制界面，识别结果通过语音进行播报，从根本上解决目前各类落后、单一、互不兼容的算法设计方式。

2 车牌识别研究基础

车辆牌照（LP）的自动识别是计算机视觉与模式识别技术在智能交通领域结合应用的重要研究课题之一，是实现交通管理智能化的重要环节。

车牌识别一般分为图像采集、图像预处理、车牌定位、字符分割、字符识别五个大步骤。在本文中主要是用Matlab作为工具对车牌照进行识别，整个系统的框图如图1所示。

图1 系统框图

本设计的主要侧重算法的研究，主要工作是软件设计，对采集到的图片进行车牌提取，最终实现车牌识别与播报。

3 算法描述

车牌照识别技术，主要包含图像预处理、车牌定位、车牌切割、车牌识别四个部分，其中图像二值化、定位、识别是影响整个系统速度的主要算法［6～9］，本文结合目前现状，对关键算法进行了改进，并实现部分改进算法的编程，有效地达到了预想结果。

3.1 改进Otsu伪二值化

图像伪二值化，指通过选择两个阈值对图像进行二值化处理，将灰度图像中像素点的灰度值按式（x）计算，得到新的灰度值［10］

式中，f(x)表示经过伪二值化后图像像素点的灰度值，T1、T2表示伪二值的两个阈值。伪二值化后的图像中，像素点分为3类：黑度带、白度带和灰度带。黑度带对应元图像中灰度值在[0，T1)内的区域，灰度带对应灰度值在[T1，T2)内的区域，白度带对应灰度值在[T2，255]内的区域。

但是基于车牌字符切割时，采用改进的Otsu算法：将图像像素按照灰度分为(C0，C1)，其中C0和C1分别包含了灰度级别在 {0，1，2，3，...，t} 及{t+1，t+2，t+3，...，L-1}内的像素，分别对应于背景和目标物体。

在图像每个像素点计算其领域平均灰度值，则领域平均图像的灰度等级也为L。这就构成了图像像素点的灰度值和它的领域平均灰度值的二元组，记为 (i，j)。设 (i，j)出现的频率为fi，j，则其二维联合概率密度为

其中，i=0，1，2，…，L-1，j=0，1，2，…，L-1，且

图2 二维Otsu算法阈值求解示意图

如图2中所示，对任意给定的一个阈值(s，t)，可以分割成四个区域，分别为：Ⅰ、ⅠⅠ、ⅠⅠⅠ、ⅠV 。其中对角线上的区域I和III分别对应图像的背景C0与目标物体C1（此处假设目标物体的灰度高于背景物体）。远离对角线上的区域II和IV则对应图像的噪点和边缘。

假设背景对应的概率为p0，目标概率为p1，则：

此时C0与C1对应的灰度值为

图像总的灰度均值适量为

定义离散度矩阵为

以离散度矩阵的迹作为离散度测量度，得到：

当选择最大值时，其对应的二值化阈值就是最优的阈值，即最优二值化阈值(s'，t')满足：

其中，0≤s，t≤L-1。

在二维Otsu算法中，需要对每一个(s，t)的组合计算一个离散度矩阵的迹，然后取离散度矩阵的迹最大时的(s，t)为分割阈值，在原始算法中，需要s和t的双重循环，而每次计算离散矩阵的迹，需要对(st+(L-s)(L-t))个点做累加运算，故总得累加次数为

假设当L=256时，则A=2147416446，这将是一个耗时间的循环。对此为了解决二维Otsu二值化算法计算量大，运算时间长的问题，进行优化。优化方案按照图3的方式进行分块，仅仅只需要计算与对角线平行的f=g+N和f=g-N两条线段之间的点，将之外的点都视为概率为0的点。这时，只要N足够大，就可以将所有概率不为0的点都包括进来。

图3 Otsu算法阈值提高求解示意图

假设二值化的阈值为(s，t)，以通过点(s，t)且与对角线垂直的直线进行分割。该直线左面的点对应于背景物体，即C0；右面的点对应于目标物体，即C1。直线l的方程为

当l≥s+t-g时，属于C1，反之属于C0。由于分类准则只与s+t有关，因此可以将s+t整体作为一个阈值，从而将二维阈值转换为一维阈值进行计算。

此时，由于判决标准取决于s+t，而非单个的s、t，因此仅仅需要进行2L次循环，每次循环也只需要N(2L-N)个点做累加运算。设N=kL，则总的累加次数为

假设L=256，N=40时，可以将所有的非零点概率都计算在内，此时的A'=966560，效率，可见其计算时间大大提高。

图4 直接灰度二值化

图5 改进的Otsu伪二进制

3.2 灰度跳变分析法

首先，进行水平投影［11～13］。对前面初步提取后得到的图像f(i，j)进行水平一阶差分得到g(i，j)，即

其中，i=1，2，3，...，m、j=1，2，3，...，n，m表示图像的高度，n表示图像的宽度，将图像f(i，j)差分后得到的图像g(i，j)的灰度值沿水平方向累加后做投影得到L(i)。假设图像的宽度为x，高度为y，设定一个数组L(i)存放水平方向的投影值：

在求得水平投影后，依次从图像的最上方开始扫描。如果投影满足L(i)＞mi，对应的最小值M1和最大值M2确定车牌的最上方和最下方位置；m为一可调常数，可根据具体的门牌宽度调整得到。

然后，对二值图像进行垂直投影。车牌垂直方向的定位运算算法和水平方向上的定位算法类似，首先对车牌的垂直方向进行差分运算，确定车牌的列位置，设定另外一个数组G(j)存放垂直方向的投影值：

式中，M1为门牌区域的开始行；M2为门牌区域的结束行。在求得垂直投影值之后，就可以依次从左向右对图像进行扫描。如果投影满足G(j)＞nj，对应的最小值N1和最大值N2就确定了门牌的左右位置，n为一可调常数可根据具体门牌长度调整得到，由此可得门牌在图像中的位置为，将差分得到的结果用均值方进行平滑，即完成了车牌的定位。

图6 位置识别结果分析

图7 位置识别结果灰度转换分析

基于上述的定位方法，设计采用了一种改进的基于灰度跳变的车牌定位算法。首先，运用改进Ostu伪二值化算法有效地去除路面产生的噪声，然后采用由粗定位到细定位的方法以提高车牌定位速度，通过滤波除去车标部分栅栏状物体对车牌粗定位的影响，最后利用形态学闭运算去掉车牌边框，并且对车牌进行了灰度变换，增强车牌区域字符和背景的对比度。

3.3 优化投影法

应用中常用哈夫（Hough）变换进行水平校正［14］，Radon变换进行垂直校正。

旋转的角度和方式与车牌倾斜原因有关，其中水平偏移校正的依据是

利用Hough变换查找车牌倾斜角度的方法，最重要的是找到基准线，并且作为基准线的这条直线应该满足水平直线和垂直直线的要求。在有车牌边框的图像中，车牌边框往往成为了基准线，但是其倾斜的车牌其边框也是倾斜的，因此计算十分复杂，对此采用一种简单的优化投影方法来找出车牌的角度。

改进：进行优化投影法

由经验值，车牌字符的大多分布在牌照的中央，因此采用线性拟合的方法，计算出车牌上边和下边图像值为1的点拟合直线与水平X轴的夹角，从而得到车牌旋转的角度，具体流程如下：

1）首先求出拟合直线方程：y=ax+b的斜率系数a；

3）求得车牌旋转角度为β。

图8 倾斜车牌

图9 优化投影机倾斜校正

3.4 改进BP算法

BP算法［15～16］主要推导如下：

由梯度下降法对每一个训练样本点d，利用关于这个样本的误差Ed的梯度来修改权值。换言之，对于每一个训练样本点d每个权值wij被增加Δwij：

其中，Ed是训练样本d的误差，通过对输出层所有单元的求和得到：

其中，A表示输出层单元的集合，tk表示单元k的目标输出，ok表示单元k的实际输出。

注意到权值wij仅能通过ni（表示单元i的净输出）影响网络的其他部分，因此采用复合函数的求导法则导出一个的表达式：

对于单元i是一个输出层单元，由于ni仅能通过oi影响网络，所有可再次利用复合函数的求导法则得：

考虑到上式中的第一项：

当k≠i时，因此：

接下来考虑表达式第二项：

得到输出单元的权值更新法则：

令δi=(ti-oi)oi(1-oi)则推导出单元i的权值更新法则为

同理，输出层单元是隐藏层单元i的权值更新法则也为：Δwi，j=ησixij。

BP算法在解空间中寻找能够最小训练误差的网络权值，但是对于含有非线Sigmoid单元的多层网络，误差曲面可能含有多个不同的局部极小值，梯度下降有可能陷入到这些局部的极小值中。因此，BP算法仅能够保证收敛到误差E的某个局部极小值，而不一定收敛到全局最小误差。

人工神经网络BP算法改进，BP算法的改进目的大致分为三个方面：第一，提高网络训练的精度；第二，提高神经元的训练速度；第三，避免落入局部极小值点。改进方法为

1）优化初始权重法

如果把网络权值初始化为接近于0的值［-0.05，0.05］之间的任意一个数，则作为Sigmoid单元净输入的n也必然接近于0，因此在早期的梯度下降步骤中，网络表现为一个非常平滑的函数，近似为输入的线性函数。

2）增加冲量项法

增加冲量项可以带动梯度下降搜索冲过狭窄的局部极小值而不陷入其中，同时在梯度不变的区域逐渐增大搜索步长，从而可以加快收敛的作用。

3）使用随机的梯度下降代替真正的梯度下降

梯度下降的随机近似于对于每个训练例沿一个不同的误差曲面有效下降，它依靠这些梯度的平均来近似对于整个训练集合的梯度，这些不同的误差曲面通常有不同的局部极小值，这使得下降过程尽可能的减小了陷入某一个局部极小值。

本设计采用有动量的梯度下降法对神经网络进行改进，提高学习速度并增加算法的可靠性，改进算法为

其中，D(k)表示K时刻的负梯度，D(k-1)表示K-1时刻的负梯度，η为学习率，a∈[0，1]是动量因子。当a=0时，权值修正只与当前负梯度有关系，当a=1时，修正权值就完全取决于上一次循环的负梯度了。这种方法加入的动量项实际上相当于阻尼项，它减小了学习过程的振荡趋势，从而改善了收敛性。

4 实现流程

图10 处理系统

5 结语

结合对车辆牌照特征的分析以及对各种定位方法的比较，本系统采用改进Ostu二值化算法，基于行扫描灰度跳变分析的车牌定位方法，该方法综合了基于纹理特征分析和基于边缘检测分析方法的特点，具有速度快和准确性高的优点。BP改进算法字符切割。

从Matlab运行结果来看，该系统可以很好地完成车牌的定位、字符的分割和字符的识别，与传统的编程语言相比，明显缩短了开发周期，牌照识别系统的识别率，通过改进的BP算法，系统的识别能力有效提高。通过对本课题的研究，笔者认为神经网络算法的研究及编程实现必将是车牌识别的一个重点，本课题还可以继续对BP算法进行研究和编程实现。

［1］S.Al-Shami，A.El-Zaart，A.Zekri，K.Almustafa and R.Zantout，Number Recognition in the Saudi License Plates using Classification and Clustering Methods［J］.Applied Mathematics and Information Sciences（AMIS）.2017，11（1）：123-135.

［2］H.Kwasnicka and B.Wawrzyniak，License Plate Localiza⁃tion and Recognition in Camera Pictures［R］.Artificial In⁃telligence Methods，November，Gliwice，Poland，2002：13-15.

［3］L.Hammandi，Khaled Almustafa，R.Zantout and H.Obeid，Using Character Recognition for Plate Localization［J］.The International Journal of Multimedia&Its Appli⁃cations（IJMA），2012，4（5）：39-49.

［4］N.Otsu，A threshold selection method from gray level his⁃tograms［J］.IEEE Transactions on Systems，Man，and Cy⁃bernetics，1979，9：62-66

［5］H.Balasubramanian，P.K.Mitikiri and K.R.Namuduri，Image registration in low resolution visual sensor networks［C］//International Conference on Information Processing in Sensor Networks，2008.

［6］P.A.Viola and M.J.Jones，Rapid object detection using a boosted cascade of simple features［C］//IEEE Confer⁃ence on Computer Vision and Pattern Recognition，2001，1：511-518.

［7］J.Frigo，V.Kulathumani，S.Brennan，E.Rosten and E.Raby，Sensor network based vehicle classification and li⁃cense plate identification system［C］//Sixth International Conference on Networked Sensing Systems（INSS），2009：17-19.

［8］Book：H.M.A.Fahmy，Wireless Sensor Networks：Con⁃cepts，Applications，Experimentation and Analysis［R］，Originally published：March 2，2016.

［9］K.Almustafa，On the Automatic Recognition of Saudi Li⁃cense Plate［J］.International Journal of Applied Informa⁃tion Systems（IJAIS），2013，5（1）：34-44.

［10］M.Al-Bayati and A.El-Zaart，Automatic Thresholding Techniques for Optical Images［J］.International Journal of Signal and Image Processing，Signal&Image Process⁃ing：An International Journal（SIPIJ），2013，4（3）：1-15

［11］S.Saxena，N.Sharma and S.Sharma，Image Processing Tasks using Parallel Computing in Multi core Architec⁃ture and its Applications in Medical Imaging［J］.Interna⁃tional Journal of Advanced Research in Computer and Communication Engineering，2013，2（4）：1896-1900

［12］A.Krishnamurthy，J.Nehrbom，J.C.Chaves and S.Sam⁃si，Survey of Parallel MATLAB Techniques and Applica⁃tions to Signal and Image Processing［C］//IEEE Interna⁃tional Conference on Acoustics，Speech and Signal Pro⁃cessing，2007.ICASSP 2007，IV-1181-1184.

［13］C.Neubauer，J.Tyan and L.Goganovic，License plate recognition with an intelligent camera［C］//Proc.SPIE 3838，Mobile Robots XIV，1999，29.

［14］G.M.Amdahl，Validity of the single processor approach to achieving large scale computing capabilities［C］//In Proceedings of the April 18-20，1967，Spring Joint Computer Conference，AFIPS'67（Spring）.ACM，New York，NY，USA，1967：483-485.

［15］G Ramponi，P Fontanot.Enhancing document imageswith aquadratic filter［J］.Signal Process，1993，33（8）：30-34.

［16］Kyun JUNG，Simon LACROIX．A robust interest points matching algorithm［J］.IEEE，2001（2）：538-543.