基于L1-BRD的视频图像车牌识别

薛云松，冯国瑞，刘立庄

(1.上海大学 通信与信息工程学院，上海200444；2.中国科学院 上海高等研究院，上海201210)

基于L1-BRD的视频图像车牌识别

薛云松1，冯国瑞1，刘立庄2

(1.上海大学 通信与信息工程学院，上海200444；2.中国科学院 上海高等研究院，上海201210)

针对实时视频的车牌识别系统应用，利用车牌的边缘特征和形态学操作对车牌进行粗定位，通过支持向量机(SVM)结合方向梯度直方图特征(HOG)方法对粗定位车牌进行鉴别真伪。在对字符进行分割后，取连续多帧车牌，对字符特征利用L1-BRD (L1-norm Bin Ratio-Based Histogram Distance) 自适应计算融合权重，使L1-BRD能够从图像间特征相似度评估扩展到实时视频中。把L1-BRD用于车牌字符识别，可以降低单帧图像中噪声及字符分割误差产生的影响，有助于后期基于多帧加权直方图特征进行字符识别，提高车牌字符识别的准确性和稳定性，并保证了实时性。

车牌字符识别；L1-BRD；车牌定位；多帧加权直方图特征；SVM

进入新世纪以来，智能交通得到越来越广泛的应用，已经成为交通管理系统不可缺少的一部分，它是通过视频监控系统得到的道路监控视频利用计算机视觉技术对道路状况进行自动分析，而车牌识别技术是智能交通里非常重要的一部分，应用于交通管理系统、车辆出入管理系统等领域[1]。

目前车牌识别的算法有很多，大致可以分为基于模板匹配、神经网络和支持向量机(SVM)三类方法。基于模板匹配的方法计算速度快，但是对低分辨率图像以及倾斜的车牌识别率较低；基于神经网络的方法在样本量不充足的条件下容易造成局部假饱和的情况，字符识别率难以达到很高[2]；SVM基于统计学习，在有限样本的情况下，训练得到最小的误差，在高维空间建立一个最优分类超平面，使正负样本的特征向量与超平面的距离最大化，SVM在小样本的限制下具有很好的适应性，在处理高维模式识别时也具有很大的优势。方向梯度直方图(HOG)特征是一种统计图像局部区域的方向梯度直方图构成特征，HOG特征结合SVM分类器已被广泛应用于图像识别中[3]。由于车辆含有大量的边缘特征，在边缘梯度方向的分布上很有特点，可以用HOG特征区分车牌真伪。

现有的车牌识别方法大部分都是基于单帧图像，当车辆通过检测区域触发检测条件，对当前帧进行识别，并且是车牌清晰、没有噪声的图像。但在应用于真实场景时，噪声、字符分割上的误差会造成当前帧字符识别准确率下降。本文使用多帧联合检测的方法降低了上述影响，该方法使用多帧车牌对应字符特征的加权，其特征为针对二值图像的方向梯度直方图特征，使用字符特征间的距离得到权值，目前用来度量特征间距离的方法有很多种，如L1-norm距离、欧氏距离，而本文使用的是L1-BRD (L1-norm Bin Ratio-Based Histogram Distance)[4]，可以更准确地度量直方图特征间的相似度。

原始的L1-BRD是衡量单幅图像直方图特征间的相似度，通过直方图内bin之间的比值计算对应比值间的距离，结合L1-norm距离消除噪声干扰，所以它比普通计算特征间距离的方法具有更高的信息量，更能够准确衡量特征间的相似度[4]。将其用于基于多帧的车牌字符识别，通过计算多帧间对应字符特征间的L1-BRD，算出各帧字符特征的权值，最后得到一个多帧加权特征，该特征可以有效解决在单帧图像提取特征时由于字符分割误差和噪声造成的干扰。本文基于实际项目，对基于视频的多帧联合特征的车牌字符识别做了深入研究。

1 车牌定位与字符分割

整个车牌识别系统框架如图1所示。

图1 车牌识别系统框架

1.1 检测触发

基于视频的车牌识别，需要设定一个触发机制，当车辆通过时才对当前帧的图像进行后续检测。在道路上划定一块检测区域，检测区域中分别设有一道触发线。对前后帧该条线上的像素灰度值做差求和，若大于阈值，则对检测区域进行车牌识别。

1.2 基于边缘特征和形态学的车牌粗定位

车牌跟背景区域相比，车牌含有大量的边缘信息，而车辆含有很多水平边缘，为得到车牌位置，只提取图像垂直方向的Sobel边缘[5]，即可剔除大量非目标边缘，保留车牌的边缘信息，然后对图像使用最大类间方差法(Otsu)进行二值化[6]。

得到二值图像后，为了能用连通域获得车牌区域，需要让边缘区域连通起来，所以对二值图像进行形态学的闭操作，然后进行连通域标记，通过对车牌大小的先验认识，设置阈值排除面积过大和过小的区域。对每个连通域取最小外接矩形[7]，能够得到外接矩形的顶点坐标，通过顶点坐标可以计算出矩形偏转角度，剔除角度偏转过大的区域，筛选出宽高比在一定范围内的矩形，该矩形区域对应原图像即为车牌的候选区域[8]。

在实际应用中，车辆的纵向栅格、车灯、车辆的图案和复杂背景都会影响定位的结果，使得粗定位到的车牌候选区域含有一些非车牌区域。对粗定位到的车牌归一化到128×32大小，提取HOG特征，然后结合SVM分类器鉴别车牌真伪，可以有效地剔除伪车牌区域，准确地定位出车牌[9-10]，如图2所示。

图2 车牌定位中间结果

1.3 利用投影法的字符分割

经定位后的车牌并不能直接用于字符识别，为了使其更利于识别，将进行如下车牌分割操作：

1)对车牌用Otsu法进行二值化。为了统一让字符部分为白色，底色为黑色。已知车牌中字符部分面积小于背景部分，统计二值图像中白色像素点和黑色像素点的数目，让数目多的像素点置为背景黑色，数目少的像素点置为前景白色。

2)得到二值图像，先对其向下投影，算出每一列前景像素点数目，统计数目大于阈值的区域，即计算连续的线段，通过线段两个端点坐标把图像分割成多个区域，对每一个区域统计每一行前景像素点的数目，统计大于阈值的区域，对图像进行切割，可以得到7块字符区域[11]，结果如图3所示。

图3 字符分割

2 基于L1-BRD的多帧加权特征的字符识别

2.1 L1-BRD

BRD (Bin Ratio-Based Histogram Distance) 是intra-cross-bin距离，与先前的bin-to-bin距离相对[4]。BRD对局部匹配和直方图归一化具有鲁棒性，并且具有线性的计算复杂度。

L2归一化含有n个bin的直方图，是一个列向量h∈Rn，如式(1)所示

(1)

现有2个L2归一化后的含有n个bin的直方图特征p和q，求其平方距离。可得到特征间的距离BRD(Bin Ratio-Based Histogram Distance)，得到

(2)

其中:P和Q是p和q比值矩阵。式(2)表示的距离并不稳定，当pi和qi很小时，很小的变化都会造成所得距离差异很大，为了避免这种情况，在式(2)中加入项1/qi+1/pi做除数，得到式(4)。

(3)

(4)

对比L1距离和L2距离这些针对n维向量的距离，BRD距离是n×n个比值的向量，所以它包含了比L1距离和L2距离更多的信息量。dBRD(p,q)的具体推导过程在文献[4]中给出，该距离的时间复杂度只有O(n)。

BRD可以更准确地度量特征向量间的距离，但是对噪声比较敏感，而L1距离受噪声的影响很小，所以采用结合L1距离和BRD距离的方法，即两者的乘积，结果如式(5)，可以有效地消除噪声干扰及数值很小时的影响[13]。

(5)

2.2 基于多帧联合直方图特征的字符识别

本文采用SVM结合多帧联合方向梯度直方图特征进行字符识别。

一般SVM是一个用来解决两分类问题的分类器，当处理多分类问题时需要构造合适的SVM多分类器。本文采用一对多组合的方法，把其中某一类作为正样本，剩余其他类的样本作为负样本，多分类就可以转化为二分类问题[14]。对其构建最优分类超平面，在分类过程中需要构造N个分类器。

中国的车牌号码一共有7位，第1位为各省份的简称，第2位为字母，后5位含有10个数字和除“I”“O”以外的24个大写字母。所以本文需要构造3种类型的SVM分类器[15]。

字符识别所用到特征是梯度方向的统计直方图特征，本文针对的图像是二值图像，二值图像的梯度方向只有0°、45°、90°和135°这4个方向，所以本文只需统计4个方向的方向梯度直方图。具体步骤如下：

1)将得到的二值图像两边补0，使其宽高相同，然后将图像缩放到20×20大小。为了捕获其轮廓信息，计算二值图像中每个像素的梯度方向。

2)将图像分成小的cell。统计每个cell的梯度方向直方图，即每个梯度方向的个数，即形成每个cell的描述子。将几个cell组成一个block。将该二值图像的所有block的特征描述子串联起来就可以得到该图像的特征描述子。如图4所示。

图4 多帧联合特征获取流程图

使用多帧联合方向梯度直方图特征，并记录车牌中心位置，前后两帧得到车牌的中心坐标，若距离在一定阈值内，则记录为同一车牌。选取车牌进入检测区域内检测到的连续N个车牌。

(6)

将每组对应字符的特征与所有字符特征间距离的平方和与所有距离的平方和的比值作为该字符的权值。对应位置的N个字符特征hi,i∈[1,N]，可以得到N帧加权直方图特征h。

(8)

(9)

将基于多帧加权的直方图特征和多分类SVM分类器对车牌字符进行识别，这种方法可以有效消除单帧车牌字符在分割或噪声造成的影响，提高车牌字符识别的准确率。

3 实验结果

本文基于CPU主频2.83 GHz、4 Gbyte内存的Windows7操作系统的计算机，利用VS2010和opencv2.4.6进行实验，针对道路监控录像里经过的车辆进行实时的车牌识别。测试样本为4小时监控视频中经过的565辆车辆，视频分辨率为1 920×1 080，场景为普通道路，摄像机架设在路边高约2 m处，检测目标为面向摄像头方向正面行驶的车辆。

图5为车牌识别的部分结果图，识别的结果记录为文件名。

图5 车牌识别结果

图6为系统运行的界面截图，左边显示实时的监控视频，右边方框显示当车辆通过检测区域时识别到的车牌号码。

图6 车牌识别系统(截图)

本文利用神经网络的方法、基于单帧的SVM和多帧联合的SVM进行车牌识别，同时使用总数4 340个英文字母、数字样本和620个汉字的样本进行训练，得到的实验结果如表1所示，基于多帧联合特征的方法对识别准确率都有提升，3帧联合特征提升不明显，但是5帧就有了明显的提升，98.1%的识别率明显优于神经网络和单帧SVM的方法。

表1 多种车牌字符识别方法识别结果 %

使用方法字母和数字识别率汉字识别率神经网络方法95.386.6单帧的直方图特征96.890.13帧联合直方图特征97.291.75帧联合直方图特征98.193.5

表2中列出了同样是基于5帧使用不同距离时的识别结果，使用L1距离并没有提升识别正确率，使用欧氏距离得到的结果也不明显，这两种距离并不能很好地对直方图特征间的差异做很好地度量，所以识别结果并没有很大提升，而使用L1-BRD距离对识别率提升很大。

表2 使用不同距离度量权值的实验结果 %

使用方法字母和数字识别率汉字识别率L1距离97.089.7欧氏距离97.291.2L1-BRD98.193.5

本文利用连续多帧的车牌提取特征，其计算复杂度比单帧车牌提取特征要高，但是计算L1-BRD距离只有线性的时间复杂度，所以并不会导致车牌识别时间增加多少。图7为本文方法和基于单帧方法进行车牌识别时的计算时间，本文方法平均识别时间是70 ms，最大识别时间不会超过80 ms，一般监控视频帧率为25 f/s(帧/秒)，即40 ms更新一帧，本文方法在2帧不到的时间内即可识别出一幅车牌，同一个车道前后车辆到达检测区域的时间一般相差大于1 s，就算3个车道同时有车辆经过检测区域，也可以在0.2 s左右识别出3个车牌。与图7b基于单帧的方法的检测时间进行对比，平均检测时间只增加了10～20 ms，多帧加权的特征提取只占用了很少的计算时间。本文方法在提高检测精度的同时，小幅降低了识别速度，保证了实时性，可很好地用于真实的监控系统。

图7 车牌识别时间

4 结束语

本文针对实时道路监控视频，提出了一种采用多帧联合的直方图特征和SVM分类器的车牌识别方法。在道路上的虚拟触发线对通过的车辆利用形态学和SVM的方法进行二次车牌定位，取连续多帧的车牌利用投影法进行字符分割，提取方向梯度直方图特征，算出对应位各车牌字符特征间L1-BRD，得出各自权值，结果表明L1-BRD更能准确衡量特征间相似度，将与其他帧差距较大的特征赋予很小的权值，因此可以消除字符分割的误差和噪声造成的影响。最后算出多帧字符特征加权后的联合特征，利用多分类SVM进行识别。将本文方法和采用神经网络、单帧及利用L1-norm距离、欧氏距离的识别方法做了仿真实验对比，结果表明本文方法在针对实时视频的车牌字符识别中，在保证实时性的前提下，识别的准确度均优于其他方法。

[1] BASU J K，BHATTACHARYYA D， KIM T H. Use of artificial neural network in pattern recognition[J]. Transactions on international journal of software engineering and its applications， 2010， 4(2)：23-34.

[2] 林川， 吴正茂， 覃金飞. 基于机器视觉的分级车牌字符识别方法[J]. 电视技术， 2014， 38(11)： 198-201.

[3] DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Proc. IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]：IEEE， 2005：886-893.

[4] HU W，XIE N. Bin ratio-based histogram distances and their application to image classification[J]. IEEE transactions on pattern analysis and machine intelligence， 2014， 36(12)： 2338-2352.

[5] 沈德海， 侯建， 鄂旭. 基于改进的Sobel 算子边缘检测算法[J]. 电子技术， 2013， 23(11)： 22-25.

[6] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE transactions on systems， man， and cybernetics， 1979， 9 (1)： 62-66.

[7] 吴晓光， 王涤琼， 盛慧. 一种获取图像区域最小外接矩形的算法及实现[J]. 计算机工程， 2004， 30(12)： 124-142.

[8] 李耀， 程勇， 曹雪虹. 一种复杂环境中的车牌定位算法[J].电视技术，2015， 39(12)： 104-112.

[9] 张晶， 吕少胜. 采用二次定位的车牌图像定位算法研究[J]. 电视技术， 2013， 37(15)： 198-210.

[10] 隆晓玲， 杨静. 基于SVM的车牌区域定位系统研究[J]. 信息技术， 2010 (8)： 55-61.

[11] 陈涛， 杨晨晖， 青波. 基于投影和固有特征结合的车牌字符分割方法[J]. 计算机技术与发展， 2009， 19(5)： 45-49.

[12] XIE N， LING H， HU W，et al. Use bin-ratio information for category and scene classification[C]//Proc. IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]：IEEE，2010： 2313-2319.

[13] GEHLER P，NOWOZIN S. On feature combination for multiclass object classification[C]// Proc. IEEE Conference on Computer Vision. [S.l.]：IEEE，2009：221-228.

[14] HSU C，LIN C. A comparison of methods for multiclass support vector machines[J]. IEEE transactions on neural networks， 2002，13(2)：415-425.

[15] 马爽， 樊养余. 一种基于多特征提取的实用车牌识别方法[J]. 计算机应用研究， 2013， 30(11)： 3495-3499.

薛云松，硕士生，主要研究方向为视频内容识别；

冯国瑞，副研究员，主要研究方向为图像视频分析；

刘立庄，副研究员，主要研究方向为视频图像处理。

责任编辑：闫雯雯

Multi-frame license plate recognition method by using L1-BRD

XUE Yunsong1， FENG Guorui1， LIU Lizhuang2

(1.SchoolofCommunication&InformationEngineering，ShanghaiUniversity，Shanghai200444，China；2.ShanghaiAdvancedResearchInstitute，ChineseAcademyofSciences，Shanghai201210，China)

For the application of license plate recognition system based on real-time video， this paper firstly locates the license plates in coarser-grained way by using the edge features and morphological operations. Then it locates the license plates exactly by combining SVM(Support Vector Machine) and HOG(Histogram of Oriented Gradient) features， after segmenting characters， it selects a series of plates and calculates weights adaptively by using L1-BRDs， making L1-BRD be used in the real-time video for license plate character recognition from measuring feature’s similarity to a single image， it can reduce the effects because of noise and character segmentation in single-frame image， contribute to characters recognition by multi-frames weighted histogram features， this method can improve the accuracy， stability and instantaneity.

license plate character recognition； L1-BRD； license plate location； multi-frame weighted histogram feature； SVM

薛云松，冯国瑞，刘立庄. 基于L1-BRD的视频图像车牌识别[J].电视技术，2017，41(1)：73-78. XUE Y S， FENG G R， LIU L Z. Multi-frame license plate recognition method by using L1-BRD [J]. Video engineering，2017，41(1)：73-78.

TN911.73

A

10.16280/j.videoe.2017.01.015

国家自然科学基金项目(61373151;U1536109);上海市自然科学基金项目(13ZR1415000);上海市教委创新基金项目(14YZ019)

2016-03-23