多特征级联筛选的高鲁棒车牌检测

张瑞萌，张重阳

(上海交通大学 图像通信与网络工程研究所，上海 200240)

多特征级联筛选的高鲁棒车牌检测

张瑞萌，张重阳

(上海交通大学 图像通信与网络工程研究所，上海 200240)

摘要：现有的车牌检测算法在车牌较模糊时往往难于取得很好的检测效果。针对监控图像的特点，首先提取清晰和模糊车牌所共有的归一化梯度特征，进行初步车牌检测；然后结合车牌区域的颜色直方图特征，进行级联筛选、去除非车牌样本，得到一种高鲁棒的车牌检测方法。基于真实监控图像的实验结果表明，此方法具有较高的稳定性和鲁棒性，尤其对模糊车牌具有明显优于已有方法的召回率。

关键词：车牌检测；监控图像；多特征

随着城市及道路交通控制智能化科学化管理要求的日益提高，以车辆、车牌等目标检测识别等为主要内容的智能图像监控系统、智能交通系统受到了越来越广泛的重视。在此类智能应用系统中，车辆的车牌，作为车辆不同于其他目标的特定属性及唯一的身份标识，往往成为智能交通等系统关注的重点[1]。

现在已经存在很多比较成熟的车牌检测算法，应用在高速收费站、停车场入口等处，这些算法有一个共同点，就是都是在车辆运行缓慢的时候进行拍照，以得到角度、清晰度和光照等都有保证的高质量车脸图片，再对车牌区域进行高精度的检测定位与识别。但是目前大部分的监控视频，尤其是道路监控视频，大都是在车辆快速运动的时候进行拍摄、录制的，运动中的车辆抓拍，本身就存在一定的变形和模糊，再加上一天中不同时刻光线的变化、监控区域背景的复杂性、拍摄角度差异等影响，得到的图片质量会变差；同时视频图像在编码和传输过程中必然带来一定的损耗，导致部分车牌存在不同程度的模糊等降质，使得传统的车牌检测与定位算法难以准确地进行检测、定位[2-3]。

本文提出了一种基于多特征级联筛选的高鲁棒车牌检测方法，通过对清晰和模糊车牌梯度、颜色直方图等特征进行级联筛选和区域合并，实现清晰车牌与模糊车牌都可以准确检测的高鲁棒车牌检测。

1现有的车牌检测算法

现有的车牌检测的主要方法分为两类：基于灰度图像的车牌检测算法和基于彩色图像的车牌检测算法[4]。其中，基于灰度图像的车牌检测算法包括基于边缘检测的算法、基于数学形态学的算法、基于小波变换的算法、基于纹理分析的算法等。基于边缘检测的算法在车牌图像边缘模糊的情况下检测效果不好；基于数学形态学的算法通常需要借助其他算法进行车牌检测；基于小波变换的算法在车牌区域受噪声污染较大时难以使用；基于纹理分析的算法只能处理背景简单的图像。

而基于彩色图像的车牌检测算法包括基于颜色特征和纹理特征相结合的算法、基于MeanShift的算法、基于灰度图像和彩色特征相结合的算法、基于字符边缘特征和彩色特征相结合的算法、基于边缘检测和HSV色彩模型相结合的算法、基于颜色特征和边缘纹理特征相结合的算法等。基于颜色特征和纹理特征相结合的算法主当车牌颜色褪色严重或污染时，检测效果不好；基于MeanShift的算法使用迭代运算，运行时间过长；基于灰度图像和彩色特征相结合的算法对于过于模糊的、出现较大污点的车牌检测准确率低；基于字符边缘特征和彩色特征相结合的算法依赖于车牌的彩色信息，在车牌图像模糊褪色情况下检测准确度有所下降；基于边缘检测和HSV色彩模型相结合的算法对光照条件不足所拍摄的车牌图像定位效果不好；基于颜色特征和边缘纹理特征相结合的算法依赖于所拍摄的车牌图像的质量，在车牌图像模糊的情况下检测准确度低。

综上所述，现有的车牌检测方法都不能解决模糊车牌的检测问题，而其实目前的监控视频中有很大部分都难以得到高质量、清晰的车牌图片，因而在用的车牌检测识别算法大都应用在可以约束拍摄、车牌图片清晰的收费站、卡口等场景，而并不能应用在高速公路、城市道路等非约束拍摄等场景。针对此类场景下车牌的检测，本文提出一种高鲁棒的车牌级联检测筛选方法，在能准确检测清晰车牌基础上，也能同时对模糊车牌进行准确检测。

2算法设计

2.1算法简要介绍

本文提出的基于多特征级联筛选的高鲁棒车牌检测方法包括基于梯度特征的车牌区域预检测、基于颜色直方图特征的级联筛选和重合区域合并三部分。基于梯度特征的车牌区域预检测，主要是考虑到清晰车牌和模糊车牌都具备一个共同的轮廓特征：即长宽符合一定比例的矩形边框，以及边框内字符和数字间存在明显分割区间和分割点等。所以提取车牌区域的归一化梯度特征，通过训练分类器来进行车牌非车牌的预分类检测。但仅仅依赖该特征难以将车灯等具备同样轮廓特征的区域分开，因此需要结合其他特征进行进一步的筛选。由于车牌存在底牌与字符颜色为固定少数的特点，因此可以利用车牌区域的颜色直方图特征，剔除不符合颜色直方图分布的候选区域。

2.2我国车牌的特点

我国的车牌在尺寸和颜色上有一定的规律，表1和表2为统计结果，尺寸和颜色的特征将作为很重要的分类器训练和级联筛选的参数[5-6]。

表1我国现有各类车牌的长宽比

车型车牌大小车牌长宽比大型汽车440×140(前)3.14∶1440×220(后)2∶1小型汽车440×1403.14∶1教练汽车440×1403.14∶1

表2　我国现有各类车牌的颜色对

根据对表1和表2的分析，可以发现，最常见的大型汽车和小型汽车车牌比例为3.14∶1(因摄像头多从车辆正面拍摄，且车脸信息更有价值，所以本文暂不考虑大型汽车后面的车牌)，最常见的民用汽车车牌颜色对为黄底黑字和蓝底白字。

2.3算法说明

2.3.1基于梯度特征的车牌区域预检测

为了保证车牌训练样本的多样化，将标定的正样本分为3种类型：

1)高清晰车牌，车牌区域大小约为195×65，可清晰辨认每一个车牌号码，共706张；

2)较清晰车牌，车牌区域大小约为150×50，可大致辨认或部分辨认车牌号码，共298张；

3)模糊车牌，车牌区域大小约为105×35，车牌号码不可辨认，共623张。

根据车牌尺寸的统计信息，将标定区域长宽比固定为3∶1，这样储存的尺度信息就从2个参数减少到1个。由于车牌的外边框是重要特征，标定时全部将外边框包含在内。

提取车牌的归一化梯度(NormedGradients，NG)特征[7]训练SVM分类器。由于车牌的大小不是固定的，需要对标定框的大小做遍历，并把这个大小储存下来，作为模板匹配时的依据。遍历方法如图1所示。

图1特征框大小遍历

以标定框的左上角为原点，以模板大小24×8的倍数为宽高，向右向下画框，计算所画的框与标定框重合部分的比例，计算公式如下

xmin=MAX(xmin1，xmin2)，

xmɑx=MIN(xmɑx1，xmɑx2)，

ymin=MAX(ymin1，ymin2)，

ymɑx=MIN(ymɑx1，ymɑx2)，

o=(xmɑx-xmin+1)×(ymɑx-ymin+1)

(1)

当重合比例R达到95%以上，保存这个大小，并提取对应框的特征。只保留特征框个数超过50的特征框大小。

使用得到的所有特征框进行分类器训练，得到一个24×8的模板，模板的数值代表相应位置的权值大小，权值高的点梯度特征越明显。将得到的模板归一化到(0,255)区间，画出灰度图如图2所示。

图2训练得到的分类器模板

将3类正样本分别和模板进行匹配，如图3所示，可以看出模板对车牌4个边框和车牌前后两部分的分割点这两个明显特征有很好的体现，这是模糊车牌和清晰车牌的共同点，而对于清晰车牌特有的内部纹理特征，模板只模糊的体现了字符个数，恰恰符合模糊车牌的特点。

图3模板对正样本的体现

使用训练好的分类器对待检测图片进行模板匹配，分为多尺度遍历、模板匹配和非极大值抑制三部分。其中非极大值抑制部分使用文献[7]中已有方法，这里不再叙述。

多尺度遍历是由于车牌大小不确定，根据候选框大小和模板的比例对测试图片进行缩放，每一个尺度都进行模板匹配，取匹配度最高的前10个作为车牌候选框。

将模板归一化到(0,255)区间，测试图片提取特征后也归一化到(0,255)区间，根据下列公式进行匹配度计算。

(2)

式中：Tij为坐标(i,j)处的模板值归一化后的结果；Iij为待检图片在坐标(i,j)处的特征值归一化后的结果，这里使用Tij为匹配度加权，即梯度特征明显的位置(如车牌外边框)权值较大。Sxy的值越大，说明匹配度越高。图4为车牌区域预检测结果。

图4车牌区域预检测结果

2.3.2基于颜色直方图特征的级联筛选

分析得到的车牌区域预检测结果，车牌区域候选框不只有正确的车牌区域也有车灯等梯度特征和模板相似的区域，这两类区域最大的区别就是颜色直方图，车牌的颜色对是固定的，如在3.2节中统计的一样，通过正确的区域和错误的区域之间颜色直方图的差异，可以将剔除错误的候选样本。

将标定的正样本区域取出，统计颜色直方图信息，因为标定时为了将整个车牌包含在内，正样本外围有一部分不是车牌的区域，所以除去上下左右各1/8的内容，只统计正样本中心区域的直方图信息。

笔者共统计了516张黄底黑字车牌，它们的H分量分布如图5所示，98%以上的H分量集中在(0,75)的范围内。在试验统计中发现：误检为车牌的负样本中，车灯区域是出现概率最高、最易被误检为车牌的。因此重点考虑如何利用颜色分布特征来剔除车灯区域的样本。误检的车灯区域样本的H分量分布如图6所示，与图5十分相似，只是相对分散，因此考虑利用H分量的分散度来进行车牌与非车牌的判断。于是得出黄色类型车牌颜色直方图判决公式如下

D=ɑbs(INmɑx1-INmɑx2)

(3)

式中：hi表示 H分量的值为i的像素个数；N为图像像素总数；P表示H分量在(0,75)范围内的的像素个数占图像像素总数的比例；INmɑx1和INmɑx2分别表示最高峰和次高峰的H分量值，D表示最高峰和次高峰的距离(用来衡量H分量的分散度)，Tp=0.98，Tp=5，Y表示是否判定为黄色车牌区域，1表示是，0表示否。

图5　黄底黑字的车牌H分量统计结果

图6　车灯部分H分量统计结果

同时，统计了487张白底蓝字车牌的颜色直方图和误检率最高的白色车身区域对比，如表3所示。部分蓝色车牌H分量分布为单峰(左图)，部分蓝色车牌为双峰(右图)，但75%以上的H分量都集中在(175，275)范围内[9]，误检区域除白色车身区域外都不具备此特征。误检的白色车身区域H分量与双峰的蓝色车牌极其相似，那么仅靠H分量就无法区分车身区域和车牌区域。但蓝色车牌的SV分量满足亮度过高时V分量的峰值在255左右，S分量99%以上分布在(0，100)区间，亮度过低和正常时S分量的峰值在(0，50)区间，车身区域并不满足，于是得到蓝色车牌区域的判别公式如下

(4)

式中：hi表示 H分量的值为i的像素个数；Si表示S分量值为i的像素个数；N为图像像素总数；PH表示H分量在(175,275)范围内的的像素个数占图像像素总数的比例；PS表示S分量在(0,100)范围内的的像素个数占图像像素总数的比例；Vmɑx表示V分量峰值下标；Smɑx表示S分量峰值下标，TPH=0.75，TPS=0.99，TV=250，TS=50，B表示是否判定为蓝色车牌区域，1表示是，0表示否。

2.3.3重合区域合并

由于做了多尺度遍历，经过颜色筛选后的候选框可能仍有多个，要将重合度大的候选框进行合并，重合度的计算同式(1)，并且统计同一位置出现候选框的次数，删除候选框出现次数较少的位置和不满足车牌比例的候选框，得到最终的车牌区域。

表3　白底蓝字的车牌和白色车身区域颜色直方图统计结果

3实验结果

3.1实验平台

本实验在Window7平台进行，使用visualstudio2013版本和opencv2.4.9版本，训练样本集共1 627张图片，在2.3.1节有具体介绍，测试样本集共2 838张图片，其中高清晰车牌1 173张，较清晰车牌706张，模糊车牌959张。

3.2检测结果

笔者和近年的算法进行了比较实验，下文的方法一表示基于HSI颜色空间和行扫描的方法[8]，方法二表示HSV空间和形态学处理相结合的方法[9]，方法三表示基于视频分析的方法[10]。

3.2.1召回率和准确率

本文方法平均一张图片的检测时间为0.49s，召回率和准确率计算公式如下

(5)

(6)

检测结果如表4所示，可以看出，本算法在保证清晰车牌召回率和准确率的基础上，对模糊车牌也能有不错的检测效果。方法一和方法三由于使用了车牌内部的边缘纹理特征，对模糊车牌并不适用；方法二对颜色特征的分析过于简单，在低分辨率的情况下颜色失真非常严重，也不能起到很好的检测效果；而本文方法使用的是车牌边框的纹理特征，不受车牌内部清晰度的影响，颜色特征被细致分析用来二次筛选，能够降低误检的概率，所以可以在保证准确率的前提下提升模糊车牌检测的召回率。

表4　检测结果　%

3.2.2检测效果

4种方法的检测效果如图7所示。其中第1行为高清晰车牌，第2，3行为较清晰车牌，第4，5，6行为模糊车牌。

图74种方法的检测效果

可以看出，本文方法虽然在清晰车牌的检测上略有误差，得到的区域比车牌区域略大，这是由于训练分类器标定正样本时将整个车牌包含在内的原因，但在较清晰和不清晰的车牌检测上比现有方法取得了更好的效果，当车牌不清晰时，现有方法大多无法检出，但人眼可以模糊辨认出车牌的字符，本文的方法可以较好地检出。

5小结

经过实验，基于多特征级联筛选的高鲁棒车牌检测方法对模糊车牌也能很好地检出，具有较高的稳定性和鲁棒性，并且通过颜色级联筛选还可对车牌进行分类，可以作为车辆目标分类的第一步。当然，此方法也存在一些不足，只包含了最常见的两种车牌颜色，并且算法速度并不是很理想，笔者会对这个算法进行进一步的修改和优化。

参考文献：

[1]郑世宝.智能视频监控技术与应用[J].电视技术，2009，33(1)：94-96.

[2]郭天庆.快速车牌定位的方法研究[D].北京：北京邮电大学，2010.

[3]刘馨月.复杂背景下车牌分割技术的研究[D].长春：东北师范大学，2006.

[4]郑德键，沈英.基于图像处理的车牌定位算法研究[J].机电技术，2014(1)：10-12.

[5]王建，刘立，王天慧，等.基于四元数特定颜色对边缘检测的车牌定位[J].计算机应用，2011，31(3)：729-732.

[6]蒋大林，丁学爽，唐榕，等.车牌识别技术的研究和实现综述[C]//第二届全国信号处理与应用学术会议论文集.南宁：[出版社不详]，2008：304-306.

[7]CHENGMM，ZHANGZM，LINWY.BING：binarizednormedgradientsforobjectnessestimationat300fps[C]//IEEECVPRPhilipTorr.[S.l.]：IEEE，2014：68-75.

[8]胡峰松，朱浩.基于HSI颜色空间和行扫描的车牌定位算法[J].计算机工程与设计，2015(4)：977-982.

[9]苗姣姣，徐望明.HSV空间和形态学处理相结合的车牌定位方法[J].电视技术，2015，39(5)：146-149.

[10]杨恒，杨文帮，张儒良，等.一种基于视频分析的快速车牌定位方法[C]//系统工程理论与应用：贵州省系统工程学会第五届学术年会论文集.贵阳：贵州大学出版社，2014：70-75.

责任编辑：闫雯雯

Robustlicenseplatedetectionusingmulti-featurescascadingfiltering

ZHANGRuimeng,ZHANGChongyang

(Institue of Image Communication and Network Engineering, Shanghai Jiao Tong University,Shanghai 200240, China)

Abstract:All of the existing license plate detection algorithms can not get good detection results when the license plate is blurred. Considering the features of surveillance images, normalized gradient feature of plates in different clarity is extracted to do preliminary detection, combined with the color histogram to make up a cascade construct in order to do further filtering and delete the samples that are not plates, and get a robust license plate detection method. The simulating results with real surveillance images prove that the method has high stability and robustness, while it has a significantly better recall rate on blurred license plate than existing methods.

Key words:license plate detection; surveillance images; multi-features

中图分类号：TN919.8

文献标志码：A

DOI：10.16280/j.videoe.2016.04.023

基金项目：国家“十二五”科技支撑计划项目

收稿日期：2015-08-24

文献引用格式：张瑞萌，张重阳.多特征级联筛选的高鲁棒车牌检测[J].电视技术，2016，40(4)：109-114.

ZHANGRM,ZHANGCY.Robustlicenseplatedetectionusingmulti-featurescascadingfiltering[J].Videoengineering，2016，40(4)：109-114.