边缘特性筛选与多判定机制下的车牌定位方法

陈文会，马爽，卢虎，樊养余

Chen Wenhui1，MA Shuang1，LU Hu2，FAN Yangyu1

1.西北工业大学 电子信息学院，陕西 西安，710072

2.空军工程大学 理学院，陕西 西安，710051

1.School of Electronics and Information， Northwestern Polytechnical University， Xi'an 710072， China

2.Science Institute, Air Force Engineering University, Xi'an 710051，China

1 引言

车辆牌照识别LPR(License Plate Recognition)技术是数字图像处理、模式识别、人工智能在智能交通系统领域的一个重要研究课题，被广泛地应用于道路收费系统和各种监控系统，具有广阔的应用前景。然而在实际应用中，复杂的拍摄环境会对识别结果产生很大影响，比如天气变化所引起的光照不均，复杂的拍摄环境，另外还有车辆本身的干扰，如排气栅格、车灯、车身广告等。而这些不利因素的影响主要集中在车牌定位部分，因此车牌定位既是研究的重点也是研究的难点，其结果好坏直接影响后续识别部分能否顺利进行。

车牌定位就是从包含车牌的图像中，应用数字图像处理技术定位出车牌区域的准确位置并将其分割出来。现有的车牌定位方法有很多，常用的有基于数学形态学[1]的定位算法，该方法选用相应的结构元素，使图像形成闭合的连通区域，从而定位出车牌，运算较小但定位不准，易造成误检；基于边缘检测的定位算法[2,3]，该算法计算量较大，对于边框不连续及背景复杂的车牌图像难以奏效；基于颜色的定位算法[4,5]，该方法大多对光照的变化敏感，当光照效果不佳或当车牌颜色与车身颜色或周围环境颜色相似时误检率较大；基于神经网络的方法，该方法需要把车牌特征输入神经网络进行训练，计算量大，同时存在网络局部收敛，定位时间长等问题。目前，一些综合性车牌定位方法的出现在一定程度上可以克服原有算法的缺陷，但如何行之有效的融合多种方法，仍有待进一步讨论。针对复杂背景下的车牌高效定位，本文提出了一种基于边缘梯度特性的高频筛选算法，该算法可以快速有效地筛选出车牌边缘信息，进而结合数学形态学运算得到车牌候选区域，完成车牌粗定位；同时本文将车牌的颜色信息与灰度纹理信息[6]有机融合，提出了一种多判定机制下的伪车牌区域剔除算法，可以快速准确地完成车牌细定位与分割。大量实验证明，本文在目前已有算法的基础上做了改进与优化，弥补了传统算法的不足，在满足系统实时性的条件下，进一步提高了定位的准确率，尤其对于清晰度低、光照不佳、背景复杂的图像有良好的定位效果。

2 基于边缘特性筛选和形态学的车牌粗定位

2.1 图像预处理

因外界环境因素的不定造成采集到的原始图像质量有可能存在较多噪声而无法达到后期处理的要求，另外对彩色图像直接进行处理会大大增加运行周期，且彩色图像对于光照、车牌底色等因素较为敏感，所以我们首先要对采集到的图像进行预处理，将彩色图像灰度化再进行滤波操作滤掉多余噪声，为后续的处理打下良好基础。

将彩色图像转化成为灰度图像的过程，称为图像的灰度化处理。彩色图像中，每个像素有R、G、B 3个分量，本文采用式(1)对图像进行灰度化处理。

2.2 基于边缘梯度特性的高频筛选算法

图1为差分后的车辆图像。不难发现，水平差分的图像中，车牌区域与背景区域相比，有着更为丰富的边缘信息，尤其表现为梯度变化明显、频繁且具有一定规律。由此，只需对梯度化后图像的水平方向做高频保留，即可去除非目标边缘，从而最大限度的保留车牌区域的边缘信息。

图1 车辆差分图像

本文根据车牌区域的边缘梯度特性提出了一种高频梯度筛选算法。该算法通过去除水平差分后车牌图像中边缘特性不满足自适应阈值 R的像素点来保留车牌边缘并滤除部分干扰噪声。如式(2)：

式中，max f(:,j)为所在列像素的灰度最大值，R为筛选阈值，若被测像素点小于R则视为非目标区域边界点，将其排除。,其中N需要根据系统所拍摄图片大小来自主设定。若N选取过小，虽然可以保留更多的边缘信息，但非目标区域也会保留下来；若N选取过大，则可能会导致车牌区域的边缘信息也被排除掉。如图2为N取不同值时边缘特性筛选后的结果。

图2 N取不同值时边缘特性筛选结果图

2.3 基于数学形态学的区域填充处理

边缘筛选后，需要对被保留的边缘信息进行增强和扩展使目标区域连片展现。由车牌的几何形状特征知，车牌呈矩形，虽然其大小位置在不同的图像中不能确定，但其长宽比例基本保持在一定区间内。本文以此作为先验知识，设置与图片大小比例相适应的矩形填充模板，运用形态学区域填充算法，从而快速有效地确定出车牌候选区域，完成车牌粗定位。

区域填充算法是一种基于集合膨胀，取补和取交的简单算法。假定所用的非边界元素均标为0，我们把一个值1赋给P开始这个过程。下述过程将把这个区域用1来填充：

式中，A表示一个包含一个子集的集合，P为边界内的一点，X0=P，B为对称结构元素。当k迭代到Xk=Xk-1时，算法终止。首先用模板对图像进行闭运算，融合窄的缺口和细长的弯口，去掉混淆点，得到一些规则的连通区域，继而从这些连通区域中找出最符合车牌特征的一个。根据车牌几何形状特征剔除不符合宽高比要求的连通域。根据先验知识[7]，车牌的宽W高H比近似为 3:1，车牌的面积Area和周长Length的平方近似满足式(5)[8]：

对式(4) (5)引入匹配度参量α、β，变换为式(6) (7)：

式中，匹配度1α≈、1β≈说明对应的连通域最有可能是车牌区域。

当背景复杂时，图像中易于形成许多孤立的小连通域，这些小连通域明显不是车牌区域，如图3。为了缩小候选区域范围减少后续操作的计算量，可以将聚团值小于阈值的连通域去掉完成粗定位[9]，如图4。

图3 区域填充结果

图4 车牌区域粗定位结果

3 多判定机制下的伪车牌区域剔除

车牌粗定位即可准确得到大部分图像的车牌区域，但还有一些复杂情况会影响定位结果。干扰较为严重的一种是车前排气栅格为竖直型的车辆，另外车灯、车身广告、复杂背景等也会对定位效果造成一定影响。如图5(a)为典型的竖直型排气栅格，其紧位于车牌上方且基本轮廓与长宽比也与车牌近似，另外竖直型且等间距排列的栅格与车牌区域等间距分布字符的灰度纹理特征极为相似，其灰度直方图都呈等间距峰谷峰排列如图5(c)，所以二者极易混淆。

图5 复杂条件下的定位结果

通过对车牌区域各种特征的研究和分析，针对上述问题，本文有机融合了车牌的颜色特征和灰度纹理特征，运用多判定机制快速有效地排除伪车牌区域，准确定位并分割出车牌[10]。

通过对国家标准GA36—2007中所描述的2007式民用机动车牌照规范的分析可知，车牌区域除上述的几何形状特征外还有两个重要特征[11]：

(1) 字符颜色与牌照底色对比度较大；

(2) 车牌有水平且等间隔排列的7个字符，其灰度纹理在水平方向的投影成等间隔峰谷峰跳变；根据特征(1)，可将候选区域在彩色图像下通过度量其颜色分量来筛选车牌区域。度量公式如下：

R(i, j),G(i, j),B(i, j)分别为候选区域的红、绿、蓝颜色分量。由于RGB空间中蓝、黄色区分度较大，所以可将黄色看作是蓝色的反色。根据GA36—2007，我国蓝底白字的车牌占绝大多数，所以选取蓝色分量作为度量条件。由特征(2)及车牌区域的灰度投影可知，车牌的灰度跳变频繁且规律，根据GA36—2007规定，我国车牌字符数为7个，其灰度值跳变数为14左右，因此只需对候选区域进行行扫描，计算出跳变数即可排除干扰。具体操作如下：

(1) 确定候选区域的水平位置，得到每个候选区域的上线和下线；

(2) 通过上下线确定水平中线，并扫描该行累计其竖直方向灰度值跳变数,记为Jump；

(3) 将Jump与设定阈值Threshold作比较，若，则排除该区域。步骤(2)中之所以只扫描水平中线是因为中线对于竖直方向的灰度信息保留较为完整，且只扫描该行可大大减少计算量。步骤(3)中Threshold设置为16。

4 实验结果及分析

本文的实验样本主要为实际道路中拍摄的正常行驶的车辆图像，另外还有部分特殊情况下的样本是从互联网上下载的。如图6展示了四组场景下不同车牌定位方法的实验结果，从上到下依次为光照阴暗组、夜晚组、背景复杂组和常规组；每组图像从左到右依次为原图、边缘检测法、数学形态学法、本文方法。表1则定量统计了不同方法对大量实验样本的定位结果。由图6和表1可看出，边缘检测方法对于背景复杂的图像定位效果较好，可有效去除大量干扰区域，但由于该方法对光照敏感度高，因此对于光照效果不佳的图像效果很差；基于数学形态学的方法相对于边缘检测法从整体上效果有所提高，但对于背景复杂，干扰因素较多的图像却难以去除非目标区域从而造成定位失败；本文方法结合了上述两种方法并对边缘检测做了改进，在细定位部分结合多种先验知识引入了多判定机制，因此从定位结果图和统计数据都可以看出该方法在车牌定位的准确率上有了很大的提高，尤其对于夜晚、光线阴暗、背景复杂等图像的定位效果有明显改善。

表1 不同方法车牌定位结果对比

图6 几种车牌定位方法的对比

图7分为3组展示了不同情况下的车牌定位及识别结果，每组从上到下依次为原图、粗定位结果、细定位结果。图(a)为光照不佳条件下，如阴雾、夜间的定位结果，可以看出本算法克服了现有算法对于光照敏感的问题，在光线非常暗的条件下依然能准确定位和识别出车牌；图(b)针对竖直型排气栅格车辆，可以看到在粗定位部分可大致得出车牌候选区域，且控制在4个之内，之后运用本文在细定位部分提出的多判定机制算法可以有效地排除干扰；图(c)主要测试了车身具有文字及车牌颜色与背景色相近的图像，结果表明识别效果良好。本算法的优点在于准确率高、速度快，相比于传统算法，本算法对于光照、拍摄环境、角度、背景等要求不高，能够从复杂的背景中排除干扰准确定位车牌，为识别打下良好基础；缺点在于对个别车牌有遮挡、污损的情况还未找到有效方法。

5 结束语

针对复杂背景下的车牌定位，本文提出了一种边缘特性筛选与多判定机制下的车牌定位方法，充分利用了车牌的边缘梯度特征、几何形状特征、颜色特征、灰度纹理特征等作为先验知识来定位车牌，为下一阶段的车牌识别打下了良好的基础。该方法弥补了现有车牌定位算法对于背景复杂的图像易形成误检的问题，且定位速度较快可满足系统实时性，对车牌的颜色、拍摄角度、光照等条件限制较少，结果显示对不同的拍摄环境都具有良好的定位效果。

[1]P. V. SURYANARAYANA， SUMAN K M， ASIM B， et al. A morphology based approach for car license plate Extraction: IEEE Indiction 2005 conference， 2005[C].Chennai， India: IEEE， 2005，11:24-27.

[2]PAOLO Ferragina， MARIO Notturno Graieri， FLAVIO Stabile. Optical recognition of motor vehicle license plate[J]. Transactions on Vehicle Technology， 1995，44(4):790-799.

[3]HONG B H， YANG C H. An approach to license plate locating in intelligent transportation system: Proceeding of 2nd International Conference on Pervcsive Computing and Application， 2007[C]. Birmingham， UK: IEEE， 2007，319-322.

[4]王夏黎.基于视频检测和颜色的车辆牌照提取方法[J].计算机应用与软件，2005，22(11):41-44.

[5]汪志兵.一种基于纹理特征抽取的车牌定位预处理方法[J].计算机应用研究，2004，21(1):255-257.

[6]刘广起，郑晓势，张晓波.基于图像纹理特征提取的车牌定位算法[J].中国图象图形学报，2005，10(11):1419-1422.

[7]ZHANG H， JIA W， HE X， et al. Learning-based license plate detection using global and local features [J]. Pattern Recognition， 2006， 2:1102-1105.

[8]BROWN M，LOWE D G.. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision， 2007，74(1):59-73.

[9]SONG J， DWLPE J. The analysis of morphological filter with multiple structuring elements computer[J]. Vision Graphics and Image Processing， 1990， 50(1):308-320.

[10]FARADJI F， REZAIE A H， ZIARATBAN M A，Morphological-based license plate location: Proceeding of the 14th IEEE International Conference on Image Processing， 2007[C]. Texas， USA: IEEE， 2007: 57-60.

[11]王怡.基于数学形态学的车牌定位与分割.计算机应用与软件，2010，27(8):255-256.