基于NSCT变换的车牌定位算法研究

张博

基于NSCT变换的车牌定位算法研究

张博

在汽车牌照识别系统中，车牌定位是整个识别模块实现的前提，目前车牌定位的方法多种多样，各有所长，但存在着计算量大或定位准确率不高等问题。为了实现对车牌区域的精确定位，提出了一种基于非下采样Contourlet变换的车牌定位算法。首先，对图像进行非下采样Contourlet变换，得到车辆图像的8个方向的高频分量子图；然后，通过一定的结合规则将这些高频子图合成一幅能突出车牌区域的高频图；最后，运用数学形态学和连通域分析定位出车牌。实验结果表明，其算法不仅能成功提取车牌图像边缘，而且能很好地滤除噪声，从而实现准确车牌定位。

车牌定位；非下采样Contourlet变换；数学形态学；车牌识别系统

0 引言

汽车牌照自动识别系统是以数字图像处理、模式识别，计算机视觉等技术为基础的智能识别系统[1]，通过摄像机所拍摄的视频序列或者车辆图像进行车牌号码的识别，其核心是利用自动化技术来减轻公路汽车安全管理系统的难度。车牌识别系统( LPR)广泛地应用在道路交通监控、交通事故现场侦察、交通违章自动记录、高速公路自动收费系统、停车场自动安全管理和智能园区管理等方面。车牌识别系统主要包括图像采集、车牌定位、字符分割和

字符识别，而车牌的准确定位是车牌识别系统的首要步骤，是进行后续分割和识别的先决条件，它的准确率和稳定性极大地影响了整个系统的准确率和稳定性[2-3]。车辆图像采集大都处于外部环境，光照、复杂背景等的影响导致准确定位车牌位置较为困难。因此，如何进行有效的车牌定位一直都是研究的热点，同时也是实现后续字符分割与车牌识别的重要前提与关键技术。

目前所使用的车牌定位算法一般可以划分为3类：基于灰度边缘检测的算法[4-5]，该类算法主要是利用物体边缘处灰度变化剧烈这一特点来检测图像的边缘，该算法简单快速，但当光照不均，或图像对比度不高时，需针对环境变化选择合适的算子，对图像进行边缘检测，才能达到好的效果；基于彩色图像的算法[6-7]，该类算法主要利用车牌图像的颜色特征进行分割，正确率较高，但当车身颜色与车牌区域颜色接近或车牌褪色时，需要附加较多判别，也很难准确定位；基于图像纹理特征分析的车牌定位[8]，该类算法对于牌照倾斜或变形以及光照不均、偏弱或偏强有很好的效果，但对噪声极为敏感。以上这些方法都只有在良好的外部条件下才能获得较好的定位结果，而一个成功的定位系统应该能够在光照变化、视点和距离变化、车辆运动、复杂背景噪声等情况下都能得到良好的检测结果。

1 算法思想和基本理论

现有的基于边缘检测的车牌定位方法通过对车辆图像进行垂直边缘检测，利用车牌区域文字垂直边缘十分丰富，而车辆图像中其他部分往往相对平缓，边缘较少的特点将车牌从图像中突出出来；然后，利用数学形态学将检测出的车牌边缘连接起来，成为候选区域，再根据我国车牌宽高比特性（宽高比约为22:7），在候选区中选出最符合车牌性质的区域。这种方法的缺点是如果图像中存在除车牌以外的边缘密集区，如车灯和车前端散热片等，利用边缘检测的方法有时未必能将这些区域和车牌区域分离开，使定位效果受到干扰，导致定位错误或不精确。

车牌区域的边缘较强，且车牌字符的各个方向边缘均很丰富，而车灯的边缘较弱，散热片的边缘虽强，但边缘方向往往是朝着一个方向（水平或垂直）的。因此，只要能抑制车灯的弱边缘和提取出图像的各个方向的边缘，就能把车牌区域与车灯和车前端散热片等区域区分出来。

Contourlet变换是一种有效的信号处理方法，它不仅继承了小波变换的多分辨率时频分析特征，而且拥有良好的各向异性特征。非下采样Contourlet变换是Contourlet变换的一种改进，它具有良好的滤波和方向性边缘检测特性，利用非下采样Contourlet变换可以把车牌区域与车灯和车前端散热片等区域区分开来。

1.1 非下采样Contourlet变换（NSCT）及分析

在传统Contourlet变换基础上，Cunha等人[9]提出一种具有多尺度、多方向和具有平移不变性的非下采样Contourlet变换（NSCT），用于图像分解和分析。NSCT变换具有很好的频率选择性和正则性，可用于图像的降噪、增强和轮廓提取，并可减少Gibbs伪影的出现。NSCT变换的构造是结合拉普拉斯塔式分解（ nonsubsampled pyramid，NSP）和非下采样方向滤波器组（ nonsubsampled directional filter bank，NSDFB），利用拉普拉斯塔式滤波器组对图像的多尺度非下采样分解，之后利用非下采样方向滤波器组对各尺度的高频子带进行分解，从而得到各尺度和方向的分解子带。4方向4层的NSCT变换的分解频域分布示意图如图1所示：

图1 NSCT变换的分解频域

NSCT变换采用的非下采样方向滤波器组，取消了下采样和插值过程，并通过若干两通道的扇型滤波器组的树状迭代实现精细的频率方向选择。由2组扇型滤波器组构成的4个方向 NSDFB结构如图2所示：

图2 四个方向NSCT变换的方向滤波器组结构

由于NSCT变换具有良好的多尺度多方向的信号表示能力，车辆图像中所包含的关键信号，会以大幅度值的系数出现在NSCT变换的高频子带中。

1.2 数学形态学基本原理和算法

数学形态学是分析几何形状和结构的数学方法，是建立在集合代数基础上，用集合论方法定量描述几何结构的科学。其基本思想是用一个结构元素作为基本工具来探测和提取图像特征，看这个结构元素是否能够适当有效地放入图像内部。数学形态学的基本运算有腐蚀、膨胀、开启和闭合。下面介绍基本的用于二值图像处理的四种数学形态学运算，设F表示给定的待处理二值图像，B为结构元素，则：

腐蚀可以定义为公式（1）：

膨胀可以定义为公式（2）：

式中：

Θ表示腐蚀运算；

⊕表示膨胀运算。

开启和闭合运算是膨胀和腐蚀的代数运算和集合操作组成的。开启运算是先对图像进行腐蚀然后再进行膨胀，闭合运算是先对图像进行膨胀再进行腐蚀，即：

开运算定义为公式（3）：

闭运算定义为公式（4）：

腐蚀表示某个结构元素对一个图像进行探测，以便找出在图像内部可以放下结构元素的区域，是一种消除边界点过程，结果是使目标缩小，空洞增大，可有效消除孤立噪声点。膨胀可以通过相对结构元素的所有点平移输入图像，然后计算其并集得到，结果使目标增大，空洞缩小，可填补目标物体中空洞，形成连通域。开启运算通过先腐蚀后膨胀的操作可消除边缘的突起，使图像的边界得以平滑，具有滤去小于结构元素的细节的功能。而闭合运算则是通过先膨胀后腐蚀的处理方法填充图像内部空隙并连接邻近的物体，具有填补小于结构元素的细节的功能。因此，形态学运算常用于提取图像的边缘，同时也能起到降噪作用。

2 基于非下采样Contourlet变换的车牌定位算法

2.1 车辆图像预处理

在实际环境下，由于各种客观原因，如拍摄时的天气、光照、机器、车牌的模糊等，都使得原始车辆图像需要经过一系列的处理才能进行下一步的边缘检测。这些处理包括图像的灰度变换、灰度增强、二值化、去噪、滤波等。本文采用灰度变换、灰度拉伸、二值化和中值滤波相结合的预处理方法。由于彩色图像的颜色种类较多，不利于图像处理，因此本文首先将彩色图像转换为灰度图像；然后进行灰度拉伸，使图像明暗更加清晰，对比度增强；再用典型的全局阈值法Ostu对图像进行二值化处理，使图像变为只有黑白二色的二值图像，把车牌特征更加清晰地突显出来；中值滤波是较常用的能够有效去除噪声并能减少边缘模糊的非线性平滑方法，最后用中值滤波来有效去除噪声。

2.2 车辆图像的非下采样Contourlet变换

分析车辆图像可以发现，车牌字符区包含着大量的纹理，而这些字符纹理是多方向的。车牌以外部分主要是汽车车身和背景，往往水平纹理也较为丰富，因此可以通过提取水平边缘以外的边缘突出车牌区域。车牌字符区的主要特征是高频信息相对于其余区域突出，对车辆图像进行非下采样Contourlet变换可以提取其高频信息，但是仅进行1层非下采样 Contourlet变换，图像中仍留有部分车牌区域以外的中高频信息，不能完全突出车牌区域。但是由于车牌字符区域的高频信息绝大部分情况下比图像中其余部分频率更高，如车灯区域，对车辆图像进行3 层非下采样Contourlet变换后，大部分车牌区域以外的高频信息将被抑制。因此选用分解方式为[0，0，3]，即选用前两层都为1个方向，第三层为8个方向的滤波器组，这样可以检测出比普通边缘检测和小波变换更高频率和更多方向的信息，滤除大量弱边缘并突出更多方向的边缘。

2.3 边缘图合成和形态学处理

设8个方向的高频子带图分别为D(i),i=1,2,…,8。D(6)、D(7)中存在大量车牌区以外的高频信息，这是因为D(6)、D(7)主要包含水平高频信息，而车辆图像中背景也存在着大量水平纹理，这些水平高频信息可能会对车牌定位产生较大干扰。分析其它子图可以发现，虽然车牌区域较为突出，却仍有一些背景干扰，值得庆幸的是对于不同的子图，突出的背景往往各不相同，因为这些背景的纹理方向不同。为了突出车牌区，同时抑制非车牌区，将除D(6)、D(7)以外的高频信息子图综合起来，根据各方向高频信息可能包含车牌区信息的多少，按一定规则合成一幅高频图。这里所选用的规则应该尽量突出车牌的垂直方向和字符笔画方向的边缘，而尽量抑制普遍车辆图像中的占比例最多的水平方向的边缘。

若设合并后的高频图为F，则本文选取如下表达式对高频信息子图进行组合公式（5）：

对合成后的高频图进行二值化，结果如图3所示：

图3 高频结合图

由图3可见，经过上述处理，车牌区域的边缘在整幅边缘图中较为明显，这些边缘并未形成一个连通的整体区域，用数学形态学方法可将车牌区域的边缘点连接起来。车牌字符间有一定距离，二值化后整个车牌区域通常不完全连通，膨胀的目的是将分离的部分连接起来，对于大小为480×640像素大小的车辆图像，一般选取1×10的水平结构元素。这对下一步快速检测连通域有至关重要的作用，处理后的结果如图4所示：

图4 形态学处理

由图4可见，数学形态学处理后车灯和前端散热片对定位的干扰影响已经不大。

2.4 数学形态学后的连通域合并

由图4可见，在膨胀后的二值图中，虽然车牌区边缘点大部分已经相连，但仍有空洞甚至断裂的现象存在。采用连通域分析和连通域外接矩形合并方法可以连通整个车牌区域，这种方法不需要知道车牌大小，比用窗口搜索法有更好的适应性，并提高了速度。

首先，对图4中的白点进行连通域分析，将连通域外接矩形内的所有点置为白点。结果如图5所示：

图5 连通域分析

从图5中可以看出这样得到的矩形区域很多，为简化处理，把一些面积特别小的，小到不可能是车牌区的区域去除，不同大小的图像所选的面积阈值也不同，以480×640的车辆图像为例，将面积小于40的矩形去除。

其次，车牌区某些字符之间（如第二个和第三个字符之间）距离较大，使得车牌区出现断裂，处理后车牌区可能会包含几个矩形区。因此将水平距离小于一定像素（一般取整个车辆图像水平宽度的3%），且垂直方向重合长度大于一定像素（一般取这个车辆图像垂直高度的3%）的区域合并为一个矩形区，把面积、长度、宽度较小的区域去除。一般最多留下 3～5个区域，结果如图6所示：

图6 连通域合并

所提定位算法的具体步骤如下：

Step1：对彩色车辆图像进行灰度化；

Step2：对车辆图像进行中值滤波以去除噪声；

Step3：对车辆图像进行非下采样Contourlet变换以提取其高频信息；

Step4：对高频信息图进行合并，合成一幅边缘图；

Step5：对边缘图进行数学形态学处理；

Step6：对数学形态学后的连通域进行合并；

Step7：确定车牌区的位置。

3 实验结果与分析

在迅驰酷睿2处理器、3.10GHz主频、8GB RAM的计算机上用Matlab 7.1仿真实现该算法，并与基于颜色特征定位、普通边缘检测定位及基于小波变换的车牌定位方法比较，对300幅480×640像素的不同车辆图像进行测试。实验结果如表1所示：

表1 四种车牌定位算法的实验结果对比

实验结果表明，本文提出的方法可靠，准确率可达96.7%，比基于颜色特征定位、普通边缘检测定位及基于小波变换的定位方法有了较大提高，且实验的平均定位时间低于1s，用VC++实现该算法平均定位时间为190ms，能符合实时性要求，有很好的应用前景。

4 总结

本文提出了基于非下采样Contourlet变换的车牌定位算法，创新点在于将非下采样 Contourlet变换引入了车牌定位步骤中，更好的抑制了车灯和环境中的弱边缘；提取了各个方向的边缘，充分利用了车牌字符区域各方向边缘丰富的特点，去除了散热片等单方向边缘丰富的区域的干扰，提高了车牌定位的准确性和鲁棒性。

由于车牌背景的复杂性与车牌特征的多样性，比如牌照的倾斜、光照的干扰及噪声的影响等，到目前为止，仍没有一个完全通用的智能化车牌定位方法。大多数定位方法离实际应用尚有比较大的距离。因此，车牌定位的内容仍然还有许多工作值得我们去研究。

[1] Li Y C, Liu Y S, Wang M S. Study and realization for license plate recognition system[C]. Proceedings-2009, Asia-Pacific Conference on Information Processing. Shenzhen, China, 2009: 501-504.

[2] KwaSnicka H, Wawrzyniak B. License plate localization and recognition in camera pictures[J].Artificial Intelligence Methods. 2002, 11: 13-15.

[3] Wenjing Jia, Huaifeng Zhang, Xiangjian He. Region-based license plate detection[J]. Journal of Network and Computer Applications. 2007, 30: 1324-1333.

[4] 陈寅鹏, 丁晓青. 复杂车辆图像中的车牌定位和字符分割方法[J]. 红外与激光工程, 2004, 33(1): 30-33.

[5] 张浩鹏, 王宗义. 基于灰度方差和边缘密度的车牌定位算法[J]. 仪器仪表学报, 2011, 32(5) : 1095-1101.

[6] 耿鑫, 肖谨, 胡晓光. 基于物理模型的彩色图像边缘检测与分类[J]. 仪器仪表学报, 2010, 31(8): 1782-1786.

[7] 雷博, 兰蓉, 范九伦. 基于特征颜色边缘检测的车牌定位方法[J]. 仪器仪表学报, 2008, 29(12) : 2673-2677.

[8] 王眩明, 张晓林, 景晓军. 基于改进型的三角模准则的融合滤波算法[J]. 电子学报, 2011, 24(6): 256-263.

[9] DA CUNHA A L, ZHOU J, DO M N. The nonsubsampled contourlet transform: theory, design, and applications[J]. IEEE Transactions on Image Processing, 2006, 15(10): 3089-3101.

[10] LALIMI M A, GHOFRANI S, MCLERNON D. A vehicle license plate detection method using region and edge based methods[J]. Computers and Electrical Engineering, 2012(26): 230-231.

[11] CHEN Rongbao, LUO Yunfei. An improved license plate location method based on edge detection[J]. Physics Procedia, 2012(24): 1350-1356.

[12] 魏娜, 王振臣, 张聪, 等. 一种新型车牌定位算法的研究[J]. 激光与红外, 2012, 42(8): 936-939.

[13] 张浩鹏, 王宗义. 基于灰度方差和边缘密度的车牌定位算法[J]. 仪器仪表报, 2011, 32(5): 1095-1101.

Car License Plate Location Algorithm Research Based on NSCT Transformation

Zhang Bo
(The Department of Electronics and Information Engineering , Changsha Normal University, Changsha 410100, China)

In car license plate identification systems, license plate positioning is the precondition of the whole identification module. Now various methods are applied and each of which has its own advantage. However, problems such as large amount of calculation or the low positioning accuracy are still remained. To implement accurate positioning of license plate, an algorithm of license plate location based on Nonsubsampled Contourlet Transform (NSCT) is presented. Firstly, the license plate picture is processed with Nonsubsampled Contourlet Transform (NSCT) to get 8 oriented high-frequency components pictures of the original picture. Next, the high frequency subgraphs are merged into one High frequency chart which can highlight the plate through a certain combination rule. Finally, the license plate is positioned with mathematical morphology and connected components analysis. The experimental results indicate that the algorithm can not only extract the image edge of car license plate, but also can greatly reduce the noise. It is able to implement car license plates’ accurate positioning.

Car License Plate Location; Nonsubsampled Contourlet Transform; Mathematical Morphology; License Plate Recognition System

TP391.41

A

2014.11.12）

1007-757X(2015)01-0032-04

湖南省教育厅科学研究项目（13C1070）

张 博（1980-），男，湖南长沙人，长沙师范学院，电子与信息工程学院讲师，研究方向：模式识别、人工智能、图像处理，长沙，410100