基于模板匹配和局部HOG特征的车牌识别算法①

高 聪, 王福龙



基于模板匹配和局部HOG特征的车牌识别算法①

高 聪, 王福龙

(广东工业大学应用数学学院, 广州 510520)

针对车牌字符识别中模板匹配法识别率低, 尤其是无法准确识别相似字符的不足, 本文提出了一种模板匹配法结合局部HOG特征的车牌识别算法. 首先利用模板匹配法对车牌所有字符进行初步识别, 然后分别提取车牌和模板相似字符中最具区分度的一小块HOG特征进而构建特征向量, 最后根据特征向量之间的欧氏距离来度量车牌字符和模板字符的相似性, 进而完成二次识别. 实验结果表明, 本文方法有效地解决了相似字符误识别的问题, 在保证识别速率的同时识别率显著提高.

车牌识别; 模板匹配; 局部HOG特征; 相似字符; 特征向量

1 引言

车牌识别系统在停车场车辆管理、监控违章车辆、高速公路收费管理系统等领域都有十分广泛的应用. 车牌识别是指利用车牌的特征从具有复杂背景的车辆图像中提取出车牌区域,并对该车牌区域进行字符分割, 提取每个字符的特征后再进行识别的过程. 在一般情况下, 完整的车牌识别系统包括图像采集, 车牌定位, 车牌字符分割和字符识别四个部分.

目前国内外有很多车牌定位算法, 如: 纹理特征法[1,2]、颜色特征法[3,4]、字符特征法[5,6]、边缘检测法[7-9]和灰度跳变法[10]. 字符分割算法主要有: 投影法[11,12]、连通性法[13,14]和字符的先验知识法[15].

字符识别是车牌自动识别技术的最后一步, 也是关键一步, 主要任务是对字符分割步骤的结果, 即单个字符进行自动识别, 根据我国车牌字符的结构和特点, 目前常见的车牌字符识别方法主要有模板匹配法[16-19]、神经网络法[20-22]和特征提取法[23,24]. 模板匹配法是一种经典的模式识别方法, 是最直接的字符识别方法, 主要是通过判定测试字符与模板字符间的相似度, 将相似性最大的样本作为输入字符的所属类别.为结果. 模板匹配法原理简单, 比较直观,计算方便, 因此得到了普遍的应用, 但不能适应于各种字符变化、角度变化,鲁棒性较差,由于忽略了大量的字符细节信息, 使得模板匹配法在识别相似字符时易出现误识别. 神经网络法是先对待识别字符进行特征提取, 然后用所获得的特征向量来训练神经网络分类器, 通过训练好的分类器将字符识别出来. 神经网络法具有较强的容错能力, 识别效率较高, 但是该方法需要大量的训练样本, 训练样本运算复杂度高, 耗时长, 难以满足实时性要求. 特征提取法是先提取测试字符和模板字符的统计特征, 再按照一定准则所确定的决策函数进行分类判决, 经过大量的统计得到测试字符和模板字符的特征向量, 再通过比较测试字符与模板字符特征向量的相似性得到输入字符的识别结果. 特征提取法可以提取显著的特征, 对于失真的图像具有一定的鲁棒性, 但是提取特征的时候会消耗大量时间, 非稳健的特征会降低识别率[25,26]. 本文采用模板匹配和局部HOG特征相结合的方法进行字符识别, 首先利用模板匹配法进行初步识别, 然后利用局部HOG特征对相似字符进行二次识别, 实验表明识别率明显提高.

2 模板匹配[18]

目前我国车牌字符识别算法中模板匹配法是运用最为广泛的一种, 该方法是通过判定测试字符与模板字符间的相似度, 取相似性最大的样本为输入模式所属类别. 首先建立模板库, 将待识别的车牌字符进行二值化并将其尺寸大小归一化到模板字符的尺寸大小, 然后与所有的模板字符进行匹配, 最后选择最佳匹配字符作为结果. 采用重合度函数来度量匹配程度, 其公式如下:

式中:—模板二值图像,—对应的车牌二值图像, 二者图像的大小一致, 均为×,和分别为对应二值图像中值为1的像素个数,为与运算.

3 HOG特征及其改进

3.1 方向梯度直方图[27]

方向梯度直方图(Histogram of Oriented Gradient, HOG)特征是一种图像处理和计算机视觉中对物体进行检测的特征描述子. 它主要是通过计算和统计图像局部区域的方向梯度直方图来构成特征. 通过将整幅图像分割成小的连接区域(称为cells), 称为细胞单元, 每个cell生成一个方向梯度直方图, 这些直方图的组合可表示出所检测目标的描述子. 为了提高光照变化的适应性, 将这些直方图在分割下来的单个字符中的一个较大区域(block, 块)内进行对比度归一化, 具体来说就是计算每个局部直方图在块中的密度, 根据密度来对这个块中的每个细胞单元进行归一化. 经过归一化后, HOG特征对光照变化和阴影可以获得更好的适应能力.

HOG实现详细过程如下:

1) 计算图像梯度

计算图像横坐标和纵坐标方向的梯度, 并据此计算每个像素位置的梯度方向值. 最常用的方法是: 首先用[-1,0,1]梯度算子对原图像做卷积运算, 得到水平方向的梯度分量, 如公式(2)所示; 然后用[1,0,-1]T梯度算子对原图像做卷积运算, 得到竖直方向的梯度分量, 如公式(3)所示:

计算图像横坐标和纵坐标方向的梯度, 并据此计算每个像素位置的梯度方向值. 最常用的方法是: 首先用[-1,0,1]梯度算子对原图像做卷积运算, 得到水平方向的梯度分量G(,), 如公式(2)所示; 然后用[1,0,-1]T梯度算子对原图像做卷积运算, 得到竖直方向的梯度分量G(,), 如公式(3)所示:

(3)

式中G(,),G(,),(,)分别表示输入图像中像素点(,)处的水平方向梯度、垂直方向梯度和像素值. 像素点(,)处的梯度幅值和梯度方向分别为:

(5)

2) 为每个细胞单元构建梯度方向直方图

我们将图像分成若干个“细胞单元cell”, 每个cell为8*8个像素, 用9个bin的直方图来统计这8*8个像素的梯度信息,也就是将cell的梯度方向360度分成9个方向块, 梯度大小作为投影的权值. 如图1所示: 如果这个像素的梯度方向是20-40度且梯度大小是2, 直方图第2个bin的计数就加2, 这样就可以得到这个cell的方向梯度直方图, 即该cell对应的9维特征向量.

3) 把细胞单元组合成大的块(block), 块内归一化梯度直方图

把各个细胞单元组合成大的、空间上连通的区间(blocks), 这样, 一个block内所有cell的特征向量串联起来便得到该block的HOG特征. 这些区间是互有重叠的, 这就意味着: 每一个单元格的特征会以不同的结果多次出现在最后的特征向量中, 我们将归一化之后的块描述符(向量)就称之为HOG描述符. 根据实验的效果可以相应的设置块所包含的3个参数: 每个块中细胞单元的数目, 每个细胞单元中像素点的数目以及每个细胞单元的方向角数目. 归一化公式如下:

L2-norm:(6)

式中,表示包含给定块统计直方图信息的未归一化向量;是一个很小的常数, 作用是为了避免分母为0; ||||是的阶范数.

(4) 收集HOG特征

最后一步就是将检测窗口中所有块的特征向量串联起来得到整体的HOG特征向量, 将它们结合成最终的特征向量供分类使用.

3.2 局部HOG特征[28]

目前, HOG特征在车牌识别算法中已经表现出很好的识别性能, 但经过相关学者发现该算法在特征表达上存在数据冗余, 使得特征提取及分类器的训练计算量很大, 严重影响了识别速度. 为了充分利用字符图像的特征, 减少数据冗余, 相关学者提出了一种能够反映字符特点而且减少特征维数的局部HOG特征.

局部HOG特征主要思想是由于字符图像的差别主要体现在图像的四个顶角区域和中心区域, 根据字符图像的这些特点, 只选择这5块来计算其HOG特征, 从而降低计算量. 如图2所示, 确定了5个块来计算HOG, 分别为左上区域、右上区域、中心区域、左下区域和右下区域.

图2 字符图像的块

根据实验的效果可以选取块的最佳尺寸大小以及具体位置, 确定好块之后就是计算块的HOG特征, 这个可以参照前文方向梯度直方图的算法流程, 不同之处就在于局部HOG只选择了整个图像中区分度较大的几块进行计算.

4 基于模板匹配和局部HOG特征的车牌识别

前文提到的模板匹配法实际上就是将测试字符的每个像素点与模板字符的每个像素点进行比对, 通过重合度函数来计算其相似性, 取相似性最大的样本为输入模式所属类别. 该方误识别率太高, 主要是针对相似字符, 通过实验统计得到模板匹配法一般会出现误识别的相似字符: Q—> 0、C—>D、O—>D、S—>8、B—>8、L—> E、F—> E 、P—>R 、粤—>闽、粤—>青、等. 例如: 当车牌含有字符“F”时, 那么利用模板匹配法就会将“F”识别成“E”, 导致识别出错. 根据实验数据发现: 如果车牌字符含有 “Q”、“C”、“0”、“S”、“B”、“L”、“F”、“粤”, 模板匹配法一般会将其误识别成以上对应的相似字符, 汉字“粤”的误识别率相对较低.

图3 模板字符“P”和“R”

如图3所示, 我们用人眼很容区分的两个字符“P”和“R”, 但是用模板匹配法却无法识别开来, 最后主要的原因就是车牌字符经过图像采集、车牌定位、字符分割这些过程之后, 待识别字符笔画的粗细(每一笔画所占的白色像素点的行数或列数)都是不同的, 但是模板字符的笔画的粗细都是一样的, 这样就会导致虽然待识别字符和模板字符一样, 但是根据重合度函数计算出来的相似度没有那么高, 反而可能跟其他模板字符相似度相对较高, 最终造成误识别.

针对此问题, 相关学者提出了一种提取字符跃变特征进行二次识别的方法[29]. 结合跃变特征法实际上就是从左到右逐列扫描字符像素点时, 会出现“黑—>白”或“白—>黑”这两种跃变情况, 统计好每列的跃变次数作为字符的跃变特征, 最后将待识别字符跃变次数最相近的模板字符作为识别结果. 通过实验统计得到结合跃变特征法一般会出现误识别的相似字符: S<—>8.

针对上述问题, 本文提出了一种模板匹配结合局部HOG特征的车牌识别方法, 该方法主要就是首先利用模板匹配法进行车牌字符初步识别, 然后提取相似字符的局部HOG特征进行车牌字符的二次识别, 达到更高的识别率. 本文识别算法的具体流程可总结为:

1) 统计出模板匹配法误识别的相似字符(前文已总结), 将已经统计好的相似字符分为三类: a)右下角区分字符: F—> E 、P—>R 、Q—>0 、C—>D; b)左中间区分字符: L—> E、S—>8、B—>8; c)左下角区分字符: O—>D、粤—>闽、粤—>青.

2) 根据每类相似字符的特点, 只选择整个字符(本文归一化字符大小为20*40)中最具有区分度的一小块. 如图4所示: (a)为右下角区域、(b)左中间区域、(c)左下角区域.

(a)字符“O”和“Q”

(b) 字符“8”和“S”

(c) 汉字“粤”和“闽”

图4 选择整个字符中最具有区分度的部分

3) 确定好块之后就是计算块的HOG特征, 参照前文方向梯度直方图的算法流程可得到块的HOG特征向量, 最后计算车牌字符和模板字符局部HOG特征向量之间的欧氏距离, 选择距离最小的模板字符作为识别结果.

5 实验结果及分析

本文使用Visual Studio 2012进行编程实现, 计算机系统是Windows 7 [Intel(R) Core(TM) i5-4590 CPU 3.30GHZ, 8G内存].

本文中如图4所示块的起始位置和大小的选取至关重要, 若没选好, 根本达不到正确识别相似字符(本文归一化字符大小为20*40)的效果, 通过实验效果得到最佳块的起始位置和大小的参数, 如表1.

表1 块的起始位置和大小设置

通过大量实验数据统计得到本文算法识别率和时间对比情况如表2和表3, 部分车牌实验效果对比情况如表4. 由表2我们可以看出在模板匹配的基础之上结合跃变特征和结合局部HOG特征算法识别率远远超过了单一的模板匹配法, 而且结合局部HOG特征法明显优于结合跃变特征法. 其原因主要有三个:

其一, 结合跃变特征法无法真正区分相似字符8和S. 如图5所示, 模板字符“8”和“S”左侧、中间、右侧的跃变次数几乎都为4, 不同之处就在于第5列和第15列(大概黄线位置)左右处的跃变次数由于字符的笔画粗细不均匀等因素而无法真正的确定, 然而车牌字符“8”和“S”经过前期的车牌定位和字符分割环节之后, 统计得到的第5列和第15列(大概黄线位置)左右处的跃变次数就不一定可以跟模板字符的跃变次数完全正确匹配, 最终导致字符“8”和“S”识别的随机性.

图5 模板字符“8”和“S”

其二, 结合跃变特征法抗字符分割影响能力相对较差. 如图6所示, (c), (d)和(e)是部分归一化后车牌字符,由于受字符分割影响, (c)和(d)与模板字符(a)最大的区别就在于字符(c)和(d)最下边没有和边界贴紧, 这样就会导致字符(c)和(d)跃变次数都会加1, 跃变次数几乎全部出错, 无法跟模板(a)匹配成功; 但由于模板字符“E”中间的一横要比“F”短一点, 在第17列(大概黄线位置)左右处(c)和(d)的跃变次数跟(b)是一样的, 都是3, 所以会出现(c)、(d)跟(b)有相对较高的相似度, 导致误识别; 同理可以分析(e)的情况. 通过实验得知, (c)和(d)误识别成了(b), (e)误识别成了(a)(即E—>F、F—>E).

(a)   (b)   (c)   (d)   (e)

其三, 结合跃变特征法抗光照影响能力相对较差. 如图7所示, 车牌字符(b)是车牌(a)的最后一个字符“0”, 经二值化、字符分割以及归一化后得到字符(c), 由于受光照影响, 车牌字符(c)与模板字符“0”最明显的区别就是右下角区域车牌字符(c)多了一条白色弧线, 这样会导致(c)右半边的跃变次数都加2, 无法跟模板字符“0”的跃变次数成功匹配; 但是模板字符“Q”右半边的跃变次数有些和(c)是一样的, 这样会出现(c)和“Q”的相似度较高, 导致误识别(即0—>Q); 同理可以分析车牌(a)其他字符的情况, 车牌(a)的其他字符识别效果对比情况如表4所示.

针对上述结合跃变特征法的不足, 本文提出结合局部HOG特征法. 其一, 如图4(b)所示, 可以看出字符“8”和“S”左中间区域明显不同, 统计出来的方向梯

度直方图有明显的区分度; 其二, 如图6(c)、(d)和图7(c)所示, 虽然车牌字符受到了字符分割和光照的影响, 造成统计时出现某些方向和梯度的变化, 会增加匹配的误差, 但是字符“E”和“F”、“0”和“Q”右下角区域的方向和梯度非常显著, 不会影响整体方向梯度直方图的相似性度量, 最终可以正确识别.

(a)车牌图像

(b)字符“0”

(c)归一化

(d)模板字符“0”和“Q”

图7 抗光照影响能力分析

由表3可看出都属于二次识别方法的结合跃变特征和局部HOG特征相对模板匹配较慢一点点, 实际上三种方法时间都差不多, 相差1ms左右; 由实验数据可知, 算法时间会随着图像像素点个数的增多而增加, 主要原因是由于车牌定位和字符分割环节要多次扫描图像像素点来进行定位和分割, 本文大部分输入的图片大小是900*505, 算法时间约23ms.

表2 算法识别率对比情况

表3 算法时间对比情况(ms)

表4 部分车牌实验效果对比情况

6 结论

本文从车牌字符的结构特点出发, 针对模板匹配法无法准确识别相似字符的不足, 提出了模板匹配法结合局部HOG特征的车牌识别算法. 对比模板匹配结合跃变特征法, 本文方法具有明显的优越性, 可以有效的降低相似字符误识别率, 而且抗光照和字符分割影响等干扰的能力较强, 在保证车牌识别速率的同时识别率得到了进一步的提高.

1 Zunino R, Rovetta S. Vector quantization for license-plate location and image coding. IEEE Trans. Ind. Electron. 2000, 47(1): 159–167.

2 Xu HK, Yu FH, Jiao JH, Song HS. A new approach of the vehicle license plate location. Proc. Int. Conf. Parall. Distr. Comput. Applicat. Tech. 2005. 1055–1057.

3 Shi X, Zhao W, Shen Y. Automatic license plate recognition system based on color image processing. Lecture Notes Comput. Sci., 2005, 3483: 1159–1168.

4 Lee ER, Kim PK, Kim HJ. Automatic recognition of a car license plate using color image processing. Proc. IEEE Int. Conf. Image Process. 1994, 2. 301–305.

5 Draghici S. A neural network based artificial vision system for license plate recognition. Int. J. Neural Syst., 1997, 8(1): 113–126.

6 Matas J, Zimmermann K. Unconstrained license plate and text localization and recognition. Proc. IEEE Conf. Intell. Transp. Syst. 2005. 572–577.

7 Kamat V, Ganesan S. An efficient implementation of the Hough transform for detecting vehicle license plates using DSPs. Proc. Real-Time Tech. Applicat. Symp. 1995. 58–59.

8 Bai H, Liu C. A hybrid license plate extraction method based on edge statistics and morphology. Proc. Int. Conf. Pattern Recognit. 2004, 2. 831–834.

9 Wang S, Lee H. Detection and recognition of license plate characters with different appearances. Proc. Int. Conf. Intell. Transp. Syst. 2003, 2. 979–984.

10 付炜,赵正则,王大江.基于水平灰度跳边和垂直投影的车牌定位方法.电子测量技术,2008,31(3):61–65.

11 迟晓君,孟庆春.基于投影特征值的车牌字符分割算法.计算机应用研究,2006,23(7):256–257.

12 吴大勇,魏平,侯朝桢,刘永信.一种车牌图像中的字符快速分割与识别方法.计算机工程与应用,2002,38(3):232–233.

13 Rahman A, Radmanesh A. A real time vehicles license plate recognition. Proc. of the IEEE on Advanced Video and Signal Based Surveillance, AVSS. 2003. 131–36.

14 徐正光,等.基于递归的二值图像连通域像素标记算法.计算机工程,2006,32(24):186–188.

15 Gao Q, Wang X, Xie G. License plate recognition based on prior knowledge. Proc. IEEE Int. Conf. Automat. Logistics. Aug. 2007. 2964–2968.

16 Comelli P, Ferragina P, Granieri MN, Stabile F. Optical recognition of motor vehicle license plates. IEEE Trans. Veh. Tech., 1995, 44(4): 790–799.

17 Lu X, Ling X, Huang W. Vehicle license plate character recognition. Proc. Int. Conf. Neur. Netw. Signal Process. 2003, 2. 1066–1069.

18 陈玮,曹志广,李剑平.改进的模板匹配方法在车牌识别中的应用.计算机工程与设计,2013,34(5):1808–1811.

19 邹星.一种基于模板库的车牌字符识别算法.计算机技术与发展,2010,(4):128–131.

20 张燕,任安虎.多特征与BP神经网络车牌识别系统研究.科学技术与工程,2012,12(22):5645–5648.

21 汤茂斌,谢渝平,李就好.基于神经网络算法的字符识别方法研究.微电子学与计算机,2009,26(8):91–97．

22 Chen N, Xing L. Research of license plate recognition based on improved BP neural network. Computer Application and System Modeling, 2010, (11): 482–485．

23 Juntanasub R, Sureerattanan N. A simple OCR method from strong perspective view. Proc. Appl. Imagery Pattern Recognit. Workshop. 2004. 235–240.

24 罗辉武,唐远炎,王翊,蓝利君.基于结构特征和灰度特征的车牌字符识别方法.计算机科学,2011,38(11):267–270, 302．

25 Du S, Ibrahim M, Shehata M, Badawy Wael. Automatic license plate recognition(ALPR): A state-of-the-art review. IEEE Trans. on Circuits and Systems for Video Technology, 2013, 23(2): 311–325.

26 方兴林.基于字符笔画斜率特征的车牌识别算法研究.重庆工商大学学报:自然科学版,2014,(9):72–76.

27 殷羽,郑宏,高婷婷,刘操.基于联合HOG特征的车牌识别算法.计算机工程与设计,2015,36(2):476–481.

28 龚永罡.基于局部HOG特征的稀疏表达车牌识别算法.计算机仿真,2011,28(4):367–370.

29 王锋,王福龙.基于跃变特征的车牌字符识别.计算应用研究,2015,32(12):398–400.

Algorithm of License Plate Recognition Based on Template Matching and Local HOG Feature

GAO Cong, WANG Fu-Long

(School of Applied Mathematics, Guangdong University of Technology, Guangzhou 510520, China)

In order to solve the low recognition rate of template matching method in license plate character recognition, especially the similar characters, this paper proposes a method of license plate recognition based on template matching combined with local HOG features. First, we use the template matching method for preliminary identification of all the characters of a license plate. Second, the HOG features corresponding to the most discriminative characters among the similar characters of the plate and the template are extracted, and then the feature vector is constructed. Last, according to the Euclidean distance among feature vectors to measure the similarity of the license plate character and the template character, and then complete the second recognition. The experimental results show that this method is effective to solve the problem of false recognition of similar character and the recognition rate is significantly improved.

license plate recognition; template matching; local HOG feature; similar characters; feature vector

广东省自然科学基金(S2011040004273)

2016-04-12;收到修改稿时间:2016-05-12

[10.15888/j.cnki.csa.005507]