基于阈值分割和区域生长的车牌识别方法*



基于阈值分割和区域生长的车牌识别方法*

0引言

【研究意义】在车联网迅速发展的今天，快速识别车牌已经成为最基本的要求，车联网中的各种应用均基于车主的快速识别，而车牌作为车辆的外在唯一标示，在车联网的应用中占有很重要的地位。车牌的快速识别将有助于提高对汽车安全以及交通的管理。【前人研究进展】车牌的识别最早在20世纪80年代提出，到目前为止国外已经有一些较为成熟的研究成果，比如Mullot等[1]提出使用机器学习识别车牌中文字纹理的方法，Comelli等[2]提出使用颜色分量进行车牌定位的方法，Thanongsak等[3]提出使用BP神经网络提取车牌区域及文字的方法等。在此基础上，国外一些大型的公司也已有一些车牌识别产品投入使用，比如以色列Hi-Tech公司的See/Car系统、新加坡OptAsia公司的VECON-VIS系统和日本的LUIS系统[4]等。但这些研究和软件都是针对国外的车牌进行的，对汉字车牌则无能为力，再加上我国车牌的统一管理并不久远，所以目前国内虽有部分对车牌识别的研究[5-8]，但总体水平还落后于国外。【本研究切入点】车牌识别中有3个关键的步骤：车牌定位、字符分割以及字符识别，其中车牌定位的好坏直接影响后续识别的质量。但车牌定位极易受到外界环境的干扰和影响。【拟解决的关键问题】对车辆图像，联合使用阈值分割和区域生长方法，改善和增强车牌的边界效果，从而提高车牌的识别率。

1车牌识别系统的构成

车牌识别系统由图像预处理、车牌定位、字符分割和字符识别4部分组成(图1)。

图1车牌识别系统构成

Fig.1Composition of the vehicle license plate recognition system

图像预处理部分主要对采集到的图像进行几何归一化和光照归一化。通过几何归一化将采集到的图像的分辨率变得一致，通过直方图均衡化和灰度变换[9]将图像中的光照变得相对均匀。

车牌定位模块由阈值分割和区域生长两部分构成。其中阈值分割主要是针对车牌底色，寻找出车牌的大致区域，区域生长则是以阈值分割的结果为种子点，进一步得出车牌区域。

字符分割模块是对定位之后的车牌按照车牌的标准规格将车牌中的7个字符分割出来，我们使用垂直投影法来进行。但由于车牌图像不一定是水平的，所以一般在分割前需要消除车牌的倾斜。

字符识别模块是对分割出来的字符进行识别，本系统使用基于模板匹配的方法来进行，模板匹配相对神经网络来说实现简单，识别率也较高。

2车牌的定位

采集到的图像经过预处理之后得到可以进行车牌定位的图像。车牌的定位是联合使用阈值分割和区域生长的方法进行。普通的阈值分割算法主要是针对灰度图进行，而且使用的是自动阈值，分割车牌图像效果并不好。由于车牌的颜色有明确的规定，我国的家用车牌以蓝色为底，字为白色，因此，在车牌的定位中，我们使用彩色图像，并使用人工阈值分割算法提取出蓝色区域，之后再使用区域生长算法，以阈值分割算法中得到的蓝色区域为基础，进行区域的生长，从而得出车牌的范围。其基本思想如下：

1)确定车牌的底色范围。对于家用车的车牌来说，蓝色的区域可以设定为

(1)

其中Ir,Ig,Ib分别是红色、绿色和蓝色分量。

2)遍历图像，找出满足公式(1)的点，标注出来。

3)以上一步得到的点为种子点，使用区域生长算法，扩张车牌区域。为了得到较为满意的车牌区域，我们选择以种子点为中心，将与种子点邻近的颜色分量偏差在±10以内的点全部增加进车牌备选区域。

4)对上一步得到的结果进行8连通性测试，过滤掉单独的点。

5)使用车牌模板对得到的区域进行匹配，得出车牌区域。我国家用车的车牌标准规格是450 mm×150 mm，长宽比为3∶1，考虑到误差，我们选取长宽比在2.5∶1到3.5∶1之间的矩形框为模板进行匹配，找出车牌区域。

3字符分割

字符分割的前提是车牌是正的，但一般情况下，车牌都会有微小的倾斜，因此在字符分割前需要对车牌进行倾斜校正。倾斜校正的依据是车牌定位中得到的区域(图2)。根据在车牌定位中得到的车牌上横线的左右坐标，即可计算出车牌的倾斜角度a。计算公式如下：

(2)

根据计算出来的倾斜角度对图片做反向旋转即可，Matlab中的imrotate函数可以直接实现图片的旋转，完成倾斜车牌的校正。

我国的家用车牌由省、自治区、直辖市简称、发牌机关代号、间隔符、序号组成，其中省、自治区、直辖市简称为汉字，发牌机关代号为大写字母，间隔符为点号，序号由数字和大写字母组成的5位组合。其规格有明确的规定，不随图像的大小变化而变化(图3)。

图2　车牌的倾斜角度

图3我国车牌规格(mm)

Fig.3License plate size(mm)

因为车牌的7个字符之间有明确的间隔，因此，其垂直投影有很明显的特征(图4)。在图4中能很明显看到7个字符的边界以及间隔符的存在。

图4车牌的垂直投影

Fig.4Vertical projection of license plate

垂直投影法的基本思想是，从左到右依次检测垂直投影中为0的部分，根据先验知识来确定字符的边界。由于噪声的存在，这里我们将垂直投影中0的检测放宽至一定范围，该范围与图像质量有关，需要根据实际图像做微调。

4字符识别

根据我国车牌的制订规则，车牌中可以出现的汉字总共59个，大写字母24个(O和I不用，免得与数字混淆)以及10个阿拉伯数字，这些字符全部都是规范的印刷体，结构是固定的，因此可以直接使用字符模板来进行识别。

字符模板由黑白两色组成的二值化图像构成，每个字符的大小为14×22像素，部分模板见图5。

图5部分字符模板

Fig.5Part of the character template

对于分割出来的字符，首先进行归一化，这里我们将字符归一化为与模板相同的14×22像素，之后进行二值化，最后统计该字符与模板中字符的匹配度，匹配度由待识别字符与字符模板中对应点均为1的个数来确定，计算公式见公式(3)。

(3)

其中模板大小为M×N，I为待检测图像，T为某一个模板，Di为待检测图像与该模板的匹配度，只需要计算待检测字符与所有可能模板的匹配度，选取其中匹配度最高的即可。如果所有的匹配度都低于某个阈值，则说明识别失败，可能有异常情况发生。

5算法验证

为了验证算法，我们随机选取34张320万像素的车辆照片进行测试，样本图像首先经过几何预处理和光照补偿，之后使用阈值分割和区域生长进行定位。例如，对测试图像(图6a)使用蓝色进行阈值分割，得到的点见图6b，再以阈值分割得到的点为种子点，将与种子点邻近的颜色分量偏差在±10以内的点全部增加进车牌备选区域，从而进行区域生长，结果见图6c。由于图6c中有部分区域明显属于杂点，因此进行8连通性测试，得到6个区域(图6d)，对这6个区域进行长宽比测试，很容易确定车牌区域(图6e)。然后对提取出的车牌做倾斜校正(图6f)，再使用垂直投影法进行字符分割(图6g)，之后使用基于字符模板的方法进行识别，结果如图6h所示，本方法能准确识别出预测图像中的车牌。我们以同样的方法对其他33幅车辆图像进行识别，结果显示，对于非蓝色车，系统均能很好地识别出照片中的车牌。

图6基于阈值分割和区域生长的车牌识别过程

Fig.6Process of license plate recognition based on threshold segmentation and region growing

6讨论

本文所提出的车牌识别系统中采用阈值分割和区域生长的方法来定位车牌，定位更精确，使用垂直投影法分割字符利用了车牌的先验知识，实现简单，而使用字符模板来识别车牌字符，速度快，满足了车牌识别的实时性要求。

但本系统也有两点不足，一是对于蓝色车辆，由于车辆颜色与车牌颜色比较接近，会造成识别上的困难。二是某些相近的字符与数字会出现误识的情况，比如图7中车牌中的字符“5”被误识为“G”。

图7车牌误识的情况

Fig.7The wrong case

针对这两点不足，我们未来准备从两个方面进行改进：

第一，采用不同的色系。采用HSV或者其他对蓝色非常敏感的色系对原图进行变换，从而使车牌与车的颜色区分更明显。

第二，改进字符识别模块。利用BP神经网络或者支持向量机等智能程度更高的算法来进行模式识别，减少误识率。

参考文献：

[1]MULLOT R,OLIVER C,BOURDON J L.Automatic extraction methods of container identify number and registration plates of cars[Z].Proceedings of International Conference on Industrial Electronics,Control and Instrumentation,Kobe,Japan,1991:1939-1944.

[2]COMELLI P,FERRAGINA P.Optical recognition of

motor vehicle license plate[J].IEEE Transaction on Vehicular Technology,1995,44(4):790-799.

[3]THANONGSAK S,KOSIN C.Extracting of car licen-

se plate using motor vehicle regulation and character pattern recognition[Z].IEEE Asia-Pacific Conference on Circuits and Systems.Chiangmai,Thailand,1998:559-562.

[4]SALGADO L,MENENDEZ J M,RENDON E,et al.Automatic car plate detection and recognition through intelligent vision engineering[Z].Proceedings of IEEE 33rd Annual International Carnahan Conference on Security Technology.Madrid,Spain,1999:71-76.

[5]康健新.基于图像的车牌识别系统的设计和实现[D].长春:吉林大学,2014.

KANG J X.Research and Implementation of License Plate Recognition System Based on Image[D].Changchun:Jilin University，2014.

[6]刘长青.车牌识别技术的研究与实现[D].长沙:湖南大学,2007.

LIU C Q.Research and Accomplish on Technique of Recognition License Plate[D].Changsha:Hunan University,2007.

[7]黄山.车牌识别技术的研究和实现[D].成都:四川大学,2005.

HUANG S.The Research and Achievement of Vehicle Plate Recognition Technology[D].Chengdu:Sichuan University,2005.

[8]吴艳，陈忠进，乐志文.Harris角点检测与AP聚类结合的车牌定位方法[J].广西科技大学学报，2014， 25(2)：54-57.

WU Y，CHEN Z J，YUE Z W.Vehicle license plate location based on Harris corner and AP clustering[J]. Journal of Guangxi University of Science and Technology，2014，25(2)：54-57.

[9]GONZALEC G Z,WOODS R E.Digital Image Pro-

cessing[M].3rd edition.London:Prentice Hall,2007.

(责任编辑：陆雁)

Vehicle License Plate Recognition Method Based on Threshold Segmentation and Region Growing

胡伟平， 王日凤

HU Weiping， WANG Rifeng

(广西科技大学计算机科学与通信工程学院，广西柳州545006)

(School of Computer Science and Communication Engineering，Guangxi University of Science and Technology，Liuzhou，Guangxi，545006，China)

摘要：【目的】改善车牌定位的质量，提高车牌识别的正确率和效率。【方法】联合使用阈值分割和区域生长算法进行车牌定位，使用垂直投影法进行字符分割，并使用字符模板匹配方法实现车牌字符的识别。【结果】基于阈值分割与区域生长的车牌识别方法能准确地识别出车牌号，识别率高，运行速度快。【结论】该方法实时性较好，具有一定的实用价值。

关键词：阈值分割区域生长垂直投影车牌识别

Abstract:【Objective】To improve the effect of vehicle license plate location algorithm, and the accuracy and efficiency of vehicle license plate recognition algorithm.【Methods】Threshold segmentation and region growing algorithm were combined to locate the vehicle license plate area. Vertical projection algorithm was used to split the plate characters. Template matching algorithm was used to recognize the plate characters.【Results】Experimental results show that the accuracy and speed of license plate numbers recognition are both improved through our method.【Conclusion】The accuracy and real-time of vehicle license plate recognition method based on threshold segmentation and region growing shows its practical value.

Key words:threshold segmentation，region growing，vertical projection，vehicle license plate recognition

中图分类号：TP181

文献标识码：A

文章编号：1002-7378(2016)01-0054-05

作者简介：胡伟平(1979-)，男，博士，讲师，主要从事人工智能和图像处理方面的研究。

收稿日期：2015-10-11

网络优先数字出版时间:2016-01-27

网络优先数字出版地址:http://www.cnki.net/kcms/detail/45.1075.N.20160127.1616.006.html

*广西科技大学科学基金项目(校科自1419212)，国家自然科学基金项目(61440017)，广西高校一般资助项目(201203YB129)和广西多源信息挖掘与安全重点实验室开放基金项目(MIMS13-04)资助。