方兴林
黄山学院 经济管理学院,安徽 黄山 245041
一种基于自适应形态学结构元素的车牌定位算法
方兴林
黄山学院 经济管理学院,安徽 黄山 245041
车牌识别技术是计算机视觉和模式识别在智能交通系统(Intelligent Transportation System,ITS)中的典型应用。一般来说,一个完整的车牌识别系统主要包括三个关键部分,即车牌定位、字符分割和字符识别,其中车牌定位是后续两个步骤的前提和基础,其主要任务是从原始图像中精确地定位车牌所在区域。由于原始图像一般采集于露天自然环境中,不可避免地会受到光照、雨雪天气以及车型、车牌相对于车身的位置和污损、磨损等因素的影响,使得车牌定位的难度大大增加,也正是因为如此,长期以来,吸引着众多学者致力于车牌定位的研究,诞生了众多车牌定位算法,概括起来,主要有以下几大类。基于颜色的车牌定位算法[1-3],它通过车牌和字符自身特有的颜色特征在图像颜色空间里提取车牌信息,算法原理通俗易懂,实现过程简单、直接,但是其不足也非常明显,易受光照和环境因素的影响,如夜间光照不足、车牌反光、车牌污浊等,特别是当车身的颜色与车牌颜色相近时,极易出现误定位而导致车牌定位失败。基于纹理特征的车牌定位算法[4-6],它充分利用牌照矩形区域内存在丰富的字符边缘信息而呈现出规则的纹理特征,该类方法适应性较好,然而汽车散热栏、车身文字广告图案等干扰因素对纹理特征法影响较大。
近年来,基于数学形态学的图像处理已逐渐发展成为一个主流图像处理研究领域,在此背景下,目前国内外已有很多学者研究了将数学形态学应用到车牌定位中[7-10]。数学形态学以几何学为基础对图像进行分析,其基本思想是用一个结构元素作为基本工具来探测和提取图像特征,看这个结构元素是否能够适当有效地放入图像内部,其基本运算有:膨胀(Dilation)、腐蚀(Erosion)、开启(Opening)和闭合(Closing)[11]。依据其原理,利用数学形态学定位车牌的关键是结构元素的选择,特别是结构元素大小和形状对于候选区域的形成和最终车牌定位的效果至关重要。结构元素较大会使车牌区域的边缘点粘连在一起,导致候选车牌区域增多,更为甚者会出现车牌区域与背景粘连在一起,增加了后续车牌候选区域分析和标识的难度;然而如果结构元素较小,又会使车牌区域无法粘连在一起,易致无法确定车牌位置。目前现有的基于数学形态学的车牌定位算法在结构元素的选取方面,基本上均是依据经验或实验而选择一个固定大小和形状的结构元素对车牌图像进行全局处理,如文献[12]直接依据经验,固定结构元素为1×21的水平结构元素和3×1的垂直结构元素;文献[13]直接采用18×9的结构元素作形态学处理;文献[14]试图通过大量的前导实验“穷举”出适合待处理的车牌图像的结构元素。虽然选择固定大小和形状的结构元素运算起来简单方便,但是这类算法只适用于待处理图像中车牌的大小是相同的,否则就会出现将非车牌边缘连在一起成为伪车牌区域或者车牌中各个字符并没有完全连接成一个连通区域的情况,因此,这类算法的普适性和鲁棒性无法得到保证。
针对传统数学形态学应用于车牌定位中结构元素难以确定的问题,本文试图提出一种基于自适应形态学结构元素的车牌定位算法,该算法不再是依据经验选择结构元素或是通过大量尝试性实验“穷举”出合适的结构元素,而是完全依据车牌图像边缘检测后的二值图像中边缘点这一稳定特征而自适应产生局部结构元素,而不是全局结构元素,从而更能突显车牌区域的结构特征,最大程度地抑制伪车牌区域的出现。
为了提高车牌定位的准确性,降低后续定位算法复杂度以及处理时间,有必要在定位之前进行车牌图像的预处理。预处理的主要目的是去除或减弱非车牌区域的信息,保留并增强车牌区域的结构特征信息。预处理的主要内容包括灰度化、边缘检测等步骤。
1.1 灰度化
当前通过通用数码设备而抓取的待定位的车牌图像基本上全部是彩色的,虽然彩色图像包含更多的细节信息,但是它是以牺牲存储空间为代价的,同时也带来了处理计算量大、耗时长的弊端。为了满足实时性的需求,通常车牌识别系统需要将彩色图像转换为灰色图像。目前彩色图像灰度化原理已经比较成熟,主要有分量最大值法、分量平均值法和分量加权平均值法,本文采用分量加权平均值法进行彩色车牌图像的灰度化[15],即彩色图像R、G、B颜色分量与灰度图像像素点的值Y之间存在如下关系:
Y=0.299R+0.587G+0.114B
彩色车牌图像采用分量加权平均值法灰度化后结果如图1所示。
1.2 边缘检测
常用的边缘检测算子有Robert算子、Sobel算子、Laplace算子、Canny算子、Prewitt算子以及Krisch算子等。相对于其他算子的边缘检测效果而言,Sobel算子对水平边缘和垂直边缘的响应效果最好,这正好符合车牌区域字符具有极其明显的垂直边缘特征,因此本文选择Sobel算子执行车牌灰度图的边缘检测,效果如图2所示。
图1 车牌灰度图
图2 字符边缘检测
正如上文所分析,基于数学形态学原理的车牌定位算法,其成功的关键是结构元素的选取,常用的结构元素有圆形、矩形、球形等诸多形状,其尺寸也因实际应用需求的不同而各异。根据先前实验结果分析,如果采用常见的矩形、圆形等常见的结构元素,易导致车牌上下非车牌区域与车牌区域粘连,出现误定位现象,其主要原因在于在车牌二值图像中,车牌字符边缘所呈现出的是线状特征,因此冒然采用矩形、圆形等块状结构元素,而不依据图像本身的特征信息,必然会出现上问所述的误定位结果。
众所周知,数字图像是由一个个的像素点构成,在车牌二值图像中,只有白色和黑色两种像素点,其中白色像素点即是车牌字符候选边缘点,因此其构成的连通区域即是车牌候选区域。本文将车牌二值图像看成是分别由白色像素点和黑色像素点组成的线段集合,该集合有两个,分别是横向线段集合和纵向线段集合。基于此种假设,本文构造自适应结构元素的详细算法如下:
步骤1对车牌二值图像自上而下、自左而右逐行进行扫描,相邻白色像素点的个数即为线段的长度其中i为数字图像的第i行,j为第i行的第 j条线段,j=1,2,…,n),若该行不存在白色像素点,则i++,并重复步骤1。
步骤2计算车牌二值图像中第i行的所有线段长度的均值 μi标准差σi。
对图2的边缘结构特征进行分析,发现图中存在较多的背景边缘,有必要剔除以免影响车牌定位的准确度。对图2进一步分析,不难发现背景边缘与车牌字符边缘的结构特征明显不同,在水平方向上,背景边缘的线段长度远远大于字符边缘的线段长度,且背景边缘线段长度分布极其不均匀。基于此分析,本文进一步计算出每行线段长度的标准差σi。标准差的数学解释是一组数据平均值分散程度的一种度量,一个较大的标准差,代表大部分数值和其平均值之间差异较大;反之一个较小的标准差,代表这些数值较接近平均值。设置一阈值T,若标准差σi大于T,则该行所有像素点的值置为零;否则不执行任何操作。
步骤3使用线性水平结构元素 μi对i行执行数学形态学膨胀操作。
步骤4使用线性水平结构元素 μi对i行执行数学形态学腐蚀操作,其目的是将经过膨胀处理操作后没有产生连接效果的线段去除,从而进一步增强车牌定位的精确性。
利用上述自适应结构元素算法产生结构元素,并进行数学形态学处理后,车牌图像中的白色连通区域即为车牌备选区域。其中可能包含车灯、车身字符及其他未知的干扰因素,有必要对候选区域做更精细的分析。此时可以利用一些先验知识确定车牌区域,如车牌长、宽比,依据我国车牌的特点,车牌长宽的尺寸都是一样的,长宽之比也就是一个定值。基于此,本文分析每个候选白色连通域的外接矩形的长度和宽度之比来精确定位车牌区域。最终提取出的车牌区域如图3所示。
图3 定位结果
特别需要注意的是,本文所提出的新算法在实际应用过程中会出现候选区域中无法有效提取车牌区域情况,即候选白色连通域的外接矩形的长、宽之比不满足车牌的结构特征,解决这一问题只需重复执行算法四个步骤后再判断候选白色连通区域外界矩形数学特征信息即可。
上述情况之所以会出现,是因为本文所采取的结构元素μi是车牌二值图像中的边缘线段长度的均值,实际车牌字符是由汉字、英文字母和阿拉伯数字构成,结构千变万化,导致车牌二值图像中同一行车牌字符间的边缘线段长度Lij与均值μi肯定是不相同的,所以步骤3的一次膨胀操作不能保证某些较大字符间距的边缘线段能够形成连通区域。此时算法内置一个状态参数S,取值True或False,如果经过步骤1~步骤4之后,在候选白色连通区域中,存在满足车牌长宽比的区域,则置S=True,结束算法,定位车牌区域;如果不存在满足车牌长宽比的区域,则置S=False,重复执行步骤1~步骤4,直至S=True为止。
综上,本文构造的自适应形态学结构元素的车牌定位算法流程如图4所示。
图4 算法流程图
为了验证本文所提出的算法的车牌定位效果,在不同时间段(8点、12点、16点、20点)采集了经过安徽省黄山市高速公路2号口的小型汽车图像进行了定位实验,每个时间段分别采集了100幅,图像尺寸为640像素×480像素,图像格式为JEPG,实验在Pentium®Dual-Core(2.30 GHz),2 GB内存的计算机环境中,利用VC++6.0平台进行仿真实验,实验结果如表1和表2所示。
表1 实验结果1
表2 实验结果2
从表1和表2中可以看出,本文所提出的车牌定位算法具有较高的精准率,且实时性较好。但是在实验中也出现了误定位和无法定位的车牌图像,分析其中无法定位的图像,主要原因是因为车牌质量自身很不理想,车牌上面覆盖了大量的灰尘,导致预处理过程中,边缘检测出的车牌字符边缘出现错误。分析误定位的车牌图像,主要原因有两点,其一是因为车牌图像的背景中存在文字贴图干扰因素,其二是因为本文所选用的数学形态学的结构元素是线段的均值,当车牌中出现较多的“1”和“L”等字符,使得膨胀操作后字符区域没有形成粘连,而出现断裂,最终误定位。总体来说,本文算法在实际应用中能够满足工程需要。
数学形态学应用于数字图像处理,其成功的关键在于结构元素的选取。本文依据车牌图像的特点,针对当前基于数学形态学的车牌定位算法的不足,提出了一种改进的车牌定位算法,其创新点在于本文的算法在结构元素的选取上,不是依据经验或大量实验获取,而是完全根据车牌图像自身的特点自适应产生,有效地提高了车牌定位算法的普适性,可应用于实际智能交通领域中。然而本文的新算法的鲁棒性和抗干扰能力还有待进一步提高,这是本文后续研究的主要内容。
[1]王枚,王国宏,潘国华.基于HSV空间的车牌定位方法[J].烟台大学学报:自然科学与工程版,2007,20(1):48-52.
[2]李莹,高满屯.基于边缘颜色信息的车牌定位算法[J].计算机仿真,2009,26(8):262-265.
[3]岳鹏,彭进业.一种实用的多车牌快速定位系统[J].计算机工程与应用,2011,47(17):217-220.
[4]贾小军,喻擎仓,谭召均.纹理谱描述子及其在车牌定位中的应用[J].计算机应用研究,2007,24(3):215-217.
[5]刘广起,郑晓晓,张晓波.基于图像纹理特征提取的车牌定位算法[J].中国图象图形学报,2005,10(11):1419-1422.
[6]黄艳国,赵书玲,许伦辉.基于纹理特征和颜色匹配的车牌定位方法[J].微电子学与计算机,2011,28(9):123-126.
[7]左奇,史忠科.一种基于数学形态学的实时车牌图像分割方法[J].中国图象图形学报,2003,8A(3):281-285.
[8]王允强,吴涛,张方方.基于数学形态学的实用车牌定位算法及实现[J].计算机技术与发展,2010,20(11):166-169.
[9]王阿龙,王忆文,梁巍,等.适合FPGA硬件实时处理的车牌定位算法[J].微电子学与计算机,2013,30(5):59-62.
[10]胡红萍,白艳萍.基于数学形态学与Radon变换的车牌定位法[J].数学的实践与认识,2012,42(24):109-113.
[11]姚敏.数字图像处理[M].北京:机械工业出版社,2006:284-291.
[12]王文涛,马启新,杜鹏飞.基于边缘检测和数学形态学的车牌定位[J].中南民族大学学报:自然科学版,2008,27(4):83-87.
[13]卢雅琴,邬凌超.基于数学形态学的车牌定位方法[J].计算机工程,2005,31(3):224-225.
[14]马启新.基于彩色边缘检测和数学形态学的车牌定位[D].武汉:中南民族大学,2009.
[15]赵焕青,胡红萍,白艳萍.一种改进的快速车牌定位算法[J].太原师范学院学报:自然科学版,2011,10(1):78-80.
FANG Xinglin
School of Economics and Management,Huangshan University,Huangshan,Anhui 245041,China
In view of disadvantage of selecting structure element of the traditional license plate locating algorithm based on mathematical morphology,that is,it selectes a definite shape and fixes size structure element based on experience or experiment results to globally process the license plate image,and the disadvantage would reduce the robustness and universal,a license plate location algorithm based on adaptive structure element is proposed.The algorithm makes the best of self-information of binary license plate image.The mean values of lines length,which are formed by calculating horizontal edge of characters,are as the structure elements,so the size of each structure element is adaptive to different images,in order to effectively extract the true license plate regions.The experimental results show that the algorithm has stronger adaptive ability,and the accurate rate of localization meets application requirements.
structure element;license plate location;adaptive algorithm
针对传统的基于数学形态学的车牌定位算法结构元素选取的弊端,即依据经验或实验而选择一个固定大小和形状的结构元素对车牌图像进行全局处理,导致定位算法的普适性和鲁棒性低,提出了一种基于自适应结构元素的车牌定位算法,算法充分利用车牌二值图像自身信息,通过计算字符水平边缘所形成的线段长度的均值作为结构元素,因此结构元素的大小能随着车牌图像的不同而自适应调整,更加有效地定位车牌目标区域。实验结果证明,算法具有较强的自适应能力,定位准确率满足应用需要。
结构元素;车牌定位;自适应算法
A
TP391
10.3778/j.issn.1002-8331.1305-0242
FANG Xinglin.License plate location algorithm based on adaptive structure element of mathematical morphology.Computer Engineering and Applications,2013,49(23):149-152.
黄山学院校级科学研究项目(No.2012xkj004)。
方兴林(1983—),男,硕士,研究方向:信息管理、信息系统。
2013-05-20
2013-08-08
1002-8331(2013)23-0149-04