苗姣姣,徐望明
(武汉科技大学 信息科学与工程学院,湖北 武汉 430081)
HSV空间和形态学处理相结合的车牌定位方法
苗姣姣,徐望明
(武汉科技大学 信息科学与工程学院,湖北 武汉 430081)
车牌定位是实现车牌自动识别的前提。在传统的基于RGB彩色空间的形态学定位方法的基础上进行改进,提出了一种HSV彩色空间和图像形态学处理相结合的车牌定位方法。在HSV彩色空间中将车牌图像分割为H,S,V这3个单通道灰度图像,分别进行去噪和二值化处理,然后将这3幅二值图像做“与”运算得到一幅能有效去除背景干扰的二值图像,再运用形态学的闭运算和开运算进行处理,得到车牌候选区域,最后利用车牌宽高比属性进行验证以确定真实的车牌位置。实验结果表明,该方法相对传统方法实现简单,车牌定位准确、高效。
车牌定位;HSV彩色空间;形态学
车牌自动识别技术在现代智能交通系统中的作用举足轻重,目前已被广泛应用于高速公路收费、停车场管理系统、交通违章自动记录等多个方面。基于数字图像处理的车牌识别系统主要由3个部分组成:车牌定位、字符分割和字符识别。车牌定位是实现车牌自动识别的前提,车牌定位准确,后续的字符分割和字符识别才有意义。近年来,很多研究学者采用图像形态学处理方法实现车牌定位,取得了较好的效果,但也存在一定的局限性。文献[1]和文献[2]直接将获取的RGB彩色车牌图像转换为灰度图像,去噪并二值化后再进行形态学处理以定位车牌区域。该方法能够有效找到包含车牌的区域,但实际上完全忽略了利用车牌颜色信息,受背景干扰的影响较大,往往检测到的车牌候选区域较多,尤其是当车牌图像中有类似车牌区域(如车灯、广告牌等)时,定位准确度会下降。文献[2]还进一步利用车牌面积、宽高比以及垂直投影特征进行综合分析处理,能剔除大部分干扰区域,但这种后处理考虑因素较多,增加了计算量,影响车牌定位效率。
本文充分利用图像形态学处理方法的优势,对传统方法进行改进,提出一种将HSV彩色空间和图像形态学处理相结合的车牌定位方法。对获取的RGB彩色车牌图像,将其转换到HSV彩色空间,利用车牌固有的颜色信息对H,S,V各通道分别进行去噪和二值化处理,然后将3幅二值图像做“与”运算得到一幅能有效去除背景干扰的二值图像,再在此基础上进行适当的形态学操作,可检测到较少的车牌候选区域,最后仅利用车牌宽高比进行验证,即可实现车牌快速、准确的定位。
在基于数字图像处理的车牌识别系统中,车牌定位的目的是从拍摄的汽车图像中找到车牌所在的位置,从而可将车牌从定位区域中准确地分割出来,供后续的字符分割和字符识别步骤使用。
目前,我国汽车牌照按颜色大致可分为蓝底白字、黄底白字、黑底白字和白底黑字4类。其中车牌底色占整个车牌区域的大部分,所以车牌区域的颜色特征以底色为主。
为了充分利用车牌的颜色信息,本文采用基于HSV彩色空间和图像形态学处理相结合的方法来进行车牌定位。其定位流程图如图1所示。
图1 车牌定位算法流程图
对于输入的RGB彩色汽车图像,首先根据彩色空间的转换公式将其转换为HSV彩色图像,然后将HSV彩色图像的各通道分割开来,即分割为H,S,V三个单通道灰度图像。接着,分别对这3幅灰度图像进行单独处理,主要是去噪(如中值滤波)滤除噪声和利用车牌的颜色信息设定阈值进行二值化处理,然后将3个通道的二值化结果图像进行“与”操作,去除了大量的背景干扰,得到一幅更易于进行车牌区域检测的二值图像。在此基础上,利用图像形态学处理方法,如闭运算和开运算,就能快速定位到其中的矩形区域,作为车牌位置的候选区域,实现车牌的初步定位。最后,利用车牌的先验知识——车牌宽高比对候选矩形区域进行验证,能有效去除图中的伪车牌区域,实现车牌的精确定位,从而输出定位结果。
2.1 颜色空间转化
RGB模型和HSV模型是图像处理中常用的彩色模型。RGB模型采用的是基色原理,利用颜色合成原理来表示特定的一种颜色,即由红(R)、绿(G)、蓝(B)3种颜色合成表示。由于RGB的三基色受光照影响较大,当车牌图像的光照条件发生变化时,在RGB空间中利用车牌的颜色信息进行车牌的准确定位是有困难的。与之不同的是,HSV模型由H,S,V表示,其中H表示色调,S表示饱和度,V表示亮度。H和S包含了图像的彩色信息,V表示亮度信息,该模型更加符合人眼感受颜色的方式。根据车牌图像所具有的颜色特性,使用HSV颜色空间中的3个分量有助于准确定位车牌区域。因此,需要将拍摄到的RGB彩色汽车图像转化为HSV彩色图像。
设所有的颜色分量都已经归一化到范围[0,1]。在R,G,B这3个分量中,设定最大值为MAX,最小值为MIN[3]。给定一幅RGB彩色图像,色调分量H的计算公式为
(1)
饱和度分量S的计算公式为
(2)
亮度分量V的计算公式为
V=MAX
(3)
式中:H值的范围是[0,360°];S值的范围是[0,1];V值的范围是[0,1]。
车牌图像的颜色空间转化效果如图2所示。
图2 车牌图像的颜色空间转化效果
(编者按:本文所有彩图见http://blog.sina.com.cn/s/blog_707d52790102v1rc.html)。
2.2 二值化
为了利用图像形态学处理方法有效检测到车牌候选区域,需要将车牌图像二值化。本文采用的方法是对上述转化得到的HSV彩色图像的各通道(H,S,V)灰度图像分别进行二值化处理后再做“与”运算,从而得到一幅去除了大部分背景干扰的二值图像。
对各通道灰度图像进行二值化处理的依据是车牌的颜色特性。经过大量的实验分析,相关研究学者已经总结一些规律,揭示了不同车牌H,S,V分量的取值范围[3]。例如,蓝底白字车牌的底色区域H,S,V这3个分量的取值范围分别为[190°,245°],[0.35,1]和[0.3,1]而黄底白字车牌底色区域H,S,V分量的取值范围分别为[25°,55°],[0.35,1]和[0.3,1]。
针对不同的车牌,在HSV彩色空间中利用这些分量的取值范围对各通道的灰度图像进行二值化处理,再对3幅二值图像做“与”运算便可去除大部分背景干扰,将相应的车牌底色区域显现出来。
两种颜色空间下二值化结果的对比效果如图3所示。以蓝底白字车牌为例,图3a是在RGB空间下采用自适应阈值法得到的二值化结果,图3b是在HSV空间下采用本文方法得到的二值化结果。
图3 两种颜色空间下的二值化结果对比
可见,在RGB空间下进行二值化,其干扰较大,尤其是车灯和车标志的干扰最大,而在HSV空间下进行二值化能够较好地排除这些干扰。
2.3 形态学处理
对于二值化后车牌图像,利用形态学处理方法能快速有效地检测到其中的连通区域,即车牌的候选区域。
形态学方法是数字图像处理和模式识别领域应用最为广泛的技术之一。在数学上通过一些数学运算,可以运用形态学的操作来描述一些区域的外形、骨架等,也可以进行预测和快速处理。形态学的基本运算包括腐蚀、膨胀、开运算和闭运算等。开运算和闭运算都是由腐蚀和膨胀复合而成,开运算是先腐蚀后膨胀,而闭运算是先膨胀后腐蚀。
腐蚀(Erosion)运算可定义为
A⊖B={x,B+x⊂A}
(4)
式中:A为输入图像;B为模板。A⊖B表示B在平移过程中,所有可能填入A内部的B的原点。若将B看作结构元素,则A⊖B表示将结构元素平移x,但仍包含在输入图像内的点,腐蚀能够收缩输入图像[4]。
膨胀(Dilation)运算是腐蚀运算的对偶运算(逆运算),可以通过对补集的腐蚀来定义
A⊕B=[AC⊖(-B)]C
(5)
其中,AC表示A的补集,-B表示将B旋转180°。利用-B对AC进行腐蚀,腐蚀结果的补集就是利用B对A腐蚀的结果。膨胀是利用结构元素的补集对图像进行填充,因而它表示对图像外部做滤波处理。而腐蚀则表示对图像内部做滤波处理[5]。
从而开运算可定义为
A·B=(A⊖B)⊕B
(6)
闭运算可定义为
A·B=[A⊕(-B)]⊖(-B)
(7)
闭运算可以使轮廓变得光滑,它通常能够弥合狭窄的间断,填充小的孔洞。开运算可以使图像中的轮廓变得光滑,还能使狭窄的连接断开和消除细毛刺[5]。
为了检测到车牌候选区域,本文所采用的形态学处理方法是:先通过闭运算来连接近邻目标,然后再采用开运算来消除细小的物体。
图4是对图3b进行形态学处理的结果,其中图4a是采用大小为20×6的结构元素做闭运算的结果,图4b是采用大小为5×20的结构元素做开运算的结果,其中的连通区域即为车牌的候选区域。
图4 形态学处理结果
2.4 宽高比验证
将形态学处理检测到的车牌候选区域显示到原图上,其边缘用黄色线条标出,如图5a所示。不难看出车牌候选区域有多个,其中非车牌区域可称之为“伪车牌区域”。为了剔除伪车牌区域,实现车牌的最终准确定位,可利用车牌的先验知识——宽高比对候选区域进行验证,符合验证要求的即为真实的车牌区域。
图5 车牌定位结果
实际上,对于不同类型的车牌,其宽度和高度在我国交管部门是有规定的,从而可以利用宽高比值作为依据对图像形态学处理得到的候选车牌区域的宽高比进行验证,这样可以不受原始图像中车牌位置、大小(拍摄远近)的影响。
对于候选车牌区域,求其外接矩形,并计算宽高比r,设范围容许参数为α,若(1-α)R≤r≤(1+α)R,则认为该区域属于车牌区域,作为定位结果输出,否则属于伪车牌区域,予以剔除。
以蓝底白字的小型汽车为例,按交管部门规定,其车牌宽度为440 mm,高度为140 mm,宽高比为R=3.14。设定α=0.1,对图5a中的候选区域进行验证,剔除伪车牌区域后,得到图5b中红色边线标定的区域,即为最终定位到的车牌区域。
在VS2010平台上利用OpenCV库和C++语言编程实现了本文提出的车牌定位方法,并和RGB空间下直接进行形态学处理的定位算法做了对比。多组实验表明,本文提出的方法具有明显优势。
下面给出其中两组实验效果,如图6和图7所示。图6为RGB空间下车牌定位结果,图7为HSV空间下车牌定位结果。
图6 RGB空间下车牌定位结果
图6a中黄线标出的区域为RGB空间中进行形态学处理后检测到的候选区域,可以看出候选区域较多,受背景干扰的影响较大;图6b中红线标出的区域为采用宽高比验证后最终定位到的车牌区域,可以看出这两组图像的车牌定位失败。
图7a中黄线标出的区域为HSV空间中进行形态学处理后检测到的候选区域,可以看出候选区域较少,背景干扰的影响明显减小;图7b中红线标出的区域为采用宽高比验证后最终定位到的车牌区域,可以看出这两组图像的车牌定位准确。
图7 HSV空间下车牌定位结果
本文针对传统的图像形态学处理方法在定位车牌时存在的局限性进行改进,提出了一种基于HSV彩色空间和图像形态学处理相结合的车牌定位方法。一方面,充分利用车牌的颜色信息,将原始RGB彩色图像转化为HSV彩色图像进行二值化处理,再进行形态学处理,在很大程度上去除了背景干扰的影响;另一方面,对于形态学处理后检测到的车牌候选区域,仅利用车牌先验知识——宽高比进行验证,就实现了车牌区域的准确快速定位,该方法不受车牌位置和大小的影响,实现简单,效率高。
[1]马永慧, 薛丹丹.基于数学形态学和投影法的车牌定位方法[J].电视技术, 2013, 37(7) : 147-149.
[2]李刚.基于数学形态学的车牌定位算法[J].仪器仪表学报, 2007, 28(7): 1323-1326.
[3]张丽静, 孙杰, 殷晓宇.基于HSV颜色空间的车牌定位方法[J].微计算机信息, 2008, 24(3): 246-247.
[4]狄红卫, 许瑶.数学形态学在图像滤波中的应用[J].暨南大学学报, 2003, 24(3): 42-45.
[5]张铮, 王艳平, 薛桂香.数字图像处理与机器视觉——Visual C++与Matlab实现[M].北京:人民邮电出版社, 2010.
License Plate Location Method Based on Combination of HSV Space and Morphology Processing
MIAO Jiaojiao,XU Wangming
(CollegeofInformationScienceandEngineering,WuhanUniversityofScienceandTechnology,Wuhan430081,China)
License plate location is the premise to achieve automatic license plate recognition.In this paper, a license plate location method based on the combination of HSV color space and image morphology processing is proposed to improve the traditional method based on RGB color space and morphology.When converted to HSV color space, license plate image is splited into three single-channel gray scale images of H, S and V which are denoised and binarized respectively.To effectively removethe background interference,“And” operation is applied on these three binary images to generate a new binary image.Then the morphological methods such as the “Close” operation and “Open” operation are used to detect the candidate regions of license plate.Finally, the aspect ratio property of license plate is adopted to validate them to determine the true license plate locations.Experimental results show that the proposed method is easy to implement and more accurate and efficient to locate the license plate compared with the traditional one.
license plate location;HSV color space; morphology
湖北省大学生创新创业训练计划项目(201310488022);武汉科技大学大学生科技创新基金研究项目(12ZZC128)
TP391.4
A
10.16280/j.videoe.2015.05.035
2014-08-10
【本文献信息】苗姣姣,徐望明.HSV空间和形态学处理相结合的车牌定位方法[J].电视技术,2015,39(5).
苗姣姣(1990— ),女,主研信号与信息处理;
徐望明(1979— ),博士,高级工程师,主研图像处理与计算机视觉。
责任编辑:薛 京