胡琛,秦实宏
武汉工程大学电气信息学院,湖北 武汉 430205
基于色彩纹理的车牌定位系统设计
胡琛,秦实宏*
武汉工程大学电气信息学院,湖北 武汉 430205
为了提高车牌定位的准确率,提出了一种基于色彩纹理的车牌定位的分析方法.首先将彩色图像的色彩空间由RGB转换到HSV,生成HSV色彩模型的三通道图像,将图片进行滤波调整之后,并将符合车牌区域的有效像素的灰度值范围作为参数排除图像中的干扰信息,然后将转换后的图像车牌背景颜色和车牌字符颜色进行二值化处理生成两幅灰度图像,采用逐行扫描的方法对两幅灰度图像的各个像素点进行分析和比对,通过像素灰度值的跳变次数,判断是否找出符合车牌纹理的区域,通过计算确定车牌在图像上的区域,并输出车牌图像.该方法提高了的车牌识别的准确性和稳定性.
车牌定位;图像滤波;灰度值跳变
随着社会经济的快速发展,汽车已经成为人们日常生活中必不可少的交通工具,但是随着汽车数量近些年呈几何增长的态势,汽车数量已经成为制约城市发展的一大难题,如何有效的管理数量巨大的汽车这一问题已经迫在眉睫.传统人工管理车辆的办法已经无法满足现代追求高效的工作需求,而智能车辆管理系统以其准确高效的优势而越来越受到人们的青睐,因此作为智能停车管理系统的车牌识别技术将会进一步普及.车牌识别大致分为车牌定位、车牌字符分割以及字符识别三个步骤.车牌定位是汽车牌照识别算法的第一步,后面所有步骤都是在这一步的基础上进行的,本研究的车牌定位方法可应用于智能车辆管理系统中门禁的车牌识别.车辆进入摄像头采集图像区域后触发摄像头采集图像,通常一张采集的图像中只会包含一个车牌的信息.所以本研究中所提到的拍摄下来的图片都是只包含一个牌照信息的图片.当前比较流行的两种车牌定位的方法:一种是利用字符纹理来对车牌定位,另一种是利用车牌的色彩来对车牌定位.
基于字符纹理的车牌定位系统的工作方式有以下缺点:对于车牌区域以外的其他汽车外观、部件等与文字相似的干扰信息会被认为有较多的竖向纹理;对于有些汽车上的车灯、车标、散热片等也有很丰富的竖向纹理,这些会对车牌的定位造成很大程度的干扰.基于色彩信息对车牌进行定位的缺陷在于人们追求汽车颜色的个性化,什么样的颜色都可能出现,必然也有和车牌底色一样颜色的车体.利用色彩信息也很容易受到外界光源变化的影响,所以仅仅利用车牌的色彩信息的车牌定位算法,识别率也很低.
基于色彩纹理的车牌定位方法是同时基于车牌区域的彩色信息、灰度图片的灰度值跳变以及车牌灰度图片的纵向纹理丰富等特点来实现的.车牌区域较为显著的特点是在蓝色的牌照背景上白色的字符,虽然在蓝色车体上也有白色的字,但是字符组合以及字符间距没有固定的规律可循,而且牌照区域的文字整体纵向纹理丰富.由上面的描述,基于色彩纹理的车牌定位方法是逐行扫描所拍摄的图片,并统计每行从蓝、白的像素跳变次数,然后根据跳变次数进行分析从而确定车牌区域.车牌区域的最小像素跳变应为14次,且整个区域的色彩变化次数不会有巨大差异,最后找出符合要求的位置而得到车牌的位置.
车牌定位系统首先通过图像采集设备采集到RGB(Red Green Blue)彩色图像,获取到图像之后要对图像进行必要的预处理.预处理第一步是需要对原始的采集图像分辨率进行调整,将图像调整到800×600,既能保证图像中的有用的车牌信息又能减少系统分析处理的速度.对图像分辨率调整之后对图像的色彩模型进行转换,将RGB图像转换到HSV(Hue Saturation Valve)色彩空间,再对各通道图像进行中值滤波消除图像中噪声对分析带来的干扰.图像滤波后开始对图像进行二值化处理,生成两幅二值化图像处理方法的优点在于既能突出车牌区域的有用信息又能消除其他区域干扰信息,而且对同一幅图像生成的两幅二值图像进行扫描分析比生成一幅二值化图像进行车牌区域分析而言,生成两幅二值化图像能最小化分析误差.一幅将车牌背景颜色设为白色其他颜色设为黑色(定义为图A),一幅将车牌字符颜色设为白色其他颜色设为黑色(定义为图B),通过扫描分析两幅二值图像来消除车牌中的干扰信息,并计算符合车牌色彩纹理特征的像素个数,并将个数存入h(y)中.对h(y)统计结果进行分析,保留图像中符合车牌区域,去除图像中不符合车牌区域,最后得到精准的车牌区域图像。基于色彩纹理的车牌定位系统实现车牌定位全部步骤如图1所示.
图1 实验流程图Fig.1Experiment flowchart
1.1 图像采集
图2 车牌图像Fig.2Image of vehicle license plate
1.2 HSV空间模型
图片由RGB的表示方式变化成HSV的表示方式.H(Hue)是色度,用来取得不同的色彩;S(Satu⁃ration)是饱和度,用来表示色彩的深浅,该数值低则色彩浅,数值高则色彩深;V(Value)是明度,用来表示色彩的明暗程度.HSV表示方法比较符合实际的情况,也更适用于基于色彩方面的图像处理.HSV空间锥形模型[1]如图3所示.
图3 HSV空间模型Fig.3HSV space model
将图1变换后H、S、V三个通道灰度图像分别如图4所示.
图4 HSV空间三通道图像Fig.4Three-channel images of HSV space
1.3 图像中值滤波
预处理的最后一步是将取得到的3个通道的灰度图片进行中值滤波处理,并根据定位的所需要求进行二值化[2]处理.在彩色图像转换为灰度图像的时候无论用什么方法都会产生一些噪点,中值滤波的作用在于抑制图像转换色彩空间后产生的噪声,这样可以提高识别的准确度确保定位的有效性,尽量的消除各种干扰信息,并且很好保留了后面分析极其重要的边沿信息[3].将图3经过中值滤波处理之后得到图5~图7.
图5 H通道图像经过中值滤波后的图像Fig.5Image of H-channel in HSV space by median filter
图6 S通道图像经过中值滤波后的图像Fig.6Image of S-channel in HSV space by median filter
图7 V通道图像经过中值滤波处理后的图像Fig.7Image of V-channel in HSV space by median filter
1.4 图像二值化
经过上面三步之后图像的预处理之后开始对车牌图像进行二值化处理,将得到的H、S和V 3个通道的图像根据分析的要求进行二值化,以方便后续的分析.二值化是将图片变换成黑白两色的图片,其中的白色颜色的部分设定为需要突出的颜色部分,黑色的部分设定为其它干扰色.该算法主要是需要计算有效的蓝色像素点和有效的白色像素点,所以需要两幅二值化的图片[4].一幅是将蓝色设置为白色,其他颜色转换为黑色的二值化图片;另一幅是将白色设置为白色,其他干扰色彩设置为黑色的二值化图片.获取蓝色的二值化图片,首先在图片的H通道图片中将蓝色的像素点的灰度值置成255,即在灰度图上使其显示成白色.根据大量的实验车牌的蓝色像素点在H通道中取值范围由90到118之间是较为合适的,经过这一步之后得出的图如图8所示.
F&EI[9-10]是美国道化学公司提出的评价化工工艺过程和生产装置的火灾、爆炸危险性及采取相应安全措施的一种方法,已在国内外化工领域得到大量推广应用。
图8 H通道图像蓝色进行二值化图像Fig.8Binarized image of the blue interference of H-channel
但是在HSV空间中,如果只对H通道图像某个范围内的颜色二值化,这个过程会忽略白色和黑色信息的干扰,使得二值化后的图片包含不需要的信息,所以如果只想二值化蓝色还需要配合S和V通道的信息来除去黑色和白色的信息.把白色和色彩相对较淡的部分信息从图片中去除,结果如图9所示.
图9 S通道去白色信息后图像Fig.9Image of eliminating white interference for S-channel
去除黑色和色彩很暗的部分信息如图10所示.
将3幅图像的进行与运算得到最后结果为蓝色二值化图片,如图11所示.
图10 V通道去黑色信息后的图像Fig.10Image of eliminating black interference for V-channel
图11 蓝色二值化图Fig.11Binarized image of blue color
取白色二值化图像的原理以及实现方法同样是利用上面的过程,只是要将需要处理信息的参数进行调整,而且每个H值都包含有白色的信息,所以取白色二值化图片时不需要H通道的信息,得到图12.
图12 白色二值化图Fig.12Binarized image of white color
2.1 统计车牌有效像素
得到二值化图片数据之后,对两张图片中将符合车牌色彩纹理像素进行统计[5].这一步进行之前先定义了一个数组h(y),数据类型为整数型,逐行统计图片像素,将得到的结果保存在数组中,数组中的值为每一行有效像素个数,则数组中的y值为行的纵坐标值.
寻找符合车牌色彩纹理有效像素是通过扫描蓝色二值化图片(为了分析方便将该图定义为图像A)来实现的,如果检测到某个位置的像素值为255,则该位置在彩色图片上为蓝色的点,扫描对应白色二值化图片(将其定义为图像B)上相应的位置和图像A该点所在行后面的100个像素点,查找这100个像素点内是否存在图像A对应的像素值为0的点,而在图像B相应的位置上像素值为255的点,如果条件成立,对应行的h(y)的数值上加1并退出此次的扫描[6].如果对应图像A的数值为0则在彩色图片上对应的点的颜色不是蓝色,接下来检测图像B对应该点值是否为255,不是就跳出循环进入下一次循环,如果是的话,以该行对应点为起点,扫描图像A、B的起点后面的100个点,查找这100个位置内是否有存在图像B中对应的数值为0的点,图像A中对应的点为255,如果上面的条件满足,就将对应行的h(y)的数值上加1并退出此次的扫描.
车牌区域长度不会超过所采集的图像长度的一半,因此对应点扫描范围为100个像素点.由实验初期的描述可知,采集图像大小为800×600,所以车牌区域长度不会超过400像素,车牌上大约有8个相等大小字符,每个字符的长度应为50个像素大小.车牌上距离最大的两个字符应该是白点左右的两个字符,可以近似认为车牌字符之间的最大距离为100个像素[7],图13是统计有效像素具体流程.
图13 有效像素统计流程图Fig.13Statistics flowchart of effective pixel
2.2 车牌纵向定位流程
图像中每一行的白色像素点越多,则说明有效像素个数越多.车牌的区域可以基于以上步骤计算出来.对于7个字符的车牌,扫描每个字符像素值跳变次数最小为2次,7个字符像素值跳变的次数最小应该为14次,也就是说最少有14个有效的像素点存在.将有效像素个数小于14的行去除,然后寻找数值变化频率平稳且最大的连续区域[8],具体算法的流程如图14所示.
图14 车牌区域纵向定位流程图Fig.14Flowchart of longitudinal location of license plate region
图14中用当前的值作为确定数组变化比较平缓的条件,大于前一个值的,因为在车牌区域内,有效像素的跳变次数从最大到最小不会超过这个范围[9].
2.3 车牌区域定位结果
上述计算可以得出车牌区域在整个图像中的纵坐标.最后截出车牌区域图片,如图15所示.
图15 车牌纵向定位结果Fig.15Longitudinal location of license plate
上一步已经确定了较为精确的车牌纵向的图片,确定车牌区域的纵坐标与确定车牌区域横坐标所用的方法是同一方法,同样是先生成有效像素的直方图,并分析直方图从而得到车牌的区域,如图16所示.
图16 车牌区域纵向有效像素直方图Fig.16Histogram of effective longitudinal pixel of license plate region
从图16中上面的直方图中可以看出车牌区域的白色像素点比较多,每个字符都对应一个白色的像素块,每个字符之间的像素块之间都是不连接但是之间的间隔是比较接近的,其他干扰因素的像素块间隔是没规律的,而且间隔都比较远[10].对该信息进行分析就能寻找到车牌的精确位置.
根据上述的分析,车牌的字符所对应的像素块之间的间隔都比较近,而且仅仅包含车牌的图像区域是一个长宽比约为3∶1的长方形,精确定位的车牌区域是没有去除边框以后的,经过多次实验可近似将掉边框后仅剩车牌字符的图像区域长宽比例定为5∶1[11].上图14中的图片车牌区域确定纵坐标后的同时可以将车牌的宽度计算出来,依照长和宽的比例为5∶1,可以得到牌照的长度.结合上面的信息,可以通过图15中的直方图来计算车牌大小的长方形区域,因为那个区域所包含的白色像素点最多,这个区域就包含车牌区域[12-13].只需要把图15中有规律的白色像素块的列作为起点和终点的长方形区域找到即可[14],具体程序流程如图17所示.
图17 车牌区域横向定位流程Fig.17Flowchart of horizontal location of license plate region
车牌选择的是5∶1的长宽比的比例,而实际上车牌长度比这个选择的比例长度稍长一些,这样完整的车牌的范围也会包含在内,如果车牌区域横向终点不是以白色像素的列作为结尾,那么说明该区域还不是完全精确的车牌区域,则需要将作为结尾的列数从右往左倒推一列,直到找到白色像素不为0的列作为车牌区域的结尾列[15].
经过上面图17流程可以得出精确的牌照位置,最终定位结果如图18所示.
图18 车牌定位结果Fig.18Results of license plate location
本文以基于色彩纹理的车牌定位方法实现了对车牌的精确定位,整个设计思路明确,详细地通过实验对定位方法进行了阐述,通过对比两张二值化图像的有效像素和车牌区域有效像素跳变次数,确定车牌的位置,该方法能更好的应对各种个性化的车身颜色给车牌定位过程带来的干扰和误导,具有较好的稳定性和准确性.
[1]黄骥.汽车牌照识别系统中车牌定位与校正及字符分割的研究[D].南京:南京航空航天大学,2007.
[2]GOU C,WANG K,YAO Y,et al.Vehicle license platerecognitionbasedonextremalregionsand restricted boltzmann machines[J].IEEE Transactions on Intelligent Transportation Systems,2016,17(4):1096-1107.
[3]熊军,高敦堂,沈庆宏.基于字符纹理特征的快速定位方法[J].光电工程,2003,30(2):60-63.
XIONG J,GAO D T,SHEN Q H.A fast localization methodbasedoncharactertexturefeatures[J]. Opto-Electronic Engineering,2003,30(2):60-63.
[4]杨海廷.基于纹理特征的车牌识别系统的研究与实现[D].成都:电子科技大学,2005.
[5]魏娜,王振臣,张聪,等.一种新型车牌定位算法的研究[J].激光与红外,2012,42(8):936-939.
WEI N,WANG Z C,ZHANG C,et al.Research of a newlicenseplatelocatinalgorithm[J].Laser& Infrared,2012,42(8):936-939.
[6]KOMARUDINA,SATRIAAT,ATMADJAW. Designing License Plate Identification through Digital Images with OpenCV[J].Procedia Computer Science, 2015(59):468-472.
[7]SMARA G A,KHALEFAH F.Localization of license platenumberusingdynamicimageprocessing techniquesandgeneticalgorithms[J].IEEE Transactions on Evolutionary Computation,2014,18(2):244-257.
[8]郭捷,施鹏飞.基于颜色和纹理分析的车牌定位方法[J].中国图象图形学报,2002,7(5):472-476.
GUO J,SHI P F.License plate location based on color and texture analysis[J].Journal of Image and Graphics,2002,7(5):472-476.
[9]周开军.复杂环境下的车牌识别研究[D].武汉:武汉理工大学,2006.
[10]SHI X,ZHAO W,SHEN Y.Automatic license plate recognition system based on color image processing[J].Lecture Notes on Computer Science,2005,34(83):1159-1168.
[11]GARY R B.Learning openCV:computer vision with the openCV library[M].California:O'Reilly Media Inc.,2009.
[12]TIAN Y,SONG J,ZHANG X,et al.An algorithm combinedwithcolordifferentialmodelsfor license-plate location[J].Neurocomputing,2016(212):22-35.
[13]张树波,赖剑煌.车牌定位和分割的一种综合方法[J].中山大学学报,2004,43(2):126-128.
ZHANG S B,LAI J H.License plate location and segmentation of an integrated approach[J].Journal of Sun Yat-sen University,2004,43(2):126-128.
[14]袁宝民,金一粟,于万波.基于移差扫描和窗口搜索的车牌定位方法[J].计算机工程,2003,29(14):103-105.
YUAN B M,JIN Y S,YU W B.License plate location method based on shift scan and window search[J]. Computer Engineering,2003,29(14):103-105.
[15]崔屹.图像处理与分析——数学形态学方法及应用[M].北京:科学出版社,2000.
本文编辑:陈小平
Design of Vehicle License Plate Location System Based on Color Texture
HU Chen,QIN Shihong*
School of Electrical and Information Engineering,Wuhan Institute of Technology,Wuhan 430205,China
To improve the accuracy of license plate location,we proposed a new method of license plate location based on color texture.First,we converted the images from red,green and blue space to hue,saturation and value space to generate three component images.Then we selected the gray values of effective pixels matching the license plate region to eliminate the unuseful information in image processing after the images were filtered.Two binary images were generated by using the color of license plate background and characters for image binarization.Scanning and comparing the corresponding pixels progressively in the two binary images,we can judge whether the region matching the license plate texture is found by counting gray level jump times,then determine and display the region of the license plate in the image by calculating the amount of effective pixels.This method can significantly improve the accuracy and stability of the recognition of the vehicle license plate.
license plate location;image filtering;gray level jump
TP23
A
10.3969/j.issn.1674⁃2869.2017.03.012
1674-2869(2017)03-0273-08
2016-05-20
湖北省自然科学基金(2014CFB792)
胡琛,硕士研究生.E-mail:hlewdness@163.com
*通讯作者:秦实宏,博士,教授.E-mail:qinsh@wit.edu.cn
胡琛,秦实宏.基于色彩纹理的车牌定位系统设计[J].武汉工程大学学报,2017,39(3):273-280.
HU C,QIN S H.Design of vehicle license plate location system based on color texture[J].Journal of Wuhan Institute of Technology,2017,39(3):273-280.