基于颜色和纹理特征相结合的车牌定位方法

万 燕，史琳琳，徐晓涛

（东华大学 计算机科学与技术学院，上海 201620）

基于颜色和纹理特征相结合的车牌定位方法

万 燕，史琳琳，徐晓涛

（东华大学 计算机科学与技术学院，上海 201620）

车牌定位是车牌自动识别系统中的关键技术.目前多数的车牌定位方法考虑车牌的颜色以及纹理特征，但针对复杂背景下的车牌定位问题，其适应性不强.针对现实生活中复杂背景下的车牌定位，提出综合使用纹理信息及颜色信息等多种特征的分层次车牌快速定位方法.首先在图像的二值垂直边缘图中，利用车牌区域的边缘信息及车牌的纹理特征进行车牌候选区域的确定，在降低算法复杂度的同时提高了定位精确性，然后结合先验知识，运用四元数主成分分析及K－means聚类方法，提取候选区域图像特征并分类，最终得到精确车牌定位.试验证明该方法正确率高、鲁棒性强，对于背景复杂的车牌定位具有很强的抗干扰性能，在复杂的环境和不同光照条件下实现车牌的精确定位.

车牌定位；四元数；主成分分析；K－means聚类

车牌识别技术是现代智能交通系统中的一项重要研究课题.车牌定位是车牌识别的关键环节，针对复杂的图像背景，如何正确、快速、有效地进行车牌定位，是当前车牌识别中的重要研究课题.

目前，车牌定位技术主要分为两大类，即基于纹理特征和基于颜色特征的车牌定位算法.例如，文献［1］提出用穿过车牌区域水平直线的灰度呈现连续波峰、波谷、波峰分布这一特征来进行车牌定位的方法.文献［2］根据车牌图像字符区域的纵向纹理特征丰富的特点，提出了基于纹理特征的车牌定位方法.

由于车牌多具有颜色，且大多数与车辆背景不同，因此，基于颜色特征来研究车牌定位是车牌识别领域的一种新思路.文献［3］提出一种采用色彩分割及多级混合集成分类器的车牌自动识别方法，这种方法的主要思想是通过三层前馈网络对具有均匀色度空间的彩色图像进行色彩分割，再利用投影法分割出潜在的各种底色的车牌区域.文献［4］提出的彩色边缘检测算子和彩色边缘检测与区域生长相结合的牌照定位算法.

虽然上述各种车牌定位方法都具有一定的实用性和参考价值，但大多具有局限性.例如，基于彩色图像的分割对于车牌与车身颜色一致的情况时，显然完全失效；基于车牌纹理特征的方法在复杂背景下，对干扰太敏感，尤其是对车牌周围的车灯干扰，经常会导致定位不准确.背景复杂的车牌图片（如图1所示）不适用于现有车牌定位算法分析处理.

图1 背景复杂的车牌图片Fig.1 License plate image of complex background

目前，针对这些背景复杂图像的车牌定位尚未有一种有效的解决方案，为此，本文提出一种针对复杂背景图像的车牌定位算法.首先使用Sobel算子对预处理后的车牌图像进行边缘检测；然后运用行扫描法将边缘检测图像中的水平跳变点连接成线，提取车牌的候选区域；之后将候选区域图像作为输入图像，并对其做归一化处理，归一化至尺寸为192像素×128像素，利用四元数描述彩色输入图像，并利用主成分分析方法提取图像特征，构建特征空间，降维并提取用于分类识别的特征参数；随后根据提取的特征参数，采用K－means聚类方法对像素进行分类，并将具有某一类图像特征的像素迭代合并至理想簇；最后根据先验知识，对分类结果进行再定位，得到精确车牌.本文算法的大致流程如图2所示.

图2 车牌定位流程图Fig.2 Flow chart of license plate location

1 基于颜色和纹理特征相结合的车牌定位方法

1.1 设计思想

本文采用基于灰度图像纹理特征的方法进行候选区域的定位.在预处理的基础上，使用Sobel垂直边缘检测算子提取图像的垂直边缘，再将行扫描技术与阈值法结合，实现对候选区域的选取.对图1进行基于纹理特征处理后的结果如图3所示.

图3 基于纹理特征处理后的车牌图片Fig.3 License plate image processing based on texture features

对车牌、车身同色的情况，基于灰度纹理特征处理的方法具有速度快、定位准的优势，如图3（a）所示.但是对于车牌周边有车灯影响的情况，灰度纹理特征无法排除其干扰，如图3（b）所示，此时采用颜色特征进行精确定位的处理效果较好.

对于彩色图像，目前尚未有较为成熟的描述颜色模型的方法，常规方法为将彩色图像的每个像素用RGB（红绿蓝）三原色表示，对R，G，B这3种颜色通道对应的矩阵分别进行处理.但是彩色图像不是单纯意义下的3个不同意义灰度图像矩阵的叠加，R，G，B这3种颜色有着一定的制约关系.R，G，B这3种颜色被分割开来分别处理，会影响图像处理的最终结果［5］.另外一种常用方法是将RGB颜色模型转化为HSI颜色模型，其中H分量表示色彩信息，根据H分量的值来判定该像素点的色彩.以判断蓝色为例，蓝色象素点的H分量的数值一般在200～240之间，但试验证明根据这种方法来进行车牌颜色判断的效果很不好.因此，本文引入四元数代数方法描述彩色模型.

1.2 候选区域定位

选取候选区域的目的是对原始输入图像进行快速处理，将可能是车牌的图像区域提取出来，进行下一步的判定，从而减少系统的运算时间以及非目标区域的干扰.由于拍摄到的图像不可避免地受到复杂背景和成像条件（如天气恶劣、光照不均、亮度不均和对焦不准等问题）的影响，因此，在候选区域提取之前需要对原始图像进行预处理.

将输入的原图像（图4（a））转变为灰度图像，然后进行降噪处理.对于车牌区域而言，垂直边缘是其最稳定的结构特征，因此，本文在去噪的基础上，使用Sobel垂直边缘检测算子提取图像的垂直边缘，得到边缘提取图（图4（b））.将行扫描技术与阈值法结合，根据车牌先验知识，对边缘图进行连线处理，得到连线结果（图4（c））.将连线结果返回原图，得到包含车牌在内的彩色图像，实现对候选区域的提取（图4（d））.

图4 候选区域定位分步效果图Fig.4 Step renderings of candidate region positioning

由图4可知，因车牌两边有车灯干扰，车牌周边存在纹理丰富的非车牌区域，导致候选区域定位的结果并不精确.

1.3 精确车牌定位

1.3.1 四元数简介

1996年，文献［6］首次提出彩色图像的四元数模型.彩色图像的每个像素都可视为一个实部qr＝0的纯四元数，那么一幅RGB彩色空间的图像就可以用一个四元数矩阵来表示.这样处理彩色图像时，R，G，B这3种颜色不必再被分割在每个颜色通道独立处理，而是可以作为一个统一的整体来处理.

四元数q是四维空间中的数，它包含1个实部qr和3个虚部qi、qj和qk，记这个四维空间的基为｛1，i，j，k｝，则四元数q可以表示为q＝qr＋qii＋qjj＋qkk，其中qr，qi，qj和qk为4个实数，基元i，j，k是3个正交的虚单位并满足下面的运算规则：

当实部qr＝0时，称q为纯虚四元数（pure quaternion）.记Re（q）＝qr表示q的实部，每个四元数q都是1，i，j和k的线性组合［7－13］.对于彩色图像而言，由于它包含3个部分，很自然地可以用四元数来表示，特别的一个RGB彩色图像f（x，y）可以使用如下四元数表示：

式中：fR（x，y），fG（x，y），fB（x，y）是f（x，y）的 R，G，B 3个分量，fcom（x，y）为附加信息，此处可令fcom（x，y）＝0.

1.3.2 四元数主成分分析方法

主成分分析法（Principal Component Analysis，PCA）可用来进行特征提取，能够在降低特征空间维数的同时，充分保留信息，获取互不相关的特征.如果采用最大特征值对应的特征矢量组成变换矩阵，则能对应地保留原模式中方差最大的特征成分，起到减少相关性、突出差异性的效果.

对于PCA算法，特征值越大，所对应的特征矢量累计的方差就越大，即对变换矩阵中的贡献度越大.为了降低算法的复杂度，提高效率，将求得的特征值λk，k＝1，…，l从小到大进行排序，选择前m个特征值对应的特征矢量用于特征空间投影.考虑到本系统中，PCA算法是对车牌图像进行精定位，如果m值取得较大，则不能有很好的降维效果，并且置信区间也较大；反之，则会丢失过多的图像特征，所以m值取为64.特征提取步骤如下所述.

（1）对于需要进行特征提取的车牌候选区域图像，将每一个抽样图像fi（x，y）用一个N2维的矢量xi来表示：xi＝（xi1，xi2，…，xij，…，xiN2），其中xij定义为矢量xi的第j分量，构成此矢量的一个方法是将xi的第一组N个分量放置为fi（x，y）的第一行，即：

第二组N个分量放置为第二行，依此顺序排列.用x表示某一抽样图像，则x的协方差矩阵Cx及均值mx分别如式（1）和（2）所示.

式中：E为数学期望.式（1）和（2）可用平均值近似表示，如式（3）和（4）所示.

其中：mx是大小为N2×1的矩阵，而Cx是大小为N2×N2的矩阵，M为样本数.

（2）设λi，ei（i＝1，2，…，N2）分别是Cx的特征值及相应的特征矢量，为方便起见，假定特征值是按递减次序排列的，即λ1≥λ2≥…≥λN2，这样就可以得到一个由Cx的特征矢量构成的矩阵A：

式中：eij是第i个特征矢量的j分量.于是主成份分析又可简单地表示为用A乘图像矢量（x－mx），得到一个新的图像矢量Y，即Y＝A（x－mx）.

本文主要用基于四元数的主成分分析方法来进行特征提取，特征提取的结果即图像附加信息及R，G，B 3个分量的特征图像.

1.3.3 K－means聚类及结果

K－means是一种迭代式无监督的学习算法，给定n个对象和一个聚类数目的变量k，该算法将这些对象聚为k类.通常将每个矢量对象映射为欧氏空间里的一个点，随机选择k个对象，每个对象代表一个聚类的质心.对于其余的每一个对象，根据该对象与各聚类质心之间的距离，把它分配到与之相似的聚类中，距离越近越相似［14］.K－means的分类任务是以目标函数取得最小值为目的，目标函数如式（6）所示.

最初由四元数主成份分析（QPCA）训练后期确定15个初始聚类中心点，然后根据其他对象与这些聚类中心的相似度（距离），分别将它们分配给与其最相似的（聚类中心所代表的）聚类，然后再计算每个所获新聚类的聚类中心，不断重复这一过程直到目标函数收敛为止，最终得到15个不再发生变化的聚类；对于得到的15个聚类，将距离小于规定阈值的归为一类，此时确定14个初始聚类中心点的位置，即k＝14，重新计算每个有变化的聚类的均值，以此类推.k的取值为3～15.由试验结果可知，当k＝4时，效果最佳.K－means聚类中间结果如图5所示.

图5 K－means聚类中间结果Fig.5 The intermediate results of K－means clustering

虽然聚类算法是基于图像的颜色特征，但是并不判断车牌颜色，而是根据车牌区域与干扰区域具有不同颜色特征的特点，把具有某一类颜色特征的区域聚为一类，从而实现车牌与周边干扰区域的分离.K－means是一种无监督的局部最优性算法，可以根据需要反复分割，直至取得最好的效果.1.3.4 车牌精确定位

精确定位是将车牌与周边干扰区域分离并提取车牌，由车牌长宽比、车牌形状特征、车牌区域的灰度分布特征等，可轻易将车牌与干扰区域分离并最终提取车牌.精确定位结果如图6所示.

图6 精确定位中间结果Fig.6 The intermediate results of precise positioning

2 试验结果分析

为了验证算法的有效性，分别对300张公路抓取的晴朗天气下普通车牌图像、300张光照不均的交通路口抓取的车牌图像以及300张夜晚拍摄的路面车牌图像，采用本文算法进行车牌定位，输入图像大小为720像素×288像素，其中复杂背景包括文字、栅栏、车灯等情况，试验结果如表1所示.由表1可知，本文算法能有效地提取车牌，平均定位准确率达到97.78%.

表1 试验结果分析表Table 1 The analysis table of experiment results

部分测试结果如图7所示，其中，第1和2行是针对不同蓝色车牌的定位结果；第3，4，5，6行分别为夜晚灯光干扰、图像背景干扰（栅栏）、车牌与车身一色、车身背景干扰（文字）条件下的车牌定位效果.

图7 多种条件下车牌提取试验结果Fig.7 License plate extraction experiment results under multiple conditions

3 结 语

针对车牌定位研究中的难点，本文提出将车牌颜色与纹理特征相结合的车牌定位方法.根据车牌区域纹理丰富的特征，提取出所有可能的候选车牌区域，去除了大量的非车牌区域，加快了车牌定位算法的运行速度；然后根据大量样本生成基于四元数及主成分分析特征的K－means聚类方法，剔除候选车牌区域中的伪区域，得到定位准确的车牌.该算法综合了基于纹理特征的车牌定位算法速度快以及QPCA和K－means聚类方法的检测率高和定位精确的优势，是一类性能较好的车牌定位算法.车牌自动识别中，一个有效的输入对得到理想的识别结果显得尤为重要，因此，通过本文算法得到的完整、清晰的车牌，为后续车牌字符分析、识别提供良好的基础.由于K－means是迭代式聚类算法，所以本文方法的实时性不高，如何提高效率是亟待解决的问题.

参 考 文 献

［1］BARROSO J， RAFEL A. Number plate reading using computer vision［C］／／Proceedings of the IEEE International Symposium on Industrial Electronics.1997：76l－766.

［2］穆长江，苑玮琪.基于纹理特征的车牌定位方法 ［J］.控制工程，2004，11（6）：574－576.

［3］赵雪春，戚飞虎.基于彩色分割的车牌自动识别技术［J］.上海交通大学学报，1988，32（10）：4－9.

［4］张引，潘云鹤.彩色汽车图像牌照定位新方法［J］.中国图象图形学报：A版，2001，6（4）：374－377.

［5］PLATANIONTIS K N，VENETSANOPOULOS A N.Color image processing and applications［M］.Berlin：Springer，2000：179－181.

［6］PEI S C，CHENG C M.Novel block truncation coding of color images using aquaternion moment preserving principle［J］.IEEE Transactions on Communications，1997，45（5）：583－595.

［7］HAMILTON W R.Elements of quaternions［M］.Boston：Ginn＆Company，1887：103－157.

［8］SANGWINE S J. Colour image edge detector based on quaternion convolution［J］.Electronics Letters，1998，34（10）：969－971.

［9］CAI C H，MITRA S K.A normalized color difference edge detector based on quaternion representation［C］／／Proceedings of the IEEE International Conference on Image Processing.Vancouver，BC，Canada，2000：816－819.

［10］BAS P，LE BIHAN N，CHASSERY J M.Color image watermarking using quaternion Fourier transform ［C］／／Proceedings of the IEEE International Conference on Acoustics，Speech，and Signal Processing.Hong Kong，China，2003：521－525.

［11］SHI L L，FUNT B.Quaternion color texture segmentation［J］.Computer Vision and Image Understanding，2007，107（1／2）：88－96.

［12］FAREBROTHER R W，GROB J，TROSCHKE S O.Matrix representation of quaternions［J］.Linear Algebra and Its Applications，2003，362（15）：251－255.

［13］金良海.彩色图像滤波与基于四元数的彩色图像处理方法［D］.武汉：华中科技大学计算机科学与技术学院，2008：112－125.

［14］王海姣.颜色信息在车牌识别中的应用研究［D］.大连：辽宁师范大学计算机与信息技术学院，2008：28－29.

The Method of License Plate Location Based on Color and Texture Analysis

WANYan，SHILin－lin，XUXiao－tao
（School of Computer Science and Technology，Donghua University，Shanghai 201620，China）

License plate location is the key technology of license plate recognition.At present license plate color and texture feature were considered in the most license plate location methods，however，these methods had weak adaptability in different environment.So，a new algorithm for license plate location in complex backgrounds is proposed.This algorithm makes full use of the color，texture and geometric characteristics.Firstly the edge information and the texture features of license plate region are used to identify the candidate plates.The complexity of the algorithm is reduced and the accuracy of positioning is also improved.Then combined with prior knowledge，quaternion principal component analysis and K－means clustering method are used to extract features from the candidate area and to classify image by the features，the precise plate is got eventually.This method is proved effective with high speed and accuracy.In particular，it has strong robust performance for complex backgrounds images in complex environments and different lighting conditions.

license plate location；quaternion；principal component analysis；K－means clustering

TP 391.41

A

1671－0444（2013）01－0111－06

2011－09－18

中央高校基本科研业务费专项资金资助项目（B07－3）

万 燕（1970—），女，湖北黄冈人，副教授，博士，研究方向为数字图像处理.E－mail：winniewan＠dhu.edu.cn