基于SVM的偏斜车牌识别

张笑，张明

（上海海事大学信息工程学院，上海201306）

基于SVM的偏斜车牌识别

张笑，张明

（上海海事大学信息工程学院，上海201306）

车牌识别系统一直是当今科研的热点。研究与实现车牌图像以达到SVM（支持向量机）的识别分类格外重要。其中的困难是实现对偏斜程度大的车牌图像识别分类，采用一种扩大图像旋转和仿射变换结合的识别算法。最后利用得到的正视角矩形，用于后期的SVM训练和测试。实验结果表明：该算法适用于复杂的车牌定位环境，而且准确率高和实用性强。

车牌识别；支持向量机；偏斜程度；扩大图像旋转；仿射变换

0　引言

目前图像处理与模式识别技术在智能交通中的应用——车牌识别，其中车牌的精确定位和车牌字符的准确识别是车牌识别系统的关键问题。目前国内外还没有统一的标准用来识别车牌，本文主要研究是大偏斜程度车牌的定位和识别，这是基于下一步字符识别的前提，在车牌识别系统中占有很重要的地位。

一般的车牌定位方法都会遇到同样的问题，即通过给定阈值来获取ROI区域，而通过阈值的最小矩形ROI区域的视角并非是正视角，最小矩形ROI区域的车牌也未必是正角矩形，如果把整个图像旋转，则算法效率太低，就算对整个图像旋转成正视角图像，但是ROI中的车牌也并非是正角矩形，这极大地影响后面的车牌识别，导致识别效率低。

本文首先利用HSV颜色空间［1］和边缘特征获取大程度偏斜图像［2］的车牌，为了避免整个图像旋转的计算量大问题，使用对截取的ROI区域进行旋转来减少计算时间，之后利用扩大旋转方法和仿射变换方法来获得正视角的正角矩形车牌。至此，就可以利用此车牌来进行SVM训练［3］，训练的结果可以用来后续的测试［4］，也可以识别一幅图像中多个车牌。实现证明：此方法较好地解决了偏斜程度大车牌图像的识别准确率，可以运用到以后的项目中。

1　车牌识别

1.1识别分类流程

车牌识别的大体流程如图1所示，主要分为HVS颜色定位、正视角判断、扩大旋转、四边形判断、仿射变换、SVM训练和测试。即通过交通采集的大程度偏斜图像进行HSV定位车牌，然后一步一步进行修正处理，最后得到正视角车牌给SVM训练和测试。

图1　车牌识别分类流程

1.2颜色定位

采集到合适的图像是完成车牌识别的前提，本次实现采用的是交通拍摄的图片，百度或其他网站下载的图片由于像素、大小、分辨率等原因可能识别效果不是很好。本文使用HSV颜色模型来定位车牌。其中H表示色调，S表示饱和度，V表示亮度。由RGB模型到HSV模型的转化公式如下：

其中，max=max（R，G，B），min=min（R，G，B）

中国车牌有4种颜色包括蓝色、黄色、黑色和白色，由统计数据可得到各颜色在HSV空间中的范围，如表1所示。

表1　车牌颜色HSV分布

车牌定位方法如下［1］：

（1）将图像的颜色空间从RGB转为HSV，对于图像使用直方图均衡进行预处理；

（2）依次遍历图像的所有像素，当H值落在200-280之间并且S值与V值也落在0.35-1.0之间时标记为白色像素，否则为黑色像素；

（3）对仅有黑白二值图使用闭操作，取轮廓等方法截取外接矩形出来。

1.3正二值化

通过判断是否是正视角矩形或者角度差在正负5度左右，如果是可以直接进行训练，如果不是，将进行扩大图像处理。将颜色定位的图像加强，能够更加清晰车牌与背景的区别，采用正二值化方法公式如下：

直接采用上述的二值化后的图像旋转，计算量大，增加系统处理时间，所以采用外接含有车牌部分图块得到外接矩形ROI块，并保存ROI块到新的图像中，不在和原来图像有任何关联，首先了解简单旋转如下图2：

图2　旋转矩形

产生三个问题：

（1）一种是在原图像对应点且还在视框内的，这些点被正常显示；

（2）另一种是在视框内但找不到原图像与之对应的点，这些点被置0值（显示为黑色）；

（3）最后一种是有原图像与之对应的点，但不在视框内的，这些点被抛弃。

解决方法：新建一个尺寸为原始图像1.5倍左右的新图像，显示区域扩大以后，把原始图像映射到新图像上，那些在原图像中没有值的像素被置了一个初值。于是我们得到一个包含所有感兴趣区域的，都被完整显示的旋转后图像。

1.4判断车牌是否是四边形

为了判断正二值化图像中白色部分是否是平行四边形。就是直在获取的ROI中获取其矩形的四个坐标点如下图3：

图3　ROI图块

为了实现一个鲁棒性更好的计算方法，用这四个点来计算斜率。判断平行四边形是左斜还是右斜公式如下5所示：

1.5仿射变换

在实现了旋转功能后，并且在旋转后的区域中截取了车牌区域ROI，然后判断车牌区域中的图形是平行四边形。那么平行四边形如何变换成一个直角矩形？仿射方法要求输入的参数是原始图像的左上点，右上点，左下点，以及输出图像的左上点，右上点，左下点。如图4将矩形变成四边形，注意必须保证这些点的对应顺序，需要的是三个点对（共六个点）的坐标，然后建立一个映射关系，将原始图像的所有点映射到目标图像上。

图4　变换原理

而目标是把车牌区域中的平行四边形映射为一个直角矩形。选取了车牌区域中的平行四边形车牌的三个关键点，然后再确定车牌扭正成的矩形的三个关键点，但是图像会根据斜率的正负，而左偏或右偏。需要采取办法调整，为保证新的正视框中心能够正好与车牌的中心重合，只要选择偏移xidff/2长度。正如下图5所显示的一样。

图5　仿射变换

坐标调整意旨当中心点保持不变时，平行四边形扭正为矩形时，恰好是左上的点往左偏移了xdiff/2的距离，左下的点往右偏移了xdiff/2的距离，形成一种对称的平移。

1.6SVM训练和测试

（1）训练过程［4］

至此，已经完美的将大偏移程度的车牌扭转成正视角的正角矩形，此时就可以用来训练，注意在第一步通过HSV得到的不一定是正真的车牌，同样需要进行上面的所有步骤进行扭转得到样本。将SVM训练参数设置为自动训练参数，将车牌和非车牌一起训练并且打标签，是车牌的打1标签，非车牌的打0标签。最后发现可以测试单幅图像中多车牌的情况。

（2）评价

但是实际过程中用生成的SVM模型去测试数据时，也会产生一个预测标签，与定义的标签存在误差，这是模型的误差。下面两种误差，①图片是真车牌，而SVM模型判断是非车牌；②图片不是车牌，SVM判断是车牌。设计两个指标就是下面要说的“准确率”（precision）和“查全率”（recall）。准确率是统计已经预测为车牌的图片中真正车牌数量所占的比例。查全率表示统计真正车牌中，统计出为车牌数量的比例。用ptrue_rtrue表示预测（p）为车牌并且实际（r）为车牌的数量，而用ptrue_rfalse表示实际不为车牌的数量。而pfalse_rtrue表示实际为车牌，但预测为非车牌的统计数量。

机器学习引入了Fscore［5］这个数值。当precise和recall两者中任一者比较高，而另一者比较低的，Fscore都会较低。两者中等的情况下Fscore表现比一高一低要好。当两者都很高时，Fscore会很高，计算公式如8：

2　实验结果与分析

2.1实验说明

实验程序是在Visual Studio 2013软件上开发，使用开源计算机视觉库OpenCV3.0.计算机硬件：Intel Pentium CPU主频2.5GHz，内存4GB。

2.2偏斜程度大的车牌图像的扭正

实验数据采用的是交通图像，图像像素大小一般没有限制，实验实现了偏斜程度大的车牌的扭正。如下图6：

图6　扭正过程

由图可知：通过HSV定位后的车牌，通过二值化后更加清晰可见，使用外接矩形法可以减少计算量，扩大旋转法保证了图像不会丢失信息，并且仿射变换能够将平行四边形的车牌扭成正视角矩形，其效果明显可见。

2.3SVM车牌识别分类

利用SVM将最后得到车牌和非车牌进行训练和测试，并将SVM训练参数设置为自动训练参数。利用HSV可以定位到图像中多车牌，将得到图块进行训练和测试如下图7：

图7　SVM识别过程

由图可知，可以识别一幅车牌图像中有多个车牌的定位，再用SVM测试集来测试车牌，这样就可以判断是否是车牌，解决了大尺度偏斜程度能够提高SVM训练效果。经过测试车牌的识别率提高到90%以上。

2.4性能评价

SVM训练集、训练集以及性能评价如下表3和表4：

表3　训练数据

表4　测试数据

从表中可以看出：当选用是车牌和非车牌结合的SVM训练集中，识别率达到92%；当选用是车牌和非车牌结合中，precise准确率为87.5%；当只有真实车牌时，查全率recall为97.8%；而Fscore为92.3%，所以偏斜程度大的车牌扭正之后识别率超过了90%。

3　结语

本文很好地解决了偏斜程度大的车牌图像识别过程，首先利用HSV参数范围定位中国车牌，然后正二值化，以及如何减少整个图像旋转的计算量，利用扩大旋转方法解决了图像旋转之后会丢失信息的问题，同时通过仿射变化把平行四边形修正成正视角正角矩形，在得到的所有车牌或非车牌通过SVM训练的得到训练集用来测试所给的任意交通车牌图像。实验结果证明，本文采取的扩大旋转和仿射变换结合的方法有利于车牌的识别和提高了识别效率，具有很强的实用性，有利于后期的字符识别，为字符识别提供了可靠的车牌图像块。

［1］王夏黎，周明全，耿国华．一种基于HSV颜色空间的车辆牌照提取方法［J］．计算机工程，2004，30（17）：133－135．

［2］王国良，梁德群．一种新的车牌定位与倾斜校正方法［J］．计算机应用，2008，28（7）：1890－1891．

［3］刘江华，程君实，陈佳品.支持向量机训练算法综述［J］.信息与控制，2002（01）.

［4］David M.J.Tax，Robert P.W.Duin.Support Vector Data Description［J］.Machine Learning，2004（1）.

［5］Kaushik Deb，Ibrahim Khan，Anik Saha，Kang-Hyun Jo.An Efficient Method of Vehicle License Plate Recognition Based on Sliding Concentric Windows and Artificial Neural Network［J］.Procedia Technology，2012.

Skew License Plate Recognition Based on SVM

ZHANG Xiao，ZHANG Ming
（Department of Information Engineering，Shanghai Maritime University，Shanghai 201306）

LPR system has been a hot research today.Research and implementation of license plate images to achieve the SVM classification identify is particularly important.Which it is difficult to achieve a large degree skew license plate image recognition and classification，uses a combination of expanded image rotation and affine transformation recognition algorithm.Finally gets a positive perspective rectangle for the latter part of SVM training and testing.Experimental results show that：the algorithm is suitable for complex license plate positioning environment，and has high accuracy and practicality.

License Plate Recognition；Support Vector Machine；Skew Degree；Expanded Image Rotation；Affine Transformation

1007-1423（2016）23-0064-05DOI：10.3969/j.issn.1007-1423.2016.23.016

张笑（1991-），男，江苏淮安人，硕士研究生，研究方向为图像处理技术与模式识别开发

2016-05-19

2016-08-10

张明（1957-），男，江苏盱眙人，博士，教授，研究方向为多媒体信息处理、计算机视觉、人工智能等