基于最小二乘法和Radon变换的车牌校正算法

陈 航，李晓东，李云红，田冀达

（西安工程大学 电子信息学院，陕西 西安710048）

0 引 言

作为智能交通系统的重要组成部分，车牌识别系统的实现一般包括车牌定位、字符分割和字符识别3部分.车牌校正属于车牌定位的一部分.在对车牌进行粗定位后，由于粗定位图像有倾斜且还包括边框等其他不属于车牌字符的区域，不适合直接分割字符，需要先将粗定位图像进行倾斜校正，然后对校正后的图像进行精确定位，找到车牌字符部分图像，为下一步字符分割打下基础.

车牌识别算法经过多年来的研究和发展，取得很多进展和成果［1－3］.车牌校正是对车牌字符部分的倾斜和形变进行校正［4］.现阶段校正方法主要分为以下几类，一种是基于主成分分析的校正，它的核心思想主要是将图像信号进行降维操作，将二维信号通过投影到主成分方向变为一维信号，求取一维信号的离散度最大的投影方向，也就是方差最大的方向，即为主成分的方向，然后可以将倾斜图像转换到校正图像；另外一种方法利用Radon变换，遍历一定的角度范围，并对变换后的结果求一阶导数绝对值的累加和，累加和的最大值对应的角度即为倾斜角，从而得到倾斜图像的水平倾斜角和垂直剪切角，然后得到转换矩阵，进而求得校正图像［5－11］；而采用Hough变换主要为检测图像中直线，其中最长直线的倾斜角度即为字符倾斜角［12］.这些方法都有各自的优点和缺点，基于主成分分析的校正方法计算复杂度要明显小于基于Radon变换的校正方法，校正速度快，有利于车牌识别的实时性，但是主成分分析法根据算法原理来看，它只适用于有水平倾斜角，而没有垂直剪切形变的车牌图像，而车牌往往不能避免垂直剪切形变，且易受干扰，所以限制了主成分分析的应用范围.Rough变换主要是通过检测直线求取倾斜角，但是易受干扰，误差较大.本文采用最小二乘法，针对字符特征信息点进行拟合，可有效去除一些干扰信息，提高拟合精确度，减少计算复杂度，能够很好地得出水平倾斜角；在垂直方向采用Radon变换能解决主成分分析法和Hough变换所不能解决的问题，且抗干扰能力强.

1 车牌的倾斜模型

通过图像采集设备得到的待识别图像，在排除车牌本身的物理形变外，由于拍摄方向及拍摄角度的问题而使图像产生倾斜形变，其数学模型可表示为一张正常的车牌图像经过一次垂直剪切形变和一次水平倾斜形变而得到.而要校正倾斜的车牌图像，只需要进行此过程的逆操作即可.

首先如图1（a）所示，对倾斜车牌图像进行水平校正.此过程相当于将车牌的每个点绕原点逆时针方向转动水平倾斜角度α.设倾斜车牌中一个点为P（x，y），水平校正后的对应点为P′（x′，y′），其变换公式可表示为

水平校正完毕后，进行垂直校正，垂直方向一般是剪切形变，只需要进行剪切变换即可.如图1（b）所示，y坐标不变，x坐标发生变化，变换公式为

综合以上可得，校正算法的本质在于在校正图像与倾斜图像的像素之间建立了一个映射P″＝AP，再通过插值算法即可得到校正图像.

2 校正算法的实现

车牌校正算法的目标在于求得变换矩阵A，将校正图像与倾斜图像的像素建立对应关系.由前述可得，矩阵A可由Radon变换、Hough变换或者主成分分析法等得到.文中将综合应用最小二乘法和Radon变换完成车牌校正.

首先采用最小二乘法来对车牌进行水平校正，再利用Radon变换求得垂直剪切角，然后进行剪切变换，最后得到校正图像.这样既可改善主成分分析应用局限的问题，又改进了传统Radon变换求两个角度方法的实时性.

图1 校正原理Fig.1 The correction principle

2.1 车牌字符特征点提取

由于主要考虑字符的倾斜角度，所以直接对字符特征点进行数据处理，不仅减小了数据量，也避免了车牌非字符部分的干扰，也使得所求结果更为精确.字符特征点的提取方法有基于车牌边缘信息法和车牌字符区域边缘颜色对法等.

其中基于车牌边缘信息法可以从求垂直和水平差分来得到.首先得到车牌区域图像，将其灰度化，逐行求其差分，即左右相邻两列像素值相减，可得水平差分图，然后设定一个阈值，差分值小于阈值的点置0，大于阈值的点置1.

基于车牌字符边缘颜色对的方法主要是将彩色图像从RGB空间转换到HSV空间，这样可避免亮度的干扰，可以在HSV空间通过设定阈值确定像素的颜色.以最为常见的蓝白车牌为例，如果一个像素为蓝色，而其相邻像素存在白色，或者反过来，那么这个像素点可确定为字符特征点.

2.2 最小二乘法求水平倾斜角度

求得字符特征点后，将所有特征点放到一个直角坐标系，所有特征点沿着某一个特定方向呈延伸状，于是通过最小二乘法拟合一条直线，直线的斜率即代表车牌的倾斜角度.

假设拟合直线可表示为φ（x）＝a＋bx，只需要求得a，b即可.根据最小二乘法原理可知，需要求的函数为

目标为求得式（3）最小值，其中m为特征点的个数.分别对a，b求偏导数，令偏导数为零即可得

用矩阵形式表达

2.3 Radon变换求垂直倾斜角度

可用函数f（x，y）表示一幅图像，其中x代表行，y代表列，f为其像素值.而图像函数在任意顺时针角度θ上的Radon变换定义为

由Radon变换在二维图像上的实际意义及先验知识可得，当图像正常时，列投影的差分绝对值和最大，由此即可求出图像的垂直倾斜角度.

3 结果与讨论

3.1 求特征点

基于字符边缘信息得到车牌区域图像中的字符特征点.首先将图2（a）原始图像转换为灰度图，由于车牌字符的信息主要集中在垂直方向，所以只需求得水平差分图，即将图像的每一列像素与其前一列像素相减.主要算法过程如下：

（1）首先将目标车牌图像灰度化；

（2）将灰度图像矩阵的每一列减去与之相邻的前一列，得到水平差分图；

（3）设定阈值，将差分图二值化，得到字符特征图.实验结果如图2（b）所示.

3.2 水平校正

提取特征图像中所有的白色像素点，置于直角坐标系中，其中行坐标看作坐标系中的纵坐标，列坐标看作横坐标，所有白色像素点在坐标系中组成一个数据集，采用的最小二乘法拟合算法过程如下：

（1）将得到的特征点移入直角坐标系，其中特征点的列标记为x值，行标记为y值，组成特征数据集.

（2）将坐标系中的数据集均值归零化，即用每个点的坐标值减去数据集的平均值.

图2 提取特征前后对比Fig.2 Comparison of feature before and after extraction

（4）根据得到的倾斜角度，旋转原图像即可得到校正图像.校正结果如图3（a）所示.

3.3 垂直校正

将水平校正图像去除上下边框，然后将垂直校正完毕的图3（a）进行从［－30°，30°］的Radon变换，找到水平剪切角度，再进行剪切变换得到校正图像图3（b）.具体算法步骤如下：

（1）首先将垂直校正完毕的图像在［－30°，30°］的范围内，以1°为步长对图像进行Radon变换.

（2）对于每次Radon变换的结果求一阶差分绝对值的累加和.

（3）所以每个角度对应一个差分累加和，找出累加和最大值对应的角度即为车牌字符垂直倾斜角度.

图3 校正结果Fig.3 The correction results

3.4 分析与比较

通过实验过程，可以看到特征点的选取对于水平校正起着关键的作用.特征点提取的好坏直接关系着最小二乘法的拟合，需要选择与车牌字符倾斜方向相关度最大的特征点，同时尽量去除过多的无关特征点，否则会引入噪声，导致水平校正失败.

图4（a），图4（b）分别采用不同特征点进行校正.其中图4（a）中特征点拟合的角度为4.24°，图4（b）为2.00°，同时采用 Radon变换的结果为4°，而Radon变换的误差范围为1°，可知水平倾斜角度为3°～5°，由此可知水平差分特征点拟合结果最佳.

由上面的实验结果以及式（3）可得，它的拟合条件是垂直方向的，与水平差分所表现的特征一致，并且相关性最大.所以选择水平差分点作为字符倾斜方向特征点是合理的.而且水平校正的准确度与特征点的选取密切相关.

在垂直校正部分，选择Radon变换求取垂直剪切角，在［－30°，30°］范围内以1°为步长进行的Radon变换，所以误差为1°，当垂直剪切较小时，可能出现如图3（b）的第二张校正图像的情况.

对比最小二乘法和Radon变换，最小二乘法只需要计算矩阵A和B，再求A的逆阵与B相乘即可得到水平倾斜角，而Radon变换法则需要在［－30°，30°］的范围逐个计算Radon变换，且Radon变换的特征点不会小于最小二乘法，其每个角度Radon变换的计算复杂度比最小二乘法要高，可知Radon变换算法的计算复杂度比最小二乘法要高2～3个量级.

采用Matlab软件在个人计算机上编程实现算法，并对一个包含200幅测试图像的图像集进行算法测试，测试结果表明有效校正率可达到96%，且相比于Radon变换法，最小二乘法进行水平校正能缩小校正算法运行的平均时间，满足车牌校正的适用性和实时性的要求.

图4 根据不同特征点校正结果Fig.4 Correction results according to the different features

4 结束语

校正倾斜图像一般分为水平倾斜校正和垂直剪切校正.在进行水平校正时，首先通过求图像的水平差分并设定阈值，确定车牌字符水平倾斜的相关特征点，然后通过水平特征点拟合直线来代表字符水平倾斜角度.在垂直剪切校正时，第二部分通过在［－30°，30°］范围内以1°为步长进行Radon变换寻找到剪切角，最后校正图像.本文阐述了特征点的选取原则，同时倾斜角度的求取是基于倾斜方向相关特征点的，所以具有很强的抗干扰性.同时也发现了一些不足，即在垂直剪切校正时，存在校正精度与算法复杂度相矛盾的问题.文中综合最小二乘法和Radon变换对倾斜车牌进行校正，并通过对特征点选取原则的阐述，为图像倾斜快速校正提供了一种新思路和方法.

［1］于明，李延果，于洋.融合 Hough与 Radon变换的车牌倾斜校正算法［J］.控制工程，2013，20（6）：1014－1017.YU Ming，LI Yanguo，YU Yang.A license plate tilt correction algorithm combined Hough and Radon transform［J］.Control Engineering of China，2013，20（6）：1014－1017.

［2］刘威.车牌倾斜校正算法研究［J］.制造业自动化，2014，36（11）：85－87；92.LIU Wei.Study on a novel tilt correction approach of license plate［J］.Manufacturing Automation，2014，36（11）：85－87；92.

［3］陈玲，李熙莹，卢林.车牌倾斜校正算法研究与改进［J］.计算机与现代化，2013，12：91－97.CHEN Ling，LI Xiying，LU Lin.Research and modification of license plate tilt correction algorithms［J］.Computer and Modernization，2013，12：91－97.

［4］黄骥，吴一全.基于颜色对特征点主成分分析的车牌校正方法［J］.中国图象图形学报，2008，13（4）：642－645.HUANG Ji，WU Yiquan.Slant correction of vehicle license plate based on color pair principal component analysis［J］.Journal of Image and Graphics，2008，13（4）：642－645.

［5］吴丽丽，余春艳.基于Sobel算子和 Radon变换的车牌倾斜校正方法［J］.计算机应用，2013，33（增刊）：220－222.WU Lili，YU Chunyan.Tilt correction method of license plate based on Sobel operator and Radon transform［J］.Journal of Computer Applications，2013，33（Suppl）：220－222.

［6］籍美苹.车牌定位算法的研究［D］.重庆：重庆大学，2014：45－49.JI Meiping.Research on the algorithm of license plate location［D］.Chongqing：Chongqing University，2014：45－49.

［7］杜晓刚.车牌识别系统中牌照定位、倾斜校正及字符分割技术的研究［D］.太原：中北大学，2013：26－35.DU Xiaogang.License plate recognition system of license plate location and tilt correction and character segmentation technology research［D］.Taiyuan：North University of China，2013：26－35.

［8］ROBERT Jenssen.Kernel entropy component analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（5）：847－860.

［9］向荣，周慧娟.一种基于数字图像处理的精确车牌识别系统［J］.武汉理工大学学报：交通科学与工程版，2013，37（1）：213－215.XIANG Rong，ZHOU Huijuan.A precise digital image processing－based LPR recognition system［J］.Journal of Wuhan University of Technology：Transportation Science ＆ Engineering，2013，37（1）：213－215.

［10］王洪亚.一种改进的 Radon倾斜校正方法［J］.大庆师范学院学报，2013，33（6）：18－21.WANG Hongya.Improved method for Radon tilt correction［J］.Journal of Daqing Normal University，2013，33（6）：18－21.

［11］孙学彬，莫林，张福元.基于垂直线条密度质心法的车牌倾斜校正［J］.计算机技术与发展，2014，24（8）：161－164.SUN Xuebin，MO Lin，ZHANG Fuyuan.Vehicle license plate tilt correction based on density centroid method of vertical lines［J］.Computer Technology and Development，2014，24（8）：161－164.

［12］王少伟，尚媛园，丁辉，等.一种改进的 RGB Hough车牌校正定位算法［J］.光学技术，2014，40（1）：35－39.WANG Shaowei，SHANG Yuanyuan，DING Hui，et al.An improved license plate correction and localization algorithm based on RGB Hough［J］.Optical Technique，2014，40（1）：35－39.