自然场景下的车牌分割方法

宁 蒙，张 勇，牛常勇

（郑州大学 信息工程学院，河南 郑州450004）

0 引 言

一个车牌识别系统的字符分割准确度直接影响整牌识别率［1］，目前常用的字符分割方法有垂直投影法、基于连通域的分割法、基于模板匹配的算法等［2－4］。垂直投影法对车牌倾斜较为敏感，不能正确分割倾斜度较大的车牌，容易造成字符断裂及粘连的情况，虽然可通过Hough变换等方法对车牌进行旋转校正，但该方法只适用于有水平倾斜的情况，不适用于垂直倾斜及字符扭曲的情况，并且要求车牌质量良好；而连通域法虽然对车牌倾斜不敏感，但是这种方法不适用于有字符断裂的情况，特别对于汉字的分割影响较大，并且图像二值化时难免会受噪声干扰 （如光照不均匀，对比度低等），造成字符断裂及粘连，从而影响分割；模板匹配法需要检测出的车牌大小符合模板要求，并且即使符合模板要求，对字符倾斜的车牌效果仍然不理想。本文使用一种基于低秩矩阵恢复的方法对图像进行旋转校正，并使用一种改进的niblack 算法对图像进行二值化，有效解决车牌因对比度低、模糊，及光照不均匀造成的二值化效果不理想，通过多次寻找最优阈值的二分法对二值化图像分割，并通过模板校正进行二次寻找最优分割点，能够显著提高车牌分割准确率。

1 图像预处理

在实际应用中，由于检测到的车牌往往具有倾斜性，且易受到光照不均匀、泥尘、边框、铆钉等的影响，在对车牌进行分割之前，有必要对其进行预处理，包括车牌的旋转校正，对车牌图像进行去噪并进行二值化处理。

1.1 旋转校正

根据车牌区域的倾斜情况，大致可分为3 种：水平倾斜、垂直倾斜、复合倾斜［5］，如图1所示。

图1 3种倾斜方式

传统的旋转校正法为Hough变换法，该方法通过检测边框线或字符间的方向性来确定倾斜角，但对噪声较大，对比度较低的图像无法检测到倾斜直线。我们观察到的车牌图像往往是原始车牌经过一系列的仿射或投影变换，再加上随机幅值任意大但是分布稀疏的误差得到的，假设原始车牌图像为A，稀疏误差为E，相应的变换为τ，观察到的图像为D，则有

其中A 与E 是未知的，rank（A）＜rank（D）。恢复D 的低秩结构A，并找到相应的变换τ 即可完成校正。Zhang，Ganesh等［6］提 出 基 于TILT （transform invariant low－rank textures）算法，使用交替方向方法 （alternating direction methods）解决该优化问题，从而找到图像低秩部分A，以及相应的变换τ，完成对图像的校正。找到相应的变换τ为关键，而仿射变换τ 有多种，如旋转、水平剪切、垂直剪切，几个仿射变换的合成仍旧是一个仿射变换，只要找到相应的逆仿射变换即可对原图像进行低秩恢复，即

考虑使用贪心算法进行分级处理，即将变换τ 分解为旋转、水平剪切、垂直剪切的合成。首先将图像进行一定范围内的旋转变换，找到代价最低（使图像秩最低）的旋转变换作为局部最优值，将该变换作为第二级水平剪切的初始变换，基于该初始变换，在一定范围内对图像进行水平剪切变换，同样找到代价最低的水平剪切变换作为第二级局部最优值，基于该局部最优值作为第三级垂直剪切的初始变换，用同样的方法找到第三级的局部最优值作为τ，最后对原始图像进行τ变换即可完成校正，具体算法见表1。

图2为车牌旋转校正效果。

图2 车牌旋转校正

1.2 图像二值化

图像二值化的关键因素为阈值的选取，直接影响到二值化后的图像是否会出现字符断裂、粘连及噪声点现象。根据阈值的运算范围可分为全局阈值法与局部阈值法。全局阈值法算法简单，对整幅图采用一个阈值进行处理，适用于光照均匀、对比度高的图像，传统的全局阈值法有Otsu法［8］，峰谷法、迭代法等。由于自然场景下车牌往往受到光照不均匀等环境因素的影响，全局阈值法往往不能运用于实际。与全局阈值法不同，局部阈值法则是考察每个像素点的邻域来决定每个点的阈值，典型的局部阈值方法有Bernsen法［9］、平均梯度法、niblack法［10］等。局部阈值法可以在一定程度上解决在光照不均匀的情况下使用全局阈值法进行二值化效果不佳的情况，但局部阈值法并不能保证字符笔画的连通性，并且容易造成伪影现象，图3展示了各种方法的二值化效果。

表1 贪心算法寻找最优变换

图3 全局法与局部法二值化效果

图3可以看出，虽然局部阈值法在处理光照不均匀的图像上要优于全局阈值法，但是该方法由于窗口大小选取的问题，很容易出现 “伪影”现象，这是由于过度夸大像元邻域灰度的变化，把不均匀灰度分布的背景分割到目标中去。这里首先考虑对图像进行同态滤波处理，压缩图像亮度，增强图像对比度，然后使用改进的niblack算法对图像进行二值化处理。

1.2.1 同态滤波处理

从图像的形成及其光特性来看，一幅图像是由光源的照度分量i（x，y）以及目标场的反射分量r（x，y）组成，即

同态滤波将灰度值看成照度及反射率的产物，由于照度相对较小，可以看作图像的低频成分，而反射率是高频成分，通过分别处理照度和反射率对像元灰度值的影响达到揭示阴影区。为了能够分别处理这两个函数，对式 （3）进行取对数处理

对式 （4）两边分别进行傅里叶变换得到

这样既可通过一个滤波函数H （u，v）来控制其高频与低频成分即

这样便可分别对图像高频部分与低频部分进行处理，这里为减少因图像光照不足、对比度低、光照不均匀对图像质量的影响，选用指数型高通滤波器，其标准形式为

其中D（u，v）＝ （（u－u0）2＋ （v－v0）2）1／2，表示 （u，v）到滤波中心 （u0，v0）的距离。这里引入高频增益Rh＞1，与低频增益Rl＜1，来抑制低频，增强高频，使图像对比度增强，并引入常数c控制H（u，v）斜面锐化，其形式为

对滤波后的傅里叶变换函数进行反傅里叶变换，并以e为底取指数，便可得到增强后的图像，如图4所示。

图4 同态滤波增强处理

1.2.2 改进的niblack算法

niblack算法根据每个像素点一定邻域内均值和标准差来确定其局部阈值，其实现方法为

其中T（x，y）为原图像 （x，y）处的阈值，m（x，y）与s（x，y）分别为该点的局部均值与局部标准差，该方法对k值较为敏感，很难找到唯一的k值对每一幅图效果都好，因此使用固定的k值往往不能取得很好的效果。Zhang，Tan［11］对niblack算法进行了改进，阈值计算公式为

k与R 均为经验参数，这里k取－0.2，R 取10，为了处理边界像元，对原始图像边界进行镜面扩展。与原始算法相比，改进的算法使用经验参数k 和R 来降低对噪声的敏感度，具体的二值化方法为

其中f（x，y）为原始图像，bw（x，y）为二值化后的图像。本文考虑首先对图像做同态滤波处理，将图像灰度化，提高图像对比度，然后使用改进后的niblack算法对图像进行二值化，图5所示为图3 （a）使用同态滤波处理及改进的niblack算法结合后的二值化效果。

图5 预处理后的二值化效果

可以看出，该方法可以在一定程度上克服伪影现象。

2 车牌图像分割

传统的车牌分割是利用车牌图像二值化后的投影进行的［12］，该方法虽然简单，但是其通过检测字符间白色像素的波谷作为阈值来确定分割点，并且当车牌扭曲及倾斜时易出现字符断裂与粘连的情况发生，并对二值化效果要求较高，传统的二值化方法对模糊图像及光照不均匀图像二值化效果不理想；模板匹配法虽然能够解决字符粘连及铆钉干扰等问题，但是其要求车牌图像尺寸必须尽量规范。针对以上情况，提出一种二分法对投影向量进行多次寻找阈值来确定分割点，并用模板对找到的分割点进行校准的方法。

2.1 水平分割

对车牌进行水平分割，首先使用上文提到的方法对车牌进行预处理。分割之前对处理过的二值化图像进行二次清理，标记所有联通域，并清除白色像素点小于整牌面积0.2%的联通域，进一步排除噪声干扰。对处理过后的二值化车牌做水平投影，车牌高度为r，长度为c，设定水平阈值为hor＿thr＝c／5，从车牌图像上边界到r／2处搜索最后一个水平投影值小于hor＿thr的点的位置，作为字符区域的上边界；同理，从r／2处到车牌底部搜索第一个水平投影值小于hor＿thr 的点的位置，作为字符区域的下边界。将二值化图像上端到检测到的字符上边界，以及检测到的字符下边界到图像底端的区域清零，进一步减小上下边框对垂直分割造成的影响。

2.2 模板校正二分法进行垂直分割

首先根据标准车牌的长度及最佳分割点定义模板框架，并设定偏差阈值，考虑到除第二个字符与第三个字符之间的间隙较大，其余字符与字符间隔相等，故设置两个偏差阈值off＿thr1，off＿thr2。若使用二分法得出的分割线与相应模板框架分割线偏差距离大于偏差阈值，则使用框架分割线强行分割。

定义已分割出的部分为子图，其中长度最长为最大长度子图bwmax，对bwmax进行垂直投影，找到最优分割阈值点，将bwmax分为两部分，并按序加入到子图序列中，重新找最大子图。经过6次迭代得出6条待确定分割线，同时设定全局阈值，分别找到原始投影向量第一个和最后一个大于该阈值的点，作为左右初始分割边界，最后与模板框架进行对比，校正分割线。算法步骤如下：

（1）初始最大子图为原始车牌图像并作垂直投影，求其长度Lmax并将其加入到子图长度序列seq中，定义全局阈值glb＿thr，将原始图像最左端及最右端作为左右初始分割边界，定义模板框架frame＝ ［8／440，67／440，135／

440，203／440，260／440，317／440，374／440，433／440］，

设定偏差阈值off＿thr1，off＿thr2；

（2）求子图个数m，计算每个子图的长度，并找到长度最大的作为最大子图，其长度为lenmax，并记录其在seq中的位置；

（3）对最大子图作垂直投影，并从其中点位置分别向两边lenmax／4.5处搜索出最小值minval，并记录该最小值所处位置，并从该位置将最大子图分为两部分，并分别求两部分长度，按序加入到seq中；

（4）若迭代次数超过6，转 （5），否则转 （2）；

（5）从原始投影图中分别找到第一个和最后一个大于全局阈值glb＿thr的位置；若找到的第一个位置与初始左边界不重合，则清除原始左边界分割点，将找到的第一个位置作为新左边界分割点，否则保持原左边分割点不动；若找到的最后一个位置与初始右边界不重合，则清除原始右边界分割点，将找到的最后一个位置作为新右边界分割点，否则保持原右边界分割点不动。8个待校准分割点均已找到；

（6）原投影向量按frame给出的比例得到8个模板分割点位置，对应的与以上步骤得到的8 个分割点作比较，若距离超过相应的偏差阈值则用模板分割点代替之 （第三条分割线对应的偏差阈值为off＿thr2，其余的对应off＿thr1），否则保持原位置不动，最终得到8个垂直分割点。

3 实验结果与分析

本实验使用三组数据集，均来自郑州某下穿隧道口，其中200张来自白天，200张来自夜晚，200张比较模糊或光照不均匀。如图6所示为部分数据集样本。

图6 实验数据集

实验数据集中，前两行来自白天，中间两行来自夜晚，后两行为比较模糊及光照不均匀的车牌。

本实验分三组进行，分别测试来自白天、夜晚、模糊及光照不均匀场景下的车牌，图7展示了各个场景下的分割效果。

图7 各种场景分割效果

图7中第一列为原始数据，第二列为旋转校正及同态滤波后的灰度图像，第三列为使用改进后的niblack算法进行二值化并清除杂质后的图像，第四列为最终分割效果。其中前两行数据来自白天，光照良好，中间两行数据取自夜晚，其中一幅灯光较暗，另一幅为强光照，后两幅分别为对比度较低与光照不均匀的情况，表2统计的各种场景下车牌分割的准确率。

表2 各种场景下车牌分割准确率

4 结束语

本文运用低秩矩阵恢复对图像做旋转校正及改进的niblack算法对图像二值化完成预处理，并提出一种基于模板校正的二分法的车牌分割方法，通过3种不同场景下的实验，分割准确率均达97%以上，解决了一般垂直投影法因车牌倾斜、对左右结构字体敏感、对模糊及光照不均匀图像二值化效果不佳等造成的错切及字符粘连现象，在一定程度上提高了车牌分割的鲁棒性，可运用于自然场景下。

［1］Singh SP，Tripathy DP，Ranjith PG.Performance evaluation of cement stabilized fly ash－GBFS mixes as a highway construction material ［J］.United Kingdom： Waste Management，2008，28 （8）：1331－1337.

［2］RAN Lingfeng.An algorithm of characters segmentation based on vertical projection for license plate ［J］.Communications Technology，2012，45 （4）：89－91 （in Chinese）. ［冉令峰.基于垂直投影的车牌字符分割方法 ［J］.通信技术，2012，45（4）：89－91.］

［3］GAN Ling，LIN Xiaojing.License plate segmentation based on connected component extraction ［J］.Computer Simulation，2011，28 （4）：336－339 （in Chinese）. ［甘玲，林小晶.基于连通域提取的车牌字符分割算法 ［J］.计算机仿真，2011，28（4）：336－339.］

［4］QIAN Cheng，LU Jue.Research of characters segmentation technology in LPR ［J］.Science Paper Online，2011，6 （1）：64－66 （in Chinese）.［钱成，卢珏.车牌识别中字符分割的研究 ［J］.中国科技论文在线，2011，6 （1）：64－66.］

［5］Pan Meisen，Yan Junbiao，Xiao Zhenghong.Vehicle license plate character segmentation ［J］.International Journal of Automation and Computing，2008，5 （4）：425－432.

［6］Zhang Zhengdong，Arvind Ganesh，Xiao Liang，et al.TILT： Transform invariant low rank textures［J］.International Journal of Computer Vision manuscript，2010，99 （1）：1－24.

［7］Chandrasekaran V，Sanghavi S，Parrilo P，et al.Rank sparsity incoherence for matrix decomposition ［J］.United States：SIAM J Optim，2011，21 （2）：572－596.

［8］Xu Xiangyang，Xu Shengzhou，Jin Lianghai，et al.Characteristic analysis of Otsu threshold and its applications［J］.Pattern Recognition Letters，2011，32 （7）：956－961.

［9］HUANG Teng，SHI Pengfei.Locating vehicle license plates in a non－uniformly illuminated environment［J］.CAAI Transactions on Intelligent Systems，2009，4 （5）：421－426 （in Chinese）.［黄腾，施鹏飞.非均匀光照下的车牌定位方法 ［J］.智能系统学报，2009，4 （5）：421－426.］

［10］Cheng Guojian，Lu Feiyuan，Pan Huaxian，et al.Research on vein image preprocessing based on niblack algorithm［C］／／Series of Information and Management Sciences，2010：164－167.

［11］Zheng Zhang，Tan CL.Restroration of images scanned from thick bound documents［C］／／Proceedings International Conference on Image Processing，2001：1074－1077.

［12］Zheng Lihong，He Xiangjian，Bijian Samali，et al.An algorithm for accuracy enhancement of license plate recognition［J］.Journal of Computer and System Sciences，2013，79（2）：245－255.