面向车牌字符分割的图像预处理方法研究

赖道亮，赵 平，钟 昆，牛新征

(1.西南财经大学经济信息工程学院，成都 611130;2.自贡市公安局交通警察支队，四川自贡 643000;3.电子科技大学计算机科学与工程学院，成都 611731)

0 引言

在车牌字符分割中，车牌的预处理是整个分割过程的重要组成部分。然而车牌在使用过程中，难免会出现磨损、畸变、颜色褪变等情况，并且由于拍摄硬件和拍摄环境的干扰，会造成车牌的成像模糊，这对车牌进行精准的分割造成了极大的挑战。因此在进行车牌的字符分割前，消除干扰因素，强化成像效果是极其重要的。

文献［1］通过改进二值化阈值选取的方法来进行车牌预处理，然而该方法对强光和污损的车牌，字符和背景的区分效果并不理想。文献［2］基于边缘检测的方法来区分背景和字符区域，当车牌颜色褪变、车牌磨损时，字符和背景存在较多边缘交集，进而无法区分字符和背景。文献［3］和文献［4］通过改善车牌光照情况来提升车牌的图像质量，对强光下的车牌有一定的提升，但是当车牌破损、背景不均匀时效果不明显。上述方法几乎都是基于车牌的灰度图像进行处理，由于灰度图融合RGB颜色空间信息，使得在各颜色通道产生的干扰均得以保留，不利于干扰特征的消除。为解决基于灰度图预处理方法的缺陷，本文提出了基于图像RGB颜色空间R通道的预处理方法，该方法对各种成像干扰下的车牌图片都能表现出较好的效果。方法的处理流程如图1所示。

图1 预处理流程

1 车牌预处理

1.1 基于R通道的车牌预处理

本文主要研究民用车牌，即蓝底白字的车牌。车牌的长期使用，环境对车牌造成了不可逆转的图像质量下降。探索车牌在各种干扰因素下图像的稳定表现形式，成为了本文的研究核心。图像的颜色空间有 RGB，HSI，HSV，YUV等，由于RGB空间各个通道侧重表现红色、绿色、蓝色，并且车牌底色为蓝色，因此采用RGB空间单个通道进行处理，将有利于对字符和背景进行区分，同时也将减少成像干扰的影响。基于上述考虑，下面分别展示不同情况下车牌的灰度图，RGB颜色空间各个通道的图像，如图2所示。

图2 车牌灰度图、R、G、B通道图

图2(a)为灰度图，图2(b)为R通道图，图2(c)为G通道图，图2(d)为B通道图，其中第1列为标准的车牌，第2列为高亮的车牌，第3列为车牌颜色褪变损坏严重的车牌。通过对图2第2列的观察，很容易发现，针对高亮的车牌，G通道和B通到的图像几乎无法正常观察车牌的字符。对比图 (a)和图 (b)，可以直观感觉到R通道的图像，车牌的字符和背景的对比度要高于灰度图。为了进一步的验证观察的结果，本文采用RMS对比度评价方法来对车牌图像做一个对比度分析。其中RMS的计算公式为:

N表示图像的宽度，M表示图像的长度，表示图像所有像素的平均值，表示图像第行列的像素，公式的最终计算结果为图像的对比度，图像的对比度和公式 (1)的计算结果成正相关。图2对比度如表1所示。

表1 车牌灰度图和RGB各通道图对比度

对比表1中的数据，可以推断在R通道中车牌图像保持有较好的对比度，G通道和B通道对比度稳定性较差。车牌是蓝色的底色，而B通道主要表现的是蓝色信息，这样就造成了车牌背景和车牌字符之间的区分度降低。当车牌颜色蜕变时，通常比较接近绿色，所以G通道最后效果不理想。R通道和车牌蓝色的底色差异大，因此更明显的突出了车牌背景和车牌之间的对比。灰度图是综合了3个通道的信息计算得到的，所以灰度图保持着和G通道和B通道的依赖关系，因此鲁棒性相对R通道要弱。

1.2 改进的对灰度拉伸算法

通过1.1节对车牌图像对比度的分析，本文得到车牌在R通道下具有较高的图像对比度。为了进一步提高图像的对比度，本文采用灰度拉伸［5］的图像增强方法来继续突出车牌背景和车牌字符的差异。灰度拉伸的计算公式如下所示:

为了使灰度拉伸方法完美的使背景和目标分离，关键是确定像素值的两个边界a，b。假定图像的像素取值为［0，255］，图像大小为M*N，计算a，b的算法描述如下。

Step 1:初始化参数背景比例u，目标占比重v。

Step 2:遍历整个图像，统计每个像素值出现的次数，用数组p［i］保存，i取值为 ［0，255］;

Step 3:计算每个像素值出现的频率q［i］ =p［i］ /M*N，i取值为 ［0，255］;

Step 4: 计算 q［i+1］ =q［i+1］ +q［i］，i取值为［0，254］;

Step 5:顺序遍历q［i］，当时q［i］＜=u，令a=1;反序当 1－q ［i］ ＜=v时，令 b=i。

Step 6:算法结束，得到a，b。

算法的流程如图3所示。

算法的时间复杂度为，即。算法的关键在于要判断出背景和目标的比重。在车牌中，本文采用车牌字符的有效比重为10%，即，背景的有效比重为50%，即。通过对R通道车牌图片进行灰度拉伸，得到实验的结果如图4所示。

图4(a)为灰度拉伸处理结果，图4(b)为改进的灰度拉伸处理结果。从图4第3列的对比可以发现，改进后的灰度拉伸方法对车牌破损的情况，极大的提升了车牌字符和背景的对比度。通过改进灰度拉伸方法后，采用OUTS(大津算法)［6］对灰度拉伸后的车牌图像进行二值化处理，如图5中展示了二值化后的结果，此时车牌字符与背景已

其中，f(x，y)为原图像素值，g(x，y)为灰度拉伸后图像像素值，a，b表示像素值的两个边界，c，d表示要最终拉伸的像素值区间 ［c，d］。通过观察公式，当a≤f(x，y) ＜b时，如果 d－c＞b－a，那么 g(x，y) ＞ (x，y)，对像素值进行了提升。然而针对破损严重的车牌，车牌字符和背景的部分区域对比度较低，如图2的第3列所示，因此需要抑制和车牌字符接近的区域。针对这种情况，对灰度拉伸公式进行了调整改进，如下所示:经完全分离。

图3 a，b计算流程

图4 灰度拉伸处理

图5 二值化效果

2 投影和模板匹配车牌分割算法的改进

车牌预处理完成后，依然存在边框和字符倾斜的情况，本文采用文献［7］和文献［8］中的方法分别进行车牌上下边框的去除和车牌倾斜矫正，结果如图6所示。然后得到车牌图像的垂直投影如图7所示，其中中间车牌的投影存在粘连的情况。

图6 去除上下边框和倾斜矫正

常用的车牌字符分割方法有投影和模板匹配的方法［9］，投影的方法针对字符有粘连的情况表现乏力，并且针对“川”，“沪”等汉字投影不连通的情况无法准确得到字符的位置;模板匹配的方法根据车牌字符之间固定的尺寸规律可以忽视字符粘连的情况，但是需要事先知道字符的具体位置。文献［10］和文献［11］采用了投影和模板匹配相结合的方法，充分利用两种方法的优点，但是文中提出的模板依赖车牌尺寸，难以适用现实中车牌尺寸变化的问题。本文提出了一种改进的模板，使模板匹配的方法鲁棒性更好。

图7 车牌投影

图8 车牌示意图

如图8车牌的简单示意图所示，a1～a7表示字符中心到车牌左边界的距离，dmin表示字符间较小的距离，dmax表示字符间较大的距离，计算字符中心到车牌左边界的相对距离为:

为车牌的长度，根据公式 (4)计算标准车牌字符中心位置到车牌左边界的相对距离如表2所示。

表2 字符中心相对车牌左边界的相对距离

本文字符分割的核心思路为，利用投影找到疑似车牌字符的中心位置，用公式 (4)计算这些位置的相对距离，然后和表2中数据匹对，从而确认哪些疑似的位置为字符的位置，用确认的字符位置去计算未知字符的位置。计算的流程图如图9。

详细的算法如下。

Step 1:按标准的车牌比例缩放车牌到固定大小;

Step 2:从右到左遍历车牌的垂直投影图像，当投影的两个波谷的距离大于字符长度的一半、小于字符长度的1.5倍时，判断为字符的可疑区域，当存在“1”的特殊情况时，可以根据“1”离左右投影距离较大的特征加入可疑区域，然后计算这些可疑区域的中心位置，最多得到6个可疑的中心位置，停止遍历，进而由公式 (4)得到中心位置的相对距离;

Step 3:用得到的可疑中心位置的相对距离和表2中的标准相对距离匹对，当匹对误差小于0.06时，可以确定可疑的中心位置对应的是第几个车牌字符。

图9 字符分割流程

Step 4:通过已经确认的字符中心位置，利用字符之间的距离，推断出未确定位置的字符，从而得到所有字符中心位置;

Step 5:把字符的中心位置向左右扩展，直到左右边界的距离不大于字符的宽度，由此得到所有字符的左右边界距离，完成字符的分割。

算法中设定最多确认6个可疑的中心位置，一方面因为汉字笔画之间存在断裂，投影的方法无法得到所有字符的位置，另一方面通过模板可以推断其它未知字符的位置。由表2所示，相对距离之间的差值接近0.13，所以刚好是字符的左右边界的相对距离，取配对误差为0.06，提高了可疑的中心位置和标准中心位置匹配成功的概率。利用本文的分割算法，字符的分割结果如图10所示，成功分割出了车牌的字符，并且克服了字符粘连的情况。

图10 字符分割结果

3 实验对比及分析

本次实验采用某市卡口车牌图片以及网上收集的车牌图片作为测试数据。测试数据集分成高亮、过暗、颜色褪变3个部分，每个部分有200张车牌图片，部分数据展示如图11所示，前2张为高亮车牌，中间2张为颜色褪变车牌，最后2张为过暗车牌。观察图11(a)中所示原图，车牌由于光照和使用周期的影响，车牌字符和背景对比度不高，颜色的褪变，造成了字符和背景表现出极大的粘连性。

3.1 车牌预处理测试

为了测试本文预处理方法的有效性，本文和文献 ［4］进行了车牌预处理对比实验，两种方法预处理之后的部分效果如图11(b)和11(c)所示。对比两种方法的预处理结果，文献［4］预处理后，字符的笔画较粗，尤其针对车牌颜色褪变的情况，字符和背景像素值极为接近，这样很容易导致二值化后，字符粘连在一起。如图11(d)文献［4］二值化效果，字符之间间隙很小，在颜色褪变的情况下，字符已经粘连在一起，甚至字符轮廓都难以辨认。图11(e)是本文的二值化效果，相比文献 ［4］的结果，字符的间隙变大，同时轮廓很清晰。本文的预处理效果，极大的降低了字符的笔画宽度，字符和背景对比度提升，处理效果直观上优于文献［4］中的方法。

为了更精确的评估两种方法的预处理效果，本文采用文献［4］的指标进行测试，分别为图像均值、图像清晰度、图像方差。图像均值反映了图像整体像素分布情况，均值间接反映了字符占整个图像的比重，均值越小，字符之间产生粘连的概率越小。图像清晰度反映了字符和背景的对比度。图像方差反映了数据和均值的偏离程度，同时也刻画了字符和背景的对比度。表3是所有高亮、颜色褪变、过暗车牌评估指标统计结果。两种方法相对于原图在均值、清晰度、方差上都有了极大改善，本文方法在各种车牌情况下，清晰度和方差和文献［4］的结果十分接近，但是均值明显比文献［4］的结果小。表4是所有车牌评估指标的统计结果，本文方法预处理后，均值相对文献［4］降低了24.7%，结合前面的分析，说明本文处理方法相对文献［4］极大减轻了字符粘连的情况，提高了后面字符分割的准确率。

表3 3种车牌环境下预处理实验结果

表4 所有车牌预处理实验结果

3.2 车牌字符分割测试

分割算法都采用第2节提出的算法，表5展示了文献［4］和本文的预处理方法，在不同的车牌条件下字符分割的准确率。本文方法和文献［4］方法比直接对原图进行字符分割准确率有了很大提升。针对车牌高亮和过暗的情况，本文方法略优于文献［4］的方法，当针对颜色褪变的车牌时，本文方法的分割准确率比文献［4］高出15%，因此说明本文在针对车牌颜色褪变情况的预处理效果优于文献［4］。本文整体分割准确率达到了99%以上，相比文献［4］有了不小的提升，因此也间接说明了本文提出的预处理方法的有效性和鲁棒性。

表5 车牌字符分割准确率

4 结束语

车牌预处理的关键点在于消除车牌字符外的其它干扰因素，使车牌字符和背景完全分离。本文重点研究了车牌不同表现形式 (灰度图、RGB颜色通道等)下，车牌字符和背景的对比度，发现车牌在RGB颜色空间R通道下具有很好的效果，并且在车牌高亮，颜色褪变，过暗等特殊情况下依然保持很好的鲁棒性。本文改进了基于投影和模板匹配的方法，设计了新的匹配模板，对预处理后的车牌进行字符分割测试，得到了99%以上的准确率，达到实际应用的水平。