基于图像处理的钢包标牌识别方法

郁　浩,张荣福,程金光,郭世平

(上海理工大学 光电信息与计算机工程学院,上海　200093)

基于图像处理的钢包标牌识别方法

郁浩,张荣福,程金光,郭世平

(上海理工大学 光电信息与计算机工程学院,上海200093)

摘要由于钢厂车间环境的复杂性对钢包标牌的实时检测和识别提出了较高的要求。为了实现对钢包的实时和动态跟踪,提出了一种基于HSV色彩空间信息的图像分割方法,根据HSV色彩空间的颜色和亮度无关性,将彩色图像从RGB空间变换到HSV空间。基于颜色和形状特征选取原则对标牌区域进行粗定位,再使用最小二乘直线拟合的方法检测标牌边框的倾斜角度,对标牌进行倾斜校正。实验表明,该方法能准确地进行标牌定位与倾斜校正,具有较高的可靠性与稳定性。

关键词HSV色彩空间;彩色图像处理;倾斜校正

Ladle License Plate Recognition Based on Image Processing

YU Hao,ZHANG Rongfu,CHENG Jinguang,GUO Shiping

(School of Optical-Electrical and Computer Engineering,University of Shanghai for

Science and Technology,Shanghai 200093,China)

AbstractThe complexity of the steel plant environment leads to high requirements for real-time detection and identification of ladle license plate.An image segmentation method based on theHSVcolor space information is proposed for real-time detection and dynamic tracking.According to theHSVcolor space,regardless of the relation of brightness and color,the color image is converted fromRGBspace toHSVspace.We can locate the position of the ladle license plate according to feature selection principles based on color and shape of the numeral cards,and the lean angle of image is found out according to the method of linear least squares fitting.Then the original oblique image can be adjusted by using the method of rotate transformation.Experiments show that the method can locate the Ladle license plate and correct tilt with high reliability and stability.

KeywordsHSVcolor space;color image process;adjustment

在现代炼钢工艺流程中,钢厂车间环境的复杂性对于钢包标牌的识别是一个具大的挑战。为了能够更准确地识别钢包标牌,钢包标牌统一做成蓝底白字的形式。

标牌识别系统包括标牌定位、倾斜校正和数字识别3部分,标牌定位是识别系统的关键技术,对识别起着重要作用。由于标牌图像都是采集于背景比较复杂的车间环境,这给标牌的定位带来困难。目前车牌定位主要有基于车牌底色[1]、基于车牌纹理特征[2]以及基于特征颜色边缘[3]的定位方法。

本文考虑到钢包标牌的特点,在借鉴车牌定位算法的基础上,综合考虑车间环境和各种方法的复杂度及定位效果,提出了一种基于HSV颜色空间的标牌定位方法。

1HSV色彩空间

所谓颜色模型即指某个三维颜色空间中的一个可见光子集,其包含某个颜色域的所有颜色,常用的颜色模型主要有HSV、RGB、CMYK 等。一般图像常采用RGB三元色彩色空间表示,但RGB三色空间中两点间的欧氏距离与颜色距离不成线性比例,即颜色受亮度的影响较大,RGB颜色空间不具有进行彩色图像处理所要求的独立性和均匀性指标。

本文采用较能符合人眼感知特性的HSV色彩空间。HSV色彩空间是由色调(Hue)、饱和度(Saturation)和亮度(Value)这3个分量组成,色调H表示不同的颜色,饱和度S表示颜色的深浅,亮度V表示颜色的明暗程度。

彩色图像从RGB色彩空间到HSV色彩空间的变换为[4]

(1)

这样色调信息H的范围为0° ~360°;V和S的范围为0 ~ 1。H、S和V这3个分量在一维矢量上分布开,经过量化后,可有效减少图像受光照强度的影响。

2标牌粗定位

2.1　彩色图像二值化

在本系统中,均采用蓝底白字且带有白色边框的标牌,进行标牌候选区域的粗定位。本文采用了不同拍摄条件下多幅标牌图像,将其从RGB转换到HSV。通过观察统计,得到HSV空间中车牌蓝色的约束条件[5]为2200.35。

为提高图像处理速度,文中将定位出蓝色区域的彩色图像二值化,其转换方法如下:设H(x,y)表示输入图像f中点(x,y)在HSV颜色空间的H值;S(x,y)表示输入图像f中点(x,y)在HSV颜色空间中的S值,Hf表示蓝色在HSV颜色空间的取值范围,Sf表示蓝色在HSV颜色空间的饱和度取值范围,V通道不设约束条件。经过以上过程,得到如下定义的二值图像

(2)

由于拍摄条件的不同,造成图片的亮度会有所不同,造成标牌底色可能呈现出不尽相同的颜色,但文中选择的HSV颜色空间对亮度不敏感,所以当输入HSV图像像素点的H值在一定范围内时,则认为该点处在蓝色区域置为白色,否则置为黑色。

图1　转化的二值图像

2.2　滤波去噪与标牌定位

经过转换的二值图像存在一定的噪声干扰,为突出二值图像的标牌区域特征,采取二值图像的数学形态学运算消除白色的噪点[5]。本文采用一个5×5的全1结构体先对图像进行腐蚀,以消除孤立的噪点。然后再使用10×10的结构体对图像进行膨胀,由此便可使邻近非连通的区域连通。

由于钢厂环境特殊,所拍摄的钢包标牌图像中出现多个蓝色背景区域的可能性比较小。为提高系统的容差性,得到最有可能的候选标牌区域,必须采用一定的策略对可能出现的多个候选区进行筛选[6]。通常所采用的一般方法会有:(1)将连通区域的面积作为筛选的标准;(2)将候选区域的长宽比作为筛选的标准。这两种方法都有其各自的局限性,当干扰区域的面积或长宽比也符合要求时,筛选的准确率就会下降。通过比较常用筛选规则的适用性和局限性,本文提出了一种新的筛选规则,此规则综合考虑了各个区域的面积和长宽比,并将候选区的坐标值与钢包轮廓粗定位区域的坐标值相互印证,并在实验中取得了较好的效果。规则具体如下:1)由于相机和钢包的相对位置在一定的范围内,标牌区域的面积占总面积的百分比也在一定的范围内。将这个范围值设为φ,然后比较各个连通区域面积占总面积的百分比,将百分比不在φ内的连通区域直接排除;2)再计算剩余连通区域长宽比和标牌长宽比的比值Ki,找出其中最接近和次接近标牌长宽比的区域,记为S1和S2;3)通过投影法得到两个候选区域的坐标位置,再计算出钢包所在的坐标位置,最后选出在钢包位置区域内的候选区域;4)若钢包位置区域内有两个符合以上筛选规则的候选区域,文中可根据标牌和钢包相对位置已知的条件,得到所需的候选区域。

3倾斜校正与识别

3.1　标牌区域二值化

经过上述筛选过程,可以从原始图像中提取出粗定位的标牌区域。首先将提取到的标牌区域图像以加权平均值法灰度化,接着对灰度化图像做二值化处理[7],其目的就是找出一个合适的阈值,将字符区域和非字符区域区分开来。

针对灰度图像,其二值化过程用公式表示为

(3)

式中,T为阈值;G(i,j)表示坐标值为(i,j)像素点的灰度值。

二值化算法又称阈值算法,图像的二值化算法的关键就是阈值的选取。文中通常采用的方法是最大类间方差法,是一种自适应的阈值确定的方法,又称为大津法,简称OTSU。在提取的标牌区域图像中,目标区域就是图像的数字部分,背景区域就是图像的标牌底色部分和钢包底色部分。从图2(a)中可看出,第一个峰值部分主要为标牌底色的灰度值,第二个峰值部分主要为钢包底色的灰度值,第三个峰值部分主要为数字底色的灰度值。图2(c)是采用最大类间方差法进行二值化的图像,本例中阈值T为86。从图2(a)中可看出,目标背景的灰度值分布相对比较集中,同时最大类间方差法获取的阈值又不能满足图像后续处理的要求。基于标牌图像的灰度值分布特点,可通过提取若干条穿过标牌数字的水平线作为特征线,统计特征线像素点的灰度值分布情况,如图2(b)所示,本例中特征线数目为10。为提高阈值的准确性,可采取后两个灰度峰值的均值再和两峰值之间波谷的灰度值取平均作为阈值T,以此作为阈值二值化后的图像如图2(d)所示,本例中T取157。

本文提出的阈值获取方法更简单,运算量小且易行可靠,其效果较好,能满足后继处理的要求。

图2　标牌图像二值化

3.2　倾角检测

车牌倾角检测大致分为以下几种:基于投影的倾斜检测方法[8];基于Radon变换[9]及基于Hough变换的倾斜校正方法。本文在借鉴车牌倾角检测的基础上,提出了适用于标牌倾斜检测的算法:对经过预处理的二值图像,先采用逐行扫描的方式寻找每一行白色边框的第一个点,并记下坐标位置,从中选取10个点,并以图像左下角的端点作为坐标原点建立直角坐标系,把选取的10个点转换成坐标系内对应的点,用最小二乘拟合算法拟合出直线,从而可算出标牌的倾斜角度。

为了提高图像处理速度,在找寻白色边框特征点时,文中仅对二值图像的部分区域逐行扫描,一般将区域选定为图像的3×Height/8~5×Height/8,也可适当增大和缩小扫描区域(Height为图像的行数)。白色边框特征点必须满足以下规则:

首先标记每一行扫描的第一个白点,记下其所在列数,然后判断其后的连续8个像素点是否均为白点,若满足条件,则认为找到所需要的白色边框特征点,接着扫描下一行;若不满足条件,则接着扫描本行,直到找到符合条件的点。

对所选区域扫描完成后,首先从扫描区域中随机的每隔5行挑选一个点,共取5个点,然后分别计算两点之间的列数差,去除最大值和最小值,计算列数差的平均值P。然后以此平均值P作为参考值从扫描区域随机的以5行为间距选取10个点。

通过以上步骤选取的参考点,由于一些客观原因,不可避免地存在一些噪点,为了能从这组数据中得出一个最接近边框方向的直线方程,本文选用最小二乘法对参考点进行直线拟合。

假设所求直线方程为y=ax+b,将选取的参考点作为样本点,即(xi,yi),其中i=1,2,…,N。N为样本个数,使参与拟合的样本点与拟合直线的距离平方和最小,则目标函数为

(4)

只要求得使f(a,b)函数最小的a,b值,则所得到的直线方程最优,经计算可得出

(5)

(6)

3.3　倾斜校正

检测到标牌图像的倾角后,便可对倾斜的标牌图像进行校正。设检测到的图像倾角为α,采用简单的坐标旋转变换有

(7)

其中,(x,y)为旋转前的图像坐标;(x0,y0)为旋转后的图像坐标。

若粗定位后的标牌图像大小为W×H,采用旋转变换方法的计算需进行4WH 次乘法运算和2WH次加法运算,计算量较大[10]。

文中采用直线拟合的方法校正倾斜的标牌图像。假设竖直方向的最大偏移值为Yoffset=Wtanα,水平方向的最大偏移值为Xoffset=Htanα,则第j列像素点竖直方向的偏移值为Δyj=j/{W/(Yoffset+1)},第i行像素点竖直方向的偏移值Δxj=i/{H/(Xoffset+1)}。图像校正的变换坐标公式为

(8)

(9)

该方法仅需2WH次加法运算,可有效提高校正速度。

图3　校正后的标牌图像

3.4　标号识别

本文采用模板匹配法对归一化后的提取图像进行识别。将待识别的图像区域的特征量与模板字符相应特征量逐一比较,将与其相似度最大的输出,即为识别出的结果。

4结果与分析

文中算法采用Matlab及C#编程实现,采用的HSV颜色空间对颜色进行了非均匀的量化,突出了标牌区域图像的主体部分,在消噪滤波和定位提取算法中加入了对标牌区域的判别,能准确地识别标牌颜色区域,对一定光照范围内的标牌图像准确定位,满足了后续图像处理;采用基于标牌图像特征线的二值化阈值确定方法能够准确地把目标区域和数字区域分开;通过多次拟合边框直线,可准确地检测出边框倾斜角度,然后利用改进的旋转算法快速对图像进行校正。最终,采用模板匹配法可准确识别出标牌上的数字。

5结束语

本文提出了基于HSV色彩空间的标牌区域定位方

法,以及基于标牌图像特征线的二值化阈值确定的方法,然后以最小二乘法拟合白色边框直线从而检测标牌倾斜角度,利用改进的旋转算法对图像进行校正,实现标牌数字的识别。

文中提出的算法原理简单,检测速度快、准确度高,能适应钢厂车间较为复杂的环境,实现对钢包的实时和动态检测。

参考文献

[1]王夏黎,周明全,耿国华.一种基于HSV颜色空间的车辆牌照提取方法[J].计算机工程,2004,30(17):133-135.

[2]刘广起,郑晓势,张晓波.基于图像纹理特征提取的车牌定位算法[J].中国图象图形学报,2005,10(11):1419-1422.

[3]沈勇武,章专.基于特征颜色边缘检测的车牌定位方法[J].仪器仪表学报,2008,29(12):2673-2677.

[4]包全磊.基于HSV空间的彩色图像分割[J].软件导刊,2010,9(7):171-172.

[5]郭英华.基于HSV色彩空间的图像分割[J].黑龙江冶金,2011,31(2):35-37.

[6]王国良,梁德群.一种新的车牌定位与倾斜校正方法[J].计算机应用,2008,28(7):1890-1891.

[7]史燕,吕永战,张帆.车牌识别中的二值化及快速倾斜校正算法[J].现代电子技术,2009(5):149-153.

[8]路小波,包明,黄卫.基于投影的车牌倾斜检测方法[J].交通运输工程与信息学报,2004(4):10-15．

[9]贾晓丹,李文举,王海姣.一种新的基于Radon变换的车牌倾斜校正方法[J].计算机工程与应用,2008,44(3):245-248.

[10]梁添才,皮佑国,彭晶,等.基于Hough变换的列车客运票图像倾斜校正[J].华南理工大学学报,2007,35(5):35-39.

作者简介:郁浩(1990—),男,硕士研究生。研究方向:图像与信息处理。

收稿日期:2015- 05- 21

中图分类号TP391.41

文献标识码A

文章编号1007-7820(2016)01-094-05

doi:10.16180/j.cnki.issn1007-7820.2016.01.025