基于图像处理的钢管字符分割方法研究

刘红杰， 杨亚楠， 温 佳， 韩 睿

（天津工业大学 a.电气与信息工程学院；b.电气自动化与信息工程学院，天津 300072）

0 引 言

21世纪后，机器视觉相关领域得到发展，图像处理技术在生产和生活中得到广泛的应用，极大地改变了人们的生活方式［1］，如车牌识别［2］、人脸识别［3］等。对于金属制造业，研究人员进行了有关金属字符分割和识别的相关研究，如钢板字符识别［4］，金属铭牌字符识别［5］，钢管字符识别［6］等。这类研究的主要目的即通过摄像机获取金属表面字符图像，并通过算法实现对图像中的字符的分割和识别，替代人工统计标注。这不仅提高了工作效率，节省了人力物力，同时对于检测的准确率和识别率也得到明显的改善。例如，对于金属制造业来说，钢管作为建筑业中的重要产品，日生产量大，编号较为复杂，字符信息的录入已经远远滞后于钢管的制造，故而研究钢管字符的准确分割和辨识具有十分重要的意义。目前针对钢管字符的研究依然处在初级阶段，传统的分割方法很难满足需求。本文以钢管字符的分割为研究方向，设计一种专门针对钢管字符图像的分割算法，以达到准确分割的目的。

1 钢管字符图像的预处理

为改善画质，使图像的显示效果更加清晰，需要进行灰度变换［7］；采用高斯滤波器对图像进行平滑处理；应用顶帽变换解决拍照时反光现象造成的图像不均匀光照问题；用自适应阈值算法即大津法对图像进行二值化［8］。光照不均匀的实心字符图像的原图如图1（a）所示，经过预处理后的效果图如图1（b）所示。

图1 光照不均匀的实心字符图像

各种复杂背景的钢管字符图像经过预处理后的效果图如图2所示，其中左侧显示的是图像的原图，右侧显示的是处理后的效果图。

图2 各种复杂背景的钢管字符图像经过预处理的效果对比图

由于钢管字符背景环境复杂，在预处理阶段很难做到将噪声或其他干扰完全去除，在预处理后需对字符图像进行二次处理。钢管字符分为实心字符和点阵字符，如图2（a）所示点阵字符是不连接的，需要将字符进行修补填充，具体实现算法如下。

（1）设图像的高为img＿H，宽为img＿W。并设置一个高为img＿H，宽为img＿W的全零矩阵；

（2）从左到右，从上到下遍历预处理后的图像；

（3）如果遇到白色像素，就在全零矩阵的对应位置向上向下各扩充1个白色像素，这样就达到了填充的目的，效果图如图3（a）所示。

填充后，字符周围的噪点也会跟着变大，需将噪点去除，用opencv轮廓提取函数findContours实现轮廓的提取，用contourArea函数计算图像各个轮廓的面积，将面积小于50的轮廓去掉，并做腐蚀操作将图像中的“毛刺”去除，如图3（b）所示。图4（a）～（d）为在各种复杂背景下钢管字符图像经过二次处理的效果图。

图3 图像经过二次处理后的效果图

图4 各种复杂背景的钢管字符图像经过二次处理后的效果图

2 字符分割算法的实现

钢管字符分割的难点包括：字符的黏连、断裂以及噪声的影响。为解决上述问题设计了一款针对各类复杂情况下钢管标识图像的字符分割算法。

2.1 图像分类处理

如图4（d）经过预处理后的字符短缺图像中的字符依然没有完全的连接起来，如果直接进行图像分割会导致结果的错误，所以对图像进行分类处理是十分必要的［9］。根据连通域的性质设计一种分类处理方法，流程图如图5所示。

图5 分类处理方法流程图

（1）首先将图像进行连通域标记，面积较小的连通域除去。将连通域的个数与图像中字符的个数进行比较，当连通域个数大于等于字符个数的2倍时，说明图像为字符短缺图像。反之，为其他类型图像。

（2）字符短缺图像需要使用长度为5，偏转角度为90（即垂直方向）的线性结构元素对图像进行膨胀处理。字符短缺图像4（d）处理后的效果如图6所示。

图6 字符短缺图像经过膨胀处理后的效果图

2.2 倾斜校正

钢管标识图像获取过程中，钢管摆放混乱或拍摄角度问题都会造成字符图像倾斜，如果直接进行字符分割，可能会导致分割结果的不准确。有必要对字符图像进行倾斜校正。倾斜校正的方法主要有：Hough变换法［10］、Radon变换法、最小二乘法和两点法等。Hough变换法、Rough变换法以及两点法都是针对图像中有特定的倾斜直线的，钢管字符图像没有特定的直线作为参考，应用最小二乘法直线拟合进行钢管标识图像的倾斜校正［11］。

根据连通区域边界外接框的属性计算出每个字符的高，当字符的高大于图像高的一半时则计算出字符的中心，设字符中心点的坐标为（xi，yi）（i＝1，2…，m），其中m为字符的个数，最小二乘法的原理是将点集与光滑曲线y＝f（x）进行拟合［12］，使点到直线的误差平方和最小，根据这条直线获得连通域的倾斜方向［13］。经过倾斜校正后的效果图如图7所示。

图7 图像的倾斜校正

2.3 字符的定位

由于有一些噪声干扰较严重的图像，如倾斜校正后的图像8（a），噪声干扰的面积过大以至于无法去除，导致字符分割难度大，需将字符区域进行定位［14］。具体的算法如下：

（1）将图像进行连通域的标记；

（2）设定阈值为图像高的1／2，根据连通域边界外接框属性计算每个连通域的高，当连通域的高大于阈值时，保留连通域的属性，相反，则不保留；

（3）通过保留的连通域，并由连通域边界外接框属性知道每个连通域的左上角和右下角的坐标，将所有连通域左上角的y轴坐标进行比较，把最小的值作为图像的上切割点，同理，将右下角的y轴坐标作比较，把最大的值作为图像的下切割点，这样就可以得到最合适的上下切割点，对图像进行切割，效果图如图8（b）所示。噪声干扰不严重的图像8（c）定位后的效果如图8（d）所示。

图8 图像的定位

2.4 字符的分割

不同字符图像的复杂程度不同，无法采用单一算法对其进行分割，设计连通域分割法与上下轮廓分析法相结合的分割方法。该方法的主要思想如下：

（1）首先进行连通域标记，将小面积连通域去除，计算剩余连通域的个数，将连通域个数与字符个数作对比；

（2）字符个数等于连通域个数，说明字符间没有黏连，这时直接采用连通域分割法；

（3）字符个数大于连通域个数，说明字符间有黏连，这时采用连通域分割法与上下轮廓分析法相结合的方法。进行连通域分割，并设定阈值，将宽度大于阈值的连通域提取出来，此时的连通域为黏连字符部分，将该部分进行上下轮廓分析法分割。

满足连通域个数等于字符个数条件的图像分割效果如图9～12（a）、（b）所示。

图9 光照不均匀的实心图像分割后的效果图

图10 模糊的点阵图像分割后的效果图

图11 实心断裂字符图像分割后的效果图

由于钢管自身的特殊性，字符可能受到聚光点或腐蚀的干扰造成字符黏连，传统的垂直投影分割法和连通域分割法只能解决清晰图像的分割问题，而大部分图像则不能完成准确分割。针对这类问题，设计一种上下轮廓分割法，该方法的主要思路是：将字符图像进行轮廓描绘，用字符图像的上轮廓点减去下轮廓点，得到最终的轮廓图；根据其上下轮廓凹凸特征找到切割点进行切割。满足字符个数大于连通域个数的黏连字符图像经连通域标记后的图像如图13（a）所示。可见，图像的前3个字符黏连在一起，被标记成一个连通域，将该连通域提取出来，如图13（b）所示。并将该部分进行上下轮廓描绘，下轮廓如图13（c）所示，上轮廓如图13（d）所示，上下相减得到的整体轮廓图如图13（e）所示。由整体轮廓可知，只要找到曲线的最佳谷点便找到了分割点，其算法如下：

图12 字符短缺的点阵图像分割后的效果图

（1）设置图像的宽度为Img＿W1，n＝0，定义一个列表list。用D表示深度阈值，用K表示单个字符图像的宽度阈值。

（2）从左到右遍历曲线，将垂直坐标点x对应的轮廓曲线值减去坐标点x＋1对应的轮廓曲线值，如果结果大于D，并且满足x＋1对应的轮廓曲线值小于等于x＋2对应的轮廓曲线值，那么将x＋1添加到list中，这时list中的值为黏连图像的可能分割点，如图13（e）中的蓝点所示。

（3）判断list中的值是否为分割点，将0和Img＿W1分别插入到list的首尾部，遍历列表list，如果列表中n＋1点对应的值减去n点对应的值所得的结果小于K，并且n＋2点对应的值减去n＋1点对应的值所得的结果小于K，那么n＋2点所对应的值为图像的分割点，否则n＋1点所对应的值为图像的分割点，分割点如图13（e）中的红点所示。如果分割后图像的宽度大于K，那么该图像为最终的分割结果图。效果图如图13（f）所示。

图13 黏连字符图像的分割过程

3 实验结果及分析

本文通过多张钢管字符图像验证了分割方法的可靠性，并将部分分割图像进行了展示。如图14为部分钢管字符图像采用传统的垂直投影分割法［15］、连通域分割法［16］和本文方法分割的效果图。图14（a）从上到下为4幅字符图像，其中绿色框标记的是单个字符区域，红色框标记的是黏连字符区域。图14（b）是使用投影分割法后的效果图，可见，分割错误较多；图14（c）是使用连通域分割法分割后的效果图，可见黏连字符区域没有分割开；图14（d）是使用本文方法分割后的效果图，4幅钢管图像均分割正确。

图14 不同分割方法的分割效果对比图

相较于投影分割法和连通域分割法，本文方法更适用于黏连、倾斜以及有大面积噪声干扰的钢管字符图像的分割。

4 结 语

在字符图像特征的基础上设计一种针对钢管字符的预处理方法。钢管通常受到反光和噪声的干扰，故本设计采用顶帽变换去除光照对图像的影响，使用高斯滤波去除噪声，使用大津法得到质量较高的二值图像，并使用小面积去除算法去除图像中的小块干扰噪声，通过图像预处理得到适用于图像分割算法的字符图像。并将图像进行二次处理，修补填充其空。

在字符分割阶段，为提高字符图像分割的准确率，根据连通域属性对图像进行分类处理，对图像进行倾斜校正和定位。使用连通域分割和上下轮廓分割2种算法完成分割任务。

该设计分割的准确率主要取决于图像预处理的效果和图像的分类效果，采用本文提出的方法很大程度上降低了字符分割的难度。经实验验证，本方法可较准确的分割出反光、模糊、断裂黏连字符图像且明显优于传统方法。此外，本设计使用了层层递进的算法思想，充分发挥了不同分割方法的优点并提高了效率。