成捆圆钢机器人贴标系统图像识别方法

黄风山，秦亚敏，任玉松



成捆圆钢机器人贴标系统图像识别方法

黄风山，秦亚敏，任玉松

( 河北科技大学机械工程学院，石家庄 050018 )

为实现成捆圆钢端面自动化及高效率贴标，建立了成捆圆钢机器人贴标系统。本文重点对复杂背景下圆钢端面图像识别进行研究，提出了一种圆钢端面图像组合识别方法。首先确定圆钢半径范围，利用分水岭分割算法对粘连图像进行分割，为防止因过分割而造成圆钢端面图像的漏识、错识，提出了真圆度阈值和角度阈值组合算法，以实现对分割后圆钢端面图像的准确识别。然后用椭圆拟合法确定圆钢端面图像中心点像素坐标，通过Delaunay三角剖分内插值法标定完成像素坐标到世界坐标的转换，最后组建了成捆圆钢端面贴标试验系统。结果表明：成捆圆钢机器人贴标系统贴标速度为20根/min，贴标准确率高达99.8%。能满足企业实际生产需求，为国内外成捆圆钢端面自动化贴标技术的发展和实际应用提供了一定参考。

成捆圆钢；贴标；图像识别；真圆度阈值；角度阈值；组合识别方法

0 引 言

随着工业生产对圆钢品质要求的不断提高，圆钢标记成为其出厂前不可或缺的基本工艺环节。目前圆钢标记的方法主要有激光打标、侧面喷印和端面贴标等方式。激光打标会在圆钢表面留下永久性标记，且由于激光的热效应会影响圆钢的使用性能[1]；侧面喷印具有效果好、方便观看以及速度快等优点，但是在运送过程中由于碰撞等因素会对标记信息造成磨损[2]；综合考虑，在保证低成本和圆钢原有性能不变的前提下，对圆钢端面进行贴标成为圆钢标记的最佳选择，然而国内外成捆圆钢端面贴标方式为人工贴标，该方法劳动强度较大、准确率和效率不够高[3]。尽管目前已实现了位置固定的单根圆钢贴标，但对变位置的成捆圆钢的自动贴标研究较少,不能满足大规模、高精度贴标要求，因此，行业内急需成捆圆钢的自动贴标设备。其中，对各圆钢端面图像进行自动识别，并实时定位其中心点世界坐标位置，以获取贴标所需的位置信息是其关键技术问题之一。

本文首次提出将机器视觉应用于成捆圆钢端面贴标工序中，建立了一套成捆圆钢机器人贴标系统，重点对成捆圆钢端面识别进行研究。近年来对成捆圆钢端面图像识别的研究较少，但是国内外学者对类圆形物体的识别进行了很多研究。文献[4]将车轮图像中的图像轮廓斜率曲线与正圆的斜率曲线相比较，若两者重合度大于30%则识别为车轮轮廓，由于该算法限制条件较少，故只适用于简单背景下的单个类圆物体识别，识别率不够高。文献[5]提出运用物体真圆度越接近于1则形状越接近于圆的特性判断物体是否为圆，但这种方法仅适用于目标物相互之间没有粘连的情况下，对成捆圆钢端面图像识别则无能为力。HOUGH变换[6]和模型匹配[7]两种识别圆的算法虽然识别率相对来说较高，但是耗时较长，难以满足工程要求。以上几种方法均不适用于对复杂环境下的成捆圆钢端面进行识别。

针对成捆圆钢端面图像背景复杂、目标物较多等特殊性，同时为满足识别速度与准确率，本文首先对预处理后的粘连成捆圆钢端面图像采用分水岭分割算法进行分割，针对可能出现的过分割现象[8-9]，提出采用真圆度阈值和角度阈值双重标准识别分割后的成捆圆钢端面图像以防出现漏识、错识，并用椭圆拟合法确定圆钢端面图像中心点像素坐标，通过Delaunay三角剖分内插值法标定完成像素坐标到世界坐标的转换，最后将世界坐标传输给机器人完成贴标[10-11]。

1 成捆圆钢机器人贴标系统的构成及工作原理

成捆圆钢机器人贴标系统组成示意图如图1所示，其主要由机器视觉识别子系统、机器人贴标子系统、上位机通讯控制子系统、供压子系统和供标子系统五部分构成。首先，经机器视觉识别子系统对成捆圆钢端面图像识别处理，经视觉标定后得到各圆钢端面中心点世界坐标，然后将世界坐标值传入上位机通讯控制子系统并控制供标子系统进行标签打印、剥离，同时机器人贴标子系统通过供压子系统完成取标、贴标动作，从而实现一次完整的贴标过程。

图1 圆钢机器人贴标系统组成示意图

2 圆钢端面图像识别方法

2.1 机器视觉识别子系统

成捆圆钢机器人贴标系统中机器视觉识别子系统的组成如图2所示，主要由CCD相机、蓝色光源、蓝色滤光片、标定附件、计算机组成[12]。

图2 机器视觉识别子系统

首先通过视觉标定以确定世界坐标系与像面坐标系两者之间的转换关系[13]；待成捆圆钢到位后，光电传感器触发相机和光源工作以完成图像采集；通过图像预处理、图像识别等相关运算获取各圆钢端面中心点像面坐标，进而得到其世界坐标值。

2.2圆钢端面图像识别方法

成捆圆钢端面图像识别的最终目的是获取各圆钢端面中心点的世界坐标，识别过程中主要解决相邻圆钢端面边界轮廓的粘连问题，本文提出了一种成捆圆钢端面图像组合识别方法，其主要步骤为：1) 确定圆钢半径范围；2) 运用分水岭分割算法将预处理后粘连的圆钢端面图像进行分割；3) 提出真圆度阈值和角度阈值双重标准，识别分割后的圆钢端面图像；4) 运用椭圆拟合法获取各类圆形图像的半径和中心点像素坐标；5) 根据步骤1)确定的半径范围精简圆，从而仅保留圆钢端面图像信息；6) 运用Delaunay三角剖分内插值法标定确定各圆钢端面中心点世界坐标。

2.2.1确定圆钢半径范围

采集成捆圆钢图像前，在CCD相机焦距范围内采集该种类单根圆钢不同极限位置的图像，经实际测量确定其在图像中所占像素面积范围，由公式求出半径范围。然后采集成捆圆钢现场原始图像，由于贴标现场车间环境光线较暗且背景较复杂，在不采取任何光照措施的前提下采集到的成捆圆钢端面图像因受其表面材质、光照条件及周围环境等因素的影响质量较差，图3(a)为无光照措施下典型的原始图像，因此本文考虑添加辅助光照设备来改善图像质量以增大圆钢端面与背景物的灰度差进而凸显圆钢端面在CCD摄像机下的成像特点。由于圆钢端面较平整且其反光性较背景物好，通过大量对比实验可得，在成捆圆钢端面正前方添加环形阵列蓝色LED光源并在CCD摄像机镜头前安装与该光源波段相对应的滤波片从而阻挡其它波段的光进入CCD，可达到抵御背景干扰从而获取清晰目标图像的效果，图3(b)为添加辅助光照措施后采集的图像信息。由图3(b)可知，由于背景物与圆钢端面灰度差值较大，因此经图像预处理后，可通过灰度直方图选取合适的阈值，将背景物图像信息置为黑色，圆钢端面图像信息置为白色，从而可得到如图3(c)所示的较理想的二值图像。

图3 圆钢端面图像对比图

2.2.2 图像分割

预处理后的圆钢端面图像仍有一定的干扰，且得到的圆钢端面图像边缘有粘连情况，如图4(a)所示。机器视觉识别子系统会将粘连的圆钢端面图像识别为同一个端面图像，因此必须对粘连的圆钢端面图像进行图像分割，本文采用分水岭分割算法对粘连图像进行分割，图4(b)为分割后的圆钢端面图像。

图4 圆钢端面粘连分割

2.2.3 分割后的圆钢端面图像识别方法

由图4(b)可知，经图像分割后部分圆钢端面图像会出现过分割现象，即单个圆钢端面图像被一分为二或一分为多，同时干扰图像会被分割成很多不规则的独立图像。为防止圆钢端面图像漏识、错识，本文提出了真圆度阈值和角度阈值双重标准对分割后的圆钢端面图像进行有效识别，经识别判断若图像信息符合真圆度阈值或角度阈值标准时，认定其具有圆钢端面特征，当图像信息对真圆度阈值和角度阈值双重标定都不符合时认定其为干扰图像并将其排除。

1) 真圆度阈值法识别圆

物体的真圆度定义为

2) 角度阈值法识别圆

每一个正多边形都有唯一一个外接圆与之对应。当正多边形边数趋于无穷大且边长时该多边形可看做圆形，其相邻两边夹角为定值。如图5所示。

图5 角度阈值法识别圆示意图

实际试验结果显示，过分割的圆钢端面其边缘点仍有圆弧特征，且该圆弧是正多边形外接圆的一部分。

对独立图像进行边缘检测并记录所有边缘点的像素坐标值，依次连接相距为的边缘点并计算相邻连接线的角度，若结果中连续有个在角度阈值范围内上下浮动，则说明该独立图像为过分割圆钢端面图像的一部分，利用该特性可识别过分割圆钢端面图像，并将本方法命名为角度阈值法识别圆。

在进行角度阈值识别过分割的圆钢端面图像之前，需对图像进行边缘检测，传统的边缘检测有Canny算子、Roberts算子、Perwitt算子和Sobel算子四种，运用上述四种边缘检测处理图4(b)，分别得到如图6(a)、(b)、(c)、(d)结果(为便于读者观察，此处均使用局部放大图)[14]。由图可知，以上四种边缘检测方法处理后的相邻圆钢端面边缘图像存在交叉现象，该现象不利于使用角度阈值法识别圆，因此本文提出了一种细化后的阶梯图像作为圆钢端面边缘检测后的图像。首先，根据圆钢端面图像的特点，设计盘型结构元素，对分割后的圆钢端面的二值图像I进行一次腐蚀操作得到图像J，然后将I-J得到的阶梯图像K进行细化即得到边界图像。运用本方法对图4(b)处理得到的边缘图像为图6(e)。对比图可知：运用本方法得到的边缘分明，每一个独立物体的边缘都是连续的，不具有粘连情况，提高了边缘提取的完整性。

图6 边缘检测对比图

对独立图像进行边缘检测并记录所有边缘点像素坐标值。以每个独立图像最左端边缘点为起点，由可搜索到与间隔的边缘点，连接；以为起点，取距1为的边缘点，连接，并计算与的夹角；以2为起点，取距2为的边缘点3，连接，计算与夹角；依次类推，可得相邻两边夹角。计算若干相邻夹角的平均值，其表达式为

为提高识别效率和速率，需对两点之间距离进行范围限定。如图5所示，理想情况下，设圆心角对应的圆上两点距离为。根据圆钢半径范围，则的取值为,。结合实际情况，当时，识别速率和效率较高。

由于摄像机畸变等因素可能造成分割后的端面图像不完全为圆形，因此设置真圆度阈值和角度阈值。规定当时认定该图像为圆，当时则需要判断角度阈值；当时将图像识别为圆，反之该独立图像为干扰物。

经上述方法识别圆后，采用椭圆拟合法可获取圆的半径和圆心坐标。由于某些圆钢端面出现过分割现象，可能导致针对同一圆钢端面出现重圆如图7(a)所示，因此需对重圆进行精简，由半径范围可知，相邻圆钢端面中心点距离必定大于2min，因此可以通过识别出的圆的圆心距离判断重圆，当距离小于2min时，识别为重圆。取重圆的半径平均值作为圆半径，取其中心点坐标平均值作为圆心坐标，拟合出一个圆作为相应圆钢端面的半径和中心点。图7(b)为精简后的局部圆钢端面放大效果图。图7(c)为成捆圆钢端面图像精简图。

图7 成捆圆钢端面图像精简效果图

2.3 圆钢端面识别算法

为获取各圆钢端面中心点世界坐标，圆钢端面识别算法如下：

1) 机器视觉识别子系统标定后，采集成捆圆钢端面图像，经图像预处理、图像分割后，统计并保存每个独立图像的像素面积和周长。

2) 首先采用真圆度阈值法对独立图像进行圆识别操作：按从上到下、从左到右的顺序计算每个独立图像的真圆度，当真圆度大于阈值时，将该图像识别为圆，进行下一个独立图像的扫描；当真圆度小于阈值时，用角度阈值法对该独立图像进行圆识别操作：按顺时针方向进行轮廓跟踪并记录其坐标值、计算其角度阈值，当角度阈值在范围内时识别为圆，反之将其归为干扰图像并对下一独立图像进行圆识别判断，直到扫描完成图中所有独立图像，该算法终止。

3) 将图中所有圆识别后，由椭圆拟合法拟合圆以获取圆半径值和圆心坐标值，然后对识别出的圆进行精简从而得出圆钢端面的中心点像素坐标。

4) 运用Delaunay三角剖分内插值法标定完成像素坐标到世界坐标的转换。

3 实 验

为充分验证本方法的可行性，在实验室环境下建立了如图8所示的贴标实验系统并进行贴标试验，图9(a)为采集的原始图像，图9(b)是经本文识别算法处理后图像，图中“*”位置为各圆钢中心像点，各端面图像中心点像素坐标值(u,u)，经Delaunay三角剖分内插值法标定后，得到各圆钢端面中心点世界坐标(w,w)，其数值如表1所示。经贴标试验，最终贴标效果见图9(c)。

上述试验数据和贴标效果表明：本文研制的成捆圆钢端面机器人贴标系统能够准确、高效地达到贴标工艺要求，运用本文提出的圆钢端面识别算法在识别准确率和速率上能够弥补文献[4-5]中只能识别简单背景下单个类圆目标物和文献[6-7]识别速度较慢的不足，圆钢端面中心点像素坐标值提取精度可达到亚像素级，其世界坐标值获取精度达到0.1 mm，贴标准确率高达99.8%，贴标速度为20根/min，可满足圆钢端面自动化贴标实际生产需求。

图8 贴标实验系统

表1 圆钢各端面中心点像素坐标值(u,u)和中心点世界坐标值(w,w)

Table 1 The pixel world coordinate values and the center world coordinate values of round bales end faces

CoordinatesNo. 1234567891011121314 Xu/pixel848.31733.59835.65790.50630.06688.95896.73906.11747.09803.93587.40701.87641.66949.43 Yu/pixel407.25581.06584.80490.94570.40485.02500.70321.55400.95314.04478.53310.45392.95412.43 Xw/cm9.7113.5910.0911.6717.1415.148.027.7513.1811.2518.6214.7416.786.23 Yw/cm-9.96-15.93-16.04-12.83-15.59-12.65-13.14-7.01-9.76-6.78-12.45-6.68-9.51-10.11

结束语

本文首次提出将机器视觉应用于成捆圆钢端面贴标工艺环节中，建立了成捆圆钢机器人贴标系统，填补了成捆圆钢端面自动化贴标的空白。由于现有的类圆目标物识别算法在准确率和速率上难以满足工程要求，本文综合考虑成捆圆钢端面图像背景复杂、目标物较多等特点，重点对圆钢端面图像识别进行了研究，提出了真圆度阈值和角度阈值组合算法对分割后的圆钢端面图像进行识别，利用椭圆拟合法拟合出各圆钢端面轮廓从而获取其中心像点像素坐标，通过三角剖分标定得到其世界坐标值，最后构建了贴标试验系统。经试验，本文提出的一整套算法与系统是可行的，试验结果表明：该贴标系统速度快、精度高，能够满足圆钢端面自动化贴标实际生产需求。

[1] 王建平，李正佳，范晓红. 激光打标系统及工艺参数的分析 [J]. 光学与光电技术，2005，3(3)：32-35.

WANG Jianping，LI Zhengjia，FAN Xiaohong. Laser Marking System and Analysis of Its Technical Parameters [J]. Optics & Optoelectronic Technology，2005，3(3)：32-35.

[2] 刘辉. 钢板侧喷标识控制系统改进[J]. 武钢技术，2016，54(1)：52-56.

LIU Hui. Improvement of automation system for plate edge marking machine [J]. Wisco Technology，2016，54(1)：52-56.

[3] 程宏，曾连荪，童毅. 基于机器视觉的物体包装盒实时贴标系统设计[J]. 电子设计工程，2013，21(5)：40-42.

CHENG Hong，ZENG Liansun，TONG Yi. Design of object packing box real-time labeling system based on machine vision [J]. Electronic Design Engineering，2013，21(5)：40-42.

[4] XU Guan，LI Xiaotao，SU Jian，. Circle recognition and parameter measurement methods with the similarity constraint on the slope curve of the tangent lines to a contour [J]. Optik-International Journal for Light and Electron Optics(S0030-4026)，2013，124(16)：2463-2467.

[5] 张舞杰，杨义禄，李迪，等. 自动影像测量系统关键算法[J]. 光学精密工程，2007，15(2)：294-301.

ZHANG Wujie，YANG Yilu，LI Di，. Key algorithms of automatic image measurement system [J]. Optics and Precision

Engineering，2007，15(2)：294-301.

[6] Alexopoulos T，Iakovidis G，Leontsinis S，. Identification of circles from datapoints using the Legendre transform [J]. Nuclear Instruments & Methods in Physics Research(S0168-583X)，2014，745(3)：16-23.

[7] 李寒，王库，曹倩，等. 基于机器视觉的番茄多目标提取与匹配[J]. 农业工程学报，2012，28(5)：168-172.

LI Han，WANG Ku，CAO Qian，. Tomato targets extraction and matching based on computer vision [J]. Transactions of the Chinese Society of Agricultural Engineering，2012，28(5)：168-172.

[8] Vincent L，Soille P. Watersheds in digital spaces：an efficient algorithm based on immersion simulations [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence(S0162-8828)，1991，13(6)：583-598.

[9] 孙惠杰，邓廷权，李艳超. 改进的分水岭图像分割算法[J]. 哈尔滨工程大学学报，2014，35(7)：857-864.

SUN Huijie，DENG Tingquan，LI Yanchao. Image segmentation algorithm based on the improved watershed algorithm [J]. Journal of Harbin Engineering University，2014，35(7)：857-864.

[10] 徐侃，李文龙，尹周平. 一种基于Delaunay剖分三角形内插值的摄像机标定方法[J]. 装备制造技术，2013，15(2)：13-17.

XU Kan，LI Wenlong，YIN Zhouping. A Camera Calibration Method Based on the Interpolation of Delaunay Triangles [J]. Equipment Manufacturing Technology，2013，15(2)：13-17.

[11] QIAO Xuejun，ZHANG Li，LIU Rong. A new ellipse fitting method and its application [C]// IEEEInternational Conference on Electrical and Control Engineering，Yichang，China，Sept 16-18，2011，62：509-512.

[12] 黄风山，陈丽，任有志，等. 连铸坯线结构光视觉定重方法[J]. 光电工程，2015，42(8)：27-33.

HUANG Fengshan，CHEN Li，REN Youzhi，. A Vision Weight Method of Billet Based on Linear Structure Laser [J].Opto-ElectronicEngineering，2015，42(8)：27-33.

[13] 肖志涛，张文寅，耿磊，等. 双目视觉系统测量精度分析[J]. 光电工程，2014，41(2)：6-11.

XIAO Zhitao，ZHANG Wenyin，GENG Lei，. Accuracy Analysis of Binocular Vision System [J]. Opto-Electronic Engineering，2014，41(2)：6-11.

[14] 雒涛，郑喜凤，丁铁夫. 改进的自适应阈值Canny边缘检测[J]. 光电工程，2009，36(11)：106-111.

LUO Tao，ZHENG Xifeng，DING Tiefu. Improved Self-adaptive Threshold Canny Edge Detection [J].Opto-ElectronicEngineering，2009，36(11)：106-111.

The Image Recognition Method on Round Bales Robot Labeling System

HUANG Fengshan，QIN Yamin，REN Yusong

(School of Mechanical Engineering, Hebei University of Science and Technology, Shijiazhuang 050018, China)

In order to realize the automation and high efficiency labeling of round bales, a robot labeling system of round bales has been constructed. A image recognition method of round bale end face under complex background has beenstudied and a combined recognition algorithm is proposed. Firstly, the radius range of round bale is determined, and the watershed algorithm is used to segment the adhesion image. In order to prevent the leakage and error identification of round bale end face caused by over-segmentation, true roundness threshold and angle threshold are proposed to recognize the over-segmented images further precisely. Then the pixel coordinate centers of round bale end faces are obtained using the ellipse fitting method, and the conversion relationshipbetween the pixel coordinates and world coordinates is completed by the calibration based on the Interpolation of Delaunay Triangles. Finally, the labeling experimental system is set up. Experimental results show that the speed of this labeling system is 20 roots per minute,and the accuracy rate is 99.8%. The system can meet the actual production needs of enterprises, and it can provide certain reference for technology development and practical application of round bale end face automatic labeling at home and abroad.

Round bales; Labeling; Image recognition; True roundness threshold; Angle threshold; Combined recognition algorithm

1003-501X(2016)12-0168-07

TP391.41

A

10.3969/j.issn.1003-501X.2016.12.026

2016-06-20；

2016-11-07

国家自然科学基金资助项目(51075119)；河北省科技支撑重点项目(13210116D)；河北省高层次人才资助项目(C2013005004)

黄风山(1970-)，男(汉族)，河北石家庄人。教授，博士，主要从事精密测试技术与仪器方面研究。E-mail:hfs_high@126.com。