成排连铸坯端面中心坐标视觉自动提取方法

王春梅 黄风山 任玉松 张付祥 周京博

摘 要：为了实现成排连铸坯端面机器人贴标时各连铸坯端面中心坐标的快速提取，提出了先提取连铸坯端面图像角点像面坐标，再计算各连铸坯端面中心像面坐标的研究方案。首先，提出了一种改进型SUSAN角点检测算法，解决了图像中相邻连铸坯端面图像边界间距离过小和连铸坯端面图像角为弧形角所造成的角点漏检问题；然后，提取角点的像面坐标，并确定各封闭区域所包含连铸坯端面个数；最后，采用一种倾斜连铸坯端面图像中心像面坐标的提取方法，计算各连铸坯端面中心像面坐标。应用以上方法进行成排连铸坯端面机器人贴标实验，实验结果表明，连铸坯端面水平和竖直方向贴标位置误差范围分别为-0.625～0.850 mm和-0.550～0.875 mm，完全满足企业对多根连铸坯端面自动贴标位置误差允许值1 mm的要求。所提视觉方法在理论和实际应用上都是可行的，不仅为连铸坯端面贴标机器人提供了准确的贴标位置，而且为矩形图像元素的中心坐标提取提供了一种可靠的方法，具有一定的应用价值。

关键词：图像处理；成排连铸坯；中心坐标提取；角点检测；边界提取；像面坐标

中图分类号：TP394.1；TH691.9 文献标志码：A

文章编号：1008-1542（2018）03-0268-07

用户对特殊钢连铸坯要求非常严格，比如，同一件产品必须使用同一炉轧制出的连铸坯来生产，所以连铸坯在出厂前必须进行贴标，以标志不同炉号的产品。目前，国内大多数钢铁企业的贴标环节仍由手工完成，常常出现漏贴或错贴现象，给钢铁企业造成了严重影响[1]。因此，高精度的连铸坯端面自动贴标机器人系统成为该领域的一大研究热点。其中，对连铸坯端面进行自动识别，实时提取连铸坯端面中心坐标以制导贴标机器人是其关键技术之一[2]。

本文组建了成排多根连铸坯端面计算机视觉贴标系统，重点研究了成排连铸坯中各连铸坯端面中心坐标的提取。因成排连铸坯成像后连铸坯端面图像间会产生黏连，无法直接提取图像中各连铸坯端面中心像面坐标，所以采用先提取各封闭区域角点的像面坐标，再计算各连铸坯端面中心像面坐标的方法。

Harris角点检测是常用的角点检测方法，通过求取图像中各像素点与相邻像素点间的灰度变化率来确定角点像面坐标，主要用于图像匹配、拼接等领域[3-7]，由于连铸坯端面边界不平整，成像后边界缺陷较多，造成了Harris角点检测后图像中杂点太多，后续处理过于复杂；也有一些学者提出使用模版匹配的方法进行角点检测，通过制作角点图像标准模板，找到图像中各角点像面坐标，在棋盘格双目标定中应用较多[8-10]。但连铸坯切割过程中连铸坯角的误切、生产运输过程中连铸坯角的磕碰，均会造成连铸坯端面成像后角点与理论模板形状不同，因此影响最终的检测结果。

与其他角点检测算法相比，SUSAN角点检测具有抗噪声能力强、算法简单、无需微分运算、角点定位准确等优点[11-15]。针对连铸坯端面图像中两封闭区域相邻边界间间隔可能过小以及连铸坯端面角点成像后为弧形角等具体问题，提出了改进型SUSAN角点检测算子，成功提取出各封闭图像区域4个角点的像面坐标。在实际贴标过程中，连铸坯端面图像边界在像面坐标系中往往是倾斜的，因此提出了一种倾斜连铸坯端面图像中心像面坐标的提取方法。

1 连铸坯端面自动贴标系统的构成

连铸坯端面自动贴标系统的构成如图1所示，主要由计算机视觉子系统、机器人子系统、上位機控制子系统、供标子系统、供压子系统构成。在贴标时，首先计算机视觉子系统提取并处理连铸坯端面图像，求取每根连铸坯端面中心像面坐标并通过标定得到世界坐标，然后将得到的世界坐标传入上位机控制子系统，与此同时，上位机控制子系统控制供标子系统打印并剥离标签，最后，机器人子系统在供压子系统的配合下完成取标、贴标动作。

2 图像预处理

在实际生产过程中连铸坯采用高温火焰切割分段，切割后的连铸坯端面呈暗灰色，反光效果极差，使得成像后连铸坯端面图像与背景图像间相差不大，难以将连铸坯端面图像从背景图像中识别开来，如图2 a）所示。

首先，通过在计算机视觉定位子系统中增加单色光源和同波段带通滤光镜[16]，有效增加了图像中连铸坯端面图像与背景图像间的对比度，如图2 b）所示。然后，对所采集的连铸坯端面图像使用固定阈值进行二值化处理[17]。最后，使用成熟的形态学算法对二值化后的连铸坯端面图像进行开运算[18-19]，如图2 c）和图2 d）所示。

3 连铸坯端面中心像面坐标的提取

实际生产中，相邻连铸坯侧面间可能会相互贴合，使得成像后连铸坯端面图像产生黏连，在图像上形成长方形封闭区域（封闭区域内连铸坯端面个数不确定），无法直接提取各连铸坯端面中心像面坐标，如图2 d）所示。本文提出了一种改进型SUSAN角点检测算子，求取图像中每个封闭区域4个角点的像面坐标，同时，提出了一种倾斜连铸坯端面图像中心像面坐标的提取方法，实现了连铸坯端面中心像面坐标的提取。

3.1 SUSAN角点检测算子

SUSAN角点检测算子采用近似圆形的窗口在图像上移动，计算窗口内非窗口中心像素灰度值与窗口中心像素灰度值的差值，如果差值在给定的门限范围内，则认为该像素灰度与中心像素灰度同值[18]。

同值像素组成的区域叫做吸收核同值区USAN（univalue segment assimilating nucleus）。USAN所包含像素点个数与窗口区域总像素点个数的比例值记为n0。当窗口中心像素点在封闭区域内部时，n0较大；当窗口中心像素点在封闭区域边缘上时，n0较小；当窗口中心像素点在封闭区域角点时，n0更小，如图3所示。本文在角点检测前已经对图像进行了二值化处理，故将门限值设为0[19]。建立类圆形的窗口作为SUSAN算子，其中窗口半径通过实验取为15 pixels。

由SUSAN算子原理可知：SUSAN算子检测到的角点为封闭区域图像边缘上的某一像素点，所以，令窗口中心沿着封闭区域边界像素点移动可有效提高检测效率。

3.2 改进型SUSAN角点检测算子

连铸坯端面图像中两封闭区域相邻边界间间隔过小，如图4 a）所示，传统的SUSAN算子在提取两封闭区域相邻边界上的角点时，窗口同时包含两封闭区域（不能对两封闭区域加以区分），导致角点的漏检；连铸坯端面角成像后为弧形角，如图4 b）所示，会导致传统的SUSAN算子在提取弧形角角点时出现漏检，想要识别图像中每个封闭区域4个角点的像面坐标，必须对传统的SUSAN角点检测算子进行改进，具体方法如下。

1）使用成熟的边缘提取算法，提取形态学开运算后的连铸坯端面图像中每个封闭区域边界像素点像面坐标[20]，求取每个封闭区域的最小包围矩形[21]（封闭区域边界像素点像面横坐标最小值到最大值以及纵坐标最小值到最大值间围成的图像区域），用以区分图像中的每个封闭区域。

2）令窗口中心沿着区分后的每个封闭区域边界像素点扫描，求得边界上每个像素点USAN包含本封闭区域像素点个数占窗口区域总像素点个数的比例值n0。

3）图像中封闭区域角像素点所对应的n0约为1/4，如图3 c）所示，由于连铸坯端面角成像后可能为弧形角，而弧形角角像素点的n0大于1/4，如图5 a）所示。如果直接取每个封闭区域边界最接近1/4的4个像素点作为角点，可能导致弧形角上的角点漏检。为了准确得到图像中封闭区域4个角点，先提取封闭区域边界像素点n0值小于1/3（通过实验确定）的像素点，得到4段连续边界，其中每段边界包含一个角点，如图5 b）所示，然后，分别取四段连续边界内n0值最小的像素点为图像中封闭区域角点的初始值。

4）利用求得的封闭区域角点初始值将封闭区域边界像素点分成4部分，分别为封闭区域上下左右4条边界的像素点。将4条边界像素点分别代入式（1）—式（3）拟合得到封闭区域4条边界线，求取封闭区域4条边界线交点的像面坐标为封闭区域角点像面坐标。

图像中各封闭区域可能包含多根连铸坯端面图像，要求取图像中各连铸坯端面图像中心的像面坐标，必须先求得各封闭区域所包含连铸坯端面个数。

3.3 封闭区域连铸坯端面个数的确定

连铸坯端面理论尺寸已知，其宽高比记为eo。因连铸坯端面尺寸较大、成像后变形较小，故成像后连铸坯端面像面宽高比基本保持不变。根据已拟合得到的封闭區域4条边界线以及求得的封闭区域角点像面坐标计算图像中封闭区域的像面尺寸。分别将封闭区域左上、右上角点与封闭区域底边界线代入式（4）得到两角点与底边界线间的垂直距离，同理计算得到左下、右下角点与上边界线间的垂直距离，将求得的4个距离代入式（5）得到图像中封闭区域的像面高度[AKH-]。同理，求得每个图像中封闭区域的像面宽度Wi。根据ei=[SX（]Wi[][AKH-][SX）]求得图像中每个封闭区域的实际像面宽高比，其中i=1，2，…，m，i为图像中封闭区域从左到右的次序。求得第i个封闭区域所包含的连铸坯端面个数ti=[SX（]ei[]eo[SX）]。

3.4 倾斜连铸坯端面图像中心像面坐标的提取

在图像采集过程中，由于连铸坯支撑座、CCD相机固定支架加工装配的误差，导致连铸坯端面在成像后其边界在图像中是倾斜的，如图6所示。当图像中封闭区域为单根连铸坯端面图像时，边界的倾斜不会影响连铸坯端面中心像面坐标的求取（单根连铸坯端面中心像面坐标为端面4个角点像面坐标的平均值），当封闭区域包含多根连铸坯端面时，必须考虑端面的倾斜成像对连铸坯端面中心像面坐标求取的影响，具体方法如下。

1）若ti=1证明图像中第i个封闭区域为一个连铸坯端面。分别求取此封闭区域4个角点横、纵像面坐标的平均值作为此封闭区域中心的像面横、纵坐标。

2）若ti>1，则证明图像中第i个封闭区域为多个（ti个）连铸坯端面。

①求取此封闭区域左边界中点的像面坐标（此封闭区域左上角点和左下角点像面坐标平均值），记为（x0，y0）。

②过（x0，y0）做一条平行于此封闭区域上下边界线的直线，记为li，其斜率记为[AKc-]i，则封闭区域内包含的所有连铸坯端面中心像面坐标均在直线li上。将斜率[AKc-]i代入式（6），计算得到li与X轴的夹角β。

③以（x0，y0）为起点，沿直线li向右，此封闭区域中从左到右连铸坯端面中心像面坐标与（x0，y0）距离依次为[SX（]kWi[]2ti[SX）] [WTBZ]pixels，求得此封闭区域中所有连铸坯端面中心像面坐标，分别记为（xj，yj），其中j=1，2，…，ti，k=2×（j-1）+1，j值代表此封闭区域中连铸坯端面中心沿直线li从左至右的次序。根据式（7）—式（8）求得该封闭区域内每根连铸坯端面中心的像面坐标值。连铸坯端面中心的像面坐标求取原理如图7 b）所示。

4 实验验证

为了进一步验证所提方法的可行性和实用性，在实验室环境下搭建了成排连铸坯机器人自动贴标系统，如图7 a）所示。应用所提方法提取各连铸坯端面中心像面坐标的实际测量值，并通过标定求出多根连铸坯各端面世界坐标值制导机器人进行贴标，最终贴标效果如图7 c）所示。其中标签尺寸为75 mm×30 mm，连铸坯端面尺寸为150 mm×150 mm。

完成贴标后，分别测量标签左上、左下角点与连铸坯左边界的垂直距离，求得其平均值作为标签左边界与连铸坯左边界的实际距离，同理得到标签右边界与连铸坯端面右边界实际距离，求取左右两实际距离值的差值，得到水平方向贴标误差。同理，测量并求得竖直方向贴标误差。实验数据如表1所示。

通过表1可知，各连铸坯端面中心水平方向和竖直方向贴标位置误差范围分别为-0.625～0.850 mm和-0.550～0.875 mm，完全满足钢铁企业连铸坯贴标时其中心位置误差允许值1 mm的要求。

5 结 语

组建了基于机器视觉的成排连铸坯端面机器人自动贴标实验验证系统，研究了连铸坯端面中心坐标的提取方法。一是针对传统方法连铸坯端面角点像面坐标提取时存在角点漏检问题，提出了改进型SUSAN角点检测算法，首先提取图像中每个封闭区域4个角点的像面坐标，再根据封闭区域为一个连铸坯端面和多个连铸坯端面两种情况，分别求取了各连铸坯端面中心像面坐标；二是提出了一种倾斜连铸坯端面图像中心像面坐标的提取方法，实现了多根连铸坯的各连铸坯端面中心坐标的自动提取。使用合作钢厂提供的连铸坯进行了贴标实验，实验结果表明：多根连铸坯各连铸坯端面中心水平和竖直方向贴标位置误差范围分别为-0.625～0.850 mm和-0.550～0.875 mm，满足钢铁企业连铸坯贴标时其中心位置误差允许值1 mm的要求。本文提出的连铸坯端面中心坐标提取方法的精度在0.7～1.0 mm，随着客户对贴标精度要求的不断提高，在后续的研发工作中要持续改进，从而提高连铸坯端面中心坐标的提取精度。

参考文献/References：

[1] 张付祥，蔡立强，李伟峰，等.成捆圆钢端面自动贴标系统设计[J].河北科技大学学报，2016，37（6）：601-608.

ZHANG Fuxiang， CAI Liqiang， LI Weifeng， et al. Design of automatic labeling system on the end surfaces of bundles of round steels[J]. Journal of Hebei University of Science and Technology，2016，37（6）：601-608.

[2] 黄风山，秦亚敏，任玉松.成捆圆钢机器人贴标系统图像识别方法[J].光电工程，2016， 43（12）：168-174.

HUANG Fengshan， QIN Yamin， REN Yusong. The image recognition method on round bales robot labeling system[J]. Opto-Electronic Engineering， 2016， 43（12）：168-174.

[3] 李海，张宪民，陈忠.基于直线检测的棋盘格角点自动提取[J].光学精密工程，2015，23（12）：3480-3489.

LI Hai， ZHANG Xianmin， CHEN Zhong. Automatic corner detection of checkerboard based on LSD[J].Optics and Precision Engineering， 2015，23（12）：3480-3489.

[4] KOVACS A， SZIRANYI T. Harris function based active contour external force for image segmentation[J]. Journal Pattern Recognition Letters， 2012，33（9）：1180-1187.

[5] 王晓辉，程键庆，韩瑜.基于Harris的棋盘格角点检测改进算法[J].电子测量技术，2013，36（10）：51-54.

WANG Xiaohui， CHENG Jianqing， HAN Yu. Improved checkerboard corner detection algorithm based on the Harris[J]. Electronic Measurement Technology， 2013，36（10）：51-54.

[6] 冯玉朋，曾庆喜，马杉，等.无人驾驶车辆基于角点和斑点的特征提取算法[J].河北科技大学学报，2017，38（3）：237-243.

FENG Yupeng， ZENG Qingxi， MA Shan， et al. A feature extraction algorithm based on corner and spots in self-driving vehicles[J]. Journal of Hebei University of Science and Technology，2017，38（3）：237-243.

[7] 龚平，刘相滨，周鹏.一种改进的Harris 角点检测算法[J].计算机工程与应用，2010，46（11）：173-175.

GONG Ping， LIU Xiangbin， ZHOU Peng. Improved Harris-based comer detection algorithm[J]. Computer Engineering and Applications， 2010，46（11）：173-175.

[8] 李海超，張广军.基于旋转不变的角点匹配方法[J].红外与激光工程，2008，37（3）：561-564.

LI Haichao， ZHANG Guangjun. Novel corner matching algorithm based on rotational invariants[J]. Infrared and Laser Engineering， 2008，37（3）：561-564.

[9] XU Yi， ZHOU Jun， ZHOU Yuanhua. Measurement of disparity based on sparse-to-dense matching approach[J]. Infrared and Laser Engineering， 2003， 32（6）： 630-634.

[10]贾旭，薛定宇，崔建江.基于尺度、距离、旋转测度的角点匹配算法[J].东北大学学报（自然科学版），2010，31（12）：1689-1692.

JIA Xu， XUE Dingyu， CUI Jianjiang. Corners matching algorithm based on measures of scale， distance and rotation[J]. Journal of Northeastern University（Natural Science）， 2010，31（12）：1689-1692.

[11]QU Zhiguo， WANG Peng， GAO Yinghui， et al. Fast SUSAN edge detector by adapting step-size[J]. Optik， 2013，124（8）：747-750.

[12]王巍，赵红蕊.面向影像匹配的SUSAN角点检测[J].遥感学报，2011，15（5）：940-956.

WANG Wei， ZHAO Hongrui. The improvement of SUSAN for image matching[J]. Journal of Remote Sensing， 2011，15（5）：940-956.

[13]张映权，王琼华，李大海，等.改进的SUSAN角点检测算法[J].现代电子技术，2009，32（20）：42-44.

ZHANG Yingquan， WANG Qionghua， LI Dahai， et al. Improved SUSAN corner detection algorithm[J]. Modern Electronics Technique， 2009，32（20）：42-44.

[14]吴一全，王凯.基于SUSAN算子和角点判别因子的目标边缘检测[J].中国科学院大学学报，2016，33（1）：128-134.

WU Yiquan， WANG Kai. Target edge detection based on SUSAN operator and corner discriminant factor[J]. Journal of University of Chinese Academy of Sciences， 2016，33（1）：128-134.

[15]GAO Chao， ZHUN Hongjun， GUO Yongcai. Analysis and improvement of SUSAN algorithm[J]. Signal Processing， 2012，92（10）：2552-2559.

[16]鲁波，黄坚，朱子伟.基于机器视觉的LED阵列自动分选系统设计[J].杭州电子科技大学学报，2010，30（5）：29-32.

LU Bo， HUANG Jian， ZHU Ziwei. Design of LED array automatic sorting system based on the machine vision[J]. Journal of Hangzhou Dianzi University， 2010，30（5）：29-32.

[17]黄风山. 光笔式单摄像机三维坐标视觉测量系统关键技术的研究[D]. 天津：天津大学， 2005.

HUANG Fengshan. Study on the Key Technique of Single Camera 3D Coordinate Vision Measurement System Using a Light Pen[D]. Tianjin： Tianjin University，2005.

[18]章國红，辛斌杰. 图像处理技术在纱线毛羽检测方面的应用[J].河北科技大学学报，2016，37（1）：76-82.

ZHANG Guohong， XIN Binjie. Application of image processing technology in yarn hairiness detection[J]. Journal of Hebei University of Science and Technology， 2016，37（1）：76-82.

[19]邓仕超，黄寅. 二值图像膨胀腐蚀的快速算法[J].计算机工程与应用，2017，53（5）：207-211.

DENG Shichao， HUANG Yin. Fast algorithm of dilation and erosion for binary image[J]. Computer Engineering and Applications， 2017，53（5）：207-211.

[20]姜黎，吴伟仁，张之敬，等. 微小型结构件显微图像边缘的自动识别[J].光学精密工程，2013，21（1）：224-232.

JIANG Li， WU Weiren，ZHANG Zhijing，et al. Automatic detection of micro image edges for micro accessories[J]. Optics and Precision Engineering， 2013，21（1）：224-232.

[21]王佳坤. 基于最小矩形包围的图像归一化研究[J].科学技术与工程，2013，13（25）：7577-7579.

WANG Jiakun. Image toward normalization study based on the smallest rectangle surrounded[J]. Science Technology and Engineering， 2013，13（25）：7577-7579.