圆钢端面中心主辅眼视觉定位方法研究*

王春梅，张付祥，李伟峰，马嘉琦

(河北科技大学 a.电气工程学院；b.机械工程学院，石家庄 050018)

0 引言

目前,视觉定位方法主要有单目视觉定位与双目视觉定位。单目视觉多用于近距离的平面测量，双目视觉可以实现立体测量、但测量精度随着距离的增加而降低[1-2]。单目视觉立体定位是通过采用三坐标测量机等特殊设备操作相机的移动，在两个不同的位置获取两张图片进行处理，得到对应点的视差值，进而求得三维信息[4-5]。双目视觉立体定位[6-7]由两台相机组成，双目视觉可以获得三维位置信息，但是其精度很低，且随着测量距离的增加而降低[8-9]。目前，针对圆钢图像处理方面的研究仅限于端面的识别及计算根数[3]，对圆钢端面中心的定位还没有通用的算法。

1 视觉定位系统设计

1.1 主辅眼视觉定位方案

钢铁厂生产的圆钢需要按用户需求的规格和重量进行探伤并打捆后在每一根圆钢的端面进行贴标[10-11]。成捆的圆钢端面进行视觉识别和中心定位(即X、Y坐标)的精度控制在±1mm，圆钢端面中心的深度(即Z坐标)的视觉定位精度为±5mm。结合单目视觉和双目视觉定位的优点，提出一种主辅眼视觉定位方法，主辅眼视觉定位系统方案如图1所示。

图1 主辅眼视觉定位系统方案

圆钢水平放置，主相机布置在圆钢端面的正前方，辅相机在圆钢端面左前方，主相机与辅相机的轴线相交于圆钢端面处。C1和C2分别代表主相机和辅相机的光心位置，沿X轴放置。以C1为原点建立XYZ坐标系，X轴水平朝右为正方向，Z轴向后为正方向，Y轴符合右手定则、向下为正方向。C1、C2的距离称为基线b。主相机用来求取X、Y坐标，主相机与辅相机结合求取深度Z坐标。

1.2 主辅眼视觉系统搭建

成捆圆钢直径大约为360mm，相机照射的视野范围900×900mm，相机摆放位置距离圆钢端面1100mm。经计算选择大恒MER-500-7UM/UC相机。光源选择上海方千光电科技有限公司生产的型号VR144-B的LED环形光源，与光源配套的电源型号为VPD-24S。考虑到过滤杂光，光源配置为蓝色光、相机配套选用蓝色滤镜，型号为BP470-30.5。以工控机作为控制单元，建立起主辅眼视觉定位试验系统如图2所示。

图2 主辅眼视觉定位试验系统组成

2 主辅眼视觉定位系统标定方法

2.1 主相机平面标定

采用三角内插值法进行标定[12]。将标定板放到圆钢端面处，主相机采集标定板图像，设置参数包括标定板上标定点的行数、列数和二值化阈值，对标定板图像进行图像处理，识别标定点，将识别出来的标定点坐标保存，如图3建立坐标系。

图3 三角内插值法坐标系转换图

XOY为世界坐标系，ucv是图片上的像素坐标系，在世界坐标系XOY中三角形P1P2P3在像素坐标系ucv的投影为p1p2p3，P点在三角形P1P2P3中，与P点对应的p则在三角形p1p2p3中，已知点P1(X1,Y1)，P2(X2,Y2)，P3(X3,Y3)和P(X,Y)的坐标则有如下关系式：

(1)

与点P1，P2，P3和P对应的点为p1(u1,v1)，p2(u2,v2)，p3(u3,v3)和p(u,v)也有如下关系式：

(2)

求解式(1)和式(2)可得m、n，k、l的值，可以证明m=k，n=l，因此已知像素坐标系中三个标定点的像素坐标与该三角形内的一个目标点的像素坐标，并且已知三个标定点的世界坐标，就可以求出目标点的世界坐标。

2.2 主辅相机立体标定

主辅相机应用张正友标定法进行标定，首先制作一块棋盘格式的标定板，首先主辅相机获取成对图像，之后按照标定工具箱的步骤进行图像读取、角点提取、参数标定和参数保存操作。主辅相机采用张正友标定法，通过MATLAB标定工具箱对主辅相机进行标定。

3 主辅眼视觉定位方法

主辅眼视觉定位方法分为主相机求取X、Y坐标，与主辅相机求取Z坐标两部分。主相机获取图像经过图像增强、二值化、去处干扰区域等操作后，进行图像分割，最后用最小二乘法进行圆形拟合，获得圆钢端面的像素坐标，通过主相机标定原理可以计算出圆钢端面X、Y的世界坐标。

主辅相机在获取图像后首先要进行极线校正，之后与主相机一样进行图像增强等一系列处理，之后获得主辅图像各自圆钢端面的像素坐标，通过形心匹配方法对主辅图像上圆钢中心进行匹配，获得视差值，最后求得圆钢端面深度值Z。

3.1 主相机平面定位

主相机获取图像后进行图像增强处理，如图4所示为图像增强的前后对比。

图4 图像增强的前后对比

图像增强采用灰度变换。对图像进行整体的统计，记录每一个像素点上的灰度值，设定一个阈值，让小于一定值的灰度值等于0，大于一定值的灰度值等于255。图像的二值化就是将图像变为只有黑白两种颜色的图像，如图5所示。

图5 图像二值化

圆钢端面的轮廓都清晰的表现出来，但是图片上还有许多的干扰区域。在MATLAB中采用去除过小区域的函数bwareaopen和去除与边界相连的区域的函数imclearborder，再对图像进行分割处理获得圆钢端面的轮廓，采用最小二乘法圆形拟合[13]即可获得圆钢端面的中心平面坐标，如图6所示。由式(1)和式(2)可求出圆钢端面坐标X、Y坐标。

图6 最小二乘法拟合圆

3.2 主辅相机深度定位

主辅相机求取Z坐标，获取主辅图像后进行极线校正，如图7所示。

图7 极线校正后的主辅图像

极线校正后主辅图像上对应点的y坐标相等，通过与主相机相同的图像增强、二值化等一系列处理，最后获得主辅图像上圆钢端面的像素坐标，此时的像素坐标即为圆钢端面的圆心坐标，由极线校正后对应点y坐标相等的特点，通过对像素坐标x坐标匹配即可获得相应的匹配点，此为形心匹配，形心匹配大大简化了立体匹配的过程，提高了效率。

主辅眼视觉定位通过视差值求取深度信息。主图像经过图像处理、圆形拟合得到圆钢端面中心像素坐标为(u1,v1)，辅图像同样获得与主图像对应圆钢的像素坐标(u2,v2)，经计算得深度值Z。

(3)

式中，x1为主图像拟合圆的X坐标；x2为辅图像拟合圆的X坐标；y为拟合圆的Y坐标；f为相机焦距。

4 实验结果

将主辅相机按照图1所示固定，将圆钢放好并对每一根圆钢进行编号，如图8所示。

图8 圆钢位置与编号

1、2、3、4、6、7号圆钢端面位于同一平面上，其余圆钢端面位置相对1、2、3、4、6、7号圆钢设置伸缩量，如图9所示。5号钢端面相对尺寸为12mm，见图9a；10号钢端面相对尺寸为11mm，见图9b；9号钢端面相对尺寸为10mm，见图9c；8号钢端面相对尺寸为9mm，见图9d。

(a) 5号圆钢端面缩进12mm (b) 10号圆钢端面缩进11mm

(c) 9号圆钢端面缩进10mm (d) 8号圆钢端面缩进9mm图9 圆钢端面深度测量

连接光源，对主相机进行标定并保存数据，对主辅相机进行立体标定并保存数据，采集图像，对主相机采集的图像进行处理，求取圆钢端面的X、Y坐标；之后通过对主辅相机图像处理，对圆钢端面进行最小二乘圆形拟合，获得圆钢端面中心的像素坐标，通过中心点对圆钢进行匹配对应，最后求取每根圆钢的视差值，最终求取圆钢端面深度信息Z坐标，10根圆钢端面中心坐标如表1所示。

表1 圆钢端面中心坐标

由表2计算出1、2、3、4、6、7号钢Z坐标的平均值为1355.6。第5、8、9、10号钢与Z的平均值之差的绝对值为：15、5、12.9、13.8。5、8、9、10号钢的Z坐标相对误差为3、-4、2.9、2.8。本系统用小二乘法拟合圆获得的圆钢端面像素坐标，求取的深度值的精度范围小于±5mm，满足设定技术指标。

目前，主辅眼视觉定位系统已经集成到成捆圆钢端面自动贴标系统中并在石家庄钢铁有限责任公司大型连轧线示范应用，机器人自动贴标系统如图10所示，采用直径为50mm的标签对直径为60mm的成捆圆钢进行贴标，贴标过程中能有效控制机器人末端操作器的进深，最终的贴标效果如图14所示，平面定位精度小于±1mm，满足生产实际的需求。

图10 成捆圆钢端面自动贴标系统现场应用及贴标效果

5 结论

本文提出一种主辅眼视觉定位方法，主相机采用单目视觉定位求取X、Y坐标，主辅相机采用双目视觉定位求取Z坐标。充分结合了单目平面定位的高精度和采用形心匹配双目立体定位的简便性，具有很强的实用价值。经试验和现场示范应用，主辅眼视觉定位方法能够满足贴标机器人对圆钢端面中心坐标定位精度的要求。