基于机器视觉的高精度螺孔定位方法研究

郭 静，罗 华，张栋栋

（航天科技集团九院第16研究所机器人事业部，西安710100）

基于机器视觉的高精度螺孔定位方法研究

郭 静，罗 华，张栋栋

（航天科技集团九院第16研究所机器人事业部，西安710100）

针对手工安装工件、劳动强度大以及效率低等问题，提出了一种基于机器视觉的螺孔定位检测方法。利用CCD摄像机实时采集局部待定位物图像，并对图像进行处理，提取螺孔坐标，然后通过物理坐标关系得到拍摄范围外的螺孔的坐标，最后经过eye-hand手眼标定转换到机器人坐标系下的坐标。该方法解决了受外界条件限制，对目标测量的过程不能一步完成的问题，实现了较大物件的自动、快速、准确定位功能。

机器视觉；螺孔；定位；高精度

0　引言

在现代工业中，自动化装配系统能够部分取代人工技能和判断力进行反复的装配操作，提高生产效率。目前国际和国内已经开展了相关的研究和应用试验，将机器视觉系统引入到自动化装配过程中，利用机器视觉代替人眼完成测试和判断，大大提高了生产线的自动化和智能化程度。基于机器视觉的装配系统以其柔性化装配系统，在提高装配精度、保证产品质量的稳定性以及提高生产率等方面显示出了极大的优越性。

一般情况下，待定位物的目标特征可以完全进入摄像机视野当中，测量和定位过程相对较为容易，然而，对于尺寸跨度较大的物体或受相机架设高度和视野范围的限制，对目标测量的过程不能一步完成。如何实现工件大范围自动测量和精密装配，解决高精度、高分辨率、快速定位的矛盾是自动装配系统研制需要解决的问题。

本文根据装配线的需求，研制了一种基于机器视觉的定位方法，通过对工件螺孔的高精度检测，完成了螺孔的快速准确定位检测的算法研究，以及 “由点到面”的孔位计算方法，实现了较大物件的自动测量和精密装配，产品的一致性和装配作业效率得到提高，同时为工件的自动化装配提供了可靠方法。

1　视觉定位工作原理

通过机器视觉对工件螺孔位置进行自动检测，主要分为图像采集、图像处理和系统标定三部分，如图1所示。图像采集模块负责获取图像，并通过合理的光源布置，使目标区域具有良好的对比度，并将采集到的图像存储于工控机（IPC）内存中。图像处理模块负责对采集的图像进行处理，提取螺孔轮廓的几何特征拟合后定位螺孔的中心点坐标，该坐标是相对于相机的图像坐标系而言，单位为Pixel，机器人不能直接使用。系统标定完成三个功能:1）确定相机的分辨率，即一个像素代表的实际物理距离；2）由相机拍摄的两个螺孔坐标推算其余所有孔位；3）确定相机图像坐标系和机器人坐标系之间的关系，经过手眼标定将螺孔在图像坐标系下的坐标转换为机器人坐标系下的坐标。

图 1 机器视觉定位流程Fig.1 Flowchart of machine vision positioning

2　图像处理算法

在采集到的螺孔图像中快速准确地检测出螺孔的中心位置，机器人才能准确调整位置进行快速定位，一次性地完成打螺丝过程。因此，对螺孔图像的快速、准确定位在机器视觉自动装配中有着重要的意义。图像处理的主要任务是准确、快速地检测物件中所有螺孔的中心点坐标。但是受物件尺寸和摄像机视野的限制，对所有螺孔的定位不能通过拍摄到的图像一步检测完成。为了克服此困难，提出了由点到面的定位方法，首先通过拍摄其中两个螺丝孔位，然后根据其余孔位与拍摄到的螺丝孔位的物理坐标关系，计算出物件所有孔位的坐标。同时在相机分辨率一定的情况下，缩小拍摄范围也提高了定位精度。图2所示为摄像机所能拍到的两个螺孔图像。

图2　CCD摄像机拍摄的螺孔图像Fig.2 The screw image by CCD camera

由于螺孔近似为圆形，而传统的圆检测方法是Hough变换法。Hough变换法具有较强的抗噪声、抗形状不连续等优点。但它的计算量和所需的存储量与参数个数成指数关系，难以进行实时处理，在装配线上无法满足在线检测的要求。鉴于Hough算法的不足，目前还有学者基于Hough提出了很多圆定位检测方法，但都存在一定的缺陷，无法应用到高精度自动装配过程中。为此，本文提出了一种适合自动装配的螺孔定位方法，提高了系统的柔性和精度。算法流程如图3所示。

首先对采集的图像进行预处理，对图像中的信息有选择地加强和抑制，以改善图像的视觉效果，将图像转换为更适合于机器处理的形式，便于数据抽取或是识别，图4为对采集的螺孔图像在感兴趣区域内预处理后的结果。然后对图像进行阈值分割，获得反应图像整体和局部特征的二值化图像，这既有利于提高目标轮廓的对比度，又便于图像的简化处理，减少数据量、提高处理速度，分割结果如图5所示。根据特征提取螺孔边缘，如图6所示。图7为提取到螺孔细节放大图，可以明显看出提取到的螺孔包含了一些冗余信息，精度较差。

图3　图像处理算法流程Fig.3 Flowchart of image processing algorithm

图4　预处理结果Fig.4 The result of pretreatment

图5　螺孔图像分割图Fig.5 The segment result of screw image

图6　检测结果Fig.6 The detection result

图7　螺孔边缘细节放大图Fig.7 The edges of screw

为了提高检测精度，对提取的螺孔轮廓经过亚像素处理后得到的螺孔细节放大图如图8所示，最后经过拟合获得螺孔的中心坐标，细节放大图如图9所示。

图8　经亚像素处理后螺孔边缘放大图Fig.8 The screw image after sub pixel image processing

图9　螺孔检测结果Fig.9 The test results of screw

3　摄像机标定

3.1摄像机CCD成像模型

如图10所示，在图像上定义直角坐标系uoov，像素坐标（u，v）代表该像素在图像中的行数和列数建立一个以物理单位（如mm）表示的图像坐标系xOy，将原点O定义在摄像机光轴与图像平面的交点，一般位于图像中心处x轴和y轴分别与u轴和v轴平行，若O在uoov坐标系中的坐标为（uo，vo），每个像素在x轴和y轴方向的物理尺寸为dx和dy，则图像中任意像素在2个坐标系下的坐标有如下关系:

用齐次矩阵可将式（1）表示为:

图10　摄像机坐标系与图像坐标系Fig.10 Camera coordinate system and image coordinate system

以摄像机为中心制定的坐标系XcYcZc如图10所示，一般小孔摄像机模型的聚焦中心为原点oc，Xc轴Yc轴分别与图像的X轴和Y轴平行，Zc轴为摄像机的光轴，与图像平面垂直。

根据针孔成像模型，采用2个焦距（fx，fy）来表示空间中的一点经摄像机成像后在图像平面坐标X、Y方向上的比例缩放系数。如图11所示，变换公式为:

图11　图像坐标系Fig.11 Image coordinate system

用齐次坐标可表示为:

由式（3）和式（4）可得:

3.2摄像机CCD标定

如图12所示，建立图像坐标系的方法为:1）微调工件位置，使B1、B2连线与图像坐标系的Y轴平行；2）将标定板贴到工件表面，并微调标定板使其水平方向与图像坐标系的X轴平行，垂直方向与图像坐标系的Y轴平行，并将O点（xpO，ypO）设定为摄像机坐标系的原点。同时还可以根据标定板刻度与图像像素之间的关系求得每个像素的实际物理尺寸kx、ky（物理距离/像素距离），根据摄像机成像原理，B1点在摄像机坐标系下的坐标为:

由于摄像机CCD只能拍摄到物件的两个孔位，其余孔位的坐标通过孔位间的物理坐标关系求得。也就是其余任意一孔位C与该螺孔的相对位置（dx，dy），以及与B1、B2点连线夹角θ求得任意点在图像物理坐标下的坐标，如图13所示。任意孔位相对于孔位B1的物理坐标如下:

用齐次坐标表示为:

图12　待定位物件图像和标定板Fig.12 Image to be positioned and the calibration board

图13　其余螺孔与参照螺孔关系图Fig.13 The relationship between other screws and compared one

4　手眼标定

手眼标定是指求取摄像机坐标系与机器人坐标系之间的矩阵变换关系。手眼标定一般有2种形式:Eye-in-Hand系统（摄像机直接安装在机械手上，随机器人一起运动）；另一种为 Eye-to-Hand系统（摄像机固定安装，位置不随机器人运动而改变），由于装配系统结构的特殊性，装配机器人一般采用摄像机固定安装手眼系统，对于固定安装手眼系统的标定，两坐标系之间的齐次坐标变换关系可写为:

手眼标定过程为:首先操作机器人移动得到机器人坐标系下视觉标定板原点O的机器人坐标得到机器人坐标系的原点在摄像机坐标系下的坐标。

操作机器人移动得到视觉标定板A、B、C点坐标，计算OA和BC两条直线在机器人坐标系下与y轴的偏转角，OB和AC两条直线在机器人坐标系下与x轴的偏转角，这四个角度值基本一样，为减小误差，求得四个角的平均值为θrv，坐标系关系如图14所示。

图14　视觉坐标系与机器人坐标系关系图Fig.14 The relationship of angle between machine vision coordinate system and robot coordinate system

经过推算得到视觉坐标系到机器人坐标系的转换公式如下:

用齐次坐标表示为:

其中，xv、yv为螺孔在摄像机坐标系下的坐标。

5　实验结果

5.1螺孔检测

通过重复拍摄10组图像提取出各个螺孔的中心坐标，如表1所示。First_hole表示第一个螺孔的中心点像素坐标，Second_hole表示第二个螺孔的中心点像素坐标。通过重复定位精度实验，提取的中心点坐标最大相差0.13个像素。

表1　中心点坐标值Table 1 The value of enter point

5.2标定结果

标定过程在自行开发的程序控制下进行，摄像机标定结果如下:

其中，kx=0.782，ky=0.787，摄像机坐标系的原点坐标为（438.664，869.288）。

手眼标定得到机器人坐标系与摄像机坐标系的位置和姿态关系为:

为了验证标定结果的有效性和精度，分别比较了通过本文阐述的定位方法提取的6个不同位置的孔位坐标与实际的坐标，如表2所示，发现图像提取点与实际数据之间的位置偏差不超过0.01mm，具有较好的定位精度。

表2　实验结果比较Table 2 Experimental result

6　结论

研究了一套基于机器视觉的定位方法，通过对采集到的局部工件图像进行图像处理提取螺孔中心坐标，并通过手眼标定转换为机器人坐标系下的坐标，解决了较大工件的定位不能一步完成的问题，实现了自动装配生产线上工件的自动检测和高精度定位，提高了装配线的自动化和智能化程度。

［1］ Boissenin M，Wedekind J，Selvan A N.Computer vision methods for optical microscopes［J］.Image and Vision Computing，2007，25（7）：1107-1116.

［2］ Schottler K，Raatz A，Hessellbach J.Precision assembly of active Microsystems with a size-adapted assembly system［C］.Micro-Assembly Technologies and Applications.IFIP International Federation for Information Processing，2008：199-206.

［3］ 徐征，王晓东，程新宇，等.基于机器视觉的微装配控制策略及软件架构［J］.光学精密工程，2009，17（4）：819-824. XU Zheng，WANGXiao-dong，CHENGXin-yu，et al.Microassemblycontrolstrategyandsoftware architecture based on machine vision［J］.Optics and Precision Engineering，2009，17（4）：819-824.

［4］ 胡小平，左富勇，谢珂.微装配机器人手眼标定方法研究［J］.仪器仪表学报，2012，33（7）：1521-1526. HU Xiao-ping，ZUO Fu-yong，XIE Ke.Microassembly robot hand eye calibration method research［J］.Chinese JournalofScientificInstrument， 2012， 33（7）：1521-1526.

［5］ Han Jian-hai，Zhao Shu-shang，Sun Wei.Research on subpixel detecting on-line system based on machine vision for inner diameter of bearings［C］.Proceedings of the 2007 IEEEInternationalConferenceonRoboticsand Biomimetics，2007.

［6］ 王晓东，宋洪侠，刘超.基于机器视觉的微小零件测量与装配控制［J］.哈尔滨工程大学学报，2011，32（9）：1117-1120. WANG Xiao-dong，SONG Hong-xia，LIU Chao.Measurement and assembly control of micro parts based on machine vision ［J］.Journal of Harbin Engineering University，2011，32（9）：1117-1120.

［7］ 宿靖波.机器视觉在机器零部件装配自动定位中的应用［J］.机床与液压，2013（24）：82-86. SU Jing-bo.Application of machine vision in automatic positioning of machine parts and components［J］.Machine Tool&Hydraulics，2013（24）：82-86.

［8］ YANG Dong-tao，GONG Chang-lai.Dimensional inspection for part using image processing techniques［J］.Coal Mine Machinery，2012，33（5）：141-143.

Research on a High Precision Screw Positioning Detection Method Based on Machine Vision

GUO Jing，LUO Hua，ZHANG Dong-dong
（The 16thInstitute，China Aerospace Science and Technology Corporation，Xi'an 710100）

For manual installation artifacts，labor-intensive and low efficiency，the paper proposes a kind of screw position detection method based on machine vision.First，use CCD camera in real time to image artifacts acquisition，and deal with the image，extracts the coordinates of screw holes.Then determine all of the rest of the screw hold coordinates by physical coordinate relationship.Finally，through the eye-hand calibration switch to the coordinates of the robot coordinate system.This method realizes the work automatically，quickly and accurately locate detection.

machine vision；screw holes；position；high precision

TN1

A

1674-5558（2016）05-01144

10.3969/j.issn.1674-5558.2016.03.020

2015-06-16

郭静，女，硕士，控制理论与控制工程专业，助理工程师，研究方向为机器视觉。