基于视觉技术的复杂空间装配中的精细对孔

郑张　邬春学　张生　林晓

摘 要： 在复杂空间的自动化装配过程中，模块与模块安装位置的安装孔之间需要在孔位对准后用螺丝固定，针对这一问题，设计实现了一种精细对孔方法。该方法从安装孔视频流中定时读取一帧图像，在对图像进行滤波去噪、边缘检测等操作后，采用最小二乘法检测安装孔圆心坐标信息，根据安装孔之间的圆心距判断安装孔是否对准。实验在0.062 5 mm的标定精度下，Hough圆变换和最小二乘法的圆心距检测结果分别是0.125 mm和0.06 mm。实验结果表明，在高精度的标定结果下，相比较Hough圆变换，最小二乘法能够更好地检测到安装孔的圆心坐标信息并实现精细对孔，同时表明该精细对孔方法是可行的。

关键词： 对准; 自动化装配; 最小二乘法; Hough圆变换

文章编号： 2095-2163（2021）07-0106-07中图分类号：TP399文献标志码： A

Fine alignment of hole in complex space assembly based on vision technology

ZHENG Zhang1， WU Chunxue1， ZHANG Sheng1， LIN Xiao2

（1 School of Optical-Electrical and Computer Engineering， University of Shanghai for Science and Technology， Shanghai 200093，

China; 2 College of Information and Electrical Engineering， Shanghai Normal University， Shanghai 201418， China）

【Abstract】In the automatic assembly process of complex space， the mounting holes of the module and module installation site need to be fixed with screws after the holes are aligned. Aiming at this problem， a fine hole alignment method is designed and implemented. This method reads a frame image from the video stream of the mounting hole at the same interval. After filtering， denoising， edge detection， and other operations for the image， the Least Square Method is used to detect the center coordinate information of the mounting hole， and judge whether the mounting hole is aligned according to the center distance between the mounting holes. Under the calibration accuracy of 0.062 5 mm， the test results of the center distance of Hough circle transform and Least Square Method are 0.125 mm and 0.06 mm respectively. The experimental results show that， compared with Hough circle transformation， the Least Square Method can better detect the information about the coordinate of the center of the mounting hole and realize the fine alignment of the hole. At the same time， it shows that the fine alignment method is feasible.

【Key words】alignment; automatic assembly; Least Square Method; Hough circle transformation

0 引 言

智能制造是當前制造业发展的重要目标之一，同时也还是一个多学科交叉的研究领域，早在上世纪九十年代，就已经有人对智能制造技术与智能制造系统做出了相应的分析[1]。人工智能与智能制造之间也有着密切的联系，在实现智能制造的过程中或多或少地都会运用到人工智能技术。智能制造今后的一个发展方向就是制造的自动化、智能化，同时，智能制造在当今社会中也显得越来越重要[2-3]。本文研究的内容就是为了更好地实现制造装配过程中的自动化、智能化。

现如今，不论是在日常生活中、或是在工业生产中，自动化和智能化已在很多方面得到了广泛的应用。例如，在一些复杂灾害环境下，利用无人机进行自动自主搜救将能大大地提升搜救效率[4-5]。在石油开采方面，结合无人机的优点，利用无人机航拍图像，还实现了对现场工况的实时自动化检测[6];在物流行业中，又提出了一种智能分配方法来实现物流终端的智能化分配[7]。

同样，视觉技术在工业装配中也发挥了很大作用。在工业装配中定位抓取这一环节，目前即已研发实现了基于机器视觉技术的工件定位抓取[8-9]。在装配过程中的孔位对准问题上，学界也已提出了机器人装配中孔位对准的算法[10]。近年来，相关研究仍在进行中[11-12]。

分析可知，现实中复杂空间的特点是内部结构复杂、布线空间狭窄、零部件数目多，待安装模块重量大。在传统的手工作业下，由于缺乏有效的工装，给装配人员的操作带来了极大的困难，在一定程度上也影响了装配效率，严重时还可能会损坏物件或对操作人员造成伤害。为了提高装配效率，有必要实现自动化装配。基于此，本文将针对复杂空间下的精细对孔问题展开如下研究论述。

1 模块的自动化装配

要实现基于机器视觉技术的机器人自动化装配将会涉及到很多方面。在整个装配过程中，视觉检测技术主要体现在以下几方面：

（1）能够视觉识别出待安装模块并进行定位和抓取。

（2）能够识别出周围的障碍物，并使机械臂进行障碍物的躲避或停止运动。

（3）能够视觉识别出安装位置上的所抓取模块的对应的安装孔位。

（4）能够识别出安装位置周围的障礙物，并能够进行避障;对于障碍物较多完全阻碍机器人的运动情况下，机器人停止运动并给予报警提醒。

（5）在进行模块的安装过程中，能够用视觉实时监测判断安装的正确性，包括安装的位置、安装的方向、紧固件规格、直属件等。

（6）不管是机器人主动装配模式、还是被动辅助装配模式，对安装过程、安装完毕的状态，都能够进行视觉拍照和录像记录。

（7）可以对一些指定的检验项进行拍照识别和检测。

由以上几点可以看出，在整个自动化装配过程中，视觉技术起到了关键作用。机器人自动化装配示意图如图1所示。由图1可知，整个自动化装配系统包括：自动化AGV移动平台、机器人、末端执行器、视觉系统、传感器系统、数据采集和管理系统，机器人末端执行器用于对设备的抓取。

本文设计研究的精细对孔技术是自动化装配过程中的重要一步。在整个自动化装配系统中，有预先设定好的一个空间数据库，在此空间数据库的基础上可以进行机械臂的路径规划、避障、抓取、移动等步骤。本文研究的精细对孔是在已知模块位置以及安装位置的基础上，实现模块安装孔与安装位置孔位的精确对准。由于从空间数据库中得出的坐标位置只能将模块移动至安装位置的大致范围内，存在一定的误差。若在此情况下直接进行螺丝的紧固安装很可能造成安装失败。因此本文研究设计了一种精细对孔方法，以保证整个安装过程成功完成。

2 精细对孔方案

2.1 精细对孔要求及方案设计

在实现机器人自动化装配的过程中，机械臂可以根据从空间数据库中得到的移动路径以及目标坐标将待安装模块抓取移动至安装位置。但此时只是模块安装孔与安装位置孔位的粗对准，不能保证紧固步骤的成功完成。本文根据实际需求，在安装平面与模块所在平面保持平行的基础上实现精细对孔。安装底座与待安装模块上的安装孔直径均为5 mm，在实际的装配过程中，要求安装底座安装孔与模块安装孔两孔位的圆心坐标之间的偏移量、即圆心距小于等于0.1 mm，在保证此距离的情况下，可以认为孔位已对准，后续的紧固螺丝安装步骤同样也能够成功完成。

在待安装模块移动至安装位置前，使用预先固定的相机采集安装底座中安装孔的图像，检测得出安装底座安装孔的圆心坐标信息，而后将待安装模块移动至安装位置处，采集模块中的安装孔图像，采用相同的算法检测出模块安装孔的圆心坐标信息。依据两孔位在水平以及竖直两方向上的偏差，可将偏差距离转换为空间数据库中的坐标单位表示，从而指导机械臂移动，将安装孔对准。安装底板与待安装模块上安装孔的实物图分别如图2（a）、图2（b）所示。整个对孔操作的示意图如图3所示。

根据以上方案设计，得出如图4所示的精细对孔流程图。

2.2 相机标定

机器视觉问题的研究很重要的一点就是相机标定。本文研究的是自动化装配过程中的孔位对准问题。对于孔位对准的问题，只需知道两孔位之间的偏差即可，因此在标定时只需要测出图像中像素值与实际尺寸之间的关系即可。本文将标准尺放置在相机可采集到的视野中，而后获取标准尺的长度在图像中所占的像素数，就可以得到实际尺寸与像素值之间的比例关系。设实际尺寸为D，实际尺寸所占的像素数为N，每个像素所代表的实际尺寸为k，则存在以下关系：

D=N·k（1）

3 精细对孔算法

3.1 图像预处理

图像预处理是对孔检测的第一步操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性[13]。本文在图像预处理中采用中值滤波方法。

例如在N×N的滤波器窗口中，设Gx，y为中值滤波后图像中x，y位置的像素值，Med{}为求中值运算，则中值滤波的输出表达式为：

Gx，y=Med{gx+n，y+m;

1-N/2≤n，m≤N-1/2}（2）

滤波器窗口大小的选取对滤波的结果有很大的影响，N取3，9时对模块安装孔的滤波结果如图5（a）、图5（b）所示。

3.2 基于Canny的边缘检测

边缘是图像的基本特征，往往存在于灰度差较大的区域，因此像素级的边缘检测方法都是利用灰度差的原理来检测。

Canny[14]边缘检测算法的第一步是使用高斯滤波器对原图降噪。由于图像中的边缘方向可能各不相同，因此在Canny算法中使用多个边缘检测的算子来检测图像中水平、垂直和对角边缘，例如Sobel算子，这样就可得到像素点的梯度G和方向theta。

经过Sobel算子计算得到的图像还需要进行非极大值抑制。将当前像素的梯度强度与其正负梯度方向上的像素进行比较，若当前像素的梯度较大则保留该边缘点，否则抑制该边缘点。

接下来，在Canny中会设置一个高阈值T1和一个低阈值T2。当像素的梯度大于高阈值T1时会被保留下来;当像素的梯度小于高阈值T1、大于低阈值T2时，只有当其与高于高阈值的像素连接时才被保留;当像素的梯度小于低阈值T2时，舍弃该边缘。

本文在预处理的基础上检测边缘，检测后的边缘信息将用于安装孔圆心的检测。在未经二值化处理和经过二值化处理后的Canny边缘检测结果如图6（a）、图6（b）所示。由图6可见，经过二值化处理的图像有更多的边缘信息被保留下来，但同时由于二值化图像的轮廓较粗，安装孔的内外两侧都有边缘信息检测出。

3.3 孔位圆心坐标检测算法

本文在边缘检测的基础上分别采用最小二乘法和Hough圆变换法检测安装孔圆心坐标。

3.3.1 最小二乘圆拟合法

最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配，利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法可用于曲线拟合，如本文中用最小二乘法来拟合圆，这也是现在最为常用的拟合圆的方法之一。设圆的方程为：

本文在采用最小二乘法检测安装孔时，将采集到的安装孔图像依次进行去噪、边缘检测处理，将处理后的图像进行检测。检测到的安装孔及圆心如图7所示。

3.3.2 Hough圆变换法

Hough变换是一种特征检测技术，可用于在图像中隔离特定形状的特征的技术，例如检测图像中的直线、圆、椭圆等曲线形状[15-17]，这一技术现已广泛应用在图像分析、计算机视觉等领域[18-20]。

Hough变换不论是检测直线或是圆，都是将边缘图像中的点信息映射到一个参数空间中，标准的Hough圆变换算法中是一个三维累加器，每一个圆对应三维空间中的一个点，这就需要大量的计算。OpenCV中对标准的Hough圆变换算法进行了改进，称为霍夫梯度法。在霍夫梯度法中，检测一个圆分为估计圆心和估计半径两个步骤，对此可做阐释分述如下。

（1）估计圆心

① 对原图像进行Canny边缘检测，得到二值边缘图像。

② 对原图进行一次Sobel算子计算，得出所有像素的梯度。圆上每一点的梯度方向都是指向圆心的方向。

③ 初始化每一个圆心累加器Na，b，令Na，b=0。

④ 对二值边缘图像中的每一个非零像素点，沿着梯度的方向作一条直线，若直线经过累加器中的点a，b，则将累加器加一，即Na，b=Na，b+1。将直线经过的所有累加器点都做如此处理。

⑤ 对累加器Na，b进行排序，累加器Na，b越大，则越可能是圆心。

（2）估计半径

① 针对每一个得出的圆心，计算二值边缘图像中非零像素点与圆心之间的距离。

② 将距离进行排序，根据设定的阈值，选择合适的半径值。

③ 初始化半径累加器Nr，令Nr=0。

④ 遍历二值边缘图像中的非零像素点，若半径相同，令Nr=Nr+1。

⑤ 累加器Nr值越大越可能是半径，根据阈值，选择合适的半径。

本文在采用Hough圆变换检测安装孔时，将采集到的的安装孔图像依次进行去噪、二值化处理，将处理后的图像进行检测。检测到的安装孔及圆心如图8所示。

4 實验结果及分析

为了验证精细对孔方案的正确性及可行性，本文模拟实际的装配操作环境搭建实验装置。实验中采取不同的相机安装高度进行对比实验，相机采集的图像分辨率均为320×240。在第一组实验中，相机能够采集的水平视野范围为24 mm，竖直视野范围为18 mm，则水平和竖直两个方向上每个像素所代表的实际尺寸为：

在第二组实验中，相机能够采集的水平视野范围为20 mm，竖直视野范围为15 mm，则水平和竖直两个方向上每个像素所代表的实际尺寸为：

本文中精细对孔的要求是圆心距小于等于0.1 mm，因此0.075 mm和0.062 5 mm的标定精度是符合要求的。

4.1 圆心坐标检测结果

在第一组实验中最小二乘法和Hough圆变换检测出的安装底板上的安装孔分别如图9（a）、图9（b）所示。

第一组实验中，2种算法检测出的底板安装孔圆心坐标及模块安装孔检测结果分别见表1～表3。表2和表3中，第四项是安装孔已对准情况的检测结果。

在二组实验中，同样采用2种算法先检测安装底板上的安装孔。最小二乘法和Hough圆变换检测的结果分别如图10（a）、图10（b）所示。

第一组实验中，2种算法检测出的底板安装孔圆心坐标以及模块安装孔检测结果分别参见表4～表6。表5和表6中，第四项是安装孔已对准情况的检测结果。

4.2 实验结果分析

由实验结果可知，在第一组实验中，当实际安装孔已对准时，2种算法的检测结果误差均大于0.1 mm，不符合检测误差要求。在第二组实验中， Hough圆变换的检测结果仍不符合0.1 mm的误差要求，但在最小二乘法的检测结果中，圆心距是0.06 mm，符合0.1 mm的误差要求。

由2组实验的对比分析可知，在0.062 5 mm的标定结果下，采用最小二乘法的检测精度更高，能够满足精细对孔的误差要求。同时由实验结果可知，2组实验中最小二乘法的检测精度均高于Hough圆变换法。因此在实际装配过程中将选择最小二乘法作为检测算法。

文献[10]和文献[12]都是对孔位中心对准的研究，本文将文中的实验结果与文献中的结果进行对比分析，3种方法的对比结果见表7。

根据表7中的数据可知，本文精细对孔的0.1 mm精度误差是3种方案中要求最高的，同时在实际对准时，本文0.06 mm的误差也是最优的结果。

5 结束语

为了解决复杂空间环境下的模块装配问题，本文研究了一种基于视觉图像技术的精细对孔方法，该方法在待安装模块已定位的基础上实现待安装模块安装孔与安装底板安装孔之间的孔位对准。实验结果表明，在0.1 mm的圆心距误差要求下，采用最小二乘法能够更好地在复杂空间环境下检测定位安装孔并实现安装孔的孔位对准。

参考文献

[1]杨叔子，丁洪. 智能制造技术与智能制造系统的发展与研究[J].中国机械工程，1992，3（2）：15-18.

[2] 陶飞， 戚庆林. 面向服务的智能制造[J]. 机械工程学报， 2018， 54（16）：11-23.

[3]郭彩芬. 人工智能视角下的智能制造的发展[J]. 苏州市职业大学学报， 2020， 31（01）：16-20.

[4]WU Chunxue ， JU Bobo ， WU Yan ， et al. UAVautonomous target search based on deep reinforcement learning in complex disaster scene[J]. IEEE Access， 2019， （7）：117227-117245.

[5]HU Qiuhong ， WU Chunxue ， WU Yan ， et al. UAVimage high fidelity compression algorithm based on generative adversarial networks under complex disaster conditions[J]. IEEE Access， 2019， 7：91980-91991.

[6]ZHOU Yu ， WU Chunxue ， WU Qunhui ， et al. Design andanalysis of refined inspection of field conditions of oilfield pumping wells based on Rotorcraft UAV technology[J]. Electronics， 2019， 8（12）：1504.

[7]WU Chunxue， WU Junjie， WU Yan. Design andanalysis of the task distribution scheme of express center at the end of modern logistics[J]. Electronics， 2019， 8（10）：1141.

[8] 刘正琼， 万鹏， 凌琳，等. 基于机器视觉的超视场工件识别抓取系统[J]. 机器人， 2018， 40（3）：294-300，308.

[9]MA Yanqin， LIU Xilong ， ZHANG Juan ， et al. Robotic grasping and alignment for small size components assembly based on visual servoing[J]. The International Journal of Advanced Manufacturing Technology， 2020， 106（11-12）：1-17.

[10]程艳花， 钱鲁泓， 徐升，等. 机器人装配中孔位对准算法的研究与实现[J]. 上海交通大学学报， 2016，50（S1）：83-85，89.

[11]吴禹均， 吴巍， 郭毓，等. 一种基于力觉的机器人对孔装配方法[J]. 山东大学学报（工学版）， 2019， 49（5）：119-126.

[12]王晶， 高峰， 李婉越，等. 瞳孔中心點自动定位与对准装置[J]. 光学精密工程， 2019， 27（6）：1370-1377.

[13]毛星云，冷雪飞，王碧辉，等. OpenCV3编程入门[M]. 北京：电子工业出版社， 2015.

[14]CANNY J. Acomputational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1986， PAMI-8（6）：679-698.

[15]BAILEY D ， CHANG Yuan， MOAN S L. Analysing arbitrary curves from the line Hough Transform[J]. Journal of Imaging， 2020， 6（4）：26.

[16]成浩， 崔文超. 基于Hough变换的椭圆检测算法对比分析[J]. 软件导刊， 2018， 17（9）：115-118.

[17]陈伟伟， 武伟. 基于Hough变换的直线和圆提取方法[J]. 电子质量， 2019（2）：17-19.

[18]高霞， 全英汇， 阮锋，等. 基于Hough变换的雷达密集转发干扰抑制算法[J]. 系统工程与电子技术， 2019，41（12）：2730-2737.

[19]TIAN Yifei， SONG Wei， CHEN Long ， et al. Fastplanar detection system using a GPU-based 3D Hough Transform for LiDAR point clouds[J]. Applied Sciences， 2020， 10（5）：1744.

[20]苗丹， 卢伟， 高娇娇，等. 基于聚类与Hough变换的交通标志检测方法[J]. 计算机系统应用， 2019， 28（11）：213-217.

基金项目： 国家重点研发计划（2018YFB1702601）;国家重点研发计划（2018YFC0810204）;上海科技创新行动计划科研计划项目（19511105103）;上海科技创新行动计划项目（17511107203）;上海科技创新行动计划项目（16111107502）;航天东方红课题军工项目（654b159b2385-006-001）。

作者简介：  郑 张（1995-），男，硕士研究生，主要研究方向：计算机视觉、图像处理; 邬春学（1964-），男，博士，教授， 主要研究方向：计算机监测与控制、网络控制系统、无线自动巡检系统; 张 生（1968-），男，博士，高级工程师， 主要研究方向：工业自动化、计算机应用;林 晓（1978-），女，博士，教授， 主要研究方向：图像处理、计算机视觉。

通讯作者： 邬春学Email：wcx@usst.edu.cn

收稿日期： 2021-03-14