基于机器视觉的LED灯具螺丝孔定位研究

蒋明华 丁度坤,2 辛曼玉 黄秋林,3 袁邦颐,3

（1.广东汇兴精工智造股份有限公司，东莞 523819；2.东莞职业技术学院 电子信息学院，东莞 523808；3.广西大学 广西制造系统与先进制造技术重点实验室，南宁 530003）

近年来，随着制造业自动化技术的快速发展，机器视觉因其非接触性、精度高和实时性好等优点，在工业产品检验、装配、识别、定位以及尺寸测量等方面发挥了重要作用。它提高了设备的智能化水平，降低了工人劳动强度，增加了安全性，提高了生产效率。

机器视觉是基于计算机视觉理论的一门学科，主要包括光学知识、图像处理、人工智能化和机电控制等相关技术[1]。机器视觉系统作为机器人的“眼睛”，实时性高，定位精度高，可有效增加工业机器人的灵活性，是装配生产实现自动化和智能化的有力助手。机器视觉的研究是从20世纪60年代中期美国麻省理工学院学者ROBERTS关于理解多面体组成的积木世界研究开始的[2]。20世纪70年代，美国麻省理工学院的MARR创立了系统化的视觉图像处理理论[3]，指出从三维场景中获取有用信息的过程需要经过多层次处理，这种处理过程可以用计算的方式重现，奠定了计算机视觉理论化和模式化的基础。随后，从20世纪80年代中期开始，机器视觉技术发展迅速，在20世纪90年代进入高速发展期，同时机器视觉系统在工业机器人领域的应用进入发展阶段。

机器视觉最早发展于欧美、日本等发达国家和地区，诞生了不少相关产业公司，如美国康耐视（Cognex）、日本松下（Panasonic）和德国西门子等。21世纪初，随着计算机硬件处理速度越来越快和神经网络等智能算法的推广应用，工业机器人可不断提高训练建立识别逻辑、图像识别定位的准确率，推动机器视觉进入新的发展阶段。目前，机器视觉技术在机器人、传感器、控制软件算法以及人工智能等方面获得了广泛应用[4]。

我国的机器视觉技术研究起步于20世纪80年代，初期相关技术人才缺乏，厂商主要代理国外品牌，缺乏自主研发产品的能力[5]。20世纪90年代初，我国有少量视觉公司成立，并开发出第一代图像处理产品。20世纪90年代末，大量电子相关的企业迫切需要得到机器视觉相关技术的支持，推动了国内机器视觉技术的研究。进入21世纪后，我国机器视觉技术发展迅猛。越来越多的企业开始探索和研发具有自主知识产权的机器视觉设备。我国在智能制造、智能机器人等领域颁布了政策文件[6]，促使我国机器视觉行业的投入与产出显著增长，市场规模快速扩大。目前，我国许多研究机构纷纷开展了机器视觉领域的研究，主要集中在运用机器视觉技术实现定位、检测和分类等方面。袁清珂等使用图像处理技术实现了孔壁接触点的高精度定位[7]，满足了生产要求。CHEN等使用多个尺度检测算法寻找缺陷[8]，对圆形罐头缺陷检测精度达到了99.48%。陈方涵等设计了一种基于机器视觉系统的测量方法[9]，极大程度地减小了误差，满足了市场需求。

图像特征识别与定位是计算机视觉研究方向的重要分支。几十年来，它是计算机视觉研究中的一个十分活跃的方向，存在诸多具有挑战性的问题[10]。图像特征识别的主要作用是判断已经预先定义种类的对象实例是否存在于指定目标图像。它一般通过边界框大致定位需要识别目标的空间位置和范围，若指定图像中存在目标，则返回每个目标的空间位置和范围[11]。在现代化工业制造智能化领域，图像特征识别与定位不可或缺。图像预处理是研究图像特征识别与定位的前提，是一个必不可少的步骤。它对图像的处理效率和质量，直接影响图像识别与识别算法的设计和识别与定位精度。实际应用中，图像一般数据量较大，算法处理速度较慢。如果算法复杂度高，则耗费的时间长，无法满足实时性要求。目前，很少有学者研究螺纹孔图像预处理技术，往往直接采用传统的图像预处理算法。合理选用一种基于机器视觉的螺纹孔图像预处理新算法十分必要，以便增强图像螺纹孔的可检测性，提高图像预处理效率，达到实时性目的。

以上研究虽然在一定程度上提高了机器视觉下的螺丝孔定位精度，但其图像处理算法较为烦琐且稳定性不佳，不利于工业环境下的生产。本文基于算法鲁棒性进行研究，选用了一种可行性较高的螺丝孔图像定位算法，力求满足工业生产需求，提高生产效率，节约成本。

1 视觉锁螺丝工作站

基于机器视觉的锁螺丝工作站是制造装配生产线上的一个重要模块，主要任务是完成装配过程的锁螺丝工序。传统的锁螺丝操作需要工人手眼配合完成，不仅效率低，质量参差不齐，还易使工人陷入疲劳状态。视觉锁螺丝凭其优势可实现自动锁螺丝任务，且装配精度和质量高于传统的锁螺丝工艺。

视觉锁螺丝工作站硬件组成包括工业机器人、工业相机和镜头、光源、计算机和可编程逻辑控制器（Programmable Logic Controller，PLC）系统等[12-16]。工业相机安装在工业机器人手臂末端，可随机器人手臂运动而运动，实现拍照获取工件图像的功能[17]。计算机在接收到工件图像后对图像进行处理，将待测特征螺丝孔的世界坐标值反馈给PLC控制系统，最终完成控制机器人手臂运动到指定坐标进行锁螺丝操作。视觉锁螺丝工作站的基本工作流程如图1所示。

图1 视觉锁螺丝工作站的基本工作流程

2 螺丝孔图像处理算法

螺丝孔图像处理是螺丝孔定位关键的一个步骤，可获得螺丝孔的世界坐标，并反馈给PLC控制系统控制机器人运动。常用的二值化处理算法有固定阈值算法、最大类间方差法、自适应阈值算法、Niblack算法以及Sauvola算法等。

最大类间方差法的原理步骤如下：

（1）假设初始有个阈值T0，并将图像分为前景F和背景B两个部分（阈值分割）；

（2）假如像素的总个数为N，前景像素个数为Nf，背景像素个数为Nb；

（3）假如图像的总灰度级为L-1，每个灰度级的像素个数为Ni，那么满足公式

（4）前景和背景的灰度平均值分别为

（5）整个图像的灰度平均值为

（6）前景和背景之间的类间方差为

（7）最大类间方差法的目的是求得一个阈值，使得第（6）步的类间方差最大；

（8）采用遍历的方法或者采用其他优化算法，找出类间方差最大的阈值来分割。

综上可知，最大类间方差法有良好的分割特性，二值化效果好，故本文将采用该算法进行二值化处理。

3 实验及分析

以发光二极管（Light-Emitting Diode，LED）灯具螺丝孔为实验研究对象，采用最大类间方差法进行二值化处理，进而分析实验结果。

传统的LED灯具装配工艺是工人手眼配合完成锁螺丝，效率低，质量差别大。实验中使用Basler工业相机、ABB工业机器人以及PLC控制系统等硬件搭建实验平台，依次完成了相机标定、机器人本体标定以及手眼标定，并进行机器人和相机调试，使得采集的工件图像清晰度趋于最好。LED灯具螺丝孔原图如图2所示。

图2 LED灯具螺丝孔原图

完成图像采集后，需对所得图像进行图像处理。本文使用局部分割获取感兴趣部分，使得螺丝孔更加清晰，再采用最大类间方差法进行二值化处理得到明显的螺丝孔边缘，更好地定位螺丝孔。二值化处理前后对比图像如图3所示。

图3 二值化处理前后对比图像

分析图3可知，最大类间方差法能很好地获取清晰的螺丝孔轮廓边缘，可满足工业装配需求。

4 结语

本文分析传统螺丝孔装配的现状，对比基于机器视觉的螺丝孔定位和传统工人手眼配合找孔对准定位，提出用最大类间方差法实现图像二值化处理，并从实现原理上推导了最大类间方差法的详细过程，最后以某LED灯具螺丝孔为研究对象，在工业机器人和工业相机结合的锁螺丝系统中采集螺丝孔图像数据，在Visual Studio 2017软件上使用C++进行图像处理，将所得坐标值数据传给PLC控制系统，从而控制机器人手臂运动。实验验证了所选算法的可行性，可为机器视觉在工业机器人的应用提供参考。