基于视觉和输送链跟踪的机器人分拣系统设计*

陈 芳

（深圳职业技术学院 机电工程学院，广东 深圳 518055）

产品分拣在工业自动化生产中是关键环节。传统生产线上的人工分拣方式往往效率低下，且劳动强度大。重复性强的分拣工作往往会导致长时间的机械化操作，这种劳动疲劳容易分散工人注意力，进而造成分拣错误。鉴于此，工业机器人因其能在各种环境中高效运行，寿命长，维修成本低，稳定性高，定位精度高，并具有优良的一致性，逐渐在生产线上被用来替代人工进行自动分拣[1]。

工业机器人的运动通常通过示教或离线编程实现，但这需要预设初始和终止位置。如果工件的放置位置有所变动，机器人往往无法进行相应的调整，造成抓取错误。因此，机器视觉技术在此环节的应用显得尤为重要，它可以通过结合工业相机和图像处理技术实现机器人的自动引导。应用机器视觉技术可以帮助机器人进行工件的识别和定位，使分拣作业更加可靠和灵活，增强了生产效率和机器人分拣系统的智能化程度。在物料分拣流水线中，为了维持生产节奏，传送带通常会持续运转。因此，要实现对移动产品的抓取，工业机器人需要使用输送链跟踪技术，对传送链上的产品进行动态跟踪。在这个过程中，机器人的工具中心点会自动跟随传送链上的工件移动。一旦工件进入机器人的工作范围，机器人的工具中心点与工件相对静止，这样就完成抓取，而且不影响分拣效果，从而提高了分拣效率。

在基于视觉技术的工业机器人领域，国外已研究多年并取得了许多突破性成果。例如，澳大利亚韦仕敦大学（Western University）研制了具有视觉系统的六自由度工业机器人。日本学者村上等人结合视觉传感器和神经网络，深入研究了弧焊机器人焊缝跟踪控制系统[2]。欧宝、保时捷等汽车制造商在生产线上使用3D 视觉定位技术对车身进行高精度密封。近年来，随着工业机器人在国内的广泛应用，国内学者也对机器视觉在工业机器人上的应用展开了深入研究。例如，马红卫研究并构建一套基于机器视觉的工业机器人锂电池载流片定位系统，该系统采用根据坐标关系自己开发的标定算法[3]。龚素芬等以机器视觉系统为核心，分别从工件识别定位、相机的标定、工件搬运等方面分析了基于机器视觉引导的方法[4]。王诗宇采用图像去重复算法避免分拣对象的漏捡误捡，改进Canny 算子，提取对象的边缘信息作为图像特征，较好地克服了光照变化对视觉系统产生的影响[5]。雍洋洋等设计了一种基于机器视觉识别和PLC 控制的自动装配生产线，其系统通过视觉识别技术、工业机器人技术和工件再定位技术等，使用PLC 和HMI 协同设计，对系统各单元进行控制和监控[6]。以上研究主要针对机器人视觉引导抓取技术进行研究，没有提及输送链跟踪，只适用于静止无序物料的静态分拣。李雪峰等研究了通过编码器位置反馈，计算物品坐标系的实时矩阵研究直线传送带跟踪算法，对机器人跟踪算法提供了参考[7]。王功亮等对输送链跟踪技术的原理进行了分析，并使用robotstudio 软件搭建输送链跟踪系统进行了仿真分析，在缩短生产线研发周期和提高设计效率方面，提供了重要的参考价值[8]。陈永平等设计的机器人双追踪传送包装系统建立了传送带基坐标和物料移动工件坐标，使用了ABB 工业机器人的DSQC377 专用输送链追踪板对物料位置信息进行记录，实现了物料和包装盒的生产线的动态追踪[9]。以上研究主要聚焦于有序物料的输送链动态跟踪技术的分析，没有提及机器视觉的应用，不适用无序物料的输送链动态分拣。史龙尧提出基于时间的目标去重算法和传送带跟踪抓取策略，实现了基于机器视觉的传送带动态分拣，分拣效果稳定准确，提供了完整的算法借鉴[10]。但该方案需要进行复杂的视觉算法和跟踪补偿算法设计，并需基于Opencv 和QT平台编程实现，对应用编程人员要求较高。

针对无序随机物料跟随传送带进行直线位移的场景，基于视觉实现机器人的动态分拣的应用研究还相对较少。为此，本研究将机器人视觉技术与输送链跟踪技术相结合，以ABB IRB360 并联机器人为例，利用康耐视智能相机所提供的高级视觉工具库和ABB 机器人的集成输送链跟踪硬件及软件功能，设计工业机器人动态分拣系统。该方案避免了复杂的算法设计，突出了简易性、通用性以及操作便捷性，具有强大的应用潜力。

一、系统方案设计

（一）系统工艺流程

物料分拣系统主要是完成四种颜色无序药丸的分类分拣，其工作流程如图1 所示。首先药丸通过振动盘送入进料传送带，此时药丸的位置和颜色完全随机。智能相机拍摄药丸并进行数据处理，将药丸的位置信息和颜色信息输出至机器人控制器。此后，机器人控制器接收智能相机输出的信息，并结合输送链跟踪的数据，完成对药丸的动态追踪和抓取。最后，机器人在抓取药丸后，会根据智能相机提供的颜色信息进行分类，并将药丸放置在对应的出料传送带上，送往下一个工作站。

图1 工作站流程图

（二）系统总体组成与运行原理

整个物料分拣系统由机器人本体、机器人控制器、传送带、编码器、跟踪板卡DSQC377、智能相机和PLC 组成，如图2 所示。其中控制器有三个：PLC、智能相机、机器人控制器。

图2 系统组成

PLC 主要负责控制振动盘，进料传送带和出料传送带的速度控制。PLC选用西门子S7-1500PLC，西门子PLC 和ABB 机器人之间通过Profinet 协议通讯，具有响应速度快，工作效率高的特点。

智能相机负责拍照，并将分析处理好的物料颜色和坐标信息传输给机器人控制器。智能相机选用康耐视In-Sight 8402 视觉传感器，其超小巧的独立式视觉系统适合集成到狭小的空间使用。分辨率为1600*1200 像素，视觉系统提供彩色图像帧速率达到33fps 的快速采集功能，支持使用千兆以太网进行高速通信，最快可达到大约1000Mbps 的传输速率，完全可以满足本分拣系统中对图像数据采集和传输高速率的要求。

机器人控制器负责执行分拣动作。工业机器人选用ABB IRB360-1/0.8 型号，载荷1kg，工作范围为0.8m，具有速度快，占地面积小等特点。其中需要用到ABB 工业机器人控制器的选项功能[11]1如表1 所示。

表1 机器人控制器选项功能

PLC、智能相机和机器人控制器之间通过网线相连，其中PLC 和机器人控制器之间通过Profinet通讯，机器人控制器与智能相机之间通过socket 通讯。首先机器人控制器通过socket 通讯方式，给智能相机发出拍照命令，然后接收智能相机传过来的物料坐标信息和颜色信息。机器人控制器通过DSQC377 专有跟踪板，接收来自安装在传送带上的编码器的数据，同步实时更新输送链坐标系，在输送链坐标系下完成物料抓取工作，并根据颜色信息再将抓取的物料放置对应出料传送带上。

（三）机器人视觉实现原理

机器人视觉的主要功能是接收到机器人拍照指令后，生成物料机器人坐标值和物料的颜色信息，并以字符串的形式返回给机器人，其实现流程如图3 所示。康耐视In-Sight 视觉软件是独立的工业级视觉系统，提供了丰富的高级视觉工具库，具有高速图像读取和处理功能。上述流程的各个步骤可以在In-Sight 视觉软件中通过表格编程的方式调用工具库函数实现，不需要编写复杂算法。

图3 机器人视觉流程

运行程序之前需要完成9 点标定和颜色模型训练。9 点标定即通常所说的“手眼标定”，使用视觉工具库中的CalibrateAdvanced函数构建相机坐标系和机器人坐标系之间的变换矩阵。使用TrainExtractColor 函数训练颜色模型。

当智能相机接收到机器人控制器发出的拍照指令后，智能相机触发拍照，完成图像采集，得到原始图片。原始图片与训练得到的颜色模型库对比，得到颜色数据。同时将原始图片进行图像处理，图像处理主要包括白平衡处理和灰度处理。斑点提取是在处理后的灰度照片中提取药丸中心点的像素坐标。将药丸的像素坐标通过最开始得到的坐标变换矩阵换算成机器人坐标。将得到的机器人坐标和颜色数据按一定的规律排列生成一条字符串，最后将字符串以socket 通讯方式输出给机器人控制器。

（四）输送链跟踪原理

输送链跟踪是指机器人控制器与输送带之间的协调运动，使机器人有能力跟随沿输送链移动的工件同步作业。

输送链跟踪坐标系统设计如图4 所示。机器人基坐标系Wobj0 位于机器人底座固定不动。输送链基坐标系WobjCNV0 原点位于输送链坐标为0.0m的位置固定不动。输送链基坐标系跟随输送链一起移动就构成了输送链移动坐标系WobjCNV1。机器人工具TCP 移动的坐标值是参考工件坐标系，当物料进入启动窗口之后，只要将机器人的工件坐标系链接到输送链移动坐标系WobjCNV1 上，机器人工具TCP 就能相对物料静止完成抓取，实现输送链跟踪。当完成该物料的抓取后，可将工件坐标系与WobjCNV1 断开。当下一个物料进入启动窗口之后，可再次将工件坐标系与输送链移动坐标系WobjCNV1 链接，开始下一个移动物料的跟踪。

图4 输送链跟踪系统图

输送链跟踪的准确度取决于输送链坐标系的准确性，要计算WobjCNV1 相对于WobjCNV0移动的距离和方向，设计输送链跟踪系统硬件连接如图5 所示。

图5 输送链跟踪硬件连接图

输送链编码器用于探测输送链移动的距离；当物料触发同步开关且到达输送链0.0m 的位置时，完成工件坐标系和输送链移动坐标系WobjCNV1的链接；输送链跟踪板卡DSQC377 接收编码器和同步开关信号输出给机器人控制器；机器人控制器中的606-1 Conveyor Tracking 选项功能即输送链跟踪软件，完成对跟踪过程的控制。对于线式输送链，通常采用4 点法校准输送链移动的方向[12]213。

二、系统软件设计

系统软件设计主要包含机器人控制器程序设计、智能相机程序设计和PLC 程序设计。PLC 程序主要控制振动盘、进料传送带、出料传送带的速度控制和系统安全信号的控制，这里不做赘述。

（一）机器人控制器程序设计

1.机器人控制器主程序设计

机器人控制器的RAPID 主程序流程图如图6所示。

图6 机器人主程序流程图

主程序开始后，首先进入“初始化”子程序，“初始化”子程序中主要完成开启中断，变量初始化，断开输送链连接和关闭套接字socket，机器人回原点等。

机器人在原点等待PLC 发出系统启动命令。当接收到启动命令之后，开始连接智能相机，然后进入输送链视觉跟踪子程序。

2.输送链视觉跟踪子程序

输送链视觉跟踪子程序流程图如图7所示。

图7 输送链视觉跟踪子程序流程图

3.中断程序设计

机器人停止功能由中断程序完成。初始化中断开启后，当机器人接收到输入中断信号DI_Stop_Interrupt 后，机器人进入中断，完成停止动作。其中断程序的流程图如图8 所示。

图8 机器人停止中断程序流程图

（二）智能相机程序设计

使用康耐视智能相机的In-Sight Explore 编程环境，采用电子表格编程方式进行智能相机程序编制。电子表格程序流程图如图9 所示。

照片预处理部分通过 WhiteBalance 和ColorToGreyscaleFilter 函数进行白平衡和灰度预处理，去掉不相干信息。提取药丸相机坐标并排序部分通过ExtractBlobs 提取斑点函数得到6 个药丸的相机坐标。再使用SortBlobs 斑点排序函数对6 个药丸按X坐标进行排序。9 点标定部分使用CalibrateAdvanced 函数，通过给定9 个点的像素坐标和机器人坐标，建立两者之间的坐标转换关系。提取药丸颜色部分首先使用TrainExtractColor 函数训练颜色库，这包括白色、黄色、红色和蓝色，共计四种颜色。然后，利用ExtractColor 函数获取药丸的颜色编号：1 代表白色，2 代表黄色，3 代表红色，4 代表蓝色。在坐标转换阶段，采用9 点标定得到的转换矩阵将排序后的相机坐标转换为机器人的坐标值。TCP 通讯部分通过使用TCPDevice 函数与机器人控制器建立socket 连接。在收到机器人控制器发出的拍照命令后，系统会发送颜色信息和位置信息至机器人控制器。

三、系统调试

为了使机器人控制器、智能相机以及PLC 之间能协调工作，还需进行系统调试。系统调试的主要工作是输送链跟踪的参数设置以及智能相机和机器人控制器之间的通信调试。

（一）输送链跟踪的基本参数设定

产品被检测处于跟踪状态到动态拾取过程[12]210如图10 所示，其中涉及的参数设置见表2。

表2 输送链跟踪参数设置

图10 输送链跟踪窗口示意图

为了保证输送链每运行1 米时，编码器输出的脉冲数量在1250-2500 之间，机器人控制器同时采集A 相，B 相上升沿和下降沿个数，一个周期内采集4 个信号，控制器采集的计算信号在5000-10000 之间。少于5000 会影响机器人的跟踪精度，多于10000 不会提升机器人跟踪精度，输送链运行的最低速度为4mm/s，最高速度为2000mm/s。

（二）智能相机和机器人通讯调试

智能相机和机器人控制器的IP 应为同一网段，智能相机为Socket 通信的服务器端[11]83，机器人为客户端，同时启动智能相机和工业机器人控制器，其通信过程如图11 所示。

图11 智能相机和机器人控制器的通信示意图

首先智能相机通过 TCPDevice 函数建立socket 通信的服务器，机器人控制器通过SocketCreate 函数创建 socket 客户并通过SocketConnect 函数与智能相机服务器建立连接。当机器人控制器通过WaitWObj 函数检测到输送链连接上工件后，马上通过SocketSend 函数向智能相机发出拍照指令。智能相机通过Read 函数接收到指令后，与字符串“OK”比对，比对成功确认为拍照指令后，通过Write 函数将颜色坐标信息以字符串的形式发给机器人。机器人控制器通过SocketReceive 函数将接收的字符串存入String2 中，再进行数据分析，将字符串解析为机器人坐标值和颜色信息。

四、应用实例与实验结果分析

按照前述的配置搭建了工业机器人药丸分拣工作站如图12 所示。为了证实工业机器人视觉引导技术和输送链跟踪技术结合应用在物料分拣中的有效性与可靠性，本研究进行了一系列相关实验。

图12 药丸分拣工作站应用实例

（一）分拣可靠性实验与结果分析

为了测试本文物料分拣方案的可靠性，在实验中准备了4 种不同颜色的圆柱形药丸，每种药丸数量为50 个，共计200 个。每次分拣总数为200，共做5 次实验，其分拣效果见表3。

表3 可靠性实验结果

实验结果表明，整体分拣正确率较高，除了蓝色药丸，其他颜色药丸分拣正确率都能达到100%。对实验结果进行分析后，发现前2 次实验主要是因为蓝色药丸颜色较深，与传送带背景色接近，对环境光比较敏感，因此环境光的变化容易导致识别失败，进而导致分拣不成功。后面3 次实验通过安装窗帘添加辅助光源等措施让环境光保持稳定后，分拣正确率可达100%。

（二）分拣效率实验与结果分析

为了测试视觉引导技术和输送链跟踪技术的结合应用对分拣效率的提升，设计了3 组实验进行对比，其中前2 组为传统方案。

第一组模拟情景：使用进料传送带，但不使用输送链跟踪技术，仅使用智能相机识别颜色。这种情景主要适用于当相机识别区域不在机器人本体的工作范围内，必须使用进料传送带将药丸移送到机器人本体工作范围内，并且通过传感器检测药丸到达固定位置才能去抓取进行分拣的情况。

第二组模拟情景：适用于相机识别区域在机器人本体的工作范围内，所以可以不使用输送链，仅使用视觉引导技术，机器人直接到相机识别区域去抓取物料进行分拣。

第三组模拟情景：结合视觉引导技术和输送链跟踪技术进行分拣。

每组实验机器人本体移动采用相同的运行速度，均连续运行5min，其实验结果见表4。

表4 分拣效率实验结果

实验结果表明，第三组结合使用视觉和输送链跟踪技术实验的分拣效率相对于前两组传统方案有明显提高，分别为第一组的1.98 倍和第二组的1.47倍。经分析，第三组相对于第一组，主要是节省了机器人等待药丸到位的时间，从而提高了生产节拍；相对于第二组的效率提升在于机器人移动过程中，药丸同时也在移动，减少了机器人移动的行程，从而减少了运行时间，提高了分拣效率。