基于机器视觉的机器人物料分拣系统的设计

朱名强，韦娟，老盛林，黄志彬

（广西电力职业技术学院，广西南宁，530007）

0 引言

随着生产技术发展和产业转型升级，机器视觉在自动化和智能化的应用越来越广。许多生产工序，采用人工操作，不仅效率低，而且工作质量难以保证，从而影响企业的竞争力。工业机器人具有工作效率与工作质量高、重复定位精度高等特点，在生产自动化过程中，工业机器人代替人工劳动是发展的趋势。然而，机器人没有人类发达的大脑和视觉系统，不能随着具体环境调整运动轨迹，通过机器人视觉可以很好的解决这些问题。机器视觉技术是传统生产向智能化生产转变的关键。分拣工作在工业生产起关键作用，传统分拣工作多以人工分拣为主，这降低了生产效率，难以保证产品质量。运用基于机器视觉的机器人物料分拣系统，能对不同颜色、不同形状、缺陷的物料进行准确识别和精准定位，使得机器人能适应各种环境和胜任更多的工作，提高分拣安全性、可靠性和工作效率，促进工业生产智能化水平的提高。

1 基于机器视觉的机器人物料分拣系统组成

基于机器视觉的机器人物料分拣系统如图1所示，系统由硬件和软件组成，硬件主要有机器视觉模块、机器人模块，机器人模块实现搬运和分拣功能。软件运用DobotVisionStudio算法平台，实现对相机和机器人的控制。物料传送到相机镜头底部，相机对图像进行采集，DobotVisionStudio平台对采集的图像进行颜色识别、转换、处理，根据不同的颜色，设定不同的搬运和分拣路径，由机器人实现对红、绿、蓝、黄四种颜色物料的分拣。物料采用25mm×25mm×27mm泡沫块，重量较轻，颜色对比度较大，利于机器视觉对物料颜色进行识别与测量，易于机器人通过吸盘搬运与分拣。系统组成中的主要部分介绍如下：

图1 分拣系统组成框图

（1）机器视觉模块。机器视觉在智能制造中，是机器的“眼睛”和视觉的“大脑”。机器视觉模块由相机、光源、支架、计算机等组成，能够满足视觉定位、测量、检测和识别等丰富的视觉应用需求，由DobotVisionStudio算法平台编程进行控制。机器视觉用于采集图像，识别不同颜色的物体，能进行连续采集及外部控制采集，功能强大。

（2）机器人模块。机器人模块采用Dobot Magician机器人，Dobot Magician机器人是一款桌面级智能机器人，具有多个自由度，用于对物体进行搬运和分拣。机器人上装有吸盘，用于抓取和放置物料，通过气泵打开和关闭实现。

（3）Dobot Vision Studio算法平台。Dobot Vision Studio算法平台算法组件多、视觉分析工具库功能强大、搭建机器视觉应用方案方便且不用编程，具有视觉识别、定位、测量、深度学习、图像处理、缺陷检测、颜色处理等应用功能。在该平台，通过运用工具实现对各种颜色物料的处理。

2 基于机器视觉的机器人物料分拣系统软件设计

基于机器视觉的机器人物料分拣系统软件设计如图2所示，在DobotVisionStudio平台进行相应功能的软件设计。通过机器视觉、机器人对红、绿、蓝、黄四种物料进行如果不清晰，通过硬件调节聚焦和灵敏度、配置参数调节曝光时间和帧率等参数，即可得到清晰的图像。

图2 软件设计图

“颜色转换”将相机图像采集的彩色图像指定区域进行颜色空间转换，可选择转换为灰度、HSV、HSI、YUV空间，在本系统转换类型选择转换为灰度，输出灰度图像，供给“快速特征匹配”运用。转换比例包括通用转换比例、平均转换比例、通道最小值、通道最大值、自设转换比例、R通道、G通道和B通道。通用转换比例为：0.299r + 0.587g + 0.114b，平均转换比例为：(r+g+b)/3，自设转换比例为：i＊r+j＊g+k＊b（r,j,k 为归一化自设系数），通道最大值为：max(r,g,b)，通道最小值为：min(r,g, b)，R 通 道 为：r+0＊g+0＊b，G通道为：0＊r+g+0＊b，B通道为：0＊r+0＊g+b。

特征匹配分为高精度特征匹配和快速特征匹配，此工具使用图像的边缘特征作为模 板，按照预设的参数确定搜索空间，在图像中搜索与模板相似的目标，可用于定位、计数和判断有无等。高精度特征匹配精度高，运行速度会比快速匹配慢些，但是设置的特征更精细，匹配精度高。“快速特征匹配”使用图像边缘特征作为模板，先创建模板，提取图像特征，配置好模板参数。如果已经有模板，可选择其他图像进行图像输入作为模板。运行参数中的最小匹配分数要根据要求和效果进行设置，可设置0-1间的数，如果设置过高，可能匹配不到要找的目标。最大匹配个数是允许查找的最大目标个数，如果每次只查找1个，设置为1即可。特征模板用于对图像特征进行提取，初次使用时需要编辑模板，选中需要编辑的模板区域，配置好参数后单击训练模型即可。

“标定转换”用于将相机坐标系变换为机器人世界坐标系。先用“标定板标定”进行标定，生成标定文件。标定板标定有棋盘格和圆两种标定板，在此选择棋盘格标定板，在基本参数中的标定点获取选择“触发获取”，标定点输入选择“按点”，图像点选择“快速特征匹配.匹配点[]”，平移次数设置成“9”点，旋转次数设置成“3”次。在“标识别与定位、颜色测量与处理、搬运和分拣。经过“相机图像”→“颜色转换”→“快速特征匹配”→“标定转换”进行颜色识别与定位后，通过“颜色抽取”→“形态学处理”→“BLOB分析”进行物料颜色测量、处理，运用“分支模块”进行四路颜色判断和分支，再通过设计不同的路径实现搬运和分拣。

■2.1 物料识别与定位

物料识别与定位功能由软件中“相机图像”、“颜色转换”、“快速特征匹配”、“标定转换”工具实现。

“相机图像”是选择图像采集的方式，在图像采集中设置图像来源，图像来源方式主要有加载本地图像、连接相机取图，还可以存储图像。在相机图像中设置选择想要连接的相机，设置合适的图像宽度和亮度。设置当前被连接相机的帧率，帧率影响采集图像的速度。触发源选择SOFTWARE模式，SOFTWARE模式下单击“单次运行”可触发一次相机取图，单击“连续运行”可连续预览图像。触发源如果选择硬触发，需要外部硬件进行触发设置方可工作。曝光时间需要设置合适，这一参数影响图像的亮度，一般设置10000以上，通过调试确定最佳曝光时间。像素格式选择RGB，采集彩色图像。调节好相机的聚焦和灵敏度，设置好相机连接好参数，点击程序运行，在图像显示区观察图像是否清晰。定转换”中加载标定文件，建立相机坐标和机器人坐标关系，这样机器人就能准确抓取物料。在使用N点标定和标定板标定中，为提高标定效率，也可设置参数使用4点标定，但坐标转换误差会大些。标定文件生成后，即确定了相机坐标系和机器人世界坐标系之间的转换关系，不能改变相机、机器人的位置，否则需要重新进行标定，生成新的标定文件。

■2.2 物料颜色测量、处理

物料颜色测量、处理功能由软件中“颜色抽取”、“形态学处理”、“BLOB分析”工具实现。

“颜色抽取”实现从彩色图像中抽取指定颜色范围的像素部分并输出抽取后的8位二值图像。在“颜色抽取”设置RGB空间下三个通道上限和通道下限，可选择“最大值、最小值、均值和方差”的上下限值，处理区域内图像后返回颜色抽取后的图像，如果选择均值和方差上下限值，需要将数据类型改为“float”，否则选择不了，“最大值、最小值”的上下限值数据类型选择“int”即可。RGB空间通道上限和通道下限通过“颜色测量”功能实现，“颜色测量”能够进行通道的最大值、最小值、均值和方差测量。“颜色测量”的“输入源”要选择“相机图像.图像数据”，“ROI区域”参数中“ROI创建”选择“继承”，“继承方式”选择“按区域”，“区域”选择“快速特征匹配.匹配框”。在不同的光线下，经过“颜色测量”得出的通道的最大值、最小值、均值或方差是不一样的，为保证系统的稳定性，需要保证物料周围的光线基本不变，可通过打开相机的光源实现，同时设置尽可能大且不交叉的最大值、最小值、均值或方差。

“形态学处理”通过提取图像中有意义的图像分量，通过膨胀、腐蚀、开操作、闭操作对图片中的白色像素点进行处理。形态学形状支持矩形、椭圆和十字形状的结构元素。形态学操作操作次数，仅在膨胀和腐蚀操作下有效。本系统通过“膨胀”对图片进行处理。

“BLOB分析”是在像素是有限灰度级的图像区域中检测、定位目标物体的过程。设置好“BLOB分析”参数，如极性、阈值范围、查找个数、孔洞最小面积、面积、连通性等。在此，通过“BLOB分析”工具，找出满足面积要求的图像区域，从而确定要识别的物料。

■2.3 物料搬运和分拣

物料搬运和分拣功能由软件中“运动到点”、“吸盘开关”等工具组合实现。

“运动到点”实现机器人将物料以某一种运动模式搬运到某一位置，运动模式有MOVJ（关节运动），MOVL（直线运动），JUMP（门型轨迹），设定好X轴坐标值、Y轴坐标值、Z轴坐标值、R轴控制角度坐标值，在此，需要根据实际情况选择合适的运动模式。

“吸盘开关”用于控制吸盘吸取和释放，实现物料的抓取和放置。在输入参数中，开启表示吸气，抓取物料，关闭表示关闭气泵，放置物料。

在机器人对物料进行抓取时，如果机器人的吸盘没有运动到物料的中间位置，可能原因是“快速特征匹配”功能中没有创建好模板，或是机器人、相机的位置移动了，此时需要重新进行“快速特征匹配”的模板创建，如果还解决不了问题，则重新进行“标定板标定”，生成新的标定文件，在“标定转换”重新加载新的标定文件。

■2.4 软件执行说明

软件需要对红、绿、蓝、黄四种物料进行物料颜色识别、搬运和分拣，通过“颜色抽取”→“形态学处理”→“BLOB分析”→“分支模块”→“运动到点”→“吸盘开关”→“运动到点”→“运动到点”→“吸盘开关”工具控制实现。控制步骤为：第一，通过视觉采集红、绿、蓝、黄色物料，判别是否是红色，如是红色，则往下执行，发送信号给机器人实施抓取，否则分支到另一路程序处理；第二，机器人根据视觉转换后的坐标准确运动到物料中心位置；第三，机器人吸盘开启，抓取物料；第四，机器人运动到过渡安全点，一般设备为物料上方或其他安全区；第五，机器人搬运物料运动到指定分拣物料的位置；第六，机器人吸盘关闭，放置物料；第七，机器人运动到指定安全位置，该安全位置不能影响视觉识别和物料放置，等待视觉信号再重复工作。如果是绿、蓝、黄色物料，通过“分支模块”进行分支，“分支模块”要选“结果INT[]”，分支参数选择“按值索引”，条件输入值为1表示满足条件，为0表示不满足条件。

在软件调试过程中，运行机器视觉的机器人物料分拣系统，会遇到各种的不确定因素（如光线的影响、机器人零点丢失等），影响物料的识别和分拣，需要通过多次调试，采取机器人零点复位、加大“颜色抽取”通道的范围值、提高“颜色测量”数据的准确、设置合适的机器人运动安全点等措施解决。

3 系统应用优势

（1）安全可靠。基于机器视觉的机器人物料分拣系统，运用视觉功能，与被测物没有直接接触，不会损伤被测物，具有安全可靠的特点。

（2）保证质量和提高效率。机器视觉替换人工，不知疲劳，始终如一地测量，没有人为造成的操作变化，保证产品的生产工艺和质量。机器视觉可以长时间运行工作，采集数据速度快、自动处理，提高生产效率。

（3）环境适应性强。机器视觉测量对象广泛，具有一定的抗干扰能力，除代替人工普通环境下的工作外，还应用在其他危险环境或人工视觉难以达到要求的各种场合，具有较强的适应性。

（4）适应产业发展需要。机器视觉作为智能制造的“智慧之眼”，在智能制造的应用率不断提升，从“可选项”成为智能制造的“必选项”，最大程度地适应自动化和智能化产业转型升级发展需要。

4 结语

机器视觉的功能主要实现引导、识别、测量和检验，机器视觉技术推动传统生产向自动化、智能化生产变革。随着机器视觉的发展，逐渐从“可选项”成为智能制造的“必选项”，具有“智慧之眼”的能力。本系统设计基于机器视觉的机器人物料分拣系统，通过标定转换和颜色测量，对物料进行准确的目标识别与定位，通过机器人对物料进行准确搬运和分拣。运用基于机器视觉的机器人物料分拣系统，能对不同颜色、不同形状、缺陷的物料进行准确识别和精准定位，具有强大的功能，使得机器人能适应不同的环境和胜任更多的工作，适应产业发展的自动化与智能化需要。