蔡倩倩 宁 祎 王 雷
(河南工业大学 机器人研究所,郑州 450007)
机器视觉分拣技术在现代工业生产中占有非常重要的地位,一直是该领域学者和技术人员研究的重点。近年来,有关机器视觉的理论研究论文和技术成果非常丰富,有力推动了该领域的技术进步。
本文主要分析机器视觉机器人分拣关键技术研究现状及其在工业、食品以及其他行业的应用现状,并分析其未来的发展趋势,以期对分拣术的研究发展提供一定的参考。
基于机器视觉机器人分拣系统的主要工作流程是:首先,利用工业CCD相机与图像采集卡采集目标图像信息;其次,通过计算机对采集的图像数据进行分析处理,获得待测目标的几何形状、颜色、实时位置等信息;最后,PC机通过运动控制卡对机械臂进行控制,完成对抓取目标的分拣工作。实现这个流程的分拣系统如图1所示。以下将对其关键技术研究现状进行具体分析。
图1 机器人分拣工作流程图
基于机器视觉的目标识别技术是整个分拣系统的关键,主要是将目标跟踪获得的目标物体图像经过处理,利用计算机技术对目标进行识别的过程。目标识别方法分为两大类:相关匹配法和特征匹配法。
相关匹配法主要分析待测目标图像与模板之间的相关性来识别目标物体。高文和陈熙霖[1]提出的逐点匹配算法是工程上经常使用的一种匹配方法。该算法抗噪能力强,对目标识别要求少,识别精度与选择模板关系密切,模板越大,匹配精度越高,计算量与匹配时间也相应增加,但仅适用于简单的目标识别。蔡昌金等[2]针对图像旋转角度过大导致传统的结构化模板失效的问题,提出了圆投影匹配算法。该算法主要利用“圆”的各向同性和投影特征解决旋转图像之间的匹配问题,但仅适用于静态图像的匹配。特征匹配法主要根据模板图像目标与待测目标图像的特征,如边缘、角点、轮廓等,按照距离测度进行识别目标物体,如特征聚类法[3-4],综合特征匹配法[5],Hu不变矩法[6],Zernike正交矩法[7]等。该方法利用目标图像的形状信息,以符号表示特征描述目标图像,降低了计算量和储存量,但对噪声敏感,适用于目标特征明显、噪声较小的场合。
基于机器视觉的目标跟踪技术是分拣系统对目标物进行分拣的前提,主要是将待分拣目标物的视频细分成多帧图像,通过定位每帧图像目标物体的位置,得出目标物体的位置时间序列,机器人据此实现对目标的追踪。目标跟踪方法[8]主要分为边缘跟踪、形心跟踪和质心跟踪。图2为常用目标跟踪方法与算法。
图2 常用目标跟踪方法与算法
边缘跟踪主要是对单帧图像中目标图像边线的提取,勾勒出目标的边缘特征。 Canny算子具有良好的信噪比(SNR)[9],能够精准定位边缘位置,使得到的边缘特征图像更加清晰,保证了视觉分拣系统的精度。Roberts算子根据对角线方向相邻两像素之间近似梯度幅值检测边缘[10],定位精度较高,但对噪声敏感,无法区分图像的主体与背景,获得的图像轮廓不清晰,边缘平滑度较差。Sobel算子属于非线性边缘检测算法[11],对噪声有较好的平滑效果,能够准确定位边缘位置,但有较多假边缘,适用于检测精度较低的系统。形心跟踪主要是对目标图像与背景图像二值化分割,对得到的二维图像处理计算得出目标中心位置的方法。相对简单的背景,形心跟踪具有较高的精度,但对复杂的背景计算量增大,跟踪性能不理想。近年来,国内外学者对其阈值分割方法进行了完善,提出一种目标峰值自适应的检测方法[12],该方法使得形心跟踪的精度有所提高。质心跟踪算法与形心跟踪算法相似,不受跟踪目标大小、旋转运动影响,但需要计算二级质心,计算量较大。该算法需要目标周围灰度均匀,国内学者已对其进行了进一步的改进,提出了一种改进的群目标自适应质心跟踪算法[13],提高了扩张目标跟踪的能力。
基于机器视觉的视觉伺服技术是整个分拣系统的保障,主要是待分拣目标进行图像识别后,计算机驱动机械臂完成对目标进行分拣的过程。一般常用的是混合视觉伺服,基本流程如图3所示。
图3 混合视觉伺服工作原理图
J.Chen等[14]提出了一种自适应无标定视觉伺服方法,在深度信息与摄像机参数不确定的环境下,根据射影单应性矩阵与欧几里得单应性矩阵之间的关系,用分解算法得到了新的旋转角表达式,得出姿态误差的计算函数;根据图像信息得出位置误差函数设计出自适应控制器,用于自适应估计深度信息等未知参数。G.Hu等[15-16]引入了四元数,将其应用于姿态误差的描述,扩展图像坐标描述位置误差,实现了姿态控制和平移控制的解耦。混合视觉伺服攻克了位置视觉伺服(IBVS)与图像视觉伺服(PBVS)两种视觉伺服的缺点,解决了局部收敛区间过小、雅克比矩阵出现奇异点等问题,同时还具有较好的鲁棒性。但它无法保证机械臂与目标处于同一视野内,且矩阵求解后,结果可能不唯一。
综合以上基于机器视觉的分拣机器人关键技术分析。目标识别方面,识别精度要求不断提高,应出现更高速、精确、立体化的目标识别算法;目标跟踪方面,对多模、多特征的跟踪等技术还不太成熟,还需要对其进行不断完善。
基于机器视觉的机器人分拣系统具有以下特点:一是能够在非接触目标的条件下,完成视觉分拣工作,保证了整个分拣系统的安全性与可靠性;二是能够识别到人眼难以观测到的物体,比如,细小变形、污渍等;三是能够不间断、不停歇的工作;四是能够在高温、有毒等相对恶劣环境下工作。随着机器视觉的发展,基于机器视觉的分拣机器人在工业、食品以及其他行业应用都有新的发展。
分拣技术在工业领域得到广泛应用,如汽车零件的分拣与工件的分拣等,不仅提高了生产效率,而且保证了产品的质量和可靠性。
针对传统汽车新能源软包单体电池定位困难,难以实现实时追踪等问题,将i RVision 和 Precitec 两种视觉系统应用机器人分拣系统中[17-18]。其中,i Rision视觉系统实现了对单体电池的定位与引导,重复定位精度达到了0.07mm;Precitec视觉系统实现对焊缝位置的实时追踪,重复定位及补偿精度达到0.1mm,合格率达到98.8%。该系统对分拣要求严格的产品提供了理论依据,为分拣机器人的广泛应用开阔了市场。爱普生研发G系列工业分拣机器人,图4所示分拣机器人对流水线上的目标进行分拣。该机器人为机器视觉系统提供接口,为机器人分拣应用提供了多种选择。针对分拣生活垃圾环境恶劣、对身体有害等特点,北京精密机电控制设备研究院成功研发出分拣生活垃圾机器人(见图5),该分拣机器人系统集合深度学习算法智能识别、机械臂在线规划与控制、多臂协同控制等技术,完成了对生活垃圾的分拣工作,实现了对生活垃圾资源化、减量化、无害化的处理。
图4 机器人对流水线上的目标进行分拣
图5 机器人分拣 生活垃圾
早期的食品分拣主要是采用人工分拣,不仅会对食品造成二次污染,还可能出现误捡、漏捡等情况。基于机器视觉的机器人分拣在食品分拣领域的应用逐渐引起了众多研究学者的关注。
针对人工难以剔除柑橘罐头存在的囊衣、橘核残留以及橘片破损问题,设计了基于LabVIEW的机器视觉快速检测算法[19],经过大量实验检测,能够满足实验要求,检测正确率可达(99.1±0.5)%,检测平均总耗时(17±5)ms,提高检测速率与识别度。该算法对分拣不合格产品提供了技术支持,不仅保障了食品的质量,还降低了劳动强度,节省了成本。FANUC公司研发的轻载型机器人M-LiA(又称拳头机器人)[20],图6为M-LiA分拣不同颜色的巧克力豆。该机器人内置iR Vision视觉系统软件以及配有适应复杂装配作业的多轴手腕,采用独特的平行连杆机构最大幅度提高动作速度,其分拣速率能达到0.3s/次。近年来,ABB公司在IRB360Flex Picker的基础上,研发出RacerPack分拣设备,图7是RB360Flex Picker对流水线上的食品进行分拣。该机器人不仅实现对开放式食品工业机械设备的洁净功能,而且可以根据实际应用场合选择合适的分拣夹具,其分拣速度能够达到400次/min。
图6 M-LiA分拣不同色的巧克力豆
图7 RB360Flex Picker对流颜 水线上的食品进行分拣
机器人分拣技术的应用不仅局限于工业、食品等行业,在其他领域的应用也有新的进展。
华科大研发的视觉分拣系统[21],能够稳定、高速、准确地完成各种材质的分拣工作,支持不规则形状物体的匹配识别以及近似物体的区分,其正确识别率达到98.73%,定位精度误差小于2mm,分拣物料速率达到3.8s/件。Baxter双臂仿人形机器人[22]是开发的新型分拣机器人,如图8所示。该机器人结合Kinect视觉传感器[23],能够有效获取目标物体的三维信息,反馈自身及周边的环境信息,还具备非常完善的人机交互功能[24],该系统不仅增强了分拣系统的识别精度、交互性、安全性以及可靠性,还加快了分拣速率和减少人工分拣的工作量,具有较高的实际推广及应用价值。在第七届中国智博会展会上新松机器人推出新一代研发产品,图9为机器人分拣物料。该机器人兼容MES、ERP等多种上位管理软件以及具有开放式通讯技术,还融合力感知、力控制、传感、视觉等多种创新技术,具有轻载、高速、精度较高等特点,是国内率先研制的协作机器人产品。近年来,新松更是攻克机器人控制核心算法,推出对激光、视觉、力觉等多传感器高度集成的SIRC2.0智能机器人控制器,达到了CLASSA标准,具备优秀的扩展性及通用性,为机器人分拣带来工业级的实时性、稳定性、适应性,也为工业机器人实现智能化提供了理论研究。
图8 新型分拣机器人
图9 机器人分拣物料
综合以上对机器人分拣技术在各个领域的应用,目前机器视觉研究有较大进步。但由于环境多变性、软硬件开发等方面还存在很多不足,仍需要对其进行更深一步的研究。目前,国内外机器人的研究热点主要集中在以下方面[25]。
第一,随着现代机器视觉技术的发展,机器视觉逐步向智能化、数字化以及实时化方向发展。对于图像处理、目标物体跟踪与识别以及控制器的控制等都需要对其进行数字化处理,而现代工业对机器人智能化以及实时化要求也越来越高。
第二,基于机器视觉处理器将会不断向PC机以及嵌入式视觉系统发展。该技术集于先进计算机技术、半导体技术以及其它先进技术融合的产物,利用嵌入式系统不仅功耗低、结构紧凑、成本较低,而且具有安装方便、配置灵活、携带方便等优点。
第三,基于机器视觉系统与其他传感技术相结合,实现处理复杂问题的功能。利用多传感技术提高整个系统检测、追踪和识别等方面的可靠性和实时性,弥补了传统视觉系统的不足。