视觉引导关节机器人在商超行业的设计应用

文/何 敏 田晓美

关节机器人具备柔性高、定位准确及运行稳定等特点，因此在自动化物流领域得到广泛应用。关节机器人的引入，极大地推动了物流自动化的发展，提高了物流效率，降低了人力成本。关节机器人在物流行业的应用，包括拆码垛、分拣、上下料等。关节机器人实现货物单元的准确抓取有两种解决方案，一种是人为的初始化设定，通过夹具等其它辅助工具，使得工件每次到达指定的位置。另一种是搭载视觉系统，通过视觉精确定位，实现机器手准确抓取。随着科技的进展以及生产环境的复杂化，要求机器人完成更高精度、更复杂环境的任务。商超行业货物单元种类繁多，货物单元的外形、外貌等均存在较大差异。现有的物流设备无法针对不同的垛形、不同的货物单元等实现精确定位，导致现有的自动化设备无法作业。目前，学术界和工业界正在大力探索人工智能技术在不同领域的应用，而视觉技术亦是目前国内外研究的热点。近年来在ECCV、 CVPR 等国外计算机视觉顶级会议和杂志，不断有新的“深度学习”网络模型被提出。本项目基于回归思想搭建深度学习网络，实现了商超货物单元的图像分割。同时结合双目视觉系统，实现对货物单元的空间坐标精确定位。

一、视觉系统在物流行业应用的优势

视觉系统解决方案是一项综合工程，包括图像处理、光学成像、传感器技术、计算机软硬件技术等。一个典型的视觉应用系统，包括图像捕捉、光源系统、图像算法模块、智能判断决策模块和机械控制执行模块等。本项目的视觉系统结合了双目视觉技术及深度学习技术，大大提高了视觉系统的普适性、精确度及稳定性。

1.双目视觉的应用

双目视觉识别技术的应用可以更加便捷地获取三维空间中的物体距离信息，提高信息获取的效率与准确性。双目视觉技术避免了对外界特殊光源的依赖，同时能够准确获取物体的距离信息。另外，利用计算机技术对获取到的三维空间物体距离信息进行分析以及处理，可以较好的获得更加深层次的语义信息。传统的视觉技术在进行信息获取时必须要借助外界特殊光源，通过光的反射信息达到语义理解的目的。因此传统的视觉技术普适性不高，对于复杂的场景无法准确理解。同时双目视觉技术可以解决三维空间的识别问题，将视觉技术的应用范围大大扩展。

双目视觉识别系统不需要大型设备，识别系统只有简单的硬件组成，因此，双目视觉系统柔性高，可扩展性强。同时，计算机技术的优势也可以在系统中得到充分的应用，从而提高双目视觉识别技术运行的可靠性。双目视觉识别技术的应用可以解决传统机器人信息获取困难等问题，提高机器人应用的适用范围，推动机器人的智能化发展。

2.“深度学习”技术的应用

“深度学习”是机器学习中的一个分支，也是一类模式识别方法的统称。深度学习结构包含多个隐藏层的多层感知器结构，通过组合低层特征形成更加抽象的高层表示属性类别或特征，从而达到识别、判断及分析等功能。基于卷积运算的神经网络系统是深度学习研究的重要方向，该研究方法在瑕疵检测、图像识别、文字识别（OCR）、人脸识别、指纹识别、医学诊断等领域均取得了很好的研究成果。深度学习技术使得视觉系统能够像人脑一样识别物体特征，大大提高了视觉系统的普适性。传统的视觉技术借助算法工具包，可以快速方便地对图像信号进行预处理，获取图像的特征信息。因此，深度学习技术的引入，可以有效解决识别种类多，特征复杂等应用场景。

图1 项目部分物流布局图

图2 相机安装示意图

图3 机器视觉系统通讯流程图

二、物流方案

1.整体物流流程

商超周转仓货物单元种类繁多，吞吐量大，响应节拍快。图1为该项目部分物流布局图。该部分物流线实现的功能是将缓存在库区的货物单元，拆垛、输送到指定出库区域。其作业流程为：上位系统下达出库指令，AGV接收指令后前往暂存库区取货，随后AGV将货物单元由A处运送到B处，然后退出作业工位；货物单元在B处就位后触发拆垛系统，视觉系统开始对来料进行识别定位，随后关节机器手对货物进行准确抓取、搬运到输送线；最后货物单元跟随输送线到达指定出库区域。整个作业过程无需人工干预，实现全自动化，信息化作业。

2.视觉拆垛作业流程

该项目采用双目结构光相机进行图像采集。相机安装在相机支架上，拾取装置不得进入相机视野。托盘货物尺寸为1000×1200×1600（mm），为了保证图像采集视野，要求相机距离托盘货物最大尺寸不小于1140mm。为了保证系统的稳定性及准确性，相机安装必须牢固可靠，机器手运动及物流设备带来的震动对相机不应产生任何影响。另外，相机必须在机器手运动半径以外，确保相机与机器手不发生任何干涉。相机安装示意图如图2。

本项目采用的结构光双目视觉系统采集的数据流包括RGB彩色图像及点云数据。双目相机的精度为1mm@1m（在1米高度处，精度为1mm）。在商超拆垛作业场景下，通过该图像设备采集的点云数据噪音较多，通过单一的机器学习算法很难达到去噪音的目的。因此，在处理三维点云数据时，需要结合二维图像的特征提取，实现点云数据去噪。该任务环境要求实现1000种纸箱的自动精确抓取，传统的视觉技术难以满足如此多种类的图像处理要求，因此，该项目基于深度学习模型，建立了图像分割的神经网络模型。该模型能够对图像中的纸箱进行实例分割，得到每个纸箱独立的掩模（mask）。将实例分割得到的掩模映射到点云数据上，可以去除点云数据中的噪声点。当获取每个纸箱去噪的点云数据后，通过机器学习算法可以计算出每个纸箱的中心坐标，最后将中心坐标位置反馈给机器手的PLC实现精确定位。

双目视觉系统与机器人配合，实现自动拆垛的作业流程为：当系统就位后，上位系统向视觉系统发送指令，视觉系统被触发后，开始图像采集。双目视觉系统自动识别出垛形以及计算出目标物的空间位置信息、并发送给机器人。机器人根据收到的目标物的位置信息，去拾取该目标纸箱，随后双目视觉系统再次进行图像采集和数据计算。机器人运动到输送线上方，并且将目标纸箱放置到输送线上。机器人返回到垛形上方，根据视觉系统的指令拾取目标纸箱。系统不断的循环上述步骤，直到完成任务。机器视觉系统流程图，如图3。

三、总结

视觉引导关节机器人拆垛系统的成功运行，实现了商超行业多种类货物自动拆垛的功能，推进了物流业由劳动密集型行业转向技术密集型行业发展，推动了物流机器人的智能化发展，提高了物流机器人的工作效率与工作质量，大量节约了人力成本。另外，该项目的成功落地，也为深度学习此类前沿的人工智能技术提供了较好的应用场景，扩展了人工智能技术的应用范围。