深度学习在工业机器人视觉抛磨系统的应用研究

李光雷，崔亚辉，王利花，孟 磊

（1.西安理工大学，陕西 西安 710048；2.南京工业职业技术大学，江苏 南京 210023）

1 引言

复杂曲面抛磨作业是汽车、水暖卫浴、航空等产品制造中的精加工步骤，其对产品的最终质量和成本有重要影响。目前，基于技术及成本考量，国内中小型制造企业仍多采用传统的手工方式对工件进行抛磨作业。采用去除→测量→再去除→再测量的试凑加工方式，加工质量高度依赖于操作人员的经验[1]。在以人为本和机器换人的大环境下，传统模式已越来越不适应制造产业的发展。同时，随着部分制造行业的转型升级，其对复杂曲面抛磨作业的加工质量、自动化程度要求越来越高，传统的作业模式还存在工作环境恶劣、加工一致性差等缺点，已成为制约部分中小型制造企业提高加工工艺和产品质量的瓶颈。

基于机器人的视觉抛磨系统，如图1所示。主要由工业机器人、视觉系统、多维力传感器、抛磨工具、上位机等构成。具有灵活性高、通用性强、易于扩展、一致性好等优点[2]。

图1 智能抛磨系统结构图Fig.1 Structure Diagram of Intelligent Grinding System

抛磨作业的主要参数包括抛磨点提取、磨削速度、抛磨深度等。工艺流程，如图2所示。目前国内外关于工业机器人抛磨系统的研究已经很多。文献[3]基于工业机器人抛磨系统中，砂带因磨损导致抛磨效率降低，加工一致性降低等问题，提出基于提高抛磨速度的补偿策略及其机制，该策略克服了传统的线性提速补偿策略与砂带非线性磨损之间的矛盾。

图2 基于深度学习的工业机器人视觉抛磨系统工艺流程图Fig.2 Process Flow Diagram of Industrial Robot Vision Polishing System Based on Deep Learning

文献[4]提出一种基于特征值坐标的机器人局部抛磨定位方法，该方法基于协方差矩阵，建立各点相对于旋转和平移坐标变换不变的特征值坐标，以此直接搜索抛磨零件的设计曲面，生成对应点对，进而将各点主轴取向归一化，给出一种计算测量数据和模型曲面间坐标变换的方法，实现机器人到复杂曲面指定抛磨区域的准确定位。

文献[5−6]提出通过叶片的区域划分来定义每个区域对应的特征点，获取工件与模型之间的形状和坐标差异，然后基于标定结果的差异进行实际工件的位置和外形的拟合重构，从而得到待打磨区域模型。当前这方面的研究大多基于抛磨轨迹、离线编程、抛磨姿态优化、夹具设计等。关于待抛磨点位识别的研究不多。

传统的基于视觉的机器人抛磨系统主要有两种，主要包括基于激光扫描的立体视觉和基于特征点的三维重构两种方式。基于模型的视觉抛磨系统是利用三维扫描仪对工件进行扫描以获得点云数据，再对点云数据进行处理得到工件的三维模型，将得到的模型导入离线编程软件，在软件中选定抛磨区域，生成抛磨轨迹和路径，然后由离线编程软件将程序数据同步到工业机器人进行抛磨作业［7−10］。

基于特征点的机器人抛磨系统也是利用三维扫描系统扫描出待抛磨工件的点云数据，将点云数据导入建模软件拟合出模型，将重构出的模型与工件的设计模型进行比对，出入部分即是待抛磨的区域，然后将待抛磨区域数据导入工业机器人离线编程软件进行离线编程，最后将程序数据导入工业机器进行抛磨作业［11−12］。由上可以看出，基于工业机器人抛磨系统的关键是被提取出待抛磨区域，传统的抛磨区域识别方法受制于点云数据量较大、运算复杂，识别准确率和速度都受到一定限制。

本研究正是基于此背景，对基于神经网络的深度学习对异常区域识别进行研究，介绍了机器人视觉抛磨系统构成，对基于深度学习的识别算法进行了介绍，并结合工业相机拍摄的金属表面进行识别，对识别后的数据进行分析，最后对提出的方法进行了验证，取得较好的实验效果。

2 基于深度学习的神经网络算法对待抛磨区域数据的识别和提取

近年来，随着深度学习在视觉领域的蓬勃发展。利用卷积神经网络对图像进行分类，以及对图像中目标进行识别定位成为比较前沿的技术。神经网络的构建是进行目标识别的基础，典型的神经网络主要有输入层，中间层和输出层组成。

为让构建的神经网络系统能够识别出典型的抛磨数据，需要用一定数量的具有典型待抛磨特征的工件对系统进行训练，考虑到系统运行速度和识别准确性，本研究选取50张（400×600）像素的铝型材做为训练样本，使用预训练过的卷积神经网络作为主干，来提取底层特征信息，因此这些特征由于经过这些数据集的训练过而具有较好的底层特征识别能力。

用具体的例子来说，训练的神经网络将样本基础特征组成更高级的特征，比如铝型材表面的砂眼、坑洞、擦花、橘皮、碰伤、凸粉、涂层开裂等，直到最底层将这种具有上述特征的表面识别为瑕疵，即待抛磨区域。

因此，即使对图像进行平移、缩放、旋转，系统依旧能提取出点、线、面等基础特征，在最底层将其识别为待抛磨区域，并输出数据给机器人系统，作为机器人的坐标数据。

本研究所采用的图片素材为2018年广东工业智造大数据创新大赛的铝型材表面瑕疵数据库。在构建好神经网络以后，利用所构建的神经网络对待识别图像进行识别效果，如图3所示。

由图3可以看出，构建的神经网络算法可以较好的识别出铝型材图片的瑕疵信息，并且可以显示识别的准确率和待抛磨区域坐标信息。没有识别到瑕疵数据的图片则未作处理，前述图片识别后的坐标信息，如表1所示。

图3 基于深度学习构建神经网络识别出的待抛磨区域数据Fig.3 Deep Learning Based Neural Network to Identify the Area to be Polished

通过上面的表格可以看出，在经系统识别的12张图片中，基于深度学习的神经网络算法可以较好的识别出待抛磨数据。表1中第二列的位置信息里面方括号内四位数字中的前两位表示识别矩形框的左上角坐标，后两组数据表示矩形方框的长和宽，此数据可以直接在离线编程时作为工业机器人的运动参数，大大减少试教工工作量和试教效率。

由表1还可以看出，第1，2，3，7分别有两个矩形方框，表示本算法在这4个图中分别识别出两块需要抛磨的异常区域，这两块区域具有前述瑕疵特征中的任意两张。第三列表示系统识别的准确率，通过前期训练的识别器对每一张图片的各个区域进行比对，识别率越高，表明训练的识别器准确性好，误差越低。

表1 神经网络识别出的异常区域数据和识别率Tab.1 Data and Recognition Rate of Anomalous Regions Identified by Neural Networks Constructed

3 实验验证与分析

为了对所提出的基于深度学习的机器人视觉抛磨系统在实际抛磨加工中的有效性进行验证，以工业机器人为平台搭建了智能抛磨工作站。工作站以现代重工业工业机器人为基础平台，其末端负载为250kg，工作范围为3.3m，重复定位精度为0.23mm。实验中选用Astra Pro镜头为图像采集设备，以汽车钣金件常用铝型材为待识别和抛磨工件，对其进行特征提取。抛磨设备目数为240目，抛磨设备线速度为16.3m∕s。

以常见的异常特征为训练样本，训练了神经网络，搭建好的工作站，如图4所示。

图4 基于深度学习的工业机器人视觉抛磨系统Fig.4 Deep Learning−Based Vision Polishing System for Industrial Robots

通过相机对目标区域进行拍摄，采集到目标区域的图像信息。将图像信息导入由Matlab构建的神经网络系统，进行识别，识别出的待抛磨区域的坐标信息，将坐标信息和目标工件的模型导入机器人离线编程软件。

通过坐标变换，将神经网络系统识别出的待抛磨区域坐标数据转换为大地坐标系下的坐标数据，通过离线变成软件实现对抛磨轨迹的离线编程，为保证抛磨效果，尽量将抛磨工具所受的法向力与抛磨工件垂直，如图5所示。

图5 离线抛磨轨迹编程Fig.5 Off−Line Grinding Track Programming

最后，将优化后的程序通过离线编程软件同步方式导入到工业机器人系统，在工作站完成工具坐标系、工件坐标系的创建、坐标转换、系统标定和部分点位示教与修正，即可开始抛磨作业。对照组为采用传统目视检测异常区域，手动试教工业机器人进行抛磨作业。两种方法抛磨效果，如图6所示。两种抛磨方式测得的粗糙度平均值分别为0.625μm和0.326μm。采用基于深度学习的抛磨系统在表面粗糙度和加工效果一致性方面均好于对照组。

图6 传统机器人抛磨和基于深度学习的工业机器人抛磨Fig.6 Traditional Robot Grinding and Deep Learning Based Industrial Robot Grinding

可以看出，基于深度学习的工业机器人抛磨系统能够准确、快速地识别出待抛磨区域，识别出的抛磨区域坐标信息准确，磨抛后的汽车左前门表面，磨抛轨迹均匀，过渡圆滑，无棱角和过磨、欠磨现象，并且抛磨一致性较好，加工工艺满足抛磨作业要求[13]。

4 结语

研究了基于深度学习的工业机器人视觉抛磨系统。对现有抛磨系统进行改进完善，通过引入工业相机、深度学习算法实现系统的升级改造，实现了对异常区域的和待抛磨区域的智能识别，基于该方法能够获取待抛磨区域的坐标数据，采用离线仿真软件完成机器人打磨轨迹的自动规划。

同时借助人工对部分特殊区域进行辅助优化，完成了智能抛磨系统的离线编程，该方法可以实现对典型钣金件异常区域的自动识别、提取，通过系统集成，对待抛磨区域实现离线编程，实现了抛磨过程的自动化、智能化，减少了人工干预，保证了抛磨效果的一致性和准确性。