深度学习的车间零件分拣机器人目标识别方法

杨静宜，王静红，崔建弘

（1.河北工程技术学院人工智能与大数据学院，河北 石家庄 050091；2.河北师范大学计算机与网络空间安全学院，河北 石家庄 050091）

1 引言

我国作为世界工业产品的主要生产国家，工业品出口数量极其庞大。随着我国工业技术［1］的不断发展，工业机器人［2］已逐步应用在物流、仓储、车间厂房等相关领域中，代替人工从事分拣工作。由此工业机器人智能化进入人们的视野，成为人们一时间争相热议的话题。零件分拣机器人作为工业机器人类别中最常见种类，其生产结构体现工业机器人的特性。当分拣机器人的生产结构越来越精密，传统目标识别方法无法有效地完成目标识别时，提出新的机器人目标识别方法就变得尤为重要。

文献［3］方法提出农业机器人全方位目标识别方法。该方法依据MIMO-OFDM 信道编码理论构建机器人框架；通过鱼眼镜头采集工作环境图像，构建机器人的全方位目标识别系统；最后基于图像处理技术以及滤波算法完成机器人的全方位目标识别。

文献［4］方法提出基于动态双窗口的机器人视觉特征识别方法。该方法通过导航匹配结果与机器人位姿设定导航窗口，将采集的图像颜色转换成色调等参数；通过对图像灰度处理建立图像的直线模型；最后基于最小二乘法拟合机器人移动距离偏差识别目标。

文献［5］方法提出晶格式集群机器人矩阵成型方法及实验。该方法依据离散化的晶格式群体系统以及离散化排列方式建立对称分布矩阵；通过该矩阵计算元素的相似性；根据二维目标几何算法二值化处理分布式矩阵；最后基于计算结果的映射运算，实现对目标的定位识别。由于上述方法未能详细分析分拣机器人运动规律，导致上述方法进行目标识别时，平均置信度低、识别时间长、识别效果差。

为解决上述机器人目标识别方法中存在的问题，提出深度学习的车间零件分拣机器人目标识别方法，该方法结合深度学习，以此为基础实现机器人目标识别，以期为工业生产提供助力。

2 零件分拣机器人目标特征分析

在对零件分拣机器人［6］开展目标识别前，需要分析机器人运动规律提取目标特征值向量。

2.1 分拣机器人运动规律分析

零件分拣机器人在工作时，设定机器人关节配置系数为p=(p1，p2，…，pa)，机器人关节的自由度数量用a标记。

当零件分拣机器人开展第i项任务时，设定机器人的笛卡尔位置为mi，引用标记mi*形式，以此获取该分拣机器人的任务误差值，过程如下式所示：

式中：σi—获取的分拣机器人的任务误差值。机器人笛卡尔位置是由动力学函数fi以及机器人关节空间函数mi=fi(p) 决定，因此，需要计算任务误差值与机器人机械臂关节角速度之间的关联关系，结果如下式所示：

式中：Yi—机器人的任务雅可比系数，且Yi=αfi/αp；α—常数向量；关节角速度。

引入任务加权算法，设定机器人任务数量为a，以此定义关节角的表述形式，过程如下式所示：

式中：ωi—关节角速度的关联权重向量；机器人关节的最小

配置系数。

由于机器人控制时间［7］变化无明显波动，因此，在计算时，将上述设定成忽略项，并对关节角速度二次规划，过程如下式所示：

式中：T—迭代函数；A—机器人任务数量集；β—规划向量。为规避机器人运动时遭受机械损伤，需要制定机器人的关节约束条件，制定过程如下式所示：

式中：ps—分拣机器人关节角的上限标记；px—分拣机器人关节角的下限标记；关节角速度上限；关节角速度下限；Δt—关节臂的控制时间。

2.2 分拣机器人目标特征提取方法

依据上述机器人运动规律分析结果，使用SIFT算法完成分拣机器人的目标特征提取。具体流程如下：

（1）获取机器人尺度空间极值点

设定零件分拣机器人工作环境的二维图像为B(m)，n，以此获取机器人的尺度空间表述形式，过程如下式所示：

式中：(mi，ni)—二维图像的像素空间位置；*—卷积运算符号；C(m，n，δ)—尺度空间；B(m，n)—图像函数；G(mi，ni，δ)—可变高斯函数；δ—坐标尺度；exp—指数函数。依据上述计算结果建立图像的高斯差分空间，过程如下式所示：

式中：E( )m，n，δ—获取的高斯差分空间；k—常数。确定图像空间极值点。

（2）分拣目标的关键点定位

将确定的空间极值点作为机器人分拣目标［8］的特征关键点，依据泰勒公式对其展开，过程如下式所示：

式中：m—机器人的尺度空间坐标位置；ε—展开系数；E(m) —泰勒展开结果。求导运算上述泰勒展开结果，并依据确定的极值点剔除图像中对比度低的边缘点。

（3）匹配图像关键点

使用像素梯度幅值算法确定机器人移动的主要方向，依据确定结果实现图像的特征点匹配，提取目标的特征点，过程如下式所示：

式中：ϕ(m，n)—机器人的目标关键点匹配结果；λ(m，n)—特征提取结果；γ—特征匹配系数；tan—正切函数。

（4）生成特征向量

依据上述获取的图像关键点为中心，在二维图像中选定一个（8 × 8）窗口，通过计算图像块的梯度直方图，获取图像的多维数据特征向量。

3 深度学习的机器人目标识别方法

依据上述获取的机器人目标特征向量，明确识别目标，建立基于深度学习［9］的目标识别模型以及优化模型，并且基于优化模型完成机器人的目标识别检测。

3.1 确定编码形式

基础编码器通常分成输入层、隐含层以及重构层三层架构，并将其大致分为数据编码以及数据解码两部分。

设定数据编码的映射函数为f，输入数据标记f(m) 形式，以此计算编码器的隐含层输出数据，过程如下式所示：

式中：gf—激活函数用；η—权值矩阵；bn—偏置项。数据解码时，通过逆映射函数重构隐含层数据，完成编码数据的重构，过程如下式所示：

式中：ηTn—编码器的权值转置系数；θ—训练参数；m'—编码的重构数据；h(n) —重构向量；bm'—偏置系数；Dx—训练数据集；σ—重构误差；ϕAE(θ) —数据的最小化表现。

3.2 车间零件分拣机器人目标识别

基于上述确定的编码器编码形式，结合深度学习中的神经网络，构建零件分拣机器人的目标识别模型。

3.2.1 模型结构

目标检测模型的具体结构，如图1所示。

图1 机器人目标识别模型Fig.1 Robot Target Recognition Model

分析图1可知，机器人目标识别模型主要依据栈式压缩自动编码器堆叠而成。

由于该模型在识别目标时，模型快速进入拟合情况，因此，需要通过模型训练寻找模型最优参数。

3.2.2 模型训练

使用自动编码器训练模型时，模型会提前进入拟合情况，从而降低模型的识别能力。因此，在自动编码器中加入规则项，对模型实施权重惩罚。设定模型的权值衰减函数如下式所示：

式中：ϕAE(θ)—模型的权值衰减函数；τ‖W‖—规则项权重。

为增强输入数据的鲁棒性，需计算编码的映射函数［10］与雅克比矩阵ϕf(m) 的范数平方根以及目标函数，过程如下式所示：

式中：ϕcae(θ)—编码器目标函数；范数平方根。

模型训练时，目标的隐含层输入数据m偏导数为0，说明训练目标与偏导数之间存在相关，模型隐含层不发生变化。最后通过上述目标函数计算结果完成模型的训练。

分拣机器人的目标识别流程如下：

（1）分析机器人相关运动规律，提取目标特征向量。

（2）训练目标特征，建立目标识别模型，并在编码器底部引入模态规则项。

（3）开展模型训练，还原数据输入特征，完成样本分类，通过传播算法完成模型的参数寻优。

（4）通过监督学习方式，微调模型隐含层权重参数，获取目标最大似然函数，结果如下式所示：

ρ= arg maxρ

式中：ρ—目标识别模型最佳参数；n—分类器输入数据预测值；实际值；B—数据维度；f—规则化惩罚函数；μc—权重；

(Wc)—权重矩阵。

（5）通过目标数据建立目标的测试数据集，并将其放入模型中训练，依据输出结果完成目标的类型识别。

4 实验

4.1 实验环境

为了验证上述目标识别方法的整体有效性，设置对比分析实验。分别采用深度学习的车间零件分拣机器人目标识别方法、文献［3］方法、文献［4］方法进行测试。实验的操作系统为Ubuntu Server 16.04 LTS；开发框架为Tensorflow-gpu 1.3.0。

实验检测过程除机器人外，还主要涉及视觉设备和定位装置，分别采用工业相机和位置传感器。

实验指标为分拣目标的关键点定位测试、识别准确率、平均置信度以及识别时间。测以某企业车间内的fanuc r-2000ic分拣机器人为实验用的分拣机器人，机器人、控制参数和检测设备参数，如表1～表3所示。

表1 车间零件分拣机器人参数Tab.1 Parameters of Workshop Parts Sorting Robot

表2 控制参数设定Tab.2 Control Parameter Settings

表3 实验检测设备Tab.3 Experimental Testing Equipment

4.2 实验识别目标

设计的实验以某车间生产的汽车零件为实验识别目标，该目标包含三类，分别是齿轮、弯管接头、法兰盘、滤芯和平衡轴，实验过程是识别所有零件，并且分拣出接管弯头。实验场景，如图2所示。

图2 实验场景Fig.2 Experimental Scene

通过在分拣机器人上应用深度学习的车间零件分拣机器人目标识别方法，对上述多个目标进行识别，并且分拣出设定的目标弯管接头，分拣结构，如图3、图4所示。由图3和图4的分拣结果可知，应用深度学习的车间零件分拣机器人目标识别方法后，分拣机器人成功在多个目标中分拣出了弯管接头。

图3 分拣机器人分拣结果图Fig.3 Sorting Robot Sorting Results Diagram

图4 分拣出的目标Fig.4 Sorted out Targets

4.3 实验标定

实验通过黑白棋盘的形式进行标定，标定板棋盘格为（9×9），方格边长2mm，图案尺寸为（36×36）mm，外形尺寸为（50×50）mm，精度为±0.01mm。通过Auto CAD（AUTO COMPUTER AIDED DESIGN，自动计算机辅助软件）绘制和激光打印机打印黑白棋盘，黑白格的交叉点为标定点，设计的标定样板，如图5所示。

图5 标定样板Fig.5 Calibration Model

4.4 实验性能测试

4.4.1 分拣目标的关键点定位测试

车间零件分拣机器人想要精准的分拣目标，需要对目标进行关键点定位，如果定位准确，可以快速完成分拣，因此，测试分拣目标的关键点定位准确性，将深度学习的车间零件分拣机器人目标识别方法应用后的定位结果和实际结果进行对比分析，其与实际结果越接近，表示定位准确性越高，X轴坐标固定不变，测试以Y轴变化为研究对象，测试结果，如图6所示。

图6 分拣目标的关键点定位测试Fig.6 Keypoint Location Test for Sorting Targets

根据图6可知，所提方法的分拣目标关键点定位结果基本与实际结果一致，仅在测试数为990个左右时，出现了小误差，其他测试目标定位结构均与实际一致，因此，所提方法设计的关键点定位可以有效定位分拣目标，有效提高分拣效果。

4.4.2 识别准确率测试

目标识别准确率是分拣机器人的硬性指标，该指标值的高低直接影响机器人的应用价值。因此，选定机器人分拣目标为1000组，分析识别准确率，实验结果，如图7所示。

图7 不同识别方法的识别准确率测试Fig.7 Identification Accuracy Test of Different Identification Methods

根据图7可知，所提方法的分拣机器人分拣目标识别准确率均在97.5%以上，文献［3］方法的识别准确率最高为91.3%，文献［4］方法的识别准确率最高值为94.2%，虽然文献［4］方法的最高准确率较高，但是其运行不稳定，识别准确率曲线波动大，三者相比，所提方法的识别准确率明显高于文献方法，因此，所提方法有效提高了识别准确率，识别效果更佳。

4.4.3 识别效果测试

识别零件分拣机器人分拣目标时，设定平均置信度、所需识别时间为识别方法的识别效果检测指标，以此检测所提方法、文献［3］方法以及文献［4］方法的目标识别效果。

平均置信度是验证识别方法识别效果的重要参考指标。设定识别方法的平均置信度为ς，最佳置信区间为[ ]0，1，在该区间内，识别方法的平均置信度越高说明识别方法的识别效果越好，基于上述三种识别方法识别分拣目标时，测试三种方法的平均置信度，如图8所示。

图8 不同识别方法的平均置信度测试Fig.8 Average Confidence Test of Different Recognition Methods

分析图8 实验数据可知，所提方法的平均置信度在0.81 以上，但是文献方法均低于0.75，因此，所提方法测试出的平均置信度结果高于文献［3］方法以及文献［4］方法平均置信度测试结果，其主要因为所提方法在目标识别前详细分析了分拣机器人运动规律，所以该方法识别分拣目标时的平均置信度高。

4.4.4 识别时间测试

识别时间是检测识别效果的重要检测指标，采用所提方法、文献［3］方法以及文献［4］方法识别机器人分拣目标时，测试识别时间，如图9 所示。识别时间是检验识别方法识别性能的重要依据。识别方法在识别目标时，识别时间越长说明识别性能越差，识别时间越短说明识别性能越好。分析图9可知，识别目标数量越多，文献方法的识别时间呈上升趋势，并且文献［3］方法的最低识别时间达到了100s，文献［4］方法最低识别时间为78s，文献方法的耗时均高于75s，而所提方法最高耗时仅为63s，并且其识别曲线波动小，未出现上升趋势，因此，所提方法有效降低了识别时间，其识别性能高。

图9 不同识别方法的识别时间测试Fig.9 Identification Time Test of Different Identification Methods

5 结束语

随着工业机器人使用范围的扩大，机器人的目标识别方法愈加多样。针对传统机器人目标识别方法中存在的问题，提出深度学习的车间零件分拣机器人目标识别方法。

（1）所提方法引入了深度学习算法，并且结合了其他算法，通过机器人目标特征的提取，建立了目标识别模型，从而通过模型的训练结果输出实现机器人的目标识别。

（2）通过实验分析了所提方法的定位精度，以分拣目标的关键点定位位置反映精度。所提方法的分拣目标关键点定位结果基本与实际结果一致，仅在测试数为990个左右时，出现了小误差，该方法可以有效定位分拣目标的位置。

（3）分析了所提方法识别目标的准确率，该方法的分拣机器人分拣目标识别准确率均在97.5%以上，高出对比方法6.2%和3.3%，并且所提方法的识别准确率波动小，因此，所提方法提高了识别准确率，具备可行性。

（4）在验证识别准确率后，分析了所提方法的平均置信度，所提方法的平均置信度在0.81以上，但是文献方法均低于0.75，因此，该方法识别分拣目标时的平均置信度高。

（5）为了进一步分析方法的有效性和应用价值，验证了所提方法识别目标的时间，因此识别时间长，则说明该方法不具备应用价值，实验结果可知，该方法的最高识别时间仅为63s，其具备应用价值和可行性。

（6）由于该方法在确定编码器时还存在不足，今后将针对该项问题继续优化完善识别方法。