基于接触状态感知的羊胴体后腿自适应分割控制方法

谢 斌 矫伟鹏 刘楷东 吴 竞 温昌凯 陈仲举

(1.中国农业大学工学院,北京 100083; 2.中国农业大学现代农业装备优化设计北京市重点实验室,北京 100083;3.北京市农林科学院智能装备技术研究中心,北京 100097)

0 引言

整羊胴体深度加工的基础工序是四肢分割,良好的分割效果可以为消费者带来更高的肉质品质,也可为供应商提供更好的市场竞争力[1]。但是,传统的羊胴体分割大多仍然采用人工辅助机械的流水线作业方式,机械化程度较低,不可避免的出现分割效率低、分割损耗多、工作环境差、人力成本大、卫生安全隐患大等问题[2-4]。目前国内家畜分割装备在肉品切块分割工序中已得到应用,但还没有实现智能化分割,并且不适用于去腿、肋排分割和剔骨等更为精细的肉类分割工序。为改善这种作业方式,自动化和机器人化越来越受到肉类行业公司关注。因此,自主研发羊胴体智能化分割机器人,实现羊胴体安全、高效、精准分割,已成为羊胴体加工业的重要研究内容[5-7]。

羊胴体后腿分割是一种柔顺交互任务[8],该任务主要通过接触状态感知和控制来实现相应功能[9],其中力觉信息的获取与利用是解决该问题的关键。MITSIONI等[10]针对多接触操作任务,提出一种基于运动学图像的接触分类方法,将力觉时序数据转换为图像并输入到神经网络,在推和切的操作任务中识别准确率最高为87%,还具有一定的提升空间。STRAIŽYS等[11]针对多介质软组织的精确切割问题,提出一种基于二元介质分类器的闭环控制律,在柚子分割任务中的成功率为72%。目前的研究主要集中在力觉信息的分类识别上,但受限于可见性约束、操作空间约束与接触操作多变,仅依靠分类信息不足以确保该任务的安全和有效。

在开展羊胴体后腿自主分割机器人研究时,为实现智能与精准分割,需融合模仿学习、深度学习[12-13]以及机器人运动控制等技术。WU等[14]提出一种基于动态运动基元的框架,使机器人能够学习人类演示任务并将技能转换为人机交互。GUIRE等[15]利用力位混合控制实现牛胴体剖分。本文需要分割的羊胴体后腿区域组织结构复杂,羊胴体尺寸多变,因此,上述方法在此复杂场景的适用性尚未得到验证,需要结合实际分割特征开展系统的机器人分割控制研究。

针对羊胴体后腿骨肉边界未知、尺寸多变和可见性约束限制造成的机器人自主分割精确度低与易受阻卡住的问题,本文提出一种基于接触状态感知的自适应分割控制方法。基于构建的LSTM-FCN深度时空神经网络提取接触类型特征,深度自编码(Deep AutoEncoder,DAE)网络提取接触异常度特征,主成分分析法(Principal component analysis,PCA)提取接触方向特征,从而实现接触状态多模态的实时感知。机器人通过动态运动基元(Dynamic movement primitives,DMP)模仿学习人类示教轨迹,生成目标关节运动,实现人机技能传递。基于接触状态感知建立自适应分割控制方法,在不同接触状态下实现机器人关节运动的自主调节。最后对所构建的LSTM-FCN和DAE网络进行训练,评估网络模型的性能,开展羊胴体后腿实际分割试验,验证自适应分割控制方法的有效性、泛化性和准确性。

1 材料与方法

1.1 试验平台与数据采集

1.1.1试验平台

搭建羊胴体后腿自适应分割试验平台如图1所示,主要组成是羊后腿夹持固定系统、感知识别定位系统和机器人分割系统。

图1 分割试验平台

羊后腿夹持固定系统包括多自由度固定台架和双手协调夹持机器人,多自由度固定台架对羊胴体后腿胯骨区域进行固定,并能够通过水平模组、垂直模组与回转电机实现羊胴体在3个自由度上的任意移动;双手协调夹持机器人用于夹持羊胴体后腿,实现两条羊后腿向外侧的拉扯动作,便于羊后腿的顺利分割。

感知识别定位系统用于准确采集示教分割过程中刀具位姿数据,主要包括两个Intel Realsense D435i深度相机和ArUco标记。机器人分割系统是主要的控制执行单元,该系统主要包括分割机器人、六维力传感器和普通刀具。

此外,羊胴体后腿分割任务的操作模式有两种:示教分割模式和机器人自主分割模式,如图2所示。在示教分割模式下,将刀具从机器人末端拆卸下来,操作员手持刀柄操作刀具完成分割任务,相机通过识别定位ArUco标记采集分割刀具位姿数据,六维力传感器采集分割过程的反馈力。在机器人自主分割模式下,刀具重新安装在机器人末端,机器人通过学习人类示教轨迹规划新的目标分割轨迹,根据控制算法在线调节分割轨迹与分割力大小,最终实现自适应分割。

图2 羊胴体后腿分割操作模式

1.1.2数据采集

本文的接触类型识别模型和接触异常度估计模型均需要采集力觉时间序列数据,采集地点为中国农业大学工学院,采集设备为六维力传感器,采集频率为30 Hz,采集品种为波尔山羊。

接触类型大致可以分为3类,分别为在空气中、与硬介质接触、与软介质接触。分割刀与羊胴体髋骨的接触操作表示与硬介质接触,在羊胴体后腿肉上的分割操作表示与软介质接触。人类手持分割刀具分别针对羊胴体髋骨和后腿肉采集六维分割力数据,在数据采集过程中,以不同的姿态、轨迹和施加力在两种对象上执行分割操作,保证数据的多样性,共计获得的数据量为96 101。

接触异常度估计模型需要采集人类示教分割羊胴体后腿数据,在人类示教分割模式下,采集力觉时序数据,共采集了1 880个示教分割数据样本。

对采集到的力觉时序数据进行预处理,为消除六维力传感器的高频信号噪声,采用卡尔曼滤波算法[16]处理数据。为提高模型的精度、收敛速度并增强其稳定性,对数据作归一化处理。设置滑动窗口的时间步长为20,窗口重叠率为50%,采用半重叠滑动窗口重采样分割数据,将重采样后的力觉时序数据堆叠为三维数组。

构建接触类型识别网络数据集,对3种接触类型的分类标签采用One-Hot编码,最终得到的数据集尺寸为(9 610,20,6)。构建接触异常度估计网络数据集,不需要进行数据标注,最终得到的数据集尺寸为(188,20,6)。

1.2 分割接触状态感知

羊胴体后腿分割接触状态是基于力觉信息感知得到的,接触状态包括3种特征:接触类型、接触异常度和接触方向,本文通过LSTM-FCN网络、DAE网络和PCA方法提取3种接触特征,实现接触状态多模态的实时感知。

1.2.1接触类型识别模型

受到可见性约束的严重限制以及软组织变形的不确定性,分割接触类型无明显的区分界限并且是高度可变的。由于该任务构型空间维度高、操作多变、接触丰富,很难对接触动力学用解析的方法进行描述与建模[17-18]。

为解决以上问题并使网络模型适用于分割接触类型特征的识别任务,将长短期记忆网络(LSTM)[19]和全卷积神经网络(FCN)[20]相结合,构建一种并行LSTM-FCN深度时空神经网络,该网络结构如图3所示。

该网络有效结合了FCN模型提取时序数据局部特征的优势和LSTM模型善于学习时序数据长期依赖性的特点。LSTM-FCN模型一个显著优势是不需要复杂的特征工程和大量的数据预处理,避免手动提取特征。该网络模型设计为并行结构,LSTM通道模块能够学习长期的时间动态信息,FCN通道模块可以提取空间维度上的深层特征,因此LSTM-FCN模型能在两个不同的视野中感知相同的时序数据输入,在相同的训练条件下提取双倍的特征参数,从而有效获取分割接触过程的时空特征。

其中,全卷积模块由3个堆叠的时序卷积块组成,每个时序卷积块都由1个一维卷积层、1个批量归一化(动量为0.99,学习率为0.001)和1个ReLU激活函数组成,每个卷积层的滤波器大小分别为128、256、128,卷积核大小分别为8、5、3,最后在卷积块后面使用全局平均池化以减少参数数量。

在长短期记忆通道模块中,时序数据首先输入到维度混洗层,经过维度混洗转换后,数据集的随机性增加,随后经过具有10个隐藏层LSTM的处理,并采用Dropout避免模型出现过拟合,其参数设置为0.6。

最后通过Concat层将LSTM与FCN的输出合并拼接,将拼接后的特征输入到Softmax进行分类。

1.2.2接触异常度估计模型

为了精准地调节分割力大小,需要获取当前分割力与示教分割力之间的接触异常度,机器人再根据接触异常度来决定调节量。由于输入数据与参数变化会影响简单的有监督学习模型的性能,所以为了更深入地挖掘数据本身的特征与规律,提出一种深度自编码网络,用于接触异常度的估计,这是一种无监督学习的神经网络,网络结构如图4所示。

本文提出的DAE网络是以编码解码网络为总体框架,将LSTM与一维卷积相结合,左侧为编码阶段,右侧为解码阶段。DAE网络可以挖掘数据内部更抽象的特征,通过在编码器中加入多个LSTM单元,增强模型的长期记忆能力,深度编码与解码器能有效提取数据更深层次的特征。

该网络通过学习重构人类示教分割的输入数据,探索能够简要表征该数据的深层规律,最终计算得到重构误差来表示接触异常度,重构误差是度量观测数据和训练数据偏离程度的评价指标,重构误差的计算公式为

(1)

式中Re——重构误差

M——一次训练的总样本数

yi——真实值

DAE网络的工作原理如下:编码器和解码器网络一共包括2个LSTM层、8个一维卷积层和10个Dropout层,Dropout层的丢弃率设置为0.2。数据集首先输入到编码器的LSTM层,学习输入时间序列的向量表示,输出维度依次变为3和1,然后再经过1个卷积层的升维和3个卷积层的逐层学习降维,得到一维的隐藏层。解码器采用4次一维卷积操作,学习重构得到6维输出数据,网络具体结构参数如表1所示。

表1 DAE具体结构参数

其中,batch_size为批量大小,Conv1D Block表示卷积块层,内部包含1个一维卷积和1个Dropout,总参数量为2 803,网络模型小,运行速度快。

1.2.3接触方向主成分分析

由于分割过程中六维力多变量之间的相关性,采用PCA对高维数据降维[21],对刀具坐标轴X、Y、Z的权重进行分配,根据权重决定机器人分割刀具的主要调节方向,本文PCA算法的实现流程如图5所示。

图5 PCA算法流程图

(1)数据标准化。假设原始数据可以用m×n矩阵Am×n表示,表示为

(2)

式中m——对象个数

n——数据特征的维度

本文实时采集20个时间序列数据,即m=20,舍弃X、Y、Z坐标轴方向上的力矩数据,选取X、Y、Z方向上的力组成滑动窗口,即n=3。采用半重叠滑动窗口不断地对输入数据进行重采样。然后对数据进行标准化处理得到矩阵B的元素,计算式为

(3)

sj——矩阵A的列向量方差

eij——矩阵A的元素

aij——矩阵B的元素

(2)计算相关系数矩阵C,并计算该矩阵的特征值λ1、λ2、…、λn及其对应的特征向量μ1、μ2、…、μn。

C=BTB/(m-1)

(4)

(3)计算累计方差贡献率S,选取贡献率最大的成分,方差贡献率越大,该主成分越能表征原始数据信息。最后求得最大贡献率成分的特征向量,并通过特征向量与原始数据计算得到3个坐标轴的权重ωj。贡献率S和权重ωj的计算公式为

(5)

(6)

式中uj——矩阵C中第j列的特征向量

1.3 自适应分割控制

1.3.1羊胴体后腿分割步骤

羊胴体后腿分割实际上是将后腿与髋骨分离开,羊胴体髋骨结构如图6所示,羊胴体髋骨由坐骨、耻骨和骼骨组成,左右两侧几乎对称,所以羊胴体左右后腿的分割工序是相似的。

图6 羊胴体髋骨结构

考虑到羊胴体加工企业对羊胴体后腿分割工艺的实际需求,根据国家分割标准规划羊胴体后腿分割轨迹,包括3个分割工序,分割工序1为分割刀沿着坐骨腹侧面与耻骨切开肌肉与骨面的粘连;分割工序2为分割刀沿着坐骨结节、耻骨与关节连接处进行分割;分割工序3为分割刀沿着关节和骼骨向下分割,将羊后腿与髋骨分离开。

1.3.2示教分割轨迹学习

本文采用DMP模仿学习人类示教轨迹,泛化生成适用于任务需要的目标轨迹[22-23],通过逆向运动学生成机器人目标关节运动[24-25]。

根据DMP的原理进行示教轨迹学习和泛化试验,该试验的目的主要是为了验证DMP在羊胴体后腿示教分割轨迹上的有效性和泛化性。

首先需要获取人类示教分割轨迹,在人类示教分割模式下,根据上文中规划的羊胴体后腿分割步骤执行分割操作,采集分割工序1、2、3的示教数据。然后运用DMP对采集的分割轨迹数据进行迭代学习,复现生成目标分割轨迹,再通过改变示教轨迹的起始位置和终点位置生成不同的轨迹。

比较不同分割工序下的示教、复现和泛化轨迹变化曲线,结果如图7所示。通过对比发现,人类示教轨迹和DMP学习复现轨迹误差很小,两者几乎拟合,并且DMP学习复现轨迹的变化曲线较平滑,表明DMP能够有效学习人类示教轨迹,复现生成目标轨迹。从图中看出,泛化轨迹的形状、变化趋势与示教轨迹相似,其能充分地表征示教轨迹信息,DMP可以根据不同的起终点位置得到符合不同任务需要的目标轨迹,验证了DMP在羊胴体后腿示教分割轨迹上具有较好的泛化性能。

图7 不同分割工序下的示教、复现和泛化轨迹

1.3.3自适应分割控制方法

基于接触状态感知的自适应分割控制方法有效结合了接触类型、接触异常度和接触方向3因素特征,根据不同的接触状态自主调节机器人关节运动,确保机器人始终以合适的分割力和分割轨迹运动,基于接触状态感知的自适应分割控制流程图如图8所示。

图8 自适应分割控制流程图

(1)控制方法

本文提出一种机器人自适应分割控制方法,构造机器人关节力矩与反馈力、示教分割力之间的关系,计算式为

τ=JT(α1Fb-α2Ff)

(7)

式中τ——关节力矩

J——雅可比矩阵

Fb——六维力传感器获取的反馈力

Ff——示教分割力

α1——反馈力的调节因子

α2——示教分割力的调节因子

这两个调节因子是由接触类型、接触异常度和接触方向3因素构造组成,α1越小,机器人柔顺性降低,系统刚性越强,α2越小,示教目标力作用越小,对外施加力越小,机器人更加柔顺。

根据调整后的关节角速度和力矩的关系式,进一步计算得到经过调整后的机器人关节角,计算式为

(8)

(9)

θ1=θ+θ1dt

(10)

式中F——分割力D——阻尼矩阵

v——机器人末端速度

θ1——调整后的机器人目标关节角

θ是由已知的机器人末端位姿通过逆向运动学得到的关节角位置,然后再经过感知调节得到最终目标关节角位置θ1。随后采用正向运动学获取当前的机器人末端位姿,并将位姿信息重新输入到动态运动基元中,不断地更新动态运动基元中的参数。

(2)调节因子

在提出的自适应分割控制方法中,α1和α2两个调节因子的求解和优化尤为重要。首先,采用LSTM-FCN模型实时检测当前的接触类型,根据接触类型的不同识别结果,设置不同的控制策略。当在空气中时,机器人不采用任何分割控制策略,只需按照规划的分割轨迹运行即可,不需要施加额外的分割力。

当分割刀与硬介质接触时,需要根据接触异常度和接触方向实时改变调节因子的值,适当减小分割力,从而避免分割刀受阻卡住或发生碰撞,其调节因子控制策略计算式为

(11)

α1中Re设置为定值-0.05,α2中Re为变量,γ为常量,设置为0.05,保证分割刀在检测到硬介质接触时能够快速回调。

当分割刀与软介质接触时,为了最大限度地将羊髋骨上粘连的后腿肉分割下来,需要施加更大的分割力,从而减少分割残留的羊后腿肉,其调节因子控制策略计算式为

(12)

由于在与软介质接触时,接触异常度较小,重构误差较小,所以将Re设置为固定值以提高调节速度。最后将α1和α2代入到式(7)中,即构成了完整的自适应分割控制方法。

2 结果与分析

2.1 网络训练与分析

本文的实验是在Tensorflow深度学习框架下完成的,操作系统为Ubuntu 20.04.2 LTS,处理器为Intel Core i7-9850H,采用NVIDIA GEFORCE GTX 3060显卡。在网络训练过程中,设置批量大小为32,学习率为0.001,选择Adam算法作为优化器。

(1)LSTM-FCN网络

在训练LSTM-FCN网络过程中,采用固定步长训练迭代100轮,将上述经过预处理的9 610个数据样本按照8∶1∶1的比例划分为训练集、测试集与验证集,损失函数选用交叉熵损失函数。

将构建的羊胴体后腿分割接触数据集输入到LSTM-FCN网络中训练,训练集与测试集的损失值变化曲线如图9所示。随着迭代次数的增加,训练集和测试集的损失值都在下降,训练集下降更快,最终均趋于稳定。

图9 损失值变化曲线

经过100轮的迭代训练,得到网络模型在训练集上预测的准确率为98.52%,在测试集上预测的准确率为97.36%,再用训练好的网络模型预测验证集,得到其混淆矩阵,如图10所示。

图10 测试集的混淆矩阵

从混淆矩阵中可以看出,在验证集上预测的准确率为98.44%,只有极少数识别错误的接触类型,说明LSTM-FCN模型在羊胴体后腿分割数据集上具有较好的识别性能,识别准确性高。

(2)DAE网络

在训练DAE网络过程中,采用固定步长训练迭代200轮,损失函数选用均方误差。

为验证DAE模型的有效性,选择多组不同的羊胴体后腿分割接触类型数据,构建DAE网络模型的验证数据集,输入到训练好的模型中,计算得到其重构误差,如图11所示。

图11 验证集重构误差

重构误差最小为0,在400～600之间和700～800之间有3段重构误差为0,说明其与示教训练数据差异程度小,接触异常度最小,其余部分的重构误差变化明显,重构误差越大说明其与示教训练数据差异越大,接触异常度则越高。说明DAE模型能够较好地估计接触异常度,区分不同的接触状态。

2.2 自适应分割控制方法试验验证

为验证自适应分割控制方法的有效性,在羊胴体后腿完整的分割过程中,对比有无自适应分割控制方法的分割效果,六维力与力矩变化曲线如图12所示。

图12 六维力与力矩变化曲线

与对照组相比,机器人在加入自适应分割控制方法后,每一个分割工序的六维力与力矩均减小,其中以Fy、Fz、Mx、Mz下降最为明显,最大分割力下降幅度为29 N,最大力矩下降幅度为7 N·m,有效减小了分割过程阻力,修正效果显著。

在整个羊胴体后腿的分割过程中,当实际任务轨迹或实际分割对象与任务规划不相符时,自适应分割控制方法都在进行稳定有效的修正。试验证明自适应分割控制方法作用于每一个分割工序,在完整的羊胴体后腿分割过程中是有效的。

2.3 羊胴体后腿分割结果

为验证本文所提出的羊胴体后腿自适应分割控制方法的有效性,准备了7只羊胴体带臀后腿,质量分别在5～6 kg、6～7 kg和7～8 kg区间内,每个区间分别有2、3、2个试验样本,其中一只6～7 kg羊胴体带臀后腿用作人类示教分割样本。

机器人首先采集人类示教分割轨迹和分割力,再根据示教轨迹规划新的目标轨迹,然后机器人运动到分割工序1的起点,沿着规划的分割轨迹进行分割,实时调节分割刀的位姿与受力,直到运动到终点位置,再依次执行分割工序2与分割工序3的分割任务,从而完成羊胴体左后腿的分割工序,羊胴体左右后腿的分割工序是对称的,每个分割工序的分割效果和羊胴体后腿最终分割效果如图13和图14所示。

图13 每个分割工序的分割效果

图14 最终的分割效果

从图13、14中可以看出,经过6次分割工序后,羊胴体髋骨与后腿已基本分离开,分割后的羊胴体后腿较完整,羊胴体髋骨上残留的肉较少,大部分残留肉的厚度小于3 mm,并且髋骨表面轮廓完整,分割过程中没有骨屑残留,并且没有发生分割刀具与骨头的碰撞事故,表明机器人规划与调整后的目标分割轨迹与分割力合适且准确。

本文试验选择分割残留率、最大残留肉厚度作为羊胴体后腿分割的评价标准,分割残留率定义为羊胴体髋骨残留后腿肉的质量占分割后的两只羊后腿总质量的比率,计算式为

(13)

式中r——分割残留率

g——羊胴体髋骨上残留后腿肉的质量

g1、g2——分割后羊胴体左、右后腿的质量

表2中的1～3组分别对应质量区间5～6 kg、6～7 kg、7～8 kg,质量由小到大排列,分析表2可知,平均最大残留肉厚度为3.6 mm,随着羊胴体质量增大,最大残留肉厚度也变大,两者呈现正相关的变化趋势,1、2、3组分割残留率的平均值分别为5.4%、4.9%、4.3%,分割残留率与羊胴体质量呈现负相关。羊胴体每只后腿的分割时间为30 s,与项目前期调研中人工分割效率相近,但机器人可以在恶劣环境与大负载下长时间工作。

表2 分割结果

试验结果表明,本文提出的自适应分割控制方法在不同尺寸羊胴体上的分割效果均较好,具有良好的泛化性和有效性,此外,试验得到的最大残留肉厚度与分割残留率均较小,说明分割准确性较高,满足羊胴体后腿分割要求。

3 结论

(1)针对羊胴体后腿自主分割精确度低与易受阻卡住的问题,提出了一种基于接触状态感知的羊后腿自适应分割控制方法,该方法通过LSTM-FCN网络、DAE网络和PCA方法提取3种分割接触特征,实现接触状态多模态的实时感知。

(2)采集羊胴体后腿分割力觉时序数据,构建网络训练与验证数据集,LSTM-FCN模型在验证集上的识别准确率为98.44%,识别准确率较高,DAE模型能够较好地估计验证集样本的接触异常度,区分不同的接触状态。

(3)机器人基于自适应分割控制方法开展实际分割试验,与对照组相比,最大分割力下降幅度为29 N,最大力矩下降幅度为7 N·m,证明本文方法的有效性;平均最大残留肉厚度为3.6 mm,平均分割残留率为4.9%,分割残留率与羊胴体质量呈现负相关,证明本文方法具有良好的泛化性和准确性,并且整体分割效果较好,满足羊胴体后腿分割要求。