基于强化学习算法的串联液压机械臂运动优化控制研究

张娟荣，王宇璐

（咸阳职业技术学院 机电（技师）学院，咸阳 712000）

引言

机械臂是一种现代工业效率提升的重要装置，随着工业制造技术的不断变革，对机械臂的要求也越来越高，逐步走向标准化、集成化、规范化以及智能化[1]。由此，机械臂不再是简单的机械特征，其是机电液耦合在一起的综合装置，在配置智能装置后还可以形成智能制造的关键设备。

由于串联机械臂经常运行在复杂多变的工业场景中，需要面对不同的驱动环境，其运动控制的稳定性能下降[2]。大量的科学研究投入到针对机械臂运动稳定性提升方面，其中，文献[3]针对机械臂运动位置控制方法存在机械臂关节节点位置的跟踪效果差和机械臂运动位置控制能力差的问题，提出基于非线性微分方程的机械臂运动位置控制方法，并在实验中证明其控制方法的可行性；文献[4]针对机械臂运动控制，借助D-H 方法,分析和建立了机械臂模型，并结合滑模变结构和BP 神经网络算法，提出了一种机械臂运动控制算法，该算法结合了非奇异滑模面和饱和函数法，考虑了模型误差与外界扰动并且取得了很好的运动控制效果；文献[5]面对动力学耦合效应是导致多轴工业机器人轨迹跟踪误差的问题，,提出一种考虑关节非线性的串联双连杆机械臂模型的工业机器人运动控制方法，将连杆的非线性刚度和摩擦力直接辨识为关节非线性,从而进行参数化建模，进而实现了双连杆机械臂的运动控制。本文的研究对象是重型采掘机串联机械臂，针对其在复杂工况下的运动控制性能下降问题，对运动控制系统控制拓扑结构进行了重构，采用强化学习算法优化其控制性能，并在变工况模拟实验环境中验证其可行性和稳定性。

1 运动动力学模型构建

串联机械臂在复杂可变工况下的实际运动稳定性能和高精度跟随性能极易受到制造工艺、装配误差、外部环境干扰[6]等影响，通过构建适配的运动控制系统来优化机械臂运动稳定性能，其运动控制系统主要由执行器件、传感器以及采集电路、电控单元等构成，其中串联机械臂末端执行器作为主要的运动执行机构，电控单元可以将运动控制算法进行嵌入式执行，传感器以及信号采集电路负责多向信号的采集和反馈。

运动学描述的是串联机械臂多向部件在运动空间的姿态行为，而串联机械臂是多部件耦合在一起的机电液综合部件，为了提升串联机械臂运动控制的稳定性和高精度，对机械臂运动动力学进行分析，构建的动力学模型[7]如式（1）所示：

式中：

dni—刚体在设定坐标的空间旋转矩阵；

H m,H n,Hs—机械臂末端执行器旋转方向纵向位移；

—机械臂旋转正交矩阵。

图1 串联机械臂运动学模型

2 运动控制拓扑结构重构

引起串联机械臂运动失稳以及位姿误差的原因复杂多样，在进入运动控制系统中后，其运动控制结构设计的是否合理也是其重要影响因素，针对传统的固定时序运动控制拓扑结构进行重构，对部件进行解耦后，制定输入信号、中间变量以及输出信号的时序。在θi,Ti,pi旋转角、力矩以及输出功率输入信号经过可标定周期滤波后f(θi),f(Ti)，输出其信号的滤波后数值以及概要有效性，对电液需求功率Kip进行加权处理后，输入到强化学习控制模块中进行运动控制优化，形成中间可控变量F(ti),T(ti)，在强化学习对中间可控变量进行周期性的强化后Z(t i),D(ti)，输出整个运动控制周期[ti,tp]内串联机械臂末端执行器的运动状态K s,Kp，对运动状态在可标定时间内进行轮询后强化学习，如图2 所示。

图2 串联机械臂运动时序

图3 串联机械臂运动控制拓扑结构

图4 串联机械臂运动控制

通过优化串联机械臂运动时序，建立了基于强化学习的机械臂运动控制拓扑结构，首先，对传感器或采集电路采集的相关信号进行采样优化处理，主要是将采样信号进行滤波和有效性判断，随后对信号进行运动特征识别，进入运动特征集群处理，通过强化学习可以强化运动特征，从而获取真实的运动状态和运动特征性能评价值；在进入仲裁模块后，会结合故障信息、运动状态以及状态反馈进行仲裁，输出机械臂末端执行器驱动信号，运动偏置管理模块会根据仲裁模块和运动控制强化学习模块的输出进行运动偏置误差校正，进一步优化机械臂运动稳定性能。

3 串联机械臂运动控制

通过设定的串联机械臂运动控制拓扑结构中可以看出，在有序的进行运动控制执行时，利用对运动特征进行信号强化学习，构建强化学习算法的运动控制系统能够输出较为理想的末端执行器运动指令。

强化学习是一种智能体在与环境交互过程中不断试错学习的智能算法，其智能体会选择一个动作用于环境，环境接受该动作后状态发生变化，同时产生一个强化信号（奖或惩）反馈给智能体，然后根据强化信号和环境当前状态再选择下一个动作，选择的原则是使受到正强化（奖）的概率增大[8,9]。选择的动作不仅影响立即强化值，而且影响环境下一时刻的状态及最终的强化值。因此在构建机械臂运动控制系统过程中，将运动特征进行集群化处理，在与不断更新的运动状态中不断地学习更新，尤其是串联机械臂末端执行器的驱动信号，当反馈的跟随位移、驱动功率以及力矩出现偏差时，将正向强化的概率增大，在下一次强化学习循环过程中，调整相应的运动参数，抑制驱动信号的突变和震荡，从而实现机械臂运动稳定性。

将运动控制强化学习结合运动学分析，构建机械臂末端执行器位移轨迹函数，在强化学习的约束时间段内，对末端执行器求解任一时刻的旋转角度和位移状态，整个运动控制强化学习过程如下数学描述[10]：

式中：

t i,tp—强化学习运动控制约束时间；

Ps,Pt—约束时间段的位移状态函数；

L p,Lq—末端执行器旋转分位相对位移；

α,β—分位调节系数；

θ i,θp—约束时刻旋转角度。

4 实验分析

利用串联机械臂设备和可控电子负载操作平台，构建了基于强化学习的串联机械臂运动控制硬件在环实验环境，其中，运动检测装置由光电传感器和位移传感器构成的智能检测装置，整个运动控制系统可以实现在线标定参数和反馈真实运动状态，如图5 所示。通过操作可控电子负载可以设定不同的工况来验证所设计的运动控制方法是否能够实现设计目标。

图5 串联机械臂运动控制试验台架

对串联机械臂运动控制进行了整个运动周期的控制算法验证，利用可控电子负载触发串联机械臂进行运动，图6 反映的是串联机械臂在变工况下左右向位移的跟随试验结果，从图中可以看出，在负载负荷施加的初期，位移跟随没有出现大幅度的震荡，随着中间时段加大负荷，需求功率也大幅度的增加，机械臂左右向的位移跟随出现小范围的波动，整体上具有较好的跟随效果，后期随着强化学习的加强，位移跟随误差更小，实现了机械臂的稳定运动；图7 反映了在负载变工况下，末端执行器输出的力矩，负载工况1 通过将高负荷迅速下降，其力矩的响应也能够快速的进行响应，负载工况2 模拟了负荷由低到高到低的波峰型变化，其末端执行器件依然能够响应其变化，稳定的输出力矩，从而确保整个机械臂稳定的运行。

图6 串联机械臂位移实验结果

图7 串联机械臂末端执行器变工况力矩

5 总结

串联机械臂运动控制稳定性是确保其高效稳定工作的关键，在高负荷强耦合状态下其稳定性能下降的现象频发，针对这一关键问题，在串联机械臂运动控制系统结构和运动学分析基础上，重构其运动控制拓扑结构，采用强化学习进行运动控制优化，在真实模拟的试验环境中验证了算法的可行性。