信息融合的机械臂数字孪生模型迭代实验

陈一博，闫夺今，张铁沄，冯毅萍

（浙江大学控制科学与工程学院，杭州 310027）

0 引言

随着工业物联网、智能制造工业4.0 等制造发展战略的提出，基于大数据分析等现代化数据分析的作用日益凸显。同时，数字孪生（Digital Twin，DT）利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度的仿真过程，可实现虚拟空间和实体空间的双向交互映射，引起了广泛的关注。DT最早诞生于2003 年，Grieves教授［1］提出的概念是“与物理产品等价的虚拟数字化表达”。陶飞等［2-5］提出了DT建模与应用的模型与系统框架。

DT模型是DT技术研究的关键问题之一，现有文献［6-8］大多围绕建模方法、模型框架等方面展开研究。林润泽等［9］提出将机械臂的设计模型、虚拟样机模型、轨迹规划模型与故障诊断模型等部分整合的框架，实现了实验室机械臂从实体模型到虚拟模型的静态映射，将机械臂实体、设计机理和历史运行数据等进行了统一建模，构建了半机理半数据DT 模型。王行健等［10］在已有机械臂DT模型建立、控制框架基础上，基于机械臂的历史轨迹数据，利用PID 控制器对各个关节进行了控制，并对结果进行了讨论。

在实际应用时，由于机械臂关节阻尼变化、控制器产生的误差和偶然因素产生的噪声会随时间发生变化，导致机械臂的实时状态和运行轨迹也会随之产生动态变化，所以需要对DT 模型进行模型迭代研究。文献［11-14］中关于模型迭代的研究大多针对单模型或者模型单维度进行模型校正和迭代，模型校准、迭代提高模型精度的优势和数字孪生虚实多模型、多数据源结合的优势没有整合、统一。因此需要综合分析时间维度上机械臂运行状态的变化，以及空间维度上传感器、控制器、对象拓扑结构和运动学动力学等模块的综合。然而现有方法无法有效满足多模型、多数据源的DT模型迭代需求。

本文提出了一种基于信息融合的DT 模型迭代方法。以实验机械臂为研究对象，通过机械臂实验平台模拟在相同工况下采集各个时间阶段实体机械臂轨迹与关节力矩数据的过程，完成信息采集并建立机械臂实时轨迹、力矩变化的数据库。本文中，同一工况是指机械臂按照相同的规定轨迹完成特定的任务。

1 信息融合的机械臂DT模型

经典的信息融合（Information Fusion，IF）技术［15-16］基于多传感器的反馈数据进行综合处理，通常在模型单一、数据源相对有限等情况下用于模型校准。但是无法满足DT多模型、多数据源虚实结合的要求。①因为DT模型表现多样、对象结构与机理复杂；②反馈数据动态特异性强。由此需要在DT 的背景下，提出IF应用于DT的新框架。

IF包括数据级融合、特征级融合和决策级融合3个层次。数据级融合是直接利用传感器传回的原始数据进行综合与分析；特征级融合属于中间层次，先对原始数据进行特征提取，针对特征信息进行分析和处理；决策级融合是每个局部传感器先分别完成部分决策任务，决策级融合空间按特定准则进行协调做出全局最优决策［17］。

本文提出的IF 框架可以综合物理实体的运行数据和数字孪生虚实融合模型，实现动态、精确的虚实映射，整合了模型迭代、校准提高精确度的优势与数字孪生多模型融合的优势。从而满足虚实实时交互的需求，以及面对同一对象，多模型时空状态矛盾、多数据源信息传递不一致的模型迭代需求。

1.1 机械臂DT模型迭代思路

DT模型迭代的简化流程如图1 所示。

图1 基于信息融合的DT模型迭代简化流程

本文针对机械臂的DT模型迭代应用流程如下：

（1）机械臂的DT 模型初期建立。实验前，需要将机械臂拓扑结构、运动动力学机理、内部集成电路以及各个关节的控制器数字化，实现物理实体的映射。再利用机械臂的历史轨迹、出库数据等，标定模型控制器、关节阻尼等参数，从而得到初步的半机理、半数据的机械臂DT模型。

（2）实时数据采集与传输。通过实验流水线上机械臂配套的传感器设备，将机械臂在相同工况下运行的历史轨迹、关节力矩等数据进行采集、存储到配套的数字孪生实验数据库中。

（3）基于对象机理、历史数据与实时数据的信息融合与模型迭代。在某实时数据反馈的频率下，随着时间的推移，传感器所反馈到数据库的实时数据也逐渐累积。为有效利用传感器获得的数据，需要结合信息融合方法，对实时数据、历史数据、机械臂DT 模型进行信息上的融合，实现机械臂实体动态映射到虚拟DT模型库。其中，信息融合包括数据级、特征级和决策级3 个层次。

（4）检验DT模型实时校正和运动轨迹估计的效果，并构建DT模型库。利用DT 迭代过程模型库，模拟机械臂运动轨迹、力矩等数据，对比传感器得到的真实数据，从而验证机械臂DT模型的精度与准确度。

（5）预测机械臂实体状态和运动轨迹。模型库较为精确反映实体时，对比将来传感器采集的数据和DT模型的预测结果，验证预测效果。

（6）建立多工况机械臂模型的集成数据库。每一工况的DT 模型的建立流程与前面单工况DT 模型建立流程基本相同。多工况和单工况的模型库、数据库相比，对各个工况数据和模型的匹配、调度、实时更新、集成化等方面有更高的要求。

1.2 机械臂DT模型迭代流程

本文以实验室机械臂实体为例，通过MATLAB 软件，结合图1 模型迭代流程，基于机械臂的物理机理、历史运行数据和实时运行数据，搭建具有迁移性的DT模型周期迭代框架，创建机械臂迭代的DT 模型库。机械臂DT 模型搭建与迭代实验的具体流程如图2所示。

图2 机械臂DT模型搭建与迭代的实验流程

首先需要建立机械臂数据库，对机械臂的历史数据、实时数据进行采集与汇总；之后，进行基于数据级、特征级与决策级等层次信息融合的机械臂状态估计，实现基于多层次信息融合模型迭代的机械臂状态估计。状态估计是根据可获取的量来估计系统内部状态，对机械臂DT模型中来说，就是利用数据库和传感信息等来进行机械臂关节阻尼等状态的估计。

在此基础上，利用迭代模型库设计了系列机械臂轨迹预测实验，通过不同迭代周期、不同融合层次的模型迭代效果对比，分析了信息融合方法在机械臂DT模型迭代方面的优势或不足。

理论上考虑，在物理机理、历史数据和实时数据三者结合的前提下，能提高模型的稳定性、实时性以及数据的利用效率。以模型库、数据库等方式进行数据存储和集成，为机械臂DT 模型实时迭代和管理提供了有效途径。本文进一步从信息利用方法维度、信息融合层次维度、时间维度等进行了多方比较和讨论。该方法的有效性通过后续具体实验结果进行了对比分析。

（1）模拟数据库建立。根据上述的信息融合框架来估计、预测机械臂的状态参数，选取关节阻尼为需要预测的参数，也即本实验中对应的机械臂状态。阻尼通过影响机械臂动力学模型中的摩擦项来改变执行器的力矩，因此机械臂末端运行轨迹会发生变化。

目前开源的机械臂运行数据集资料匮乏，因此本文通过机械臂DT 实验平台生成数据，建立机械臂阻尼参数、轨迹变化与力矩变化的历史数据库。在仿真平台上改变机械臂第1 个关节的阻尼大小，改变一次参数得到的轨迹数据认为是机械臂在某一个时段内的工作状态，采集这些运行状态数据作为样本，用于构建历史数据库。

模拟数据的数学描述为：

第i月的关节1 的关节阻尼为Di，运行轨迹为θi，关节力矩为Ti，Δt为传感器数据采样时间，tj为采样点，j为采样点的个数，Di为机械臂DT 仿真模型模拟的自变量数据，而θi和Ti为传感器采集的因变量数据。在进行机械臂DT 模型的迭代之前，需要对传感器采集的大量数据进行选择、滤波等预处理操作。除此之外，还需要对传感器反馈的数据进行有效性验证。验证通过，则将其作为有效的数据，进行机械臂DT模型的新一步迭代，并完成后续机械臂状态进行估计、预测；验证不通过，则需要对传感器返回的数据进行故障检测。

本实验出于简化考虑，得到用于模拟实际正常工况具有代表性的数据库S：

实时数据库包含0～23 月的关节-阻尼参数、对应的运行轨迹以及关节的力矩，这些样本主要用来构建相关的迭代模型，而对24 月关节阻尼与轨迹的估计和预测是评价各方法效果的基准。整体的数据是25 组，数据量较小；由于对象的特殊与简单，实验中并没有对轨迹数据预处理。

本文案例中，仅考虑对第1 关节阻尼的估计与更新，所以参数估计的频率和DT模型迭代的频率一致。

（2）数据级融合的机械臂状态估计。数据级融合的基础是已经建立的数据库。假设要估计的轨迹与历史轨迹线性相关，通过最小二乘法来进行回归，预测下一时期的运行轨迹。

由于六轴机械臂的动力学很复杂，直接用轨迹和力矩对机械臂DT 状态参数进行反解过程繁琐，本文采用了以下的方法对问题进行简化。利用模拟数据库S中的机械臂轨迹和力矩数据，通过对离线DT模型参数调节，模拟第0～23 月内的参数估计。

（3）特征级融合的机械臂状态估计。在机械臂DT模型中，物理实体和仿真模型都缺少关于阻尼的传感器；除了利用动力学方程计算外，很难找到机械臂运行轨迹与阻尼参数之间的对应关系，给实际阻尼参数估计带来了很大困难。人工神经网络不依赖于机理模型，利用设备历史和实时的运行轨迹以及轨迹对应的阻尼参数进行学习，使得运行轨迹和阻尼参数实现非线性映射。本文利用BP网络进行训练和参数估计。

（4）决策级融合的机械臂状态估计。决策级信息融合主要工作是先从多源数据各阶段数据分别建立出相应的半机理半数据模型、完成基于数据的决策，再对多数据源的模型和决策整合，进行研究对象状态估计、预测。

相关实验主要是根据模拟的各时间段反馈的传感器数据，分别利用离线参数调节的方法建立反映机械臂实体状态的DT 模型，完成初步的决策工作。在此基础上建立模型库，拟合机械臂阻尼参数、预估未来的参数，最终评价预测结果。

（5）模型融合精度评价。评价模型融合精度有多种方法，可以比较系统输出与参考轨迹的偏差最大值［18］、方差变化［19］、偏差加权平方和［20］来评价结果精度。Nanopoulos最早提出基于统计结构特征的时间序列相似性度量方法，选用的统计量为均值、标准差、偏度和峰度［21］。在本文案例中，用实时数据和预测数据的残差平方和（RSS）来评估预测效果。角度偏差为

式中：i为工作月份；tj为采样时间。RSS为

2 基于信息融合的机械臂模型迭代实例

2.1 数据级信息融合的机械臂状态估计

数据级信息融合的实验流程如下：

①设计DT 模型在0～23 月内参数更新的次数n分别为3、4、6、8。以3 次为例，在0～23 月中，每8 个月更新一次DT 模型参数，也即DT 模型迭代的周期TDT也为8 个月一次。公式表达如下：

②通过最小二乘拟合各参数更新频率下的轨迹、力矩等数据，并利用拟合得到的模型对第24 月的机械臂第1 关节的轨迹与阻尼进行预测。

③状态估计得到预测阻尼参数、阻尼预测的残差平方和如图3 所示。

图3 不同参数更新频率下预测、评价第24个月机械臂参数

分析结果可知，数据融合预测的效果与选取的数据库数据样本数存在强相关性。选取的仿真时间是24 个月，且至少以月为单位采集数据。数据量较小导致最终的预测参数RSS 较大，也即参数预测的偏差较大。当参数更新频率过高时，选取的数据样本较多导致过拟合，并且模型迭代速度快也会使误差累积。综上，基于数据级IF的模型预测与迭代效果不够好。

2.2 特征级信息融合的机械臂状态估计

特征级信息融合的实验流程如下：

①向网络提供学习样本，包括输入和输出单元的活性模式，从数据库中的0～23 月分别选择4、6、8、12个轨迹时序样本作为输入。其中，4 个样本意味着每6个月更新一次阻尼参数，完成一次DT 模型迭代。网络输出为阻尼参数，进行训练。

②确定网络实际输出与期望输出之间允许的误差。

③改变网络中所有的连接权值，使网络产生的输出更接近于期望的输出，直到满足确定的允许误差。

④将不同个数学习样本训练的神经网络进行预测参数对比，绘制预测曲线，如图4 所示。

图4 基于BP神经网络的不同样本个数参数预测比较

上述实验表明，当最佳训练模型学习样本为12 个轨迹时序数据。学习样本过少时，无法提取到有效特征，因此预测结果差。训练模型预测数据与实际数据之间总是存在差距，原因是时序数据对于预测的阻尼参数来说元素过多，神经网络在提取特征时易受到冗余数据的干扰。

特征级融合实现了传感器难测量数据的估计和预测，在本例中即实现了对阻尼参数的估计。

2.3 决策级信息融合的机械臂状态估计

决策级信息融合的实验流程如下：

①得到一段时间内的机械臂轨迹、力矩变化，离线调节机械臂DT 模型的阻尼参数，模拟第0～23 月内的参数估计。绘制出相应的模型状态变化曲线，即为图5 中的“真实参数值的曲线”。

②在某个参数更新的频率下，利用每次反馈回的数据离线调节机械臂DT模型的阻尼参数作为提取出的决策结果，使用MATLAB 的Curve Fitting 工具箱多种模型进行参数拟合，选取拟合误差最小的拟合模型，绘制出对应的机械臂阻尼值估计随时间变化的曲线。

③模拟0～23 个月内，参数更新的次数分别为2、3、4、6、8，重复步骤②。

④整合不同参数更新得到的参数估计曲线并比较，结果如图5 所示。

图5 基于不同参数更新频率的决策级融合参数估计

上述实验表明，参数更新频率较低时，机械臂DT模型对机械臂实际状态的估计能力比较差。但是在参数更新3 次及以上时均能得到较好的预测结果，说明决策级融合方法有一定的适应性。

参数更新频率过高，决策级信息融合周期过短、模型迭代速度过快，由于反馈数据本身存在一定误差，而且误差会随着模型更新、迭代的过程而累积，从而导致过拟合。

3 信息融合的机械臂DT模型迭代效果分析

3.1 忽视机理模型、依赖于历史数据的轨迹预测

①利用之前建立的包含0～23 月运行轨迹样本的数据库，从中抽取部分数据模拟传感器在某个频率下反馈轨迹样本。

②在某个参数估计与模型迭代的频率下，用这些样本以最小二乘法建立回归模型，使用此模型来预测第24 月运行轨迹。

③选取数据库中不同数目的运行轨迹样本建立回归模型，并重复步骤②，绘制不同拟合模型下的预测轨迹曲线并比较。选取的样本数目分别为3、4、6、8 个，对应每隔8、6、4、3 个月根据数据库进行参数估计与模型迭代。因此会建立4 个不同的回归模型，并且根据回归模型，第24 月机械臂轨迹预测及其残差平方和的比较如图6 所示。随着更新次数n的增加，残差平方和先减后增，分析原因是在更新次数增加时，预测信息也在增加，数据拟合的会更好，但是更新次数过大时反而会造成过拟合，因此出现RSS先减后增的情况。

图6 基于历史数据的机械臂轨迹预测及其RSS

3.2 不同采样、迭代周期的轨迹预测

利用本文第2 部分的数据级融合、特征级融合、决策级融合得到的第24 月的阻尼参数，更新机械臂DT模型，仿真得到第24 月的轨迹数据。比较这些轨迹数据，验证信息融合模型的迭代和预测功能。基于数据级融合的第24 月的预测轨迹预测及其残差平方和如图7 所示。

图7 基于数据级融合的机械臂轨迹预测及其RSS

基于特征级融合的第24 月的预测轨迹预测及其残差平方和如图8 所示。

图8 基于特征级融合的机械臂轨迹预测及其RSS

基于决策级融合的第24 月的轨迹预测及其残差平方和如图9 所示。

图9 基于决策级融合机械臂轨迹预测及其RSS

3.3 不同层次融合、相同采样周期下轨迹预测对比

结合前面的阻尼参数，得到数据级、特征级、决策级融合的模型以及纯数据驱动的轨迹预测结果并进行对比，取前20 s的轨迹数据便于观察（见图10）。

图10 数据驱动方法与多层次信息融合第24个月轨迹预测

从最终的轨迹预测曲线和对应的RSS 来看，半机理、半数据的IF分析方法比纯数据驱动的轨迹预测方法略好。原因是脱离机理后，完全基于数据驱动的预测难以反映和处理机械臂使用工况的多种不确定变化，完全从数据出发也很难消除数据采集频率、噪声干扰等因素的影响。而相对更复杂的半机理、半数据的分析方法对这些问题有一定的适应性。

数据级融合、特征级融合和决策级融合都能较好地迭代、预测机械臂阻尼参数和运行轨迹。其中，决策级融合要优于数据级融合，原因在于决策级融合利用了多阶段机械臂DT模型和实时数据，信息更为全面；数据级融合的效果取决于数学处理方法的选取，存在一定误差累积。总体而言3 种方法都能实现数字孪生模型的迭代和预测，证明了信息融合方法在数字孪生模型的应用具有很大优势。

4 结语

本文提出了一种基于多层次信息融合的DT 模型迭代框架，有效跟踪了机械臂实体随时间变化的状态，预测了机械臂实体的运行轨迹，并基于实验室机械臂进行了模型迭代及应用的实例研究，应用验证效果表明了本方法的有效性。为生产流水线上的机械臂及其他设备的生命周期管理、状态预测提供了模型迭代方法及实践案例。

目前的工作主要聚焦于单台机械臂对象，后续还将会探究更为综合、复杂对象的数字孪生体的建模、迭代和预测，进而更好地服务于设备维护、经济成本优化等问题。