基于数字孪生的航空壁板制孔位置实时监控研究

刘红军， 邵泓斌

（沈阳航空航天大学机电工程学院， 辽宁沈阳 110136）

0 前言

在“工业4.0”、 “中国制造2025” 以及新冠疫情等大环境的影响下， 全球制造行业面临重大变革，由智能制造引领的第四次工业革命已悄然来临。 相较于传统制造， 智能制造结合自主分析、 自主优化、 多角度可视化等多种优势， 打破了物理世界与数字世界的壁垒， 将两者进行相互交融， 并具备虚实映射、 数据驱动等特点。 而数字孪生技术的出现为实现智能制造开辟了新的途径［1］。

数字孪生是充分利用物理模型、 传感器更新、 运行历史等数据， 集成多学科、 多物理量、 多尺度、 多概率的仿真过程， 在虚拟空间中完成映射， 从而反映对应实体装备的全生命周期过程［2］。 该技术是在虚拟世界中表示、 模拟仿真、 优化和可视化真实世界的重要手段［3］。 数字孪生系统的本质是将物理实体与虚拟实体模型融合， 二者互联互通， 形成一个可持续优化的闭环控制系统［4］。 数字孪生理论技术体系可运用到多种场景中， 如工业产品设计及制造、 医学分析、 工程项目等， 其中， 工程项目的应用目前比较成熟［5］。

数字孪生技术的提出引发了国内外众多学者的讨论与研究。 21 世纪初期， GRIEVES［6］首次提出了数字孪生的概念， 认为数字孪生即为物理模型在虚拟空间中的映射， 此概念对传统制造业的转型起到了重要的推动作用。 HAAG 、 ANDERL［7］提到数字孪生是通过模型和数据的交互反映物理实体的实际状态、 属性、 行为等， 并以此搭建了弯曲梁实验平台的数字孪生模型。 CAI 等［8］为减小数字孪生模型与物理实体之间的误差， 依据加工信息与采集的传感器数据建立了数字孪生机床， 使孪生体仿真结果更加接近于物理机床。 陶飞等人［9］首次提出了数字孪生车间的概念， 阐述了数字孪生车间的系统框架、 实现原理以及关键技术等， 为其他团队研究数字孪生车间提供了坚实的理论基础。 ZHAO 等［10］在处理物理模型与虚拟模型融合的问题中， 通过加工过程中的多源异构数据模型和映射方法对孪生数据进行处理， 着重分析了DTPM 在工艺规划中的指导作用和可视化功能。 任洪樟［11］在数字孪生的基础上实时监控生产线运行过程， 分别从物理层面和几何层面构建了设备的数字孪生模型。 熊伟杰等［12］通过物联网和OPC UA 通信技术设计了一套面向数字孪生车间的实时数据采集系统。 赵浩然等［13］提出了一种基于实时信息的车间三维可视化监控方法， 实现了对车间的全方位监控， 但没有考虑到将优化的数据反馈给物理车间。 卢山雨等［14］运用数字孪生技术搭建了增强现实的加工系统， 实现了孪生数据的可视化，但是在人机交互等方面仍然有不足之处。

综上所述， 众多学者对于数字孪生技术的研究集中在系统框架的搭建、 模型结构的定义等方面， 多数研究仅讨论了理论层面的数字模型或逻辑概念模型，对于数字孪生技术的应用暂时停留在理论研究阶段。在工程项目制造领域中， 一些学者利用数字孪生技术实现了对生产车间的宏观调度以及对产线的实时监控， 然而对于具体的加工设备例如数控机床等研究较少， 尤其是对于更为具体的航空壁板制孔应用更是少之又少。 针对上述问题， 本文作者提出“虚实结合、以虚显实、 以虚控实” 的数字孪生制孔系统， 运用孪生数据将虚拟仿真与物理模型融合。 针对制孔加工过程， 提出一种三维可视化监控的方法， 以数字孪生五维模型为基础， 搭建数字孪生体系结构， 构建基于物理机械臂模型以及工装模型真实行为的实时映射虚拟仿真平台， 以满足对机械臂制孔过程的实时可视化监控、 制孔位置预测等要求。

1 数字孪生制孔平台框架搭建

1.1 五维数字孪生制孔系统结构模型

数字孪生制孔平台系统以信息管理技术以及传感技术为载体， 搭建五自由度物理机械臂与虚拟机械臂模型之间的网络通信系统， 以此实现孪生数据以及物理属性的融合； 通过虚拟机械臂的孪生数据驱动， 控制物理实体运动， 在此过程中进行多源异构数据的集成与映射， 并对机械臂的加工位置实施预测， 对加工状态实时监控， 为数字孪生制孔系统的可视化提供基础， 从而建立五自由度机械臂制孔全过程的可视化监视与控制。

此次数字孪生制孔平台以数字孪生五维模型为基础， 构建了数字孪生系统结构模型如图1 所示。 总体分为物理实体、 虚拟模型、 孪生数据、 应用服务、 交互连接五部分。 通过在线实时监控虚拟机械臂模型制孔过程从而达到对物理机械臂加工过程的三维映射，利用交互连接中的通信功能搭建虚拟与实体连接的桥梁， 虚拟模型接收来自传感器采集的信号以及物理机械臂的状态数据后， 通过预设的智能预测算法进行优化并返还给物理机械臂， 一定程度上可对机械臂的制孔加工过程进行指导， 有助于用户全方位监控制孔加工过程， 并及时更正加工过程中出现的错误， 可提高制孔的精度与效率。

图1 数字孪生制孔系统结构模型Fig.1 Structural model of digital twin drilling system

1.2 数字孪生制孔平台的系统架构

制孔平台的数字孪生系统架构如图2 所示， 分为以下4 个部分：

图2 数字孪生制孔系统总体框架Fig.2 Overall framework of digital twin drilling system

（1） 物理设备层

数字孪生制孔平台的物理设备主要包括五自由度制孔机械臂、 工装模型、 激光测距传感器、 西门子PLC 等， 通过PLC 硬件以及传感器传递采集的信号，以此将物理机械臂的运动行为实时映射到虚拟场景机械臂模型中。

（2） 虚拟模型层

首先， 利用SolidWorks、 Unity3D 等将物理机械臂在软件中进行还原并渲染， 搭建数字孪生制孔平台的虚拟场景； 其次， 根据物理机械臂的真实运动行为， 在虚拟环境中建立机械臂各个部件之间的运动关系， 并设置虚拟机械臂的初始位置坐标与物理机械臂一致， 这是保证数字孪生系统准确运行的关键； 最后， 通过通信系统实时接收采集到的运动信号控制虚拟模型运动。

（3） 数据采集层

孪生数据是驱动数字孪生顺利运行的基础， 其中采集的孪生数据包括激光测距传感器的数值、 机械臂各个轴的运动速度等信号， 并将采集到的位置信号在Abaqus 中进行有限元分析， 模拟壁板的整体变形，分析后的数据将用于神经网络的训练， 作为实时预测壁板变形算法的数据基础。

（4） 服务层

服务层为数字孪生制孔过程提供全方位的可视化服务， 针对Unity3D 搭建的数字孪生制孔平台， 可以达到制孔过程中机械臂实时运动位置数据可视化、 加工壁板信号可视化、 实时预测数据可视化的效果。 例如通过孪生系统中的预测系统， 将预测后的数据显示在UI （User Interface） 可视化界面中， 并指导机械臂的运动行为， 同时机械臂的运动位置数据也可显示在位置可视化区域， 便于用户分析、 判断机械臂是否达到指定位置。

2 关键技术

数字孪生制孔系统平台搭建的关键技术主要分为三部分： 虚拟数字空间搭建、 多源异构数据的传递与处理以及制孔过程中的可视化监测与智能算法的预测。 其中： 虚拟数字空间搭建包含三维几何模型搭建、 虚拟场景搭建以及运动行为逻辑的确立； 多源异构数据的传递与处理是实现数字孪生虚实结合的关键， 包含机械臂通信系统的搭建、 加工数据实时上传至云端数据库等； 可视化监测利用Unity3D 中的UGUI 功能搭建UI 可视化界面， 对加工状态以及加工位置进行实时可视化监控， 利用Unity3D 与MATLAB的交互， 实现神经网络预测算法在Unity3D 软件中的运用， 从而对制孔状态进行分析与预测。

2.1 虚拟数字空间搭建

虚拟数字空间的搭建流程如图3 所示， 主要由三维虚拟模型建立、 Unity3D 虚拟场景搭建以及运动行为逻辑构建三部分组成。

图3 数字孪生制孔系统平台搭建流程Fig.3 Digital twin hole drilling system platform construction process

（1） 三维虚拟模型建立

在建立三维虚拟模型之前， 首先需要对实际物理模型进行现场实地测绘并记录模型外貌特征； 随后按照测量好的尺寸在SolidWorks 软件中进行1 ∶1 三维虚拟模型的绘制， 并导出为STEP 文件； 再将文件导入3ds Max 软件中进行二次处理， 包括对模型坐标系的调整以及对复杂冗余模型的减面与删减； 最后将处理好的模型导出为FBX 模型， 并导入Unity3D。

（2） Unity3D 虚拟场景搭建

虚拟场景的搭建是数字孪生系统可视化界面的关键环节， 对于加工可视化区域， 需要对导入的机械臂模型以及工装模型赋予材料属性， 使其更加接近物理模型的效果， 整体制孔过程更加逼真； 对于UI 可视化界面， 利用Unity3D 软件自带的UGUI 功能进行UI界面的搭建， 其中包括机械臂运动数据可视化、 预测系统可视化以及通信系统可视化三部分。

（3） 运动行为逻辑构建

运动行为逻辑的构建是虚拟机械臂顺利运动的基础， 虚拟环境完成搭建后， 需要赋予虚拟机械臂的各个轴具体的运动行为以及逻辑操作。 在Unity3D 左侧模型结构树中， 拖动各个部位的机械臂部件即可完成父子关系的创建， 各个轴的相互运动关系即可确立，各个轴的运动可由Unity3D 支持的C＃脚本语言控制，利用Translate （） 函数、 Rotate （） 函数实现机械臂的运动、 旋转等功能。

2.2 多源异构数据的传递与处理

虚拟场景中机械臂的运动是靠实时数据的传递实现的， 因此， 为实现虚拟机械臂与物理机械臂的同步运动以及三维数据实时可视化监控， 分析与处理多源异构数据， 基于孪生数据建立数字化模型必不可少。虚拟机械臂与物理机械臂的通信以及孪生数据传输流程如图4 所示。

图4 虚拟机械臂与物理机械臂通信及数据传输流程Fig.4 The communication and data transfer process between the virtual and the physical manipulator

由于制孔过程中每种数据的来源以及结构具有差异性， 因此组成了大量的多源异构数据， 主要由静态信息、 动态信息以及预测信息三部分组成： （1） 静态信息主要包括了机械臂尺寸数据、 工装夹具模型数据、 待加工工件尺寸数据， 这几类信息在制孔过程中恒定不变， 并且需要在制孔之前完成对静态信息的导入及确认； （2） 动态信息是由外界激光测距传感器以及机械臂加工过程中的运动数据组成， 这些数据会在制孔过程中实时变化， 但由于激光测距传感器在测量以及传输过程中难免发生数据错误， 因此为了减少原始数据错误的产生， 需要进行过滤筛选处理。 动态信息关乎到数字孪生制孔系统整体运行的精度， 因此对于数据的精确性以及实时性要求更为严格； （3） 预测信息指的是预测航空壁板装夹变形数据， 通过采集激光测距传感器在待加工壁板安装夹具前后的位置数据， 从而分析并获取预测信息， 测距方式如图5 所示。静态信息、 动态信息、 预测信息共同组成了多源异构数据模型， 可将多源异构数据上传至MySQL 云端数据库进行存储， 以便在制孔过程中调用相应的数据。

图5 激光测距传感器示意Fig.5 Schematic of laser ranging sensor

虚拟系统会将预测的航空壁板变形数据实时反馈给用户， 预测的变形数据用于指导机械臂的运动， 利用PLC 控制机械臂的运动位移， 从而实现对物理机械臂的反控制。 通过数字孪生制孔系统模拟物理环境中的制孔状态并控制物理机械臂， 即可达到以虚控实的目的， 这是数字孪生系统的重要研究内容。

2.3 数字孪生制孔系统可视化监测与预测

飞机的大多数结构件采用机械连接的方式， 一架大型飞机有1.5×106～2×106个连接件， 制孔精度则是机械连接中重要的一环［15］。 因此， 在数字孪生制孔系统中对机械臂制孔位置的可视化监测尤为重要。

数字孪生制孔系统可视化监测与预测模块建立步骤如下： （1） 通过采集现场3 个激光测距传感器的位置数据， 依次记录每个壁板安装夹具前后的位置数据， 并导入Abaqus 有限元仿真软件中对壁板做变形分析， 如图6 所示， 得到的数据集将会用做训练神经网络的数据集； （2） 在MATLAB 中编写优化的神经网络算法， 用于在线分析与预测壁板的整体变形， 通过训练3 种不同神经网络， 并对比分析验证， 选取最优神经网络模型， 从而有效预测壁板变形量； （3）通过MATLAB 与Unity3D 通信交互的方式， 将MAT⁃LAB 的预测数据传递到Unity3D 平台， 其中Unity3D作为客户端， MATLAB 作为服务端， 通过Unity3D的通信端口接收传递过来的预测数据， 并在UI 界面中实时显示壁板的变形量； （4） 根据所预测的变形量，通过PLC 控制物理机械臂达到指定制孔位置， 并在UI 界面中观察机械臂的运动数据。

图6 航空壁板变形有限元分析Fig.6 Finite element analysis of aerospace panel deformation

通过反复进行采集、 分析、 预测、 决策4 个步骤， 可不断更新优化壁板变形预测算法， 进一步提高机械臂制孔的位置精度。 在制孔加工过程中， 制孔位置一旦发生偏差， 操作人员可通过可视化界面及时发现并予以更正， 降低了制孔位置发生偏移的现象， 提高了盲制孔的精度。

3 数字孪生制孔系统仿真验证

以沈飞五自由度机械臂为例， 其运动方向分为X轴、Y轴、Z轴以及A轴、B轴共5 个方向， 可以完成大型机翼壁板的盲制孔加工。 虚拟场景与物理场景的映射如图7 所示， 其中图7 的右下角为机械臂制孔时的细节放大。

图7 五自由度机械臂制孔系统虚实映射Fig.7 Virtual－real mapping of the 5－DOF manipulator drilling system

3.1 航空壁板变形预测功能

为验证第2.3 节所提出的优化神经网络预测算法的可行性， 通过训练与预测BP 神经网络、 PSO－BP神经网络以及所提出的经SSA 优化的PSO－BP 神经网络模型， 比较3 种神经网络模型的RMSE 与MAPE， 综合验证并说明所提出的SSA－PSO－BP 神经网络模型具有更高的预测精度。

（1） 3 种神经网络模型训练

以Abaqus 有限元分析软件所提供的50 组变形数据（如表1 所示） 为训练数据集， 分别训练3 种神经网络模型。 其中BP 神经网络中， 根据经验公式P＝M＋N＋a可知： 隐含层节点数P可由输入层节点数M与输出层节点数N以及任意常数a来确定。通过不断试算， 最后得出结果： 当隐含层节点数为40 时， 神经网络训练的误差达到要求为1×10－5， 因此建立3×40×8 的BP 神经网络结构模型， 最大训练次数为100， 附加动量因子为0.95， 学习速率为0.05。

表1 航空壁板有限元分析数据集 单位： mmTab.1 Finite element analysis dataset of aerospace panel Unit： mm

根据图8 可知： 对BP 神经网络权值与阈值进行PSO 算法的初次优化， 其中PSO 算法的具体参数设置为迭代次数为20， 种群规模为10， 学习因子c1＝c2＝1.494 45； 其次采用迭代速度快、 全局寻优能力强的SSA 算法对权值与阈值进行二次寻优， SSA 算法的参数为： 迭代次数为20， 种群规模为10， 发现者和加入者各占种群数目的20%， 预警值R2＝0.8。

图8 SSA－PSO－BP 算法流程Fig.8 SSA－PSO－BP algorith mprocess

根据上述的参数设定， 对3 种神经网络模型进行训练。

（2） 神经网络模型预测效果比较

将训练好的神经网络模型进行保存， 并将50 组有限元分析数据的最后5 组用于神经网络模型的测试验证。 3 种神经网络的验证结果如图9 所示， 可以看出： SSA－PSO－BP 神经网络预测曲线与期望值具有较好的曲线拟合度。 根据MAPE 以及RMSE 验证神经网络模型的准确率， MAPE 与RMSE 的值越小证明精度越高， 结果如表2 所示， 可知： SSA－PSO－BP 的MAPE 为0.07%， RMSE 为0.38 mm， 说明所提出的经SSA 优化的神经网络预测效果更好， 预测精度更高， 证明该神经网络模型具有较好的实用性， 适用于实际制孔过程中对于壁板变形的实时在线预测。

表2 模型准确度对比Tab.2 Comparison of model accuracy

图9 预测值与期望值对比Fig.9 Comparisonof predicted and expected values： （a）training set 1； （b） training set 2； （c） training set 3； （d） training set 4； （e） training set 5

（3） 神经网络模型在Unity3D 中的应用

Unity3D 支持的脚本语言为C＃， 并不适合编写复杂的神经网络算法程序， 因此采用MATLAB 与Uni⁃ty3D 交互的方式实现神经网络模型在Unity3D 中的应用。 Unity3D 作为客户端， 用于接收激光测距传感器的测距值， 并将测距值传递给神经网络模型用于变形的预测； MATLAB 作为服务端， 接收来自Unity3D 的测距值数据， 利用已经训练好的神经网络模型对它进行壁板变形的预测， 并将预测的数据实时返还给Uni⁃ty3D， 显示在UI 界面中。 在Unity3D 中， 运用C＃脚本语言调用相关的SQL 语句连接MySQL 数据库。

3.2 数字孪生制孔三维可视化监控功能

图10 所示为搭建的数字孪生制孔可视化监控平台界面， 总共分为三大区域。 机械臂制孔全程可通过可视化加工区域进行监视。 细节放大区域是对制孔位置进行镜头拉近处理， 有助于操作人员观察制孔过程的细节。 UI 监控界面为主要监视以及控制区域， 包含四大模块： 第一部分为“正在加工的壁板” 信号区， 此处可实时监控并显示加工过程中某一时刻正在加工的壁板； 第二部分为“机械臂位姿” 信号区，此处可实时监控机械臂运动的位置信号， 使用户及时得知机械臂的运动位置； 第三部分为“预测系统”信号区， 此处能够实时采集并显示预测算法所需要的3 个激光测距传感器的测距值， 并且可以运用优化的预测算法对壁板的变形做出精准且快速的预测， 为五自由度机械臂提供准确的运动指导； 第四部分为“通信模块” 信号区， 通过输入IP 地址以及端口号将虚拟与实际环境打通， 从而可在虚拟模型中实时显示实际的加工过程， 并且通过观察虚拟模型加工过程中出现的错误， 及时对实际加工做出正确的指导， 以此实现数字孪生的整个控制过程。

图10 数字孪生制孔系统可视化界面Fig.10 Visual interface of digital twin hole drilling system

4 结论

文中对飞机机翼壁板自动制孔系统进行了研究。为了实现制孔过程中的实时三维可视化监视与控制，搭建了“虚实结合、 以虚显示、 以虚控实” 的数字孪生平台， 提出了基于数字孪生的制孔过程三维可视化监控方法， 详细介绍了数字孪生制孔系统的系统架构， 并在虚拟数字空间搭建、 多源异构数据的传递与处理以及制孔过程中的可视化监测与智能算法的预测3 种关键技术的支持下， 完成机械臂制孔过程管控的可视化、 智能化、 实时化。 经过仿真测试与验证： 所提出的新型SSA－PSO－BP 神经网络算法对壁板的变形预测精度较高， 适用于实际制孔过程中壁板变形的实时在线预测， UI 界面显示效果良好， 有助于操作人员对虚拟制孔平台的实时监控； 整体数字孪生制孔系统运行流畅， 为数字孪生技术在航空壁板制孔领域实现三维可视化监控奠定了基础， 为加速传统制造业向智能制造领域的转型提供了帮助。

然而此研究仍然存在一些不足， 目前数字孪生系统所能采集的数据仅是制孔之前壁板的变形数据， 在实际制孔过程中， 孔会产生毛刺以及分层等现象， 从而影响制孔精度。 接下来将会以制孔工艺为重点研究内容， 通过采集更多的实时数据， 结合智能优化算法， 运用数字孪生系统控制整个制孔加工过程。