基于增强现实的数字孪生加工系统建模与多视图交互

卢山雨，刘世民，丁志昆，鲍劲松

(东华大学 机械工程学院，上海 201620)

0 引言

随着“工业4.0”“中国制造2025”等工业战略的先后提出，以智能制造为主导的第四次工业革命已经来临。智能制造系统利用新一代信息技术集成加工过程中的设备资源，实现加工过程的信息感知、网络通信和数据集成，并以制造过程数据的分析为基础，实现制造过程的性能优化分析、自主决策、高性能等智能化服务[1]。周济等[2]提出，制造系统的发展内涵始终是以人为本，制造系统也始终是由人、信息系统、物理系统组成。在传统制造模式中，“人—信息系统—物理系统”三者缺乏有效联系，信息传递效率低，导致加工效率低、成本高；随着制造技术的不断演进，基于数字孪生(Digital Twin, DT)技术的加工系统被提出，通过数字空间和物理空间中模型完全、实时的映射实现加工中的仿真和控制，被认为是实现智能制造系统的重要技术之一。然而，目前数字孪生加工系统的数据虽然高度集成，但是复杂多样，缺少高效的人机信息交互方法。因此，本文通过研究增强现实(Augmented Reality, AR)技术在数字孪生加工系统中的应用，加强数字孪生加工系统中的人机交互手段，从而进一步加强系统中信息传递的效率，提高加工效率，降低加工成本。

1 研究现状

1.1 加工模式的发展

随着科学技术的不断发展，加工制造模式发生了巨大的变化。如图1a所示，在传统加工过程中，工人在检测工件是否符合工艺要求时，往往需要中断加工，这种模式信息集成度低，加工过程缺乏连续性和实时性，导致加工效率低、产品质量一致性差。数字孪生加工技术可以改进传统加工方法(如图1b)，通过建立加工系统的数字孪生模型，集成加工各要素的状态数据，实现加工过程的实时监控、仿真、优化与决策[3]。然而，因为复杂产品加工需要满足极端服役环境，对产品质量和性能要求极高(如航天产品)，而且产品的几何形貌、表面粗糙度和残余应力等变化复杂，所以人在加工过程中不可或缺。AR技术能够加强人与数字孪生加工系统的联系，将数字孪生加工系统中的传感器和设备信息实时显示在物理世界中，从而增强人对加工状态的感知，实现实时在线测量，同时将AR直接介入加工系统，提高了数字孪生加工系统对复杂产品加工过程的应对能力，如图1c所示。

1.2 数字孪生在加工中的应用

自Michael Grieves教授于2002年提出数字孪生概念后[4]，国内外学者对数字孪生技术在加工系统中的应用进行了广泛研究。在车间层面，Coronado等[5]通过MTConnect协议获取车间设备数据，构建了车间数字孪生模型；Zhou等[6]提出一个面向数字孪生制造单元的通用框架。在设备层面，Luo等[7-8]提出一种用于数字孪生机床的建模方法，包括多领域统一建模方法、映射方法和自主策略，实现了一个数控机床的数字孪生系统，可以优化操作模式，减少突发故障，提高数控机床的稳定性；Zhu等[9]提出一种基于Web的虚拟车铣系统，使设计和加工人员能够更高效地做出决策或验证计算机数字控制(Computer Numerical Control，CNC)代码；Cao等[10]使用数字孪生系统作为数控加工的智能和分析中心；Liu等[11]提出一种基于数字孪生概念的机床系统开发方法。在产品层面，Miller等[12]通过总结加工零件的行为信息扩展了3D-CAD模型；Zhao等[13]提出一种用于产品制造过程的数字孪生过程模型(Digital Twin Process Model，DTPM)建模方法，讨论了实时数据的获取方法和模拟数据的管理方法；Liu等[14-15]提出一种基于数字孪生技术的新型产品加工过程评估方法，可以随着加工条件的动态变化和可用制造资源的不确定性来评估过程计划。

值得注意的是，制造系统中人的作用不可忽视，因此需要解决数字孪生制造系统中的人机交互问题。对于这一问题，Ma等[16]分析了产品生命周期中人机交互模式的缺点和新要求，提出一种面向数字孪生的人机交互框架；赵浩然等[17]针对数字孪生车间的可视化监控提出一种多层次的三维可视化监控模型和实时数据驱动的虚拟车间运行模式；Tao等[18]基于数字孪生进行了高保真可视化仿真设计；Tong等[19]提出一种基于智能机床(Intelligent Machine Tool, IMT)数字孪生的实时加工数据应用和服务，实现了数字孪生中的数据可视化并进行了分析，包括加工轨迹、加工状态和能耗。

1.3 数字孪生与增强现实

上述文献研究了数字孪生数据的可视化方法和人机交互方法，其中可视化方式还停留在传统的看板系统和2D显示器，难以全面直观地表达海量的孪生数据；作为一种高度人机交互界面，AR已经在游戏、教育等领域展开广泛应用。在制造业中，李旺等[20]研究了面向AR的装配工艺信息模型，通过AR技术对基本装配工艺信息模型进行增强可视化表达；Ceruti等[21]使用AR技术模拟增材制造过程，有助于提前发现可能的设计误差和加工误差，避免浪费时间和材料，同时提高加工效率；Antonelli等[22]基于AR指导焊接过程的可视化，大大提高了焊接效率；程云等[23]提出并研究了一种基于AR的产品质量信息传输方法，该方法可以提高加工过程中产品的检测效率和加工效率，减轻工人负担；方维等[24]提出一种基于AR的智能分拣系统，解决了传统人工分拣系统在仓库分拣中效率低、拣错率高的问题；Andreas等[25]通过将AR技术应用于车间布置提高了车间布置的效率和成功率；Liu等[26]提出网络物理机床(Cyber Physical Machine Tool，CPMT)的概念，采用AR实现人与CPMT之间直观、高效的人机交互。上述文献研究了AR技术在不同制造阶段中的应用，但是缺少利用AR对数字孪生加工系统进行数据可视化和控制的研究。

为了解决数字孪生加工系统中数字孪生信息表达困难、缺乏高效的人机交互手段的问题，本文提出面向AR的数字孪生加工架构，构建了面向AR的数字孪生加工过程信息集成模型，重点研究了数字孪生AR多视图动态生成方法和多元信息融合追踪技术，实现了高效的数字孪生数据可视化和稳定的虚实融合；将孪生数据与物理世界结合，增强了人与数字孪生加工系统的联系，提高了人对加工过程的感知和控制，从而保证加工质量，提高加工效率。

2 面向AR的数字孪生加工系统与建模

2.1 面向AR的数字孪生加工体系

本文以工序为基本单元构建了图2所示的面向AR的数字孪生加工系统，包括物理加工、数字化孪生加工和AR。图中，P={P0,P1，…，Pn}表示加工工序，Ts表示执行某工序Pi需要的时间段。在工序Pi内，加工对象在t时刻的工步为pk，首先从物理世界获取观察到的加工对象状态数据ProductStatei(t,pk)，包括尺寸要素、功能要素和性能要素；同时，从虚拟世界数字孪生模型中获取孪生对象的状态数据进行分析计算，预测出当前孪生对象的状态DTStatei(t,pk)。其次，比对和分析观察值、设计值和预测值，完成一次数字孪生比对操作。然后，使用AR技术将上述数字孪生比对过程进行透明化和可视化。最后，将孪生信息注册并显示在指定的物理对象上，辅助工人进行作业。

加工时除了观察加工对象，工人还需要观察制造设备和加工刀具等，系统通过建立数字化孪生设备和数字化孪生刀具获取设备状态MStatei(t,pk)和刀具状态ToolStatei(t,pk)，与相对应的孪生对象数据进行比对，具体的比对过程类似于上述加工对象的比对过程。基于AR的数字孪生人机交互循环包括物理世界人机交互环路和虚拟世界人机交互环路两部分，系统通过对数据的可视化增强了人对物理场景的理解，同时利用人对数据的比较和分析加强了系统的数字化决策能力。AR系统中物理世界(左侧实线循环)和虚拟世界(右侧虚线循环)的不同占比，体现了系统对物理世界和虚拟世界不同的增强强度。

2.2 面向AR的数字孪生加工过程信息集成模型

面向AR的数字孪生加工过程信息集成模型(DT-MPM)如图3所示，包括静态数据PSD(工件在加工过程中保持不变的数据)、实时动态数据RTD和推理数据RD，即

DT-MPM=(PSD,RTD,RD)。

(1)

PSD=(GDD,PDD,TP,MP)。

(2)

式中：GDD为工件的几何模型数据；PDD为工艺设计数据；TP为刀具属性数据；MP为机床属性数据。

RTD=(WQD,RTS,RMS)。

(3)

式中：WQD为工件质量数据；RTS为刀具实时状态数据；RMS为机床实时状态数据。

RD=(WQP,MSP,TSP,CPR)。

(4)

式中：WQP为工件质量预测值；MSP为机床状态预测值；TSP为刀具状态预测值；CPR为当前加工建议。

3 数字孪生AR多视图动态生成与融合

基于数字孪生的加工信息集成模型利用AR技术可以实现信息可视化。数字孪生加工系统中的数据具有多样化和复杂化的特征，在不同加工步中需要关注不同数据。然而，传统的界面内容均为事先设定和布局静态，无法自主选择感兴趣的数据，很难满足数字孪生加工系统的需求。因此，本文从视图动态生成与融合两方面出发，实现孪生模型信息的多视图生成、注册与动态跟踪。

3.1 数字孪生AR多视图动态生成

图4所示为面向数字孪生加工的AR多视图动态生成方法。在加工工序Pi时，系统从信息模型中获取不同数据及其关联对象。首先，系统将数据自动转化为相应的可视化对象，其中工件和刀具模型被表示为三维模型，静态信息(如工艺要求)用文本形式表示，动态信息(如刀具温度)用图表形式表示；然后，信息模型中的关联对象与物理对象融合，形成可视化对象注册所需的锚点A；接着，对比当前视角和理想观察画面，生成可视化对象变换矩阵M；最后，将可视化对象和锚点A绑定，根据变换矩阵M调整可视图对象姿态生成AR视图对象。

每个AR多视图中所包含的AR视图对象并不固定，工序不同，或者实际加工情况发生变化，视图对象的选取也不相同。将系统动态选择视图对象ARVOrecommend、人工选择视图对象ARVOselect和固有视图对象ARVOfixed组合，共同构成AR多视图

ARMV⊆(ARVOrecommend,ARVOselect,ARVOfixed)。

(5)

式中:ARMV表示AR多视图；ARVOfixed包括控制界面、数字孪生加工建议界面等由用户提前设置的AR视图对象；ARVOselect是用户根据当前加工状态和经验主动选择的AR视图对象；ARVOrecommend表示系统根据当前加工状态自动选择的AR视图对象。

ARVOrecommend的推荐排序结果与AR视图对象View、系统上下文状态Context和工序Process相关，即

R:View×Context×Process→Rating。

(6)

在不考虑Context对推荐的影响时，可以通过协作过滤算法进行视图推荐。假设在工序P中，特定视图v的评分为rv,p，比较视图v的评分与其他已计算工序视图Pv的评分，将其他工序评分的加权平均值用作预测。如果视图Pv是工序P中已经评过分的一组视图，则视图v的平均评分

(7)

协作过滤算法基于相似工序对视图v的评分来预测特定工序对视图v的评分。工序之间的相关性用皮尔逊相关系数计算，特定工序P和其他工序a的相似性w(p,a)的确定公式为

(8)

式中：Ip为工序P的视图集合；Ia为工序a的视图集合。

w(p,a)的值用于衡量两个工序评分向量之间的相似度，高绝对值表示高相似度，且w(p,a)∈[-1,+1]。可以得到某工序P中视图v的推荐评分pcollab(v,i)，

(9)

(10)

式中因子k为标准化权重。

在信息融合计算中，系统上下文信息定义为

Context=(C1,C2,…,Ck)。

(11)

式中Ci⊂C(i∈[1,k])表示任意类型中某维度的上下文信息，包括如机床状态信息、刀具状态信息、工件加工几何状态、工件加工物理状态等。通过灰色关联度算法求解系统中的上下文关系与视图关联度矩阵

(12)

最后，用式(13)和式(14)选择VOrecommend中的视图对象：

(13)

(14)

通过该方法，可以根据需要选取评分排名前N(N由使用者决定)的视图，与固定视图和用户选择视图共同组成AR多视图。

3.2 虚实注册与动态跟踪

上述方法可以动态构建数字孪生加工的AR多视图，但是面对加工过程中工件和加工状态不断变化的情况，直观、准确地实现AR可视化具有挑战性，本文结合目前绝大多数平板和AR设备都具备的摄像头和传感器模块对物理对象进行注册追踪，如图5所示。该动态注册追踪方法分为离线和在线两个阶段，离线阶段利用数字孪生的特点生成产品多工序多视角图像样本，并计算样本梯度方向描述符和相机姿态，保存为匹配模板；在线阶段，根据相机采集到的图像，实时计算梯度方向描述符，并采用LINE-MOD模板匹配方法[27]进行匹配，匹配成功后将AR视图对象注册到相应位置。在追踪时，融合计算加速度计、磁力计和陀螺仪产生的数据来估计设备姿态，避免因丢失工件视野而造成的反复注册问题。

系统于在线阶段通过模型视图注册可得初始姿态P0，随后启用传感器数据进行实时追踪。首先对传感器数据进行滤波融合，得到当前姿态估计Pi，

(15)

式中：ri为某时刻的设备姿态；μ1为低频噪声；μ2为高频噪声；τ为时间常数；Δt为采样间隔。

然而，在长时间运行中，姿态估计可能存在误差累积和丢帧的问题，需要进一步利用滑动窗口算法对其位姿Pf进行计算和估计，滑动窗口跟踪算法如下：

读取一组连续姿态数据Pi(i∈[1,20])，因为极短时间内姿态的各个分量均为线性变化，所以通过最小二乘法对姿态进行线性拟合，得到i+1时刻的姿态估计

Pi=a×i+b。

(16)

当历史Pi的偏差加权平方和最小时，得到最准确的预测值

(17)

(18)

(19)

联立方程，解得：

(20)

(21)

根据式(20)和式(21)，结合Pi=a×i+b可以得到下一时刻的姿态预测值Pf。

4 案例分析

本文基于上述方法设计开发了面向AR的数字孪生加工系统，该系统集成了产品加工过程数据，并根据用户需求提供了相应的数字孪生AR视图，从而可以直接控制加工系统，降低用户获取有效信息的难度，提高加工效率。下面将从系统架构、实例验证及结果进行讨论。

4.1 系统原型架构

面向AR的数字孪生加工过程系统软件架构包括数据监测和控制两部分，如图6所示。在监测部分，系统通过多种设备和传感器采集加工过程中的数据，包括工件几何、物理、设备状态信息，根据这些信息生成加工状态预测和加工建议，然后将这些内容实时转换为AR视图并显示；控制部分允许用户与数字孪生的物理部分和虚拟部分进行交互。从数字孪生AR视图中获得直观、全面的加工过程信息后，

用户可以利用这些信息做出决策，通过AR系统直接控制数字空间和物理空间，也可以通过手势和语音命令控制数字孪生的虚拟部分来影响物理世界。

4.2 案例验证

本文以某典型航天结构件带载体盒加工为例，工件材料为高体积分数铝碳化硅(SiCp/Al)，具有高强度、低密度和极好的尺寸稳定性等优点。加工时，由于材料熔点低，造成刀具磨损快，导致工件表面质量和加工精度难以保证。工件实物和数字模型如图7所示。

系统的数据采集方法如图8所示。在运行过程中，静态数据根据需要直接从数据库中读取。动态数据分为机床状态数据和安装在机床上的外挂传感器数据两种。机床状态数据可以直接从机床控制器中通过OPC-UA协议读取；外挂传感器数据则根据其通信方法的不同，采用相应的通信协议先读取至终端，再对数据进行清洗和整理，剔除空值和异常值后整合到信息集成模型。

表1所示为带载体盒加工过程中涉及的数据来源、类型和相关技术指标的说明。

表1 数据来源和类型

根据所采集数据的类型特点构建不同的动态AR视图对象，包括设备信息、工件加工质量信息、切削力及其预测值等AR视图对象，如图9所示。

综合本文所提方法，对当前工序状态下所有动态AR视图进行评价，如表2所示。

表2 部分AR视图得分

根据得分结果，系统选择排名前六的视图作为推荐视图，然后加上固定视图(控制选项视图和工序进程视图)生成数字孪生AR多视图，如图10所示。

最后，将面向AR的数字孪生加工系统应用到带载体盒的实际加工过程中。图11所示为机器加工过程中该系统的使用者视角(即使用者实际看到的内容)和视图内容细节，图中通过Hololens眼镜可以直观、全面地看到制造环境中的数字孪生数据。另外，使用者可以通过手势、语音等多种方式与系统进行深度交互，进而控制加工过程信息展示。如图12所示，采用手势和语音可以与系统中的大部分视图交互，交互行为包括但不限于：①调整视图对象的缩放、位置、角度；②从视图库中选择不同的视图对象；③通过视图对象控制加工设备，如选择当前工序、调整NC代码、更换刀具等。同时操作人员凝视(系统可以捕捉使用者视线)视图中的元素时，系统将自动弹出该元素的具体数值，从而实现更为精细的状况感知。

4.3 实验讨论

表3所示为对传统方法、现有孪生加工方法和本文方法的对比。与传统方法相比，现有的数字孪生方法可以实时感知和预测产品的几何和物理变化，并推荐相关的决策方法，但相比于本文方法，忽略了加工信息的AR可视化与交互。

表3 传统方法、现有孪生加工方法和本文方法的主要指标比较

为评估本文所提注册追踪算法的注册精度和跟踪稳定性，进行了多次注册精度和追踪稳定性评估实验，如表4所示。该算法在不同工序阶段、不同情况下都有优越的追踪性能。

表4 注册追踪方法性能测试

5 结束语

随着数字孪生技术在制造业的广泛研究与应用，产品数字孪生中集成了产品的全生命周期数据，可以通过数字孪生系统对其加工结果进行仿真和预测。然而，目前的数字孪生系统缺乏高效的数据可视化人机交互接口，限制了数字孪生的应用。本文将AR技术融入到数字孪生加工系统中，提出面向AR的数字孪生加工架构，构建了面向AR的数字孪生加工过程信息集成模型，重点研究了数字孪生加工系统的AR多视图动态生成方法和多元信息融合追踪技术，实现了高效的数据可视化和稳定的虚实融合，并通过典型航天结构件带载体盒加工的案例验证了所提方法的可行性和有效性。

然而本研究仍然存在一些不足，目前系统能够采集的数据还比较有限，如何结合更多的实时数据和设计数据来增强人对当前加工状态的感知，是未来的研究重点。