基于增强现实技术的数控装备诊断与维修进展

李香飞,张晓光

(天津职业技术师范大学 工程实训中心,天津 300222)

0 引言

随着新型数控装备的发展，对于数控装备维修人才在数量和质量上都有很高要求。数控维修人员需要具备机械、电气、计算机、材料、通讯、数据分析等多方面的多重综合能力。另外，数控装备已经与新型材料、新型传感器[1]、虚拟现实[2]、增强现实[3]、多模态交互[4]、嵌入式系统[5]等很多新技术紧密耦合，呈现出高速、高可靠性、高精密的高度集成和高度智能化等特点[6]，导致数控装备故障通常具有多学科领域交叉的高复杂性。所以数控维修人员需具有扎实的多领域基础知识，才能适应各种新技术与数控装备耦合带来的新挑战。

增强现实技术(AR)是在虚拟现实技术的基础上，将虚拟信息与用户所在的真实世界相互叠加的一种新技术[7]。这种技术可大大提高用户对真实世界的感知能力，在工业、军事、医疗、教育等方面都有成功应用。增强现实技术已经在航空、建筑、汽车、武器等设备的维护方面取得了一定进展，通过合理使用增强现实技术，维修成本可减少25%，维修性能可提高30%，但增强现实技术在数控设备维修方面的应用较少。因此本文以增强现实技术在不同设备维修方面进展为基础，阐述AR技术在数控设备维护方面的潜力，同时结合专家诊断技术、多模态技术、情景感知等新技术，论述增强现实技术如何与这些新技术融合，以促进数控装备维修技术的提升，同时加快培养高质量的数控维修人才。

1 增强现实技术在设备维护方面的应用进展

由于增强现实技术在数控装备维修中的应用非常有限，所以以增强现实技术在航空、建筑工程、机械工业等不同行业的设备维护方面的应用为基础，论述增强现实技术如何应用于数控装备的维护。增强现实在数控维修中的应用，基本功能要求包括：实现真实数控机床与相关虚拟信息的耦合；根据数控装备运行状态提供装备预防性维护信息；根据数控机床PMC等系统输出代码自动提示维修方案；协助数控维修人员实现对数控机床的拆卸、装配和调试；实现操作人员通过工具对机床零部件进行修配；实现对于数控维修操作人员的维修指导和培训提高等[8]。下文主要从增强现实技术的显示技术、跟踪注册、人机交互方式、开发平台等不同方面论述。

1.1 显示技术

增强现实技术是以实现虚实结合的世界为主要目的，所以显示技术的发展对于增强技术应用有重要影响。显示技术通常以显示装备进行划分，包括头戴式、手持式、计算机屏幕、投影式等显示设备，其中头戴式和手持式在设备维护方面是两种应用最普遍的显示设备。

1.2 跟踪注册

跟踪和注册是研究如何将虚拟世界正确地叠加于真实世界，以实现两个世界的相互融合，其核心是判断虚拟情景在真实世界的位置座标。可分为三种方法：基于传感器技术、基于视觉、混合技术。

1.3 人机交互方式

由于增强现实技术的目标之一是让用户在虚拟世界与真实世界实现紧密融合，所以人机交互方式对于用户的体验有非常明显的影响。人机交互的方式有多种，包括键盘、鼠标、触控设备等传统方式，也包括语音、手势、体感等新型交互方式。基于传统方法如键盘和鼠标等方式，易于操作成本低廉，但降低了用户的现实体验感。随着语音、触控、动作识别等技术的提高，提供了更多的人机交互选择，优化了增强技术在数控领域的应用。

1.4 开发平台

增强现实技术的实现依赖于一种或多种计算机程序平台的开发，包括通用计算机语言、软件开发工具包、专业增强现实技术软件等。

通用计算机语言的开发占增强现实技术开发平台的很大一部分，包括Java、C++等。此外，有很多函数库在增强技术的开发中也有广泛应用。这些开发平台的缺点是需要更多具有计算机编程专业知识的人员。很多增强现实技术使用专用的软件开发工具包，包括Kudan、Vuforia等。另外通用的三维软件也经常用于与上述增强现实技术开发环境，提供虚拟场景中所需的三维图。

2 增强现实技术与其他技术结合在数控维修中的应用

2.1 与专家故障诊断系统的耦合

专家故障诊断系统已广泛应用于设备维护中，也包括了数控机床的维修[9]。专家故障诊断系统的发展与人工智能的发展紧密相关，包括神经网络、模糊理论、模式识别等，这些技术的应用解决了数控机床故障诊断中的很多难题，如故障定位难、故障发现迟缓、高概率故障发生等问题[10]。所以，增强现实技术与专家故障诊断系统的联合使用，可帮助数控维修人员快速定位故障发生位置，并基于专家诊断系统，给出特定数控系统故障的可靠解决方案。

2.2 与虚拟技术的结合

虚拟技术与维修技术的结合称为虚拟维修，主要是维修仿真技术与虚拟现实技术结合，实现提高维修分析、维修演示、维修训练等目的。增强现实技术本身就是与虚拟技术共同发展起来的，所以虚拟技术的成果可直接用于增强现实技术。在数控维修领域，虚拟机床可直接与现实场景结合，解决数控维修培训中机床成本昂贵并且培训本身有危险性的问题，可以大幅度降低培训成本，减少培训过程带来的机床损坏或培训人员安全伤害，提高数控维修培训效果。

2.3 与多模态人机交互技术的结合

多模态人机交互技术，指利用文字、手势、身体、语音、动作、视线、环境和情感等不同的方式，使用多通道并行方式与计算机系统建立联系。具体来说，人脸识别、表情分析、语音情感、人体动作、视线跟踪、手势输入等方式都可以做为输入通道，增加人机交互的灵活性和鲁棒性，提高人机交互的效果。多模态人机交互技术的发展，为增强现实技术在数控维修中的应用提供了更多人机交互方式(如维修动作识别)，特别是在高档数控装备维修方面有很大的应用潜力。为将多模态交互技术与数控维修相结合，有三方面的问题需要解决：多模态信息的交互数学模型；数控维修中人员动作的分解；根据不同维修状况维修知识的自动准确推送。

2.4 与情景感知技术的结合

情景感知是将人机交互或不同传感器得到的信息传递给计算机，让计算机根据这些信息，做出符合特定场景的决策。这种技术不仅在旅游、智能家居、购物等方面有成功的应用，而且在设备维护方面也有很好的应用潜力。因此，这种技术可充分考虑到不同场景中维护者情况的不同，实现了由“计算机为中心”到“维修者为中心”的转变，可为维修人员环境的自适应提供帮助。Zhu等[11]将情景感知技术与增强现实技术结合，建立一种新型系统称为ACAAR，充分考虑不同维护人员的不同特点，应用于数控设备的维修中。

2.5 与云计算技术的结合

云计算的实质是多种计算机技术和网络技术相互融合的结果，最终组合成为功能强大的计算处理信息系统[12]。基于云计算机床设计与制造的发展，打破了机床控制系统的封闭特性，实现了数控机床的开放性，将计算压力转移到专用的计算网络，而机床用户只负责接收最终的处理信息。Liu等[13]提出了一套系统集成的方法，用于车床现代化智能加工。同时，该方法也可利用实时加工数据，结合云平台的大数据计算，用于车床的维护，如主动式维护以提高车床的使用效率，大大增加数控系统的维护效率，减少维护成本。

3 结语

(1)增强现实技术不仅可用于数控维修人员的培训，减少培训时间和成本，提高培训效果，同时可用于数控设备的实际维修，简化维修程序，提高设备使用效率。

(2)增强现实技术与故障诊断系统、多模态技术、大数据、情景感知、云计算、人工智能等其他相关领域的联合使用，可大大促进增强现实技术在数控装备维修中的快速发展。