基于混合现实的动车组车钩辅助检修方法研究

史开志，肖 乾

（华东交通大学载运工具与装备教育部重点实验室，江西 南昌 330013）

随着轨道交通行业的迅猛发展，高速列车运维环境也变得愈加复杂，其设施装备运行安全问题显得十分重要，当高速铁路机电设备出现故障，传统的维修手段已不能满足当下需求[1]。存在维修方式老旧、操作人员维护不熟练、维修手册内容更新迟缓导致维修进度不及时等问题，尤其面对动车组车钩等复杂设备故障时更难满足维修指导的需要[2]。近年来混合现实 （mixed reality，MR）发展迅速，该技术能够实现真实与虚拟环境的相互融合，因其虚实结合的特点被大众所熟知[3]。同时MR 技术具有高效性、便捷性的人机交互方式，能够提高维护人员在虚实场景中实时操作的准确度，运用该技术能够为机电设施设备出现故障时提供一种新兴的解决方案[4-5]。例如张迎晓等[6]在配电网运维的各个环节中引入混合现实技术，改善了对设备信息的获取，简化了运维模式。余芬等[7]优化了手势识别中指关节跟踪注册算法，研究混合现实技术的数据传输协议，以解决航空发动机维修人员对技术手册理解困难、学习培训缺乏实体案例、多终端协同维修等问题。

对于先进的运维模式来说，用最优的方式排除故障是核心关键，国内外学者针对高速列车运维智能化、智慧化开展了探索性工作，在故障处置领域积极寻求先进的虚拟现实技术来解决行业痛点。例如周韶泽等[8]提出了虚拟现实检修视点模拟方法，实现了动车组检视检修的模拟流程。邹俊俊等[9]针对铁路客车转向架的现场检修作业流程，提出了一套虚拟检修解决方案，可根据实际作业随机生成模拟检修处置流程，并实时记录操作数据，最后对学员操作给出科学评价。Knopp等[10]以此为基础，利用无线网络将HoloLens 和Vuforia 图像处理库进行远程整合，实现了基于混合现实的工业组件装配和拆卸。陈华鹏等[11]提出一种面向结构物的铁路设施多尺度模型，能够利用历史数据、感知数据和虚拟模型等对故障进行分析和处置。从已有的研究成果来看，国内外学者认为采用智能算法匹配故障以推送维修决策，融合虚拟现实技术的故障处置方法是智能运维体系下的关键应用手段。

本文借助三维数字技术构建了高速动车组车钩MR 辅助检修的数字模型，该模型通过对设备故障和维护中的数据进行充分融合以驱动检修指导过程，在运维过程中实现了物理维护与虚拟维护的数据交互方式，搭建了适合高速动车组的复杂部件智能运维系统总体模型，并以动车组车钩故障处置为例，研发了基于混合现实的动车组车钩辅助检修系统。

1 基于混合现实的动车组复杂部件智能运维系统框架

基于混合现实的动车组复杂部件智能运维系统总体模型由物理实体、虚拟实体和服务组成。借助数据交互技术，数据在线监测平台可获得物理实体环境中的设备状态数据，融合多传感器获取的实时物理量数据，可通过遗传（GA）算法、人工免疫（AI）算法、粒子群（PSO）算法等多种智能算法，运用于故障识别诊断和寿命预估两大内容体系中，为MR 辅助检修提供前置条件和决策依据。

基于混合现实的智能运维具体在于如下几方面：

1）虚实结合，应用在一个复杂的动车组部件维修过程中，虚拟维修解决方案要求虚拟部件与实际场景中的所有重要部件正确重叠结合，并保证其几何同步、光照同步和时间同步。系统完成对识别目标与操作人员注视方向的实时动态追踪，从而实现高精度的三维空间定位及配准。

2）数据融合，系统通过多维传感器对关键部件的状态、温湿度、应力和振动等数据进行实时监测，当设备故障发生时，数据服务中心将通过维修指导系统后台对故障信息进行匹配及分类，并根据故障指令的处理结果匹配故障，从而根据故障指示对应的数据库调用相应的解决方案。HoloLens 配备了深度感知摄像模组，维修人员使用该模组功能可实现对现场维护环境空间信息的实时获取，反馈给服务系统并修正维修过程。当故障情况难以判断时，可以通过对虚拟和物理环境下的数据进行实时融合叠加，由远程专家在线进入现场维护环境中引导检修，通过实时融合虚拟和物理环境下的数据，达到故障处置引导的目的。

3）模拟分析，系统基于Unity3D 的虚拟仿真技术，通过三维建模、机械设备动作编程、传感器信息传输和存储等技术，实现对设备维修过程的监控模拟和实时分析。该系统可以实时跟踪维修现场，获取维修现场的图像特征，判断维修操作是否正确，防止因维修不当造成的设备二次损坏，保证维修方案的可靠性。

2 基于混合现实的动车组车钩辅助检修方法

本文以动车组车钩为对象，构建基于混合现实的动车组车钩辅助检修系统。通过多种传感设备监测获得车钩的运行状态，识别标定形成实体维修环境。

2.1 技术路线及其框架

基于混合现实的动车组车钩辅助检修系统的技术框架如图1 所示，系统包括故障匹配与诊断、故障维护指导、维护空间感知、虚实融合叠加和人机交互等5 大模块。

图1 基于混合现实的动车组车钩辅助检修系统技术框架Fig.1 Technical framework of auxiliary maintenance system for coupler of EMU based on mixed reality

故障匹配与诊断部分完成对实际装置中各传感器的故障信息的收集，并对其进行识别及分类，生成相应的故障标识码，同时与其所对应的维护解决方案指令进行匹配绑定，针对各种故障情况推出相应的处理方法；故障维护指导部分针对不同故障对应的维修手册制定出更加科学的维护流程及方案，同时通过环境虚实叠加、远程专家辅助等多种方式实现对故障的维修操作引导；维护空间感知部分完成对维护实际环境的自然特征点提取及识别，维护目标的动态跟踪和空间位姿的数据解算；虚实融合叠加部分通过对环境感知特征分析还原，构建出实际三维空间坐标，通过与HoloLens 投影空间的坐标转换，得到虚实叠加的混合现实视效；人机交互部分通过手势识别，视线追踪，语音识别等先进交互方式对混合现实系统界面内容进行便捷操作，大大提升用户体验。

2.2 系统开发流程

为了实时监控设备维修指导过程，提出了一种基于Unity3D-HoloLens 的动车组车钩故障维修指导的新方法。首先利用多传感器融合监测车钩实时状态数据，监测到的故障数据经过识别分类后存入数据库，并由数据库导出数据至三维数字建模平台MAYA，通过三维信息模型构建技术，建立了车钩维修指导过程的数字模型；然后生成Unity3D 可识别的格式并导入集成虚拟现实平台，搭建MR 开发环境，对操作内容进行动作编程，形成可调用的维修指导片段，与分类后对应的故障内容进行ID 绑定，形成匹配的维修指导方案；最后在方便用户穿戴的HoloLens 眼镜中匹配混合现实坐标关系，完成虚实融合的三维叠加视效，并利用自然人机交互手段在虚实环境中进行故障维修指导流程的操作及验证。系统开发技术路线如图2 所示。

图2 系统开发技术路线图Fig.2 System development technology roadmap

3 基于混合现实的动车组车钩辅助检修关键技术

3.1 故障智能诊断

智能诊断是根据故障信息和推送的维修案例进行的。系统利用采集的动车组车钩振动信号和红外图像通过深度学习进行信息融合预处理。一方面，结合基于MobileNet 的信号分类器，完成对车钩运行状态信息的提取，并给出判断结论；另一方面，在信息识别网络中加入多尺度卷积，可以更好地提取状态信息的语义特征。

MobileNet 卷积神经网络是一种轻量级深度神经网络，具有模型体积较小、可训练参数较少、计算量较小等优点，它可以大量降低模型的参数量和计算量，同时又保证了模型的性能，从而达到为模型加速的目的。传统的神经网络中的全卷积操作逐渐被MobileNet 网络的深度卷积和逐点卷积所取代，这被称为深度可分离卷积[12]。全卷积与深度可分离卷积的结构如图3 所示。

图3 全卷积与深度可分离卷积的结构Fig.3 Structures of full convolution and depth-separable convolution

3.2 虚实注册融合

几何一致性在虚拟物体叠加到真实场景的拟真渲染中起着重要作用，是实现混合现实虚实注册效果的必要条件之一，系统需要在现实环境精确地判定摄像机的位置和姿态，使其与现实中特定的地点位置正确重叠[13]。

目前有两种常见的基于人工识别和自然特征点的虚拟现实几何一致性注册融合算法，两种算法均能有效地处理真实和虚拟环境下融合的空间几何相似性问题[14-15]。

根据应用场景特点，本文对复杂环境的特征提取进行了研究，提出了一种基于SURF 的特征提取改进方法，以一种更加有效的方式来实现动车组车钩维护环境特征点的提取与描述，更符合维修环境特征点提取精度的要求。有4 个主要步骤。

1）构建Hessian 矩阵。建立Hessian 矩阵是用来产生一个稳定的边界（突变点）来进行特征提取。对于图像I（x，y）的Hessian 矩阵如下

H 矩阵的判别式是

在构造Hessian 矩阵时，首先要对图象进行高斯滤波，经过滤波后的Hessian 矩阵表达式为

式中：（x，y）为像素位置；L（x，y，σ）＝G（σ）I（x，y）为图像的高斯尺度，是通过图像和各种不同的高斯卷积而获得的。

2）构建尺度空间。

3）精确定位特征点。

4）主方向确定。

在提取了场景的特征点后，进行了特征点匹配、相机姿态估计、姿态校正和相机姿态确认等操作。系统通过对比维修环境数据库中的基准帧和HoloLens 摄像机获取的当前帧图像，将其特征点进行匹配，并与现实场景进行重叠，从而在真实维护场景中实现虚拟维护指导方案的MR 虚实结合指引。

3.3 MR 故障远程指导

远程故障指导是指根据维修内容，由智能匹配的专家进行远程协助，并通过移动终端和MR 设备HoloLens 视频流通话进行远程协作。关键是远程空间标注，可以准确实现三维空间的远程指导。

系统通过搭建音视频通讯，传输包含HoloLens空间矩阵信息的视频数据，经过HoloLens 与Unity3D 空间矩阵转换及2D 标注到3D 空间的转换实现远程空间标注。

1）获取相机空间矩阵数据。利用环境感知摄像机采集真实环境图像，并从中提取特征点，然后对相邻帧的特征点进行匹配，通过特征点相对位置的变化反推当前的旋转角度和位移，从而计算出运动特征，得到摄像机矩阵和投影矩阵数据[16]，并存储当前摄像机的方向和位置，然后将摄像机空间矩阵转换为Unity3D 空间矩阵，如图4 所示。

图4 相机空间矩阵转换示意图Fig.4 Schematic diagram of camera space matrix conversion

2）二维标注到三维空间的坐标转换。MR 设备HoloLens 的每一帧视频数据包含空间矩阵数据，专家端在二维图像标注后确定标注形状（i）、中心点（X1，Y1）、长度和宽度（L1，W1）数据，然后将其发送给混合现实端。由该空间矩阵数据，可以求出摄影机在该标记时刻的位置C1及该影像的四个投影点（P1，P2，P3，P4)，所述标记点的屏幕位置C2和所述标记点的长度、宽度（L2，W2）可以由数据（X1，Y1）按比例计算得出，标记点在空间的实际位置C3可以通过在标记时间点从摄像机位置C1到C2的发射线的碰撞来检测。在该空间中的大小尺寸（L3，W3)可以由C1，C2，C3和（L2，W2）的距离比例计算，从而产生（C3，L3，W3）对应的标注实例（i），所述标记方向可为朝向C1或当前照相机位置。

3.4 自然人机交互方法

基于混合现实技术的动车组车钩辅助检修系统的信息交互主要由数据交互和人机交互两部分组成，数据交互实现了设备的传感器数据与虚拟维护环境的交互，而人机交互则实现了虚拟维护与实际维护的多模态交互。多模态人机交互是利用人机工程学原理，研究人－机－环境之间的协调关系。这里的“人”指的是人的多种感官器官，“机”指的是MR 交互设备，“环境”指的是虚实结合的交互环境[17]。在故障诊断指导系统中，利用数据和人机交互技术，实现了人员、设备、环境三方面的数据信息交互。

1）手势识别。用户不需要使用手套等额外产品，基于HoloLens 混合现实设备，采用TOF 技术采集手势深度图，在保证精度的前提下，可以快速识别手势，由于外部影响很小，用户体验效果较好。

2）视线追踪。瞳孔位置信息的获取能够实现准确的全息图定位、舒适的浏览体验和提高显示质量。瞳孔注视的方向将作为眼动追踪结果的一部分被计算出来。在没有任何互动的情况下，基于HoloLens 的自动眼球定位 （automatic eye positioning，AEP）允许设备自动计算用户的瞳孔位置并进行校正。

3）语音识别。语音识别的深度工作原理也是机器学习训练的结果，其本质是模式识别。完整的语音交互过程包括输入和输出过程，当计算机接收到用户的语音输入后，需要完成语音特征识别和语义理解，并通过与现有模型的比较，选择匹配度最高的模型作为识别结果输出。

4 动车组密接式车钩气路及控制系统故障MR 辅助检修

4.1 辅助检修对象

以SCHARFENBERG 自动车钩为辅助检修对象，要求在其关键部件设置不同传感设备，信息相互融合为其整体状态监测及故障诊断提供重要依据，为了便于描述MR 辅助检修过程，根据该车钩结构组成特征可将其分为车钩头，牵引杆，电缆吊架，轴承座，气路及控制等5 部分。假设气路及控制部分监测到特征信号异常发生故障预警A5，系统将从数据库索引中匹配出辅助检修方案，编号为N5。如图5 所示。

图5 车钩特征划分及故障编号示意图Fig.5 Coupler feature division and fault numbering diagram

4.2 辅助检修内容

针对动车组密接式车钩气路及控制故障的MR辅助检修内容主要包括虚实环境融合叠加，数据信息双向映射，故障维护辅助指导3 部分。

1）虚实环境融合叠加，通过使用HoloLens 运行系统，调用深度扫描相机对车钩维护环境进行特征提取，转换为三维空间数据存储到MySQL 数据库并生成可识别的点云空间Slam 模型，同时建立与维修目标车钩保持高度一致性的三维仿真模型，达到虚实环境融合叠加的效果。

2）数据信息双向映射，通过在关键部件位置布置多信息融合传感器，实现车钩状态全感知，数据实时监测并存储，发生异常数据时识别到车钩故障类型A5，智能匹配出辅助检修方案P5，形成辅助检修处理流程，通过自然人机交互方式触发相应的功能及数据输入。

3）故障维护辅助指导，动车组密接式车钩气路及控制故障处置流程包括清理外表污渍，涂抹肥皂水，观察气泡产生情况，最后更换破损气路部件。维修人员可根据虚实融合的辅助指导按步骤进行操作，GUI 界面出现相应的操作提示和响应内容，实时操作动作通过传感设备完成数据交互，如遇疑难问题和复杂操作时可申请专家远程引导，通过多端设备实现虚实融合环境中的空间标注和指引，进行异地多人协同的MR 辅助检修作业。

5 结论

针对动车组车钩故障维修方式老旧、检修手册内容滞后，专业维修工作不能及时完成，本文采用混合现实技术与数据交互相结合的方法，研究了基于混合现实的动车组车钩辅助检修方法。该方法充分利用故障维护流程的信息，对维护过程进行驱动及引导，使虚拟维护环境与实际维护环境的数据进行双向交互，构建了适合于动车组车钩的MR 辅助维修指导体系，应用了新型的人机交互方法，使得维护目标-信息服务-物理环境等多向交互更为自然，能够大大提高车钩故障处置的效率和安全。