基于数字孪生的飞机装配状态巡检机器人的建模与控制

侯正航，何卫平

(西北工业大学 机电学院，陕西 西安 710072)

1 问题的描述

随着智能制造技术的不断发展，数字孪生概念得到了各领域的广泛重视[1]。数字孪生技术的出现，为制造业的信息物理融合提供了解决思路，在航空航天领域，达索航空公司将基于数字孪生理念建立的虚拟开发与模拟平台用于“阵风”系列战斗机和“隼”系列公务机的设计过程改进，洛克希德—马丁公司将数字孪生应用于F-35战斗机的制造过程中，期望通过生产数据的实时回馈，进一步提升F-35的生产速度[2]。

数字孪生技术在航空航天领域的快速发展彰显了其巨大的价值。而飞机装配作为飞机制造中的关键环节,飞机装配质量在很大程度上决定了飞机生产质量水平和企业生产效率。提高装配过程生产效率和可靠性所带来的经济效益远比简单地降低零件生产成本所带来的经济效益显著[3]。但在真实的装配过程中，由于装配对象类型庞杂和装配工人的素质、技术水准和注意力等问题，可能导致在装配过程中出现一些难以发现的错误。因此，实现飞机装配的自动检测，进而保证装配质量、提高装配过程的可靠性在飞机装配领域中显得尤为重要。

在飞机装配中，飞机线缆支架种类繁多、安装位置各异，其装配现场如图1所示。一方面，工人在安装时容易出现漏装、错装和装偏等装配错误，影响生产进度；另一方面，目前飞机线缆支架的检验方式主要为人工巡检，检测人员需对比工艺手册，判断支架安装位姿是否正确，效率低且可能出现错检、漏检等情况，影响线缆总体布局，导致线缆无法安装或磨损加剧等问题。因此，针对飞机装配过程中的线缆支架装配状态检测任务，本文设计了一种基于数字孪生的巡检机器人系统，通过数字孪生系统物理层和模型层的双向数据传输实现相机朝向的实时优化，获取待检测区域的真实图像和标准数模图像，通过真实图像和标准数模图像的实时比对获取检测结果。最后，通过实验对比了有无数字孪生系统时机器人相机的指向误差和虚实相机拍摄区域的一致性。

2 研究现状

随着机器人技术的发展，巡检机器人逐渐应用到变电站、石油化工设备、高压输电线、航空航天等场合。现有巡检机器人主要有吸附式爬行机器人、轮式机器人、无人机和巡线机器人4种形式。其中，爬行机器人多用于飞机机身和机翼的自动制孔，如西班牙Fatronik公司研制的五坐标爬行机器人自动制孔系统、Mtorres公司研制的FDH2爬行机器人制孔系统[4]；轮式机器人多用于变电站、石化设备等危险场景的自动巡检，朱宇昌等[5]研制了一种防爆轮式巡检机器人系统，实现对石化企业等高危环境下设备的自动巡检；高宁等[6]针对目前粮仓环境人工监测成本高、效率低的问题，研制出一种粮仓环境全天候监测的巡检小车。无人机主要用于地质勘探、输电线路巡检等大范围场合，马如海等[7]利用四旋翼无人机对输电线路关键部位进行航拍巡检，提高线路巡检质量和运维效率。巡线机器人多用于高压输电线路的巡检工作[8]，多数研究集中于巡线机器人的越障机构设计与模拟分析，王方顺等[9]设计出一种三臂机器人结构，通过一条行走刹车一体的前臂和两条随动后臂的相互配合实现越障巡检；王吉岱等[10]和肖时雨等[11]都介绍了一种使用四条可升降机械臂实现越障的四臂巡线机器人结构；周风余等[12]通过关节式机械臂的方式实现机器人自主越障。此外，国外也有将巡线机器人应用到输电线路架设和巡检中的相关研究[13-14]。

针对飞机线缆支架装配状态的检验工作，目前主要依靠人工巡检，效率低且易出错。本文提出一种基于数字孪生的机器人巡检新方法，通过虚实空间的数据交互同步虚实空间中的机器人位姿，获取待检测区域的真实图像和标准数模图像，以标准数模图像为依据，通过模板匹配等图像处理算法判断支架安装位置、角度是否正确，实现飞机线缆支架装配状态的自动巡检。

3 飞机装配状态巡检机器人设计

3.1 机械结构设计

机器人的机械结构决定了机器人的运动方式和巡检效率。优秀的机械结构应满足运行稳定可靠、结构紧凑、体积小重量轻、具备一定的载荷等设计要求。现有巡检机器人的机械结构主要有吸附式爬行机器人、轮式驱动小车、四旋翼无人机和悬挂式巡线机器人4种。由于线缆支架多安装在客舱内部，存在框肋等结构，不适合爬行机器人运动，同时装配现场环境复杂且障碍物多，增大了轮式机器人和无人机巡检的控制难度。因此，选用悬挂式巡线机器人的机械结构进行后续设计。

巡线机器人常用于高压输电线路的巡检工作中，本文参考输电线路巡线机器人的机械结构，设计出一种结构紧凑、体积小巧的巡线机器人结构，机器人实物样机如图2所示。

为减轻机器人重量，使用轻质铝型材、铝板和3D打印结构件搭建机器人框架，框架部分包括驱动装置、相机云台和控制箱。驱动装置如图3所示，由直流减速电机、同步带、同步轮、传动轴、驱动轮和夹紧机构组成。为减小机器人运行过程的晃动幅度，本文将质量较大的电机安装于机器人底部以降低重心，电机动力通过同步轮和同步带传递至驱动轮，张紧轮用来调节同步带的松紧程度，以获得更佳的传动效率；为防止机器人在运行过程中打滑，选用外表面为聚氨酯耐磨材料的驱动轮，增大和驱动轮和绳索之间的摩擦系数，并设计了单独的绳索夹紧机构，微型电机通过螺旋机构控制导向轮上下运动来夹紧或松开绳索，防止机器人从绳索上脱落，同时也增大了驱动轮和绳索之间的摩擦力。相机云台为搭载了WIFI网络摄像机的二自由度全方位云台，其水平旋转角度和垂直旋转角度均为-180°～180°，WIFI摄像机可在机器人运行过程中始终朝向待检测区域，并将图像实时传输至远程服务器。控制箱位于机器人中部，搭载了维持机器人正常运行所必须的组件，包括Arduino微控制器、WIFI继电器、惯性测量单元(Inertial Measurement Unit，IMU)、电机驱动器和电池等相关控制组件。

2.2 控制系统设计

机器人本体控制系统硬件部分包括Arduino控制板、WIFI摄像机、编码器、IMU、WIFI模块和各类电机等元器件。其中：编码器用于获取机器人的运行路程信息，IMU用来获取机器人的姿态信息。机器人本体控制系统底层采用轮询的控制结构，在每一次循环中，机器人首先依据传感器数据和相关补偿算法计算自身位姿，并将自身位姿等信息发送至模型层服务器，然后依据模型层服务器的回馈信息调节机器人的目标位置和云台电机转角。

4 基于数字孪生的机器人巡检系统

数字孪生起源于2002年美国密歇根大学Grieves教授在向工业界展示如何进行产品生命周期管理时提出的两个系统，即真实系统和虚拟系统。这一理念中提及的真实空间、虚空间以及二者之间的数据流被认为是数字孪生的3个基本要素。在数字孪生三维模型的基础上，陶飞等[15]提出了数字孪生五维模型概念，将孪生数据维和服务维融入到数字孪生体系框架。

本文通过标准数模图像与真实图像的实时比对检测支架安装状态，因此需要保证虚实相机拍摄范围的一致性。在机器人运行过程中，由于机器人的质量分布不均和机器人的加速度变化，导致机器人会发生晃动或姿态偏转现象，若不考虑机器人的姿态变化，相机拍摄画面难以保持稳定或无法拍摄到目标区域。而数字孪生系统提供了一个很好的解决思路，通过数字孪生系统物理层与模型层的双向数据传输，实现相机朝向的实时优化，保证虚实相机可始终稳定地朝向同一待检测目标，获取相同待检测范围的虚实图像，从而进行后续的图像对比检测。

4.1 系统框架

本文以数字孪生五维模型为依据，搭建了基于数字孪生的机器人巡检系统，其体系结构如图4所示。首先建立包含物理机器人数字孪生模型和巡检目标标准模型的虚拟场景，机器人在运行过程中实时将自身位姿信息发送到模型层服务器，模型层服务器将位姿信息同步到机器人数字孪生模型上;然后依据机器人虚拟模型位姿信息和虚拟场景下待检测目标的位姿计算云台电机的目标转角，并将目标转角发送至机器人，机器人接收到云台电机转角数据后驱动云台电机，使机器人在偏斜或晃动状态下仍可以稳定地朝向待检测区域，其搭载的物理相机和虚拟场景中的虚拟相机可以获取同一待检测区域下的真实图像和标准数模图像；最后通过虚实图像比对获取支架安装状态检测结果，并利用MR(mixed reality)眼镜、投影等多种可视化手段将检测结果展示给现场工人或其他人员。

4.2 模型层设计

本文基于Unity软件创建了机器人及巡检对象的数字孪生模型，其场景如图5所示。Unity是由Unity Technologies公司开发的一款专业游戏引擎，多用于三维游戏、三维动画的开发制作，近年来也逐渐应用于虚拟现实(Virtual Reality, VR)和增强现实(Augmented Reality, AR)应用的开发领域，本文将Unity软件用于数字孪生系统模型层的构建。使用SolidWorks创建机器人及巡检对象的CAD模型，将模型导入Unity创建虚拟场景并创建虚拟相机获取待检测区域的标准数模图像，最后使用C#语言编写脚本实现模型层的数据收发、云台电机角度计算、检测结果可视化、机器人状态同步和标准数模图像获取等功能。

4.3 相机朝向实时优化

机器人在运行过程中可能由于相机转动或外界干扰等因素产生姿态偏转或晃动现象，导致相机视野偏离目标区域，为使相机可稳定地朝向待检测区域，本文通过虚实映像构建信息空间与物理空间数据交互通道，实现信息在虚实空间的交互联动，达到“以实映虚，以虚控实”的目的[16]。基于数字孪生相机朝向优化系统的框架如图6所示。首先，在信息空间中构建巡检机器人及待巡检区域的数字孪生模型，然后通过蓝牙构建物理层和数据层的双向数据传输信道，将机器人位姿信息传输至模型层，使数字孪生模型可实时追踪物理机器人状态，形成具有感知、分析、决策能力的数字孪生体，接收到机器人位姿数据后，机器人数字孪生模型根据自身位姿和待检测目标位姿计算出云台电机转动角度，并将角度信息发送至机器人，机器人依据角度信息调节云台电机。上述过程循环进行，虚拟机器人实时追踪物理机器人状态，并依据数字空间中待检测目标的位姿信息，通过相关计算优化云台电机转角，将数据发送至物理机器人驱动相机朝向变化。通过物理层和模型层的双向数据传输，实现相机朝向的实时优化，保证相机始终可稳定地朝向当前待检测目标位置。

在对云台电机转角进行优化计算时，需要考虑机器人姿态的变化，这里采用空间坐标变换的方法。在每一时刻，数字孪生平台从物理机器人获得机器人位姿信息，从数字孪生模型获得待检测目标位姿，通过空间坐标变换的方法将待检测目标在世界坐标系下的坐标变换到机器人自身坐标系下，然后计算出云台电机转角。如图7所示，将世界坐标系O-XYZ中待检测区域点坐标变换到坐标系O4-X4Y4Z4中需要经过多步移轴变换和转轴变换，如式(1)，将各变换矩阵相乘可得到总变换矩阵M，将待检测目标坐标与总变换矩阵M相乘，即可得到待检测目标在O4-X4Y4Z4坐标系下的坐标P4。计算完成后，如式(3)，将P4转换为极坐标表示，γ和φ即为云台电机转角。在Unity中，使用其内置应用程序编程接口(Application Programming Interface, API)可方便地进行坐标变换计算。

M=(T0R0XR0YR0Z)T01R12XR23XT34；

(1)

(2)

(3)

虚拟机器人和物理机器人之间的双向数据传输可方便地实现虚实机器人之间的状态同步，使物理机器人和虚拟机人保持位姿、速度、云台电机转角的一致，经过相机朝向优化之后，物理机器人搭载的物理相机和数字孪生模型中的虚拟相机可保持朝向一致，获取待检测区域下的真实图像和标准数模图像，从而支持后续的图像对比检测和检测结果视觉化工作。

5 实验设计与验证

为验证本文基于数字孪生系统的机器人巡检方式的可行性，于实验室搭建了实验环境，并使用C#语言编写上位机软件。如图8所示，软件支持任务模式与遥控模式两种控制模式，可实时显示机器人位姿、速度和各关节角度等信息，同时可观测到真实相机和虚拟相机获取的实时图像；另设有多个滑动条实现对机器人的控制。

为研究本文数字孪生系统能否起到优化相机朝向的作用，令机器人相机始终朝向空间点(0.5，-0.2，0.3)，针对巡检机器人在姿态偏斜(Rx=1.516°,Ry=-5.416°)、晃动、突然启动/停止以及机器人从绳索靠近端点处运动到绳索中点4种条件，分别考虑使用本文数字孪生系统优化相机朝向和不使用本文数字孪生系统两种情况，在虚拟空间中实时获取机器人相机轴线向量作为相机的实际朝向，获取相机中心与待检测目标联机向量作为相机的理论朝向，计算实际朝向与理论朝向的向量夹角，将此夹角作为误差角来衡量相机指向的准确度。实验结果如表1所示。

表1 相机朝向误差对比

由表1可以看出，在每种条件下，使用本文数字孪生系统优化相机朝向时，相机指向的平均误差角与最大误差角总是小于不使用数字孪生系统时相机指向的误差角，说明本文数字孪生系统对相机指向具有显著的优化效果。为更明显地看出机器人运行过程误差角的变化情况，对每种条件，记录误差角的实时变化曲线，如图9～图11所示。

图9为机器人在晃动条件下有无数字孪生系统优化相机朝向情况下误差角的对比图。可以看出，随着机器人晃动幅度的减小，优化前后误差角都逐渐收敛于固定值，使用数字孪生系统优化后，误差角的变化幅度明显减小，优化前误差角不收敛于0的原因是机器人在静止时由于重心不在机器人几何中心，无法保持水平状态。图10为机器人在突然启动或急停时的误差角对比，可以看到在启动或刹车时，机器人加速度影响姿态角Rx，导致误差角相比匀速运行时较大。另外，优化后误差角相比优化前明显减小。图11为机器人从绳索端点运动到中点往返过程中误差角和姿态角Rx的变化图，在绳索端点处，姿态角Rx较大，误差角较大，而经过优化后，误差角基本保持为零。图12所示为5种实验条件的示意图。

优化相机朝向的目的是为获取相同待检测区域下的真实图像和标准数模图像，从而支持后续图像对比检测及检测结果视觉化工作。影响虚实相机拍摄区域一致性的另一个因素是物理机器人到虚拟机人的状态同步延迟，若延迟过高，机器人数字孪生模型状态滞后，无法实时追踪物理机器人状态，虚拟相机获取的视频流总会落后于真实相机视频流。因此，需设计实验探究机器人状态同步延迟大小以及状态同步延迟是否会影响虚实相机拍摄区域的一致性。

首先从理论上分析数据传输过程中的延迟大小，然后使用60帧摄像机同时拍摄机器人和计算机屏幕，逐帧比较机器人位姿确定机器人状态同步实际延迟。如表2所示，虚实机器人的状态同步延迟可分解为IMU延迟、下位机延迟、数据传输延迟和计算机屏幕刷新延迟4部分，总延迟约为152 ms。而通过摄像机拍摄画面逐帧对比的方式得到机器人状态同步延迟约为7～10帧，即112 ms～160 ms，与理论推算结果基本一致。由上述各部分延迟大小可知，延迟主要发生在下位机运行过程中，这是由于目前使用的巡线机器人控制板(Arduino Mega2560)的处理器芯片频率较低(16 MHz)，计算速度较慢，后续可考虑换用性能更强的32位控制器。

表2 机器人状态同步延迟

为探究上述延迟大小是否会影响虚实相机拍摄区域的一致性，在虚拟场景中使机器人搭载的虚拟相机在运行过程(运行速度v=0.4 m/s)中始终朝向目标点(0.5，-0.2，0.3)，使用Unity协程函数模拟实际运行过程的延迟，虚拟相机在间隔140 ms前后获取的图像如图13所示。可以看出，图像区域基本一致，图像角度略有差异。

此外，相机朝向的准确度与机器人位姿精度和云台电机精度相关。机器人姿态精度由IMU测量精度决定，本文所使用的姿态传感器的动态精度为0.1°，输出频率为100 Hz。机器人位置精度由编码器精度和位置补偿算法共同决定，经实际测试，在实验条件(绳索两端相距2 m)下，机器人的定位误差小于1 cm。在计算出云台电机的目标转角后，需确保云台电机转动到目标角度，本文使用的云台电机的编码器为12位编码器，电机角度精度为0.088°，在实验过程中发现，当负载过大时，电机无法转动到预定位置，因此在安装相机时需尽可能使相机重心与电机轴线重合以减小负载。从上述各因素可以看出，对相机朝向影响最大的是机器人的定位误差，后续可考虑结合现有室内高精度定位技术获取机器人位置，如HTC公司的Lighthouse室内定位技术和室内GPS定位系统均可实现室内毫米级定位。

最后，为验证本文基于数字孪生的巡检机器人系统的可行性，搭建了真实装配场景和虚拟装配场景，并进行了机器人的实际运行实验，实验结果如图14～16所示。可以看到，虚实机器人的位姿在运行过程中基本保持一致，虚实相机所获取的待检测区域的图像范围基本一致。在获取到待检测区域虚实图像后，使用模板匹配视觉算法提取出的虚实图像中每个支架的矩形包围盒如图16所示，通过比对虚实图像中矩形包围盒的位置、大小和方向参数，即可实现线缆支架装配错误的自动巡检。

5 结束语

本文提出一种基于数字孪生的飞机装配状态巡检机器人系统。首先介绍了其机械结构和控制系统;然后搭建了本文巡检机器人的数字孪生系统，通过数字孪生系统物理层和模型层之间的数据双向传输实现了相机朝向的实时优化和虚实机器人之间的状态同步，获取待检测区域的真实图像和标准数模图像;最后，设计实验验证了本文数字孪生系统对相机朝向的优化效果，分析了状态同步延迟和各传感器精度对虚实图像获取的影响，验证了本文数字孪生系统的可行性。本文的工作探索了基于数字孪生的远程机器人巡检方法，提出了一种基于虚实图像比对的实时巡检方式，下一步工作应注重于提升系统可靠性、机器人定位精度，并降低状态同步延迟。