基于Hololens2的机翼装配跟踪注册方法研究与分析

编者按：在基于MR技术的智能辅助装配系统中，三维跟踪注册技术是其核心技术之一，同时该技术也是智能辅助装配系统稳定运行的基础，当MR技术应用到机翼的生产装配中时，精准迅速的跟踪注册技术是该系统的重要环节之一，因为其往往意味着虚拟信息叠加到真实环境中的准确性和稳定性。文章基于Hololens2设备，在Unity3D虚拟仿真平台开发出一套虚实结合辅助机翼装配的系统，通过对真实装配环境的模拟，对比当今主流的跟踪注册技术在机翼装配过程的表现效果，并找出一种最适合机翼装配过程的跟踪注册技术，从而更进一步地提高装配操作人员和培训者的装配效率与学习效率。

引言

MR的关键点就是与现实世界进行交互和信息的及时获取。本文通过Hololens2智能可穿戴设备，在以机翼模型为装备基础的前提下对比当今各种主流的三维跟踪注册技术，分析各种跟踪注册技术的优缺点，并找出最适合该装配过程的跟踪注册技术。

跟踪注册

跟踪注册技术的实现需要通过虚拟空间中的坐标系与真实世界坐标系的转换，它们之间的变换可以通过矩阵的左乘来表示，使得虚拟模型信息可以正确地显示在待识别区域的指定位置上，这个过程就被称为一个虚实结合技术的注册过程（Registration）。但是，由于用户在实际的应用中，并不是始终处于一个方向和位置，这就需要系统实时根据使用者的位置变换，来保持虚拟模型信息的在设备屏幕中正确地显示，不停地计算之前二者坐标系的相对关系，这个过程就是虚实结合技术中的跟踪（Tracking）。

总的来说，跟踪注册过程就是实时确定虚拟信息和真实环境的相对位置关系，将用户视野中的三维信息投影到用户显示屏幕上的过程，如图2为理想状态下的成像状态模型。

该模型主要描述了在用户视角下，用户视野内一个物点（事物抽象）Q最终在投影平面上的投影关系：

1.场景三维特征点坐标系到世界坐标系转换关系Π用于将场景三维特征点的经纬度坐标转换为世界坐标系的描述;

2.世界坐标系到动态追踪坐标系的转换关系Φ用于确定场景三维特征点相对于世界坐标系的位置和方向;

3.动态追踪坐标系到人眼坐标系的转换关系Ψ确定人眼位置相对真实室内场景中的位置和姿态;

4.人眼坐标系到投影平面坐标系的转换关系Γ确定将场景三维特征点坐标转化为二维图像透视投影和姿态。

Maker-Base的跟踪注册

Maker-Base的跟蹤注册方法又被称为基于人工标记物的人工标记法，该方法对设备性能要求不高，且具有较高的稳定性，计算复杂度较低，其稳定性和检测的速度较好，如图3为基于人工标记识别法的跟踪注册流程图。

本文中的人工标记法基于Vuforia引擎，通过将各种Maker上传到Vuforia数据库，并且对图片进行评定，选取评分最高的QR码为待识别图，将待识别的QR码打印后贴到待识别的工序位置上，在跟踪注册的过程中，AR设备的摄像头会首先获取待识别区域的图像信息，然后通过将数据库中的图片信息与待识别区域的图片信息进行匹配，最后通过矩阵将虚拟信息变换到使用者可观察的屏幕坐标系，从而将虚拟信息注册到待识别区域上，如图4为人工标记法的跟踪注册效果图。

基于自然特征的跟踪注册技术

在自然特征提取法的跟踪注册技术中，最常用的是FAST、SIFT和ORB等几种算子，它们有着精度较高且综合性能较稳定的特点。在真实的机翼装配环境中，并不需要考虑零部件的高动态情况，所以无需考虑对高动态物体追踪的稳定性，故本文中以自然特征为基础的跟踪注册方法中仅采用速度最快的FAST角点探测算法，该算法指出：若某像素与其周围邻域内足够多的像素点相差较大，则该像素可能是角点。图5为自然特征跟踪注册后的虚实叠加实际效果图。

基于模型的跟踪注册技术

本文考虑到机翼的装配过程中，由于机翼本身并没有过多特殊的纹理和特征点，甚至如翼梁等部位几乎无纹理和足够待检测的特征点，所以在机翼的装配过程中提出使用基于边跟踪的跟踪注册技术。理论上，该方法可以解决基于自然特征的跟踪注册技术在缺少纹理甚至无纹理环境中跟踪注册失败的问题，并且该方法解决了传统基于人工标识的局限性。

实验验证与结果分析

通过人工标记法、自然特征检测法和基于模型的边跟踪注册法对机翼前缘骨架的在实际的装配环境中对主要零部件进行每个20次的跟踪注册测试，并计算出每个零部件上，不同的跟踪注册技术的评价成像时间（s），如表1所示。

实验数据结果分析：

（1）人工标记法：以人工标记法为基础的跟踪注册方法，虽然技术旧，但是其发展时间久，技术成熟，且在机翼的装配过程中依旧是速度最快且稳定性最好的跟踪注册方法。

（2）自然特征提取法：由于机翼的待装配部件本身缺少纹理和并且不具备足够的特征形状，通过实验数据可以看出，在这种情况下，无标记物的自然特征点检测法的跟踪注册技术并不能在此体现很好的效果，所以基于自然特征点检测的跟踪注册方法，在以机翼装配为基础的装配过程中，由于机翼模型本身特征点过少，跟踪注册较为困难且速度慢，准确度低。

（3）边跟踪注册法：在基于模型的边跟踪技术中，虽然其理论上摆脱了人工标记法的局限性和在缺少自然特征点情况下特征检测跟踪注册失败的情况，并且跟踪注册时间也较为良好，但是其在实际的装配环境中的复杂性使其稳定性极差，经常出现目标丢失和虚拟信息错位的情况，所以目前该方法也并不适用于机翼实际的装配过程。

通过对比可以看出，人工标记法无论是成像时间还是成像稳定性和成像准确性，在机翼的装配过程中，该方法是以上三种方法中效果最好的跟踪注册方法，即以人工标记法为基础的跟踪注册法依然是在机翼装配过程中速度最快且稳定性最好的方法。

结论

在以后的发展中，混合现实会利用到各个地方去，将混合现实技术应用到生产制造中以及各种也是未来的发展趋势，操作人员可以利用智能可穿戴设备的摄像头对工序进行跟踪注册，眼镜中就会生成该工序的装配指示或者工艺说明书和装配过程动态演示动画，极大地方便了操作人员的操作。

参考文献：

[1]Dieter Schmalstieg，Tobias Hollerer.Augmented reality：principles and practice[M].The UK：Addison-Wesley Professional，2016：425-426.

[2]Ronald T. Azuma.A Survey of Augmented Reality[J].Presence：Teleoperators and Virtual Environment，1997，6（04）：355-385.

[3]韩玉仁，李铁军，杨冬.增强现实中三维跟踪注册技术概述[J].计算机工程与应用，2019，55（21）：26-35.

[4]李正睿，车飞，方兵，等.基于增强现实的航天产品装调指导系统[J].电子工艺技术，2020，41（06）：314-317，365，369.

[5]陈靖，孙源.基于FAST关键点的增强现实跟踪注册算法[J].北京理工大学学报，2015，35（04）：421-426.

第一作者：石雨鑫（1995—），辽宁盘锦人，2019级在读研究生，现就读于沈阳理工大学，主要研究方向为数字图像。