高精度增强现实辅助装配空间定位技术研究与应用

霍志宇

（中国航空制造技术研究院，北京 100024）

飞机装配过程中人工的介入必不可少。因此，提高人工环节的效率和质量对于飞机装配全过程的效率和质量有显著的提升作用。人工装配中将装配指令更加直观、准确地向作业人员传递是提升装配效率的关键，也是保证装配质量的核心。增强现实（Augmented reality，AR）技术可以将虚拟模型叠加显示至真实场景以对场景中的重要信息进行提示和标注，这种功能被称为虚实融合。利用AR技术建立具备虚实融合功能的辅助装配系统，将可视化的产品装配指令叠加显示在目标位置，使装配人员更加直观地获得装配所需的工件、工具和装配工艺、装配工序等信息，从而提高人工装配作业速度并防止错装、漏装问题的发生。国内外航空制造领域对AR辅助装配技术进行了深入研究和广泛实践。美国波音公司运用谷歌眼镜研发能在工人视野中叠加布线路径和文字信息的AR系统，从而协助飞机制造中电力线缆的连接和接线器装配工作[1]；洛克希德·马丁公司利用微软Hololens AR眼镜将猎户座飞船的数字模型叠加显示在被装配的船体上，以对人工装配任务进行可视化引导[1]；国内上海交通大学、西北工业大学均对飞机装配中的AR辅助装配技术进行研究并测试了原型产品[2–3]。

AR眼镜、智能手机等AR设备采用相机等传感器追踪环境中形态稳定、特征明显的目标以实时估计自身六自由度（6DoF）位置和姿态，进而利用相机位姿信息将虚拟模型渲染为图像，实现虚实融合效果。被追踪的目标可为二维码、条形码、图片等平面标志物[4]或通过物体CAD模型和三维扫描结果所生成的点云模型[5]，AR设备可在追踪后直接将虚拟内容叠加显示在目标上。这类方法的精度较高，但需要追踪时将目标保持在AR设备的视野内且目标的外形特征需保持稳定。辅助装配任务中标记被遮挡或装配对象的外形变化都会导致跟踪失败。因此当前增强现实辅助装配的应用中多采用同时定位与建图（Simultaneous localization and Mapping，SLAM）[6]的方法实现空间定位。首先通过观察标志物或匹配局部点云的方式获取AR设备初始位置，随后通过SLAM在线建立包含场景中特征点信息的AR地图，并通过跟踪AR地图持续定位。然而这种方法中初始定位误差以及特征跟踪和特征点位置测量所产生误差会在SLAM系统运行中不断累计，使AR系统的空间定位精度和虚实融合效果下降。当前基于SLAM方法的AR系统的空间定位误差普遍在1 cm以上，难以满足AR辅助装配的需求。

针对这一问题，本文提出一种基于平面标志物信息约束的SLAM空间定位方法，实现AR系统高精度的空间定位。该方法在不依赖平面标志物跟踪和场景高精度点云模型初始化场景的情况下，利用SLAM过程中观测到的平面标志物信息约束和重置SLAM地图，从而生成辅助装配所需的高质量AR地图，并可适应动态场景。该方法扩大了增强现实辅助装配技术的应用范围，提升了航空制造中人工装配环节的质量和效率，并在某型发动机外涵道机匣人工装配站位环境中进行验证。

1 相关技术

1.1 SLAM

SLAM是指根据传感器的信息，一边计算自身位置，一边构建环境地图的过程，其目的为在缺乏或仅有极少量先验信息的情况下实现在环境中持续的自定位[6]。SLAM过程可分为初始化、位姿估计、地图建立3个步骤（图1）。初始化即通过匹配已知场景或三角测量创建地图的方式建立初始地图并为之后的跟踪提供初始位姿状态信息；位姿跟踪即通过图像匹配的方式不断跟踪地图中已知位置的特征点来实时估计相机自身6DoF位姿；地图建立即相机运动时通过检测、跟踪、测量环境中新的特征点并将其加入地图，从而扩展可追踪地图区域以扩大SLAM的空间定位范围。

图1 SLAM系统过程原理图Fig.1 Diagram of process of SLAM system

1.2 平面标志物的识别和跟踪

本文中使用图2所示的平面标志物。该标志物由ArUco码[7]和圆形标记组合而成。ArUco码由宽的黑色边框和确定其标识符的内部二进制矩阵组成，具有很高的辨识度。通过文献[7]中的方法可以快速识别ArUco码的标识符信息并通过4个角点计算出标记相对于相机的位姿。然而由于图像噪声的缘故，角点的识别在距离较远时会存在较大误差。圆形标记中由于圆心位置可以利用圆形边缘的全部像素参与计算，因此其计算精度一般要高于角点。由此本研究利用ArUco码标识标志物，而将圆形标记用于位姿计算，从而结合二者的优势实现标志物的快速检测和精确定位。在图像中识别标志物时，首先识别平面定位标记中的ArUco码，随后根据二维码4个角点的方向通过文献[8]中的霍夫变换方法搜索识别4角方向的4个椭圆形（圆形标记通常会投影成椭圆形）标记并计算标记的圆心位置。

图2 平面标志物 Fig.2 Planar marker

2 空间定位过程

AR辅助装配中，AR设备空间定位过程分为建立AR地图、空间注册、视点跟踪3个步骤，各步骤间关系如图3所示，最终实现AR设备在业务场景中6DoF位姿的实时定位。

图3 AR辅助装配中AR设备空间定位过程示意图Fig.3 Diagram of process of localization of AR device for AR-based assembly

步骤1：建立AR地图。首先将平面标志物布设在辅助装配场景坐标系中的已知位置，随后启动AR设备SLAM功能扫描环境区域并使AR设备视野覆盖平面标志物所在位置。扫描时通过SLAM方法生成包含多个互相关联的关键帧和三维地图点信息的初始AR地图（图4），该地图坐标系由SLAM算法根据设备起始位置和姿态随机建立。最后通过对AR地图关键帧图像中标志物的识别、跟踪和基于集束约束（Bundle adjustment，BA）[9]的优化过程，将关键帧和地图点位姿转换至辅助装配场景坐标系中并优化其位姿生成高质量的AR地图。坐标系转换和地图优化方法将在下文中详细描述。

图4 AR地图Fig.4 AR map

步骤2：空间注册。空间注册指AR设备将所感知的场景信息与上一步中所生成的AR地图相匹配，确定自身在业务场景坐标系下的初始位姿[10]。首先，计算AR地图中所有关键帧中特征点的描述子（如BRIEF[12]等），并通过文献[11]中的词袋模型方法，将描述子信息构建成为每一帧的特征向量。随后利用特征向量距离比较、特征点匹配的方法匹配AR地图中的关键帧和地图点。最后通过求解3D到2D点对运动的方法（Perspective-n-points，PnP）[13]求得当前AR设备在业务场景中的6DoF初始位姿状态。

步骤3：视点跟踪。视点定位指AR设备通过跟踪AR地图不断实时更新自身6DoF位姿以计算业务场景中视点的位置和姿态，从而以此为根据渲染虚拟场景。同时，以步骤1中所生成的AR地图为初始场景，通过SLAM算法在AR设备运动中不断扩展AR地图范围，以保证AR设备不间断的自定位。

3 基于平面标志物信息的AR地图坐标系 变换和优化

通过SLAM所生成的AR地图会发生误差累计现象[14]，从而影响AR系统的虚实融合效果。此外，仅有单相机传感器的AR设备生成的AR地图具有尺度不确定性问题[15]。将识别位姿已知的平面标志物位姿状态作为先验信息约束AR地图中的关键帧和地图点位姿信息，可以优化地图并将地图坐标系的原点、方向和尺度变换至标志物所在的辅助装配场景坐标系。定义AR地图中所有n个关键帧的图像集合为I ={i1，i2，…，in}，位姿集合为Ζ ={ζ1，ζ2，…，ζn}，m个地图点坐标集合为P ={p1，p2，…，pm}，k个平面标志物所包含的4×k个圆形标记在业务场景下的位姿为H ={η1，η2，…，η4k}。利用平面标志物信息对AR地图进行优化和坐标变换的过程如下（图5）。

图5 基于平面标志物信息的AR地图的优化和地图坐标系变换过程示意图Fig.5 Process of using the information of planar marker to optimize and transform an AR map

（1）首先通过装配场景数模或对标志物位置进行测量的方法获得平面标志物（包括标志物中圆形标记）在场景中的6DoF位姿信息。

（2）在AR地图的关键帧图像集合I中识别出平面标志物1~k和其4角方向圆形标记。通过文献[7]中的方法计算出标志物中ArUco码与AR设备的相对距离和角度，仅当相对距离<0.5 m、角度<15°且4个圆形标记均可见时保留识别结果。对于4×k个圆形标记，获得其在可见的关键帧图像上的像素位置。假设第j个圆形标记在I′={ia，ib}两个关键帧中的像素坐标为U ={uja，ujb}，通过直接线性转换（DLT）[16]的方法利用像素坐标信息和关键帧位姿信息构建A矩阵，并用奇异值分解（SVD）方法计算出该圆形标记在原始AR地图坐标系上的位置p′j=[pxj，pyj，pzj]，式（1）为DLT方法过程：

式中，A为像素坐标和位姿信息所构成的矩阵，A通过SVD分解的方法得到U×sigma×Vt。

（3）原始AR地图坐标x′到AR业务场景坐标x间的变换T用相似变换[16]描述为

式中，R为旋转矩阵；t为平移向量；s为尺度因子。考虑到部分圆形标记在原始AR地图坐标系上的位置计算可能存在误差，因此使用非线性优化算法求解T中参数。定义该优化问题的目标函数为圆形标记变换后位置与真实位置之差的平方和，即

利用Levenberg–Marquardt（L–M）非线性优化方法[17]估计T中的R、t、s参数使T = argmin（O（T））最小化O（T）。随后利用相似变换T将AR地图中所有关键帧和地图点的位置和姿态转换至业务场景坐标系中。

（4）利用平面标志物信息优化AR地图中部分关键帧的位姿。首先挑选出识别到2个以上非共线平面标志物的关键帧（为保证精度，图像中平面标志物连线所成多边形面积应占图像总面积的1/4以上）。然后利用标志物上已知的圆形标记圆心三维空间位置和其在关键帧图像上的投影位置，通过PnP算法求解并重置这些关键帧在AR地图中的6DoF位姿。

（5）重新计算上一步被优化关键帧中观察数量多于1次的地图点的坐标，重置这些地图点从而获得精度较高的子地图。

（6）最后利用BA的方法优化其他关键帧和地图点。构建优化问题时将高精度子地图中的关键帧和地图点信息边缘化，即将这些信息转化为对地图中其他关键帧和地图点构成的先验约束，从而纠正地图中的累计误差因素。优化问题的目标函数定义为

式中，π（ζ，p）代表坐标为p的地图点在位姿为ζ的关键帧上所计算出的重投影坐标，ν代表该地图点在此关键帧图像上所观察到的投影。目标函数由3部分相加而成，分别为G个高精度子地图上的地图点在A个未优化关键帧上重投影误差平方之和；H个未优化地图点在B个高精度子地图关键帧上重投影误差平方之和；以及L个未优化地图点在C个未优化关键帧上重投影误差平方之和。通过L–M方法求解优化函数每1项中的ζa、ph、ζc、pl使得O（Z，P）的值最小化，最终获得如图6所示的高质量AR地图。

图6 AR地图的优化和坐标系变换Fig.6 Optimization and transform for AR map

4 应用验证

4.1 验证过程

对空间定位方法在辅助装配场景中进行验证，验证中使用手机相机作为AR设备传感器平台，连接工作站作为计算单元（配置为Windows10系统、Intel i5处理器、8 GB内存），场景为某型发动机外涵道机匣人工装配站位，以数字模型为基础建立辅助装配场景坐标系。为确保定位效果，需将平面标志物安装在刚度好、距离装配基准点近的位置。既要覆盖业务场景范围以保证AR地图的优化效果，又要尽量避免对人工装配工作造成干扰。由于装配场景中工件和工装的相对位置固定，因此将标志物固定在工装的基准位置附近（图7）并通过测量获得安装位置。

图7 验证场景Fig.7 Scenario for validation

验证时首先启动AR设备，通过ORB–SLAM2方法[18]建立业务场景的AR地图。ORB–SLAM2方法是SLAM研究领域精度、稳定性最好的算法之一，也是多种AR产品空间定位功能的原型系统。验证中使用者移动AR设备建立覆盖场景内所有区域的AR地图，并在扫描场景时遍历所有的标志物使其尽可能多地出现在AR地图中关键帧的视野中。然后启动地图坐标系变换和优化程序并保存变换后的AR地图。最后，启动AR设备的空间定位功能，利用变换、优化后的AR地图信息实现空间注册和视点跟踪。

验证中共进行10次空间定位轨迹数据采集，每次AR系统首先扫描场景并通过本文方法和ORB–SLAM2方法分别建立AR地图，然后再次启动AR系统，通过不同的AR地图进行空间注册和视点定位并获得两条相应的空间定位轨迹。最后将两条轨迹与通过红外标记跟踪方式获取的真实值（误差<0.2 mm）相比较计算绝对轨迹误差（Absolute trajectory error，ATE）。轨迹信息和测试结果如表1所示。图8为其中1次测试中使用本文方法所生成的轨迹和ORB–SLAM2方法所生成的轨迹的对比。

图8 本文方法与ORB–SLAM2所生成的轨迹对比（真实轨迹为两图中的蓝色轨迹）Fig.8 Comparison of trajectories of method in the paper and ORB–SLAM2 (blue trajectories in both figures are ground truth)

表1 本文方法与ORB–SLAM2方法结果对比Table 1 Comparison of metrics between method in the paper and ORB–SLAM2

4.2 验证结果分析

验证中建立AR地图用时平均为15 s，AR地图优化和变换过程用时平均为0.44 s。使用本方法进行空间定位所获得的绝对轨迹误差为0.0046 m，作为对照的ORB–SLAM2方法（利用ArUco码初始定位）为0.0163 m，本方法误差明显低于对照方法。根据空中客车公司的一项研究，AR系统的空间定位误差<0.01 m时，可满足航空制造人工装配任务中可视化引导的最低要求[19]，因此本方法可用于实现部分辅助装配任务AR可视化引导功能。图9展示了使用本方法在验证场景和模拟试验件上所获得的虚实融合效果，其中图9（a）为在装配场景中叠加显示装配对象的效果，图9（b）为在模拟试验件上显示待装配零件模型的效果。

图9 人工装配场景中的AR虚实融合Fig.9 AR mixture reality in scenario of assembly

通过分析轨迹数据总结ORB–SLAM2方法误差较大的原因在于： （1）通过观察单个ArUco码所获得的空间定位结果精度不足，产生了初始位姿的误差，这个误差无法通过ORB–SLAM2系统中自身的局部或全局地图优化机制消除； （2）ORB–SLAM2系统地图扩展时产生的累计误差会随AR设备与初始位置距离增加而增大； （3）ORB–SLAM2所建立的AR地图中地图点的位置信息缺乏可靠的约束进行修正，导致依赖这些地图点的定位结果误差较大。

5 结论

（1）本文提出的方法融合标志物定位和SLAM定位两种空间定位方法的技术特点，实现了辅助装配场景下高精度的定位效果。AR设备在辅助装配任务中无需时刻追踪平面标志物也可依靠标志物信息约束建立的AR地图实现精确的空间定位。文中设计了ArUco码和圆形标记相结合的平面标志物，通过对不同类型标记的组合满足了平面标志物辨识度与跟踪精度的要求。该方法不依赖特定的设备或平台，对于基于单目、多目视觉的AR系统均能适用。

（2）对于飞机装配等复杂的人工装配任务，可在装配场景中的工装、工件中的某些基准位置布设平面标志物，利用本方法在装配任务开始前快速建立SLAM定位所需的高精度AR地图，从而实现各类AR设备（手持AR平板、AR眼镜等）的空间定位功能。

（3）针对复杂装备装配过程中场景形态变化较大的问题，由于本方法以预先定位的平面标志物进行AR地图的优化和坐标系变换，因此只需保持装配过程中平面标志物相对于装配对象基准点位置关系的稳定，即使由于装配对象外形变化造成AR地图中特征点丢失引起空间定位失败，系统也能快速将AR地图重置于原坐标系下，恢复AR可视化引导功能。

（4）该项技术仅需通过模型或测量的方式获得平面标志物在辅助装配场景坐标系下的位姿信息即可实现高精度的空间定位，对于缺乏高保真三维数字模型的装配场景或装配对象也可实现高质量的AR虚实融合功能，缩短了用于辅助装配的AR工具的开发周期，扩大了AR技术的应用范围。