基于增强现实的产品盲区装配技术研究

（西北工业大学 现代设计与集成制造教育部重点实验室，西安 710072）

0 引言

装配是产品制造环节中不可或缺的一部分，而且其智能化程度往往较低。在手工装配过程中，工人经常因为复杂的零件结构，需要不断调整身姿才可以看到装配位置信息，甚至无论如何调整，总有一些必要的装配视觉信息不可见，即工人遭遇装配盲区。装配盲区的存在使工人容易疲劳，装配效率和正确率难以保证。

针对上述问题，目前主要采用在设计阶段进行虚拟仿真的方法[1,2]，构建人眼可视锥和装配部位可视域，对待装配零件在操作者视野中的可达性进行评价，将视觉可达性分为完全可见、基本可见、勉强可见、不可见四类，对于不可见情况，产品必须返回并修改设计方案或者重新调整装配方案。这种方法虽然简单有效，但明显会使生产周期延长和生产成本增加。近年来，随着增强现实技术的发展，为产品盲区装配带来了新的解决思路。哥伦比亚大学的Henderson和Feiner[3]开发了一个可以在狭小装甲车炮塔内开展紧固件、指示灯或线缆等维修工作的增强现实系统，通过在装配现场叠加虚拟物体几何模型，显著减少了视觉盲区和狭小空间内的头部移动次数。但是该方法对于盲区装配问题扔然难以有效解决。

本文受Feiner等工作的启发，针对手工装配中遇到的盲区难题，以及狭窄区域装配作业工人需不断调整身姿才能获得装配部位视觉信息的困扰，利用增强现实技术将盲区信息直观呈现给工人，从而期望提高装配效率，减少错误率，缓解工人身心疲劳。

1 技术方案

基于增强现实技术的盲区手工装配技术方案主要包括三个方面：1）盲区对象定位追踪；2）盲区信息的可视化；3）用户终端显示。如图1所示，采用定位追踪技术对盲区对象姿态实时捕获，将捕获的位姿信息与盲区零部件或者人手的数字化模型相结合，通过一定的可视化手段在装配场景进行叠加，在终端设备上将盲区信息以可视化、直观、自然的方式展示给工人，从而解决盲区装配中关键部位视觉信息不足的问题。

图1 基于增强现实的盲区手工装配总体技术方案

1.1 盲区对象定位追踪

盲区手工装配中最重要的就是对盲区待装配对象进行定位追踪，它是实现虚拟信息正确叠加的关键。如图2所示，是世界坐标系，是待装配对象局部坐标系，I代表从世界坐标系原点到待装配对象局部坐标系原点的向量K代表从待装配对象局部坐标系原点到其上面上任意一点P的向量不难理解，待装配对象局部坐标系原点Or在世界坐标系中的位置可以用I表示，而点P在待装配对象局部坐标系中的位置可以用K表示。

图2 待装配对象位姿描述示意图

假设K在坐标系Or-XrYrZr的三个轴上的分量为Kxr，Kyk，Kzr，则要知道点P在世界坐标系Ow-XwYwZw中的坐标，只需要将Kxr，Kyk，Kzr投影到世界坐标系中得到Kx，Ky，Kz，并将I造成的局部坐标系原点位置偏移考虑进去即可。于是，有如下关系：

其中，I1，I2，I3分别是I造成的局部坐标系原点在世界坐标系下x,y,z坐标轴上的位置偏移。用＜Xw，Xr＞表示坐标轴单位矢量Xw与Xr的夹角，其他以此类推，如表1所示。

设P在局部坐标系下的齐次坐标为(xr，yr，zr，1)，在世界坐标系下的齐次坐标为(xw，yw，zw，1)，则有：

用矩阵描述则有：

简记为：

其中，M是齐次变换矩阵，可以用来描述待装配对象在世界坐标系中的姿态。进一步考察矩阵M，可以将其分解为如下形式：

其中，T是平移变换矩阵，R是旋转变换矩阵。平移变换矩阵T可以理解为待装配对象局部坐标系与世界坐标系坐标轴平行，进行平移运动，并且沿着Xw，Yw，Zw轴分别移动了I1，I2，I3。旋转矩阵R可以理解为待装配对象局部坐标系坐标原点与世界坐标系原点重合时，其坐标轴矢量之间的夹角变化，即坐标轴之间只产生转动。于是，T描述了待装配对象在装配体上的位置，R刻画了待装配对象在装配体上的姿态。所以，M可以用来描述任意一个待装配对象在装配坐标系下的空间装配位姿。

待装配对象的定位追踪就是要实时获取待装配对象在世界坐标系下的空间姿态M。本文采用本团队提出定位方法[4,5]，确定装配坐标系。然后利用机器视觉或传感器获取待装配对象在装配坐标系下的位姿。本文将待装配对象分为部分可见和完全不可见两种情况进行位姿追踪方法的讨论。

表1 世界坐标系与局部坐标系坐标轴夹角余弦表

1.1.1 待装配对象部分可见的追踪方法

对于待装配对象部分可见的情况，采用对暴露在盲区之外的结构进行追踪，从而实现对整个待装配对象的追踪。整体思路是：将人工标志物粘贴在盲区外的待装配对象表面，通过对标志物的追踪[6～8]来间接追踪待装配对象。如果暴露在盲区外面的待装配对象部分特征明显且丰富，也可采用无标志物机器视觉定位追踪方法[9～11]，或者利用基于传感器的定位追踪方法。由于采用人工标志物或者传感器与物体绑定的方式来追踪时，确定人工标志物或传感器与物体之间的相对位置关系较为复杂，所以本部分着重研究这个问题。

确定标志物或传感器与待装配对象相对位姿的总体思路是：将标志物或传感器与待装配对象绑定，在真实世界中，利用机械加工中的六点定位原理，首先对待装配对象进行完全定位。由于利用获得人工标志物或传感器可以获得真实世界中待装配对象其绑定接触的平面的位姿，因此可以用人工标志物或者传感器获得三个定位平面的位姿，在虚拟世界中，用被追踪的三个平面与待装配对象模型相切可以确定待装配对象在虚拟世界中的理论位姿，在虚拟世界中通过给模型位姿赋值的方式，调整待装配对象模型的当前位姿到理论位姿，从而使得真实物体与对应模型相对于其绑定的标志物或传感器相对位姿一致。

以基于人工标志物对物体的追踪为例，如图3所示，真实世界中M1，M2，M3分别代表贴在A，B，C平面上的人工标志物，M4是贴在被追踪物体上的人工标志物，假设被追踪物外形为立方体，C1代表真实相机，用来获取整个场景，通过相机标定以及相应的定位追踪算法，可以获得在世界坐标系O-XYZ中，相机相对各人工标志物的位姿。在虚拟世界中，虚拟相机C2用来从与真实相机相同的位姿进行渲染各平面与被追踪物的模型，虚线立方块代表被追踪物的理论位姿P′，而实现立方块代表被追踪物模型在虚拟世界中的当前位姿P。在虚拟世界中根据被追踪物当前位姿与理论位姿可以求出二者之间的齐次变换矩阵Q。

图3 人工标记物追踪示意

对于圆柱外形或圆球外形的待装配对象直接使用三个平面无法完全定位，这时候需要使用定位销或者在被追踪物上加凸台等来辅助定位。总之，只要将物体在真实世界中完全定位，就可以利用以上方法确定标志物与被追踪物之间的相对位姿。

1.1.2 待装配对象完全不可见的追踪方法

对于待装配对象完全不可见的情况，可通过对人手的追踪来间接估计待装配对象的位姿。如图4所示，人手坐标系Oh-XhYhZh，手中待装配对象的坐标系为Or-XrYrZr，第二类盲区中待装配对象的定位追踪本质就是要求待装配对象坐标系到人手坐标系的齐次变换矩阵Mr,h。

图4 第二类盲区待装配对象定位追踪

本文采用Leap Motion实时获取人手在传感器坐标系下实时位姿[12]，Leap Motion示意图如图5所示。根据人手的姿态，以及人手与手持待装配对象的相对位置关系，确定待装配对象的位姿。对手持待装配对象的追踪只是为了在盲区中运动时，能够大致确定装配部位，只需要在人的视觉上“看起来”与真实情况一样就可以，不需要太高精度。

图5 Leap Motion结构图

1.2 盲区信息可视化增强

在获取了盲区对象的位置和姿态后，通过在装配体表面叠加相应的三维几何模型，实现增强现实环境下的盲区信息可视化处理（如，叠加三维模型并选择性表达，透明化处理等），一方面，可以使得工人能够看到模型中的装配部位，从而使得盲区信息从“不可见”变到“可见”，另一方面，可以使得盲区中影响装配的主要信息细节有重点的展示在工人眼前。

如图6所示，图6(a)中为虚拟环境中的箱体三维几何模型，其左侧内壁有若干尺寸相似的螺钉示意模型，但是箱体内部信息被一块白色的障碍物模型遮挡，使得人从箱体外部无法得知箱体内部螺钉安装位置信息。在真实的盲区装配场景下，这样的白色障碍物可能是装配体本身结构的一部分，也可能是装配过程中人手以及手持零部件或者工具等，在此将其抽象为一块白色平面模型。下面根据不同的情况，对盲区障碍物模型和盲区装配部位待装配对象模型的显示技术进行讨论。

图6 盲区障碍物和待装配对象模型处理

当白色障碍物为装配体上的一部分时，可以考虑采用图6(b)的方式，将装配体模型和透明化处理后的白色障碍物模型覆盖到真实装配体上，使得工人就像具有“透视眼”一样，直接透过障碍物，看到模型内部信息。但是，当这样的障碍物不止有一个的时候，且相互重叠时，通过透明化处理，会造成视觉干扰，如图7所示。这时可以考虑去掉一部分或者全部障碍物模型进行装配，图6(c)给出了去除障碍物模型的示意。去除所有障碍物模型虽然可以直观的看到盲区信息，但是丢失了盲区结构的真实性，可能会导致工人的误操作，比如在图6(c)所示情况下，工人可能误以为没有障碍物存在，直接将手从障碍物的存在的位置处伸进盲区中，导致人手与障碍物的碰撞，如果障碍物是比较锋利的部件，可能会造成工人受伤。

图7 多障碍物重叠时透明化处理造成的视觉干扰

对于装配部位的模型显示，可以通过改变颜色来突出表达和在虚拟空间多视角渲染来显示不同角度和不同程度的信息。如图8所示，假设需要在图中红色部位进行装配，由于其颜色为红色，而其他部位则是淡蓝色，工人能够很容易将其与其他部位区分出来，进而可以集中注意力到装配部位上。此外，图中箱体右侧的平面展示的是从箱体内部，红色装配部位上方观察装配部位的视角展示，通过这样的多视角表达，可以使得工人从视觉上获得更多关于装配部位的信息。

图8 盲区装配部位突出显示及多视角表达

2 实验结果与讨论

2.1 系统软硬件环境

为了将两种盲区装配的情况在本实验中都考虑进来，我们设计了一套盲区装配硬件系统。如图9所示，箱体背面连接着一个由3D打印技术制造的接插件1，桌面上固定着接插件2，两个接插件的接插部位相互配合。利用HTC Vive手柄分别来追踪两个接插件，利用Vive头盔显示增强现实场景和装配体模型。当人手操作箱体将两个接插件对接在一起的过程中，由于形体的体型庞大挡住人眼到接插件的视线，此外由于接插件2存在外壁，因此，这个操作过程人手能被看到，但是装配部位无法被直接看到，属于待装配对象部分可见的装配。

图9 整体硬件

箱体正面由于有一个木板的存在，使得其内部信息不容易被人从外面看到，木板下箱体侧壁上有20个螺钉，其分布如图10(b)所示。当人手携带零部件进入箱体内部，并且向螺钉侧壁运动时，人无法获得人手和手中物体的信息，因此属于待装配对象不可见的情况。我们在箱体顶部内表面固定着一个Leap Motion，用来追踪进入盲区的人手（如图10(a)所示）。

图10 箱体内部和螺钉分布

采用HTC Vive作为用户终端显示设备，Unity为软件开发环境，调用Steam VR的V1.2.2版本中的相关接口，实现对Vive头盔，手柄以及Tracker等的位姿跟踪。

2.2 实验方法

本章实验根据盲区类型，分成两部分：1）部分可见的待装配对象装配（第一类盲区）；2）完全不可见的待装配对象装配（第二类盲区）。第一类盲区装配中共有20人参与实验，16位男性，4位女性，第二类盲区装配中共有20人参与实验，17位男性，3位女性。两类盲区装配实验中，实验参与者的年龄在20～30岁之间，所有人都熟悉HTC Vive头盔的使用。在两类盲区装配实验中，参与者分别在有增强现实辅助下进行装配和无增强现实辅助下进行装配，因此本用户研究实验为组内设计。为了平衡学习效应的影响，我们打乱了相邻两组的参与者参与实验的条件顺序，如：前面一组先做有增强现实盲区装配，后做无增强现实的盲区装配，后面一组参与实验的条件顺序正好相反。

第一类盲区装配中，有增强现实辅助的情况下，如图11(a)所示，参与者头戴HTC Vive，通过Vive内嵌的前置摄像头拍摄的视频看到真实世界，在视频流上叠加两个接插件模型，为了不产生1.2节中所述的多障碍物重叠时透明化处理造成视觉干扰的情况，我们没有显示箱体模型。实验开始后，实验工作人员开始计时，参与者从桌面上拿起箱体，手持箱体装有Tracker的顶部，透过叠加到视频流上的透明化接插件1的模型看到插头模型，通过调整插头的接插部位与插孔的接插部位的相对位置将插头插入底座内，当完成装配后参与者向工作人员报告“结束”，工作人员结束计时。无增强现实的情况下，参与者不带头盔，可以直接看到周围场景，但是在装配过程中无法看到装配部位。在开始前参与者需要认真观察插头和插孔的接插部位外形与分布，通过从接插部位传来的触觉信息进行装配。无论哪种视觉情况，在每次装配结束后，实验人员对装配结果进行检查，以判断两个接插件是否完全接插在一起，从而来评价错误率，正确接插记录Y，没有完全接插则被认为是错误接插，记录为N。

图11 基于增强现实的第一类盲区装配

其中视角1是虚拟相机在装配区域正上方渲染模型，视角2是虚拟相机从垂直箱体运动方向的平面内某一适合观察的视角进行渲染模型，背景视频通过HTC Vive前置摄像头采集真实场景并渲染在虚拟平面内

第二类盲区装配中，有增强现实的情况下，如图12所示，参与者头戴HTC Vive，看到人手，箱体以及箱体内壁上的螺钉模型，其中目标螺钉颜色与其他螺钉颜色不同，易于辨识，如图12(b)中的人手捏住的螺钉。本实验的具体流程是：当实验开始后开始计时，参与者将带有螺母的手伸入盲区，根据Leap Motion检测到的人手模型，调整人手和箱体内侧目标螺钉相对位置，将螺母安装到对应的螺钉上。参与者完成作业后，向工作人员报告“结束”，工作人员结束计时。

图12 基于增强现实的第二类盲区装配

如图13所示，无增强现实情况下，参与者事先会看到一个螺钉内部结构示意图，开始时工作人员指定与增强现实情况下的同一个螺钉，然后参与者根据图纸并用手触摸来判断出正确的螺钉并将螺母安装到对应位置上。计时过程同有增强现实的实验过程。与第一类盲区装配类似，无论哪种视觉情况，在每次装配结束后，实验人员对装配结果进行检查，以判断是否将螺母安装在正确的螺钉上，从而来评价错误率，正确安装记录Y，错误安装记录N。

2.3 结果分析

本节利用装配完成时间来描述效率，装配完成时间越短，效率越高，反之；我们还统计了不同实验条件下进行相同操作的错误率。由于本章实验设计采用的是组内实验设计，因此我们对时间变量和错误率进行配对样本T检验。最后，我们对问卷结果进行了分析。

图13 第二类盲区装配无增强现实的情况

2.3.1 装配完成时间

如图14(a)所示，在第一类盲区装配实验中，有增强现实辅助下的任务完成平均时间（16.97±1.41秒）与无增强现实辅助下的任务完成平均时间（10.82±3.55秒，p＜.001）相比有显著性差异。

如图14(b)所示，在第二类盲区装配实验中，有增强现实辅助下的任务完成平均时间（7.72 ±0.54秒）与无增强现实辅助下的任务完成平均时间（13.52 ±1.07秒，p＜.001）相比有显著性差异。

图14 装配完成时间

在第一类盲区装配实验中，有增强现实辅助的装配效率比无增强现实辅助的装配效率低，可能的原因是装配任务太简单，用户在无增强现实的情况下仅凭处决信息就可以快速完成任务，因此使用增强现实辅助装配的时候，反倒会使用户花费更多精力在增强现实界面上，从而使得效率低下。在第二类盲区装配实验中，仅凭人手触摸从20个相似螺钉中寻找目标螺钉相对使用增强现实视觉反馈直接根据视觉信息寻找目标螺钉更难，因此有增强现实比无增强现实的装配效率更高。通过以上分析，我们可以得出如下结论：在装配任务简单的情况下，增强现实不利于提高盲区装配效率；在装配任务复杂的情况下，增强现实有望提高盲区装配效率。

2.3.2 装配错误率

用如下公式表示装配错误率：

如图15(a)所示，在第一类盲区装配实验中，有增强现实辅助下的装配错误率（0.05±0.05）与无增强现实辅助下的装配错误总数（0.15±0.08，p=0.33）相比无显著性差异。

如图15(b)所示，在第二类盲区装配实验中，有增强现实辅助下的装配错误率（0.00±0.00）与无增强现实辅助下的装配错误率（0.3±.11，p＜.05）相比有显著性差异。

图15 盲区装配错误率

在本章第一类盲区装配实验中，实验结果无法证明有增强现实比无增强现实的装配效率高。但是在第二类盲区装配实验中，实验结果表明，有增强现实比无增强现实的盲区装配效率高。

3 结论

本文针对手工装配中的盲区作业难题，分析了手工装配中的盲区成因，根据不同盲区情况给出了通用性的增强现实解决方案，通过增强现实技术将盲区中的装配部位，人手以及手持零部件或者工具的三维模型叠加到真实场景上，并经过透明化模型显示处理以及一定的模型面删减与颜色突出显示，使得手工装配作业所依赖的相关盲区信息以三维模型的方式与真实场景融合在一起，显示在工人眼前。设计并实施了增强视觉反馈的盲区装配效率和正确率实验，实验结果表明本文方法能显著提高复杂盲区装配作业的效率，并有效降低装配错误率。