增强现实环境下的产品装配引导技术

王峻峰， 徐 迟， 李世其

（华中科技大学机械科学与工程学院工业与制造系统工程系，湖北 武汉 430074）

增强现实环境下的产品装配引导技术

王峻峰， 徐 迟， 李世其

（华中科技大学机械科学与工程学院工业与制造系统工程系，湖北 武汉 430074）

以增强现实环境下引导产品装配为目标，建立了面向增强装配过程的统一信息模型，管理文字、几何和产品装配特征等可视化引导信息。采用基于标志物的视觉跟踪技术实现虚拟零件和视频中真实零件的注册定位，通过建立虚拟和真实装配场景的深度图处理增强装配场景中虚实物体的遮挡关系。利用虚实零件的注册位置把装配引导信息叠加到装配视频场景中。并开发了演示系统，分析和说明了增强现实环境下引导产品进行装配的过程。

计算机应用；增强现实；装配引导；标志物注册；信息叠加

现代机电产品具有系统组成复杂、技术复杂、制造过程复杂的特点。在进行实际生产装配时，零件装配规模大，蕴含大量复杂多样、形式灵活的行业知识。另外，产品在研制、设计、生产、使用和保障工作中会产生许多技术信息数据，这是支持产品装配、使用和维修保障的资源。但资料手册繁多，管理和使用不便，大大降低了工作的效率。虚拟装配技术[1]将人“沉浸”在计算机中去操作完全虚拟的产品模型，对开发前期的设计、装配、验证有重要作用，但对开发后期实际装配过程的支持有限。增强现实技术 通过将计算机产生的图形、文字注释等虚拟信息有机的融合到使用者所看到的真实世界景象中，对人的视觉系统进行影像增强或扩张，达到支持人获得丰富信息、辅助工作的目的。增强现实在产品装配和维修方面的研究得到广泛关注并有了成功的案例。

Pang等[3]借助增强现实技术研究集成产品装配设计和规划活动，将设计中的虚拟零件和已经存在的真实零件结合起来，融入增强装配空间，对两者进行比较、操作、修改，有效进行虚拟零件的装配特征设计。增强现实环境下的装配序列检查和评价能够协助装配人员识别不可行的装配序列，选择最优的装配序列[4-5]。90年代初期波音公司的电缆导线装配是增强现实在工业装配领域中的典型案例[6]。德国教育研究部资助的 ARVIKA项目主要针对飞机、汽车的装配维修[7]。欧洲共同体发起的STARMATE项目的主要功能是帮助用户完成复杂机械产品的组装维修以及新用户培训[8]。芬兰VTT技术研究中心增强装配（Augmented Assembly）利用虚拟零件、虚拟装配工具和增强装配提示信息指导用户实际装配操作[9]。南京航空航天大学[10]以航空发动机外场典型维修工作为例，开发了一种以维修人员为中心的人性化、智能化的增强现实维修辅助系统。

实现增强现实环境下的装配和维护，需要综合利用计算机视觉、图像分析、计算机辅助设计CAD和产品装配等技术[11-12]。本文以产品装配为对象，通过建立增强装配的信息模型，对增强装配引导信息进行统一管理；利用基于标志物的注册方法进行虚实装配零件定位，并对装配引导信息进行叠加。

1 增强装配信息建模

在增强现实环境下的装配引导需要大量信息，如装配步骤、装配特征和装配位置等。装配操作的对象仍然是零件和装配体，但零件包含虚拟和真实两种。为有效引导用户进行零件装配，本文按照装配引导信息的类别建立增强装配信息模型，如图1所示。

图1 增强装配信息分类

1.1 文字信息

文字信息是产品装配过程中指导用户装配的重要媒介，包括各个零部件的名称、代码/号、装配步骤说明、使用的装配工具名称等。传统装配过程中，用户是通过装配手册来熟悉并掌握这些信息的。增强装配过程中，这些信息需要实时显示在用户视野中，引导用户进行正确的装配工作。

1.2 几何信息

对装配位置的指示和真实、虚拟零件的外形进行增强需要几何信息。增强装配的虚实零件几何模型都采用三角面片模型，对于虚实零件采用不同的渲染处理方式，因此两种模型的组成元素不同。虚拟零件几何模型包含点、边、面、法向量、纹理5种信息。虚拟零件在现实中是不存在的，增强装配系统将虚拟零件用计算机图形学的方法绘制出来，并叠加到真实装配场景图像中。真实零件几何模型只包含点、边、面3种信息，用于线框模式的真实零件位置、几何形状信息的增强引导。

空间位姿信息记录了零件相对于父节点坐标系的空间变换关系，由旋转矩阵与平移矩阵组成。空间位姿矩阵是动态的，通过用户操作板能实时改变零件的位姿矩阵；装配路径规划系统能生成动态空间位姿信息，使零件沿预定路径运动。

1.3 装配特征信息

装配特征是指有装配关系的两个零件的几何特征，例如平面、柱面和轴线等，作为可视的装配约束信息，用户往往通过零件的装配特征来判断零件之间的装配配合关系。用户进行装配操作过程中，系统将实时显示这些装配特征帮助用户识别场景中的装配约束，引导用户将零件装配到目标位置。本文主要考虑轴线和平面两类装配特征。

从装配模型的构建层次角度来看，本文的增强装配模型主要包括零件几何模型、装配约束模型和装配层次模型。零件几何模型由CAD软件建模并输出为增强装配系统所需三角面片模型格式。装配约束模型定义了零件间约束关系，通过约束关系得到装配特征并确定零件在装配体中的空间位姿矩阵。装配层次模型以树结构对装配体中的虚实零件进行统一管理。

2 虚实装配场景注册定位

虚实装配场景注册定位是指通过计算机视觉系统实时检测出摄像机的相对位置和方向，确定计算机产生的虚拟零件和增强信息在真实空间坐标中的映射位置，并把它们实时显示在真实装配视频场景的正确位置中。

虚实注册的实现依赖于摄像机坐标系、虚拟场景坐标系和真实场景坐标系以及2D成像平面坐标系的转换，总体过程为3个方面[12]：首先计算真实场景到摄像机的坐标系变化，或者说是摄像机相对于真实场景的方位参数；然后结合摄像机内部参数（焦距和像元的高宽比等），根据摄像机针孔透视成像原理确定 3D 场景到 2D 成像平面的坐标系变换；最后确定虚拟物体在真实场景三维欧式空间里的位置和方向，完成虚拟零件到真实装配场景图像的坐标系变换。通过上述步骤，就可以得到各个坐标系之间的变换关系，实现虚拟零件在真实装配视频场景中的绘制和融合。

2.1 基于标志物的零件注册

本文采用基于标志物的视觉跟踪注册方法，所使用的标志物长、宽分别为60mm，4个角点的坐标分别为(30，30，0)(-30，30，0)(-30，-30，0)(30，-30，0)，如图2所示。系统从输入的视频中识别出二维的标志物，计算出相对于标志物的摄像头位置、方向等外部参数信息。为了简化场景的相对运动，以摄像头坐标系为基准坐标系，当用户对真实零件进行操作或移动摄像头从不同角度观察装配场景时，装配场景的变动可以统一为真实零件相对于摄像头坐标系的运动。

图2 标志物图案

为实现标志物的识别，本文采用基于子图像均值的统计式适应性阈值算法进行备选区域检测；为提取可能的连接区域的边缘，简化边缘曲线，使用 Douglas-Peucker算法曲线简化算法。得到标志物备选区域后，要判断这些区域是否是标志物在图像坐标系中对应的成像区域，本文使用最小二乘法对四边形的4条边重新定位，并把4条边的交点重新赋值给四边形轮廓的 4个顶点。

装配空间中真实零件（取装配基础件）与相应的标志物是固联的，通过识别视频中的标志物来确定当前真实零件的位置。虚拟零件与真实零件间具有一定的装配约束关系，因此虚拟零件的空间位置可以通过真实零件的空间位置确定。设真实零件A与虚拟零件B之间存在装配约束关系，则可以得到一个变换关系其中BAR表示A到B的旋转矩阵，t表示平移矩阵。如果知道零件A在摄像头坐标系中的空间位置CAT，则可通过变换矩阵ABT计算零件B的空间位置为：完成虚拟零件B的注册定位工作。

2.2 虚实遮挡处理

在虚实融合的增强装配场景中既包含虚拟零件也包含真实零件，传统的虚实叠加方法中，虚拟零件影像总是叠加在真实零件影像之上，对图像进行融合时会出现虚实遮挡问题。本文采用基于深度图（即Z buffer）的叠加方法，通过提取真实零件与虚拟零件在摄像头空间内的空间位置信息来判断它们的前后叠加关系。

1） 虚拟装配场景的深度图

虚拟装配场景的深度图记录了渲染区域内与可见的虚拟零件表面经栅格化后对应像素的深度值，该深度图很容易从渲染引擎获得。当渲染模块对虚拟场景中零件进行绘制时，也同步生成了相应的虚拟场景深度图。该深度图记录了虚拟场景中每个像素点对应的虚拟零件的表面到观察点的距离。

2） 真实装配场景的深度图

真实装配场景的深度图记录了摄像头拍摄到的真实场景原始视频中每个像素点相对观察点的深度信息，该深度图可通过多种方法获得。针对装配应用，事先可以获取真实装配场景中包含的零件几何模型，因此本文选择了基于真实零件几何模型的深度图获取方法。该方法运算量小，实时性强，能精确反映真实场景深度值。

为获得真实场景深度图，首先将真实场景中的零件注册到摄像头成像坐标系中。系统从CAD接口提取真实零件相关几何模型，通过旋转平移变换到摄像头坐标系中，然后透视投影变换到成像平面，使该模型表面面片的投影区域与摄像头原始视频中相应真实零件影像区域重合。渲染引擎对注册后的真实零件几何模型进行渲染，提取深度信息。对于模型表面上任一点Pm(xm, ym, zm)投影成像并栅格化后的像素点为Pn(U, V)，该模型表面点 Pm在摄像头原始视频中相应像素 P'n(U, V )，Pn与P'n是重合的。因此可以用真实零件几何模型渲染场景的Z buffer中Pn点的深度值代替摄像头原始视频中对应像素 P'n的深度值，构造真实场景深度图，作为增强场景虚实叠加的深度判别索引。

需要指出的是基于模型深度图的方法并非完全重构了真实装配场景。实际上大部分背景区域是处于默认叠加状态的，系统仅为真实场景中关键零件建立深度索引。之所以不为真实场景背景区域建立深度索引，主要出于两个原因：一方面，装配场景的背景往往非常复杂，为其精确建模将消耗大量系统资源；另一方面，这一区域是背景区域，深度较大，不会与虚拟零件间发生遮挡关系。系统对无深度索引区域采取默认叠加处理方式：逐点处理该区域内真实场景与虚拟场景的每个像素，如果虚拟场景中相应像素被渲染，则虚拟场景覆盖真实场景；如果虚拟场景相应像素未被渲染，则保持真实场景。基于深度图的虚实叠加流程如图3所示。

本文采用产品设计阶段产生的CAD装配模型作为提取深度图的来源。即无论真实零件还是虚拟零件，都有对应的CAD模型，真实零件的CAD几何模型与场景中的真实零件叠加并随真实场景位置、方向的变化而变化。深度图信息在增强装配过程中随着场景变化进行实时提取。深度图方法的优点在于对于复杂的装配场景，零件数量较多而渲染处理的时间基本保持不变，在处理过程中，渲染时间取决于融合视频的分辨率。

图3 基于深度图的虚实叠加流程

3 装配引导信息叠加

3.1 零件几何模型叠加

虚拟零件几何模型叠加需要虚拟零件三角面片模型和零件注册信息，通过零件注册信息将零件三角面片模型投影变换到二维的摄像头成像平面中，使虚拟零件融合到真实场景中。

虚拟零件几何模型叠加有线框和投影两种风格。线框风格主要用于增强装配中的目标位置指示，将虚拟零件的线框渲染结构叠加在零件待装配位置，使用户明白装配步骤及零件安装完成后的状态。线框风格有很好的透视效果，为用户提供虚拟零件增强显示的同时不会遮挡真实场景中的其他重要信息。投影风格主要用于绘制虚拟装配场景，通过对虚拟场景的注册将虚拟物体叠加到真实场景中，得到虚实融合的装配效果。

虚实融合的增强装配场景中真实零件影像直接从摄像头的视频中获得，不需要进行额外渲染绘制，但在增强装配中有时需要对虚拟零件进行渲染达到增强效果。比如真实装配环境复杂或者环境昏暗，使用真实零件叠加可以帮助装配人员快速发现装配目标。

真实零件几何模型以线框风格叠加，不包含投影风格。真实零件几何模型的线框渲染有很好的透视性，将零件的线框图叠加到真实场景中，用户在获得摄像头拍摄到的真实零件影像的同时还获得了零件线框轮廓信息，增强了真实场景的信息量。如果使用投影风格则会因为遮挡了真实零件影像而干扰用户对场景的感知，影响系统的使用安全。

3.2 文字信息叠加

在叠加过程中，文字信息被转换为位图，逐点覆盖到虚实混合场景中。

文字信息在虚实叠加的混合三维场景中的位置是由与其相关的三维坐标点确定的，当零件位置发生变换，文字信息将跟随零件同步运动。例如，文字信息“注册真实零件Box”与Box零件的几何模型某个棱边中点MidPoint固联。当零件运动时，MidPoint在三维世界坐标系中的位置(X, Y, Z)改变为(X', Y', Z' )，投影到图像坐标系中二维坐标由(U, V)改变为(U', V' )。文字标签的位置也随MidPoint发生相应变化。每当零件的位置发生变换，系统将实时确定并更新文字信息在图像坐标系中新的位置。

本文的文字信息叠加风格分为普通标签风格和背景透明风格。普通标签风格直接将包含信息的位图逐点拷贝到场景图像中实现信息叠加。背景透明风格中，文字含透明背景区域，不直接覆盖场景图像，透明区域由信息图像的alpha通道确定。

3.3 装配特征信息叠加

在增强装配系统中适当显示零件的装配特征将对用户的装配活动起到有效的指导作用。装配特征信息与零件几何模型固联，使用相同的模型局部坐标系，当零件几何模型发生改变，装配特征模型也随之改变。本文主要考虑线特征和面特征。线装配特征主要用于表示轴线、孔等零件装配特征。绘制方法与虚拟零件的线框风格相似。按照装配特征的边索引列表在场景中依次绘制装配特征定义的每一条边来得到叠加效果。面装配特征主要用于表示面匹配等零件装配特征。绘制方法与虚拟零件的面片风格相似。按照装配特征的面索引列表在场景中依次绘制特征模型的每一个面片来得到叠加效果。面装配特征采用半透明状态，透过装配特征仍然可以看到真实零件或虚拟零件的几何影像，不会产生遮挡现象。

4 初步实验

本文初步开发一个装配引导演示系统。零件几何模型从ProE导出，以标准wrl文件格式保存。使用OpenInventor对装配场景进行管理、渲染操作。采用一个普通桌面USB摄像头TOPSPEED USB PC Camera (ZC0301PLH)，分辨率为320*240与640*480两种，基于Directshow采集摄像头视频，基本图像处理工作使用OpenCV函数库完成，以便今后注册方法有更大的扩展性。计算机处理器为Intel Pentium 4 CPU 2.4G；显卡GeForce MX 440 with AGP8x 64MB；内存500MB；普通桌面显示器，分辨率 1024*768；Microsoft Windows XP操作系统。系统流程如图4所示。首先从CAD接口读入虚实零件的几何模型，并人工输入相关文字信息构建增强装配引导信息模型；然后从 USB接口捕捉摄像头拍摄到的真实装配场景视频输入虚实注册模块（装配基础件事先和标志物固联），利用视频中的标志物信息将虚拟零件和真实零件几何模型注册到增强装配空间；最后渲染生成虚拟场景视频，以深度图为线索与原始视频进行叠加，获得虚实融合的增强装配视频并输出到显示设备。

图4 系统流程

4.1 真实零件的装配

首先显示与真实零件相映射的几何模型，并用文本标签指示该零件的名称（图5(a)）。用户通过零件几何模型和名称可以知道当前装配步骤是对哪个零件进行操作，并从桌面上找到相应的真实零件。系统按照预先设定的装配路径、同时显示装配特征（图5(b)），将真实零件几何模型装配到目标位置。零件几何模型装配到位后，渲染风格变成线框风格，系统提示用户将真实零件装配到线框指示的目标位置（图5(c)）。用户对真实零件进行实际装配操作并装配到位（图5(d)）。

图5 引导用户装配真实零件

4.2 基于深度图的虚实装配场景融合

系统可以选择开启深度检测、关闭深度检测、显示深度图和隐藏深度图。图6中，装配基础件上离镜头近的圆柱和螺钉为真实零件，离镜头远的圆柱和螺钉为虚拟零件。如果关闭深度检测功能，系统以传统虚实叠加方式进行融合，存在虚实遮挡关系不正确问题（图6(a)）；开启深度检测，以深度图为索引进行虚实叠加，显示了正确的虚实遮挡关系（图6(b)）。

图6 虚实遮挡处理与融合

增强装配系统的虚实融合过程中，计算量较大的函数模块分别是视频图像采集处理、标志物识别注册、虚实场景叠加。其中虚实场景叠加过程消耗大量处理时间，不同分辨率下系统执行效率统计数据如表1所示。

表1 增强装配系统处理时间统计表

5 结 论

本文以产品装配工作为对象，研究增强现实环境下的产品装配引导技术。针对装配过程中需要的信息，建立了面向增强装配过程的信息模型，统一管理文字、几何和产品装配特征等可视化引导信息。采用基于标志物的视觉跟踪技术实现虚拟零件和视频中真实零件的注册定位。通过获取虚拟和真实装配场景几何模型的深度图来处理增强装配场景中的虚实零件遮挡关系。利用虚实零件的注册位置把装配引导信息叠加到装配视频场景中，为辅助用户装配工作提供支持。使用开发的原型系统验证了技术路线的可行性，并分析了系统的性能。

在实际装配工作中，标志物的制作和使用将限制该项技术的应用，而基于装配体自然特征的注册跟踪方法能够为大范围和大规模的产品装配引导提供支持，这将是今后的主要工作之一；另外，误差作为增强现实系统的主要指标，如何从衡量视觉效果到确定误差范围从而得到系统性能和系统精度的平衡也是采用增强现实技术引导产品装配的研究重点，这也是另一个今后的主要工作。

[1] Jayaram S, Lyons K W. VADE: a virtual assembly design environment [J]. IEEE Computer Graphics and Applications, 1999, 19(6): 44-50.

[2] Azuma R, Baillot Y, Behringer R, et al. Recent advances in augmented reality [J]. IEEE Computer Graphics and Applications, 2001, 21(6): 34-47.

[3] Pang Yan, Andrew Y C, Soh K O. Assembly feature design in an augmented reality environment [J]. Assembly Automation, 2006, 26(1): 34-43.

[4] Liverani A, Amat G, Caligiana G. A CAD-augmented reality integrated environment for assembly sequence check and interactive validation [J]. Concurrent Engineering: Research and Applications, 2004, 12(1): 67-77.

[5] Raghavan V, Molineros J, Sharma R. Interactive evaluation of assembly sequences using augmented reality [J]. IEEE Transactions on Robotics and Automation, 1999, 15(3): 435-449.

[6] Caudell T P, Mizell D W. Augmented reality: an application of head-ups display technology to manual manufacturing processes [C]//Proceedings of International Conference on System Sciences, Hawaii, 1992: 659-669.

[7] Friedrich W, Siemens A G. ARVIKA-augmented reality for development, production and service [C]// Proceedings of International Symposium on Mixed and Augmented Reality, 2002: 3-4.

[8] Schwald B, Laval B. An augmented reality system for training and assistance to maintenance in the industrial context [J]. Journal of WSCG , 2001, 11(3): 425-432.

[9] Salonen T, Sääski J, Hakkarainen M, et al. Demonstration of assembly work using augmented reality [C]//Proceedings of the ACM International Conference on Image and Video Retrieval, Amsterdam, 2007: 124-126.

[10] 赵新灿, 左洪福, 徐兴民. 增强现实维修诱导系统关键技术研究[J]. 中国机械工程, 2008, 19(6): 678-682.

[11] 施 琦, 王涌天, 陈 靖. 一种基于视觉的增强现实三维注册算法[J]. 中国图象图形学报, 2002, 7(7): 679-683.

[12] 朱淼良, 姚 远, 蒋云良. 增强现实综述[J]. 中国图象图形学报, 2004, 9(7): 767-774.

Product assembly guidance based on augmented reality

Wang Junfeng, Xu Chi, Li Shiqi
( Department of Industrial and Manufacturing System Engineering, School of Mechanical Science and Engineering, Huazhong University of Science and Technology, Wuhan Hubei 430074, China )

Aiming at the assembly guidance in augmented reality environment, an uniform augmented-assembly-oriented information model is build to manage visual text, geometric and feature information during assembly process in augmented reality environment. A marker-based tracking is adopted to realize the registration and localization of virtual and physical product part. The depth images of both virtual and physical scenes are used to handle occlusion between virtual and real objects in assembly process. The assembly guidance information is superimposed on the real time assembly video by using registration information of parts. A demonstration system is developed and the assembly guidance process is analyzed and described in augmented reality environment.

computer application; augmented reality; assembly guidance; marker based registration; information superimposition

TP 391

A

2095-302X (2012)04-0114-07

2010-12-22

“十二五”基础科研资助项目

王峻峰（1970-），男，河南汝州人，副教授，博士，主要研究方向为产品装配设计、系统建模与仿真等。