增强现实装配和维修系统的技术研究＊

赵 敏，刘秉琦，武东升

（军械工程学院 光学与电子工程系，河北 石家庄 050003）

引 言

增强现实（augmented reality，AR）技术是在虚拟现实（virtual reality，VR）技术上发展起来的一门新兴技术，由于其广泛的应用背景，因此吸引了国内外众多科研人员加入研究，成为近年来的一个研究热点。增强现实技术涉及到仿真技术、计算机图形技术（computer graphics，CG）、图像处理技术、交互技术及传感器技术等领域，是一项综合性十分强的研究领域［1］。与虚拟现实技术将用户隔离在真实世界之外不同的是，当用户在真实世界中的位置发生变化时，虚拟信息也随之相应变化，虚拟信息与真实环境完美结合，既避免了构建复杂真实环境的大量繁琐工作，又可对真实环境进行变动，具有很强的实时可控性，达到了亦真亦幻的效果。正是由于增强现实与真实环境紧密联系的特性，使得增强现实技术在精密仪器制造、医疗研究、市政规划、文物保护、影视娱乐、军事训练、装备维修等领域得到了广泛的应用。

在研究工作中搭建了一套基于增强现实的维修系统，利用增强现实良好的虚实场景结合以及人机交互功能，通过计算机视觉技术、图像识别技术以及建模仿真等技术，使该系统能够完成图像采集、立体实时显示、三维注册以及虚实融合等功能，改善了传统意义上的人工维修带来的培训成本高、效率低下等问题，较之虚拟维修也更为真实可靠。表1为增强现实维修与虚拟维修的比较表。下面将详细介绍该系统的开发环境和实现过程。

表1 增强现实维修与虚拟维修的比较表Tab.1 Comparison between AR and VR maintenance

1 系统工作原理

系统为使维修过程更为真实，采用双目立体视觉技术，即由两台不同位置的CCD相机拍摄同一场景，计算视点在两幅图像中的视差，从而帮助完成注册，见图1。对于目标物体任意一点P，如果从摄像机C1观察，那么它在图像上的显示点为P1，但无法由此得到P点的三维位置，因为直线O1P1上任意一点P′在C1平面上的投影均为P1。如果从C2同时观察P点，能得到另一图像点P2，那么P点的空间位置就为直线O1P1和O2P2的交点。

图1 双摄像机确定空间点位置原理图Fig.1 Schematic diagram of dual cameras in determining the spatial position

假定摄像机C1和C2已标定，ZC1和ZC2分别是摄像机C1和C2在图像平面的Z轴上的齐次坐标，P1和P2的投影矩阵分别为M1和M2（均为3×4矩阵），则有

其中，（u1，v1，1）与（u2，v2，1）分别为P1和P2在各自图像中的图像齐次坐标；（X，Y，Z，1）为P点在世界坐标系下的齐次坐标。

将式（1）、式（2）式展开

可以得到X，Y，Z的齐次方程组，利用最小二乘法可求解，由此得到P点的空间坐标［2－4］。

为了不使人的双手受到限制，增强现实维修系统的人机交互采用了空间点触发虚拟按钮的交互方式［5，6］。具体方法为：在显示视场内设立两个不同的标识，一个为静态标识，一个为动态标识。静态标识用于维修模型、交互按钮的显示；动态标识捆绑在人的手背上，并跟随手在空间移动。计算机接收到摄像头采集的图像后，首先对图像进行预处理，然后分别提取动态和静态两个标识物的轮廓，在对标识区进行二值化的基础上，可以对动态和静态两个标识进行识别，根据摄像机的外部参数标定方法，可获取动态和静态两个标识在世界坐标系的空间位置和姿态，从而也就获得了虚拟空间、摄像机坐标系、世界坐标系的转换关系，将静态标识所定位的虚拟空间向世界坐标系转换，相应地可得到虚拟按钮在世界坐标系中的空间位置。由于动态标识已经在世界坐标系中定位了空间位置，所以根据距离公式，可计算动态标识中心点与虚拟按钮之间的距离，设定阈值，当动态标识与空间交互按钮接近程度到达阈值后，触发新的虚拟场景，从而完成交互操作［7，8］，图2为人机交互流程图。

图2 人机交互流程图Fig.2 Computer－human interaction flow chart

2 系统的搭建

2.1 系统硬件环境

系统的硬件系统构成如下：一台笔记本电脑、两个CCD摄像头、图像采集卡。

笔记本电脑参数如下：

（1）CPU：Intel Core i5 2.27GHz

（2）内存：2GB

（3）显卡：ATI Mobility Radeon HD 5430

CCD摄像头参数如下：

（1）分辨力：752×480

（2）最高帧率：60fps

（3）动态范围：81～100dB

（4）像元尺寸：6.0μm×6.0μm

（5）采集方式：连续采集，异步复位

（6）快门速度：30μs～16ms

2.2 系统软件环境

系统在WIN 7环境下使用Visual C＋＋2005作为开发工具，C＋＋语言为开发语言。使用三维动画制作和渲染工具3DS MAX进行虚拟物体的建模绘制、维修动画演示等工作，使用ARToolKit工具包完成视频图像的采集、摄像机标定等工作，输出增强后的显示效果［9］。软件整体以ARToolKit为基础，将3DS MAX建立的虚拟模型转换为VRML97格式，利用OpenVRML开源代码调用VRML模型，通过标识识别计算获得各种转换矩阵，最后通过变换实现虚实的无缝融合［10］。软件框架见图3。

图3 系统软件架构图Fig.3 Software system construction

3 实验结果

以某型电源箱作为维修目标，利用3DS MAX完成其建模工作，目标整体架构见图4，各零部件模型见图5。模型经过VRML97编译，再转为OpenVRML，在OpenVRML浏览器中显示结果见图6。图7展示了最终效果的维修引导初始画面，图中右侧放置的为静态标识，用来确定虚拟电源箱的叠加位置；左侧放置的为动态标识，维修人员可手动控制动态标识，根据提示信息移动动态标识以选择感兴趣的内容，进而由电子数据库引导用户一步步按指示完成维修工作。

4 结 论

利用双目视觉技术、增强现实技术搭建了一个增强现实维修系统。在以ARToolKit等软件为工具的基础上，根据增强现实维修的特点和硬件系统的要求，相对其他单目摄像机增强现实系统做了如下改进工作：

（1）将原一路摄像机采集景物图像、图像识别、三维注册、虚实配准等增强现实过程变为了两路立体景物图像采集及相应增强现实过程。方法是利用双线程控制双摄像机完成图像采集和相应的增强现实过程，并将虚实融合的图像按照一定格式，分别存在缓存的不同地址，最后显示立体图像。

（2）ARToolKit模型调用支持VRML97语言描述的虚拟场景机模型，通过试验，找到了通过3DS MAX构建虚拟维修模型，并将其转换为VRML97格式虚拟模型的方法。所以虚拟维修电子数据库的建立是通过3DS MAX来完成的，包括虚拟物体的零部件的模型、贴图、动画等。

由于增强现实的虚实结合的独特性，在维修装配等领域具有很大的发展潜力和应用前景。而其它技术领域如计算机图形学、多媒体、人工智能等的不断发展和完善，也为增强现实技术提供了新的应用领域和发展空间。

［1］ AZUMA R，BAILLOT Y，BEHRINGER R.Recent advances in augmented reality［J］.IEEEComputerGraphicsandApplications，2001，21（6）：34－47.

［2］ 马颂德，张正友.计算机视觉——计算理论与算法基础［M］.北京：科学出版社，1998.

［3］ 隋 婧，金伟其.双目立体视觉技术的实现及其进展［J］.电子技术应用，2004（10）：4－6.

［4］ 段欣涛，汪岳峰，周 斌.一种数码相机几何畸变的检测方法［J］.光学仪器，2011，33（1）：15－18.

［5］ PASMAN W，WOODWARD C.Implementation of an augmented reality system on a PDA［C］∥The Second IEEE and ACM International Symposium on Mixed and Augmented Reality，New York：IEEE，2003：276－277.

［6］ MILGRAM P，KISHINO F.A taxonomy of mixed reality visual display［J］.IEICETransactionsonInformationSystems，1994，E77－D（12）：1321－1329.

［7］ 张德丰，周 灵.VRML虚拟显示应用技术［M］.北京：电子工业出版社，2010.

［8］ 庄春华，王 普.虚拟现实技术及其应用［M］.北京：电子工业出版社，2010.

［9］ 王涌天，刘 越，胡晓明.户外增强现实系统关键技术及其应用的研究［J］.系统仿真学报，2003，15（3）：329－333.

［10］ 石祥滨，田苏昕，王 越.一种基于感知的大规模场景粒子系统绘制方法［J］.沈阳航空工业学报，2009，26（3）：49－53.