基于标识位置变化的移动增强现实的研究

高智 虞锦东 刘嘉敏

摘 要：目前移动增强现实系统，由于采用阈值法进行图像分割，当标识位置发生变化时，不能较好的实现增强现实；针对这一问题，根据系统的鲁棒性，能够确定视频帧中的点对之间的关系不变，通过提取特征点对方法进行图像分割，进而实现增强现实。结果表明该方法在标识位置变动时，系统仍能很好实现增强现实，验证了该方法的有效性与实时性，提高了增强现实系统的整体性能。

关键词：增强现实；鲁棒性；特征点对

中图分类号：TP391 文献标识码：A

1 引言（Introduction）

增强现实（Augmented Reality，简称AR）是一种将计算机生成的虚拟信息叠加到真实环境中，实现虚拟和现实的融合，达到增强现实环境效果的技术[1]。随着移动平台可用性能的提升，增强现实技术在终端平台上得到了很大的发展[2]。AndAR是基于非常流行的ARToolKitPlus跟踪器的增强现实框架[3]。其提供了面向对象的纯Java API，隐藏了所有的本地库调用。移动端一般采用基于人工标识实现增强现实，而标识识别中图像分割[4]对增强现实效果有决定的作用。目前在PC端通过ARToolKit结合其他工具开发增强现实系统，文献5利用ARToolKit设计一套能够实时展现三维物体的系统，开发过程中通过阈值实现图像分割，所以系统的实时性较好，但不能适应场景的较大变化。文献6中采用了一种基于计算机视觉的算法，检测查找相关的标识和特征点，然后得到模型视图矩阵，此方法在实时性、稳定性方面效果良好，同样不能适应场景的较大变化。针对以上问题，本文对实时视频序列中的图像采用一种全新的方法实现三维注册，当标识位置发生变化时，也能准确的进行图像分割，提高系统的整体性能。

2 关键技术与算法（The key technique and

algorithm）

2.1 AndAR的工作原理

AndAR通过计算机来判断是否找到标识（标识物一般情况下都是黑色矩形框），及在标识识别成功后计算虚拟物体所需叠加的位置。这里标识采用人工标识，目前人工标识的识别方法主要分为两种：基于图像模板匹配的标识识别和基于编码特征的标识识别[7]。基于图像模板匹配的标识具有可读性，标识本身带有一定的信息。程序初始化时根据用户判断，设定一个固定的图像分割阈值，此分割阈值在系统运行过程中保持不变，通过此阈值对采集到的每一帧图形进行分割，找出此帧图像中所有的四边形区域作为候选匹配区域，然后将每一候选区域进行模板匹配测试，如果达到匹配成功条件，则系统认为找到了一个标识，阈值的设定直接影响分割的效果，进而影响能否实现增强现实。即使采用动态阈值分割图像，当场景发生变化时，以及在噪声的干扰下无法得到最优的分割阈值[8]等问题，也会影响匹配结果。

2.2 基于边缘的分割方法

在AndAR增强现实系统中，因为标识物一般情况下都是黑色矩形框，和背景的灰度有相当大的反差，由于这种设计，它在摄像机上的投影图像一般应该是由一个较黑的物体叠加在一个相对较白的背景上形成的，根据这种特性采用阈值分割法能够做到系统的实时性，但不能适应场景较大变化。由于进行此方法是确定合适的阈值，进而提取兴趣区域，最终目的是根据兴趣区域的特性进而进行图像分割。一般通过摄像头获取的视频帧，是没有深度信息的，可以求得黑色矩形框的直线方程提取兴趣区域。四条边的直线方程y=kx+b。这样就能提取兴趣区域，由平行四边形的特性对边斜率相同，需求得四个点坐标和两个斜率。

为计算兴趣区域的直线方程，首先对摄像头获取的视频帧进行图像二值化处理[9]，然后采用横向扫描的方式寻找兴趣点。经过扫描检测，扫描线与黑色矩形边框的位置关系呈现以下四种关系如图1所示。

图1 扫描线和兴趣边框的关系

Fig.1 Relationship between scan

line and interest border

当扫描线找到黑色连续的区域，能够确定连续区域左侧点P1坐标（如图1所示），以及兴趣区域的宽度d1，如图1黑色线条所示，进行如下处理：

（1）以P1点为圆心，并且以为d1半径，以旋转方向顺时针方向进行检测（向量起点P1，方向水平，长度d1）。

（2）当检测半径方向上首次出现与兴趣区域灰度不一样的点P'时，计算P'到P1点的距离d0。若d0=d1，则执行（3）。若d0≠d1，判断方向若为顺时针则执行（1）方向改为逆时针，否则执行（5）。

（3）以P'为起点横向进行区域检测到长度d'，判断若d1=d'，则执行（4）。若d1≠d'，则执行（5）。

（4）可以得到兴趣区域边缘与检测线的角度θ，以及旋转方向（0表示顺时针反向，1表示逆时针方向）。

（5）P1点不是目标点继续扫描检测。

通过以上步骤就能判断出扫描线与疑似兴趣边框的关系，并且能确定特征区域与扫描线的姿态，θ=90°则是图1（b）、顺时针方向则是图1（c）、逆时针方向则是图1（d）。

通过上述步骤能够得到多个疑似兴趣点，通过角度θ相同为依据进行点对分组，理想情况下出现一种角度θ，若出现多个角度θ，按照出现点个数多于一个保留其他舍弃。下面要进行纵向点的选取以及对横向点的取舍，如图2所示。

图2 特征点选取

Fig.2 Feature selection

选取横向扫描线上点对两点P1P2中心坐标点P0进行纵向扫描，进行上述处理，若不符合说明横向点对不是目标点对，若符合就能得到纵向两点P3P4、兴趣区域的宽度d3、d4以及角度。这样就能的到兴趣区域边缘的直线方程。进而提取兴趣区域。这样还不能做到将所有干扰点对排除。由于系统具有鲁棒性的特点，并且通过上述步骤可以得到P1P2点和P3P4点之间的距离分别为d12、d34。兴趣点区域的宽度与兴趣点之间的长度之间关系随着场景变换不变，通过这种关系能够进一步确定目前的到点对是目标所求。通过摄像头获取视频帧是平面图像，当场景发生变化时，黑色矩形框的位置变化如图3所示。

图3 矩形框的位置变化示意图

Fig.3 Rectangle position figure

通过上图可以发现，当场景变化时，由于系统具有鲁棒性，图形的变化都呈现规律变化。通过这种变化可以确定横向的点对，关系如式（1）。

d1/d3=d12/d34 （1）

上述步骤确定的特征点P1（x1，y1）P2（x2，y2）P3（x3，y3）P4（x4，y4），兴趣区域宽度d以及边框与扫描线的角度θ以及方向dir。如果θ=90°，兴趣区域范围为：f（x，y）={（x，y）|x1≤x≤x2，y3≤y≤y4}。若θ≠90°，兴趣区域范围为：

3 实现与测试（Experimental and test）

3.1 系统流程

首先通过手机摄像头获取真实场景的视频帧，对视频帧进行预处理，通过上述方法获得特征点，计算直线方程，根据直线方程对视频帧进行图像分割，提取目标区域与模板库进行匹配，若匹配不成功继续获取视频帧，重复上述过程。若匹配成功，则进行标识的变换矩阵的计算，然后在进行三维模型渲染[10]，将虚拟物体在屏幕上显示。系统流程如图4所示。

图4 系统流程图

Fig.4 System flow chart

3.2 测试与分析

本文基于AndAR系统框架进行相应的实验，选取移动设备中兴N909，操作系统：AndroidOS4.1，CPU配置为高通晓龙Snapdragon MSM8625Q，854×480像素。程序使用Eclipse4.3编写，使用OpenGL ES 2.0来渲染三维虚拟模型。

图5（a）和（b）分别为采用阈值法[11]和本文方法得到的结果，标识正对摄像头时都能实现增强现实的效果。当标识被水平放置时，以瓶子为参照；图6（a）为采用阈值法的结果，因标识倾斜角度将大，不能将虚拟物体注册在标识上。图6（b）为采用本文方法的结果，标识旋转（瓶子放置在桌面，标识和瓶子的位置表示标识变化）仍能虚拟物体注册在标识上。

图5 标识水平时两种方法的效果

Fig.5 The effect of two methods for marking level

图6 标识旋转后两种方法的效果

Fig.6 The effect of two methods for marking rotation

从实验结果可以看出，当人工标识相对摄像头的位置发生较大变化，采用阈值法无法实现增强现实；而对实时视频帧中的图像采用本文方法进行图像分割，即使场景发生变化，能够很好的跟踪标识，实验结果表明该法在场景发生较大变化时仍能实现增强现实且实时性较好。

4 结论（Conclusion）

本文采用AndAR开发包增强现实系统中采用上述方法来计算实时视频帧的特征点进行图像分割，当场景发生变化时，再识别标识，进而实现增强现实，实验结果表明图像分割能随着场景变化做出适当提取，同时能够满足增强现实系统的实时性要求，在一定程度上提高了整个系统的性能。

参考文献（References）

[1] 朱森良，姚远，蒋云良.增强现实综述[J].中国图象图形学报，

2004，9（7）：767-771.

[2] 周国众.移动增强现实关键技术及应用[J].测绘与空间地理信

息，2012，35（9）：140-144.

[3] D Wagner，D Schmalstieg."ARTooIKitPlus for Pose Tracking

on Mobile Devices".Computer Vision Winter Workshop 2007，

Austria，February 6-8，2007.

[4] 孙阳光，蔡志华.一种基于局部自适应的女书字符图像分割算

法[J].微电子学与计算机，2014，31（3）：142-145；149.

[5] 胡颖群，尹长春.基于ARToolKit的三维虚拟商品展示系统设

计与实现[J].计算机应用与软件，2012，29（8）：259-261.

[6] 范利君，童小念.移动增强现实中视觉三维注册方法的实现

[J].数字工程，2011，39（15）：138-140.

[7] GANDYM，MACINTYREB.Designer's augmented reality

toolkit，ten years later：implications for new media authoring

tools.Proceedings of the 27th annual ACM symposium on User

interface software and technology，2014.

[8] 张新明，张玉珊，李振云.一种改进的矩不变图像分割方法[J].

广西师范人学学报：自然科学版，2011，29（2）：185-190.

[9] 马颂德，张正友.计算机视觉——计算理论与算法基础.北京：

科学出版社，1998.

[10] 官酩杰.基于OpenGL ES的移动平台图形渲染引擎研究与

实现[D].北京：北京交通大学，2010：1-7.

[11] 李俊峰，张志彦.基于矩不变性的阈值选择图像分割算法研

究[J].计算机应用与软件，2013，30（12）：170-172.

作者简介：

高 智（1990-），男，硕士生.研究领域：计算机图形学与虚拟

现实.

虞锦东（1993-），男，硕士生.研究领域：计算机图形学与虚拟

现实.

刘嘉敏（1964-），女，博士，副教授.研究领域：布局优化，计

算机图形学与增强现实.