基于BRISK特征的增强现实系统设计

杨松　万韬阮　武桐　朱耀麟

摘 要：目前，基于特殊标志的增强现实系统，不够美观，且不适用室外；而基于自然特征的传统算法速度慢，提出了一种基于BRISK特征检测提取的增强现实系统。BRISK采用二进制的描述子以及汉明距离匹配，以给定半径围绕关键点周围的圆进行均匀采样，显著减少采样点的数量，从而大大改善了运行速度，且该系统采用自然场景中的物体作为目标，省去了不美观的标志。实验表明，该系统在很短的时间便可达到稳定结果，在室外以及遮挡部分标志物也能稳定工作。

关键词：增强现实；自然特征；BRISK；汉明距离；描述子

中图分类号：TP391 文献标识码：A

Abstract：Currently，augmented reality systems based on special signs affect the appearance and don't work in outdoor.And the traditional algorithms of the systems based on natural features are slow.This paper presents an augmented reality system designed based on BRISK feature extraction.BRISK use binary descriptor and match with the Hamming distance.And BRISK uses a deterministic sampling pattern resulting in a uniform sampling-point density at a given radius around the keypoint.So BRISK uses dramatically fewer sampling-point.It significantly improved speed.The system uses natural objects in the scene as the target.It eliminates unsightly markers.The experimental results show that：the system can achieve a stable result in a very short time.And it also stably work in outdoor and blocking the partially marker.

Keywords：augmented reality；natural features；BRISK；Hamming distance；descriptor

1 引言（Introduction）

增强现实（Augmented Reality，简称AR），也被称之为混合现实，利用计算机技术和可视化技术生成现实场景中不存在的虚拟物体，并通过传感技术将虚拟物体准确注册在真实场景中，借助显示设备将虚拟物体与真实场景融为一体，给使用者一个感官效果真实的新环境[1，2]。由于其广阔的应用和发展前景，所以吸引越来越多国内外知名大学和研究机构的关注。

基于特征提取、匹配、定位的注册技术在AR研究中占有很大比例，通过建立二维图像特征坐标和三维真实世界特征坐标之间一一对应关系，估算摄像机的姿态[3]，即虚拟物体进行几何变换的参数，定位成功后，把虚拟物体放置在目标上。

虚拟物体的注册定位问题是增强现实研究的一个难点，目前解决的方法大体可分为采用特殊标志的和基于自然特征的。采用特殊标志的技术发展比较成熟，日本广岛城市大学与美国华盛顿大学联合开发的增强现实系统二次开发工具——ARToolkit[4]是以此技术开发的，国内武汉大学的常勇等利用此开发包设计完成了“地下管网增强现实系统”[5]，华中科技大学的熊金猛、易俊等设计了“基于增强现实的车间布局仿真系统”[6]和“海底冒险室内增强现实系统”[7]；由于特殊标志包含了所有定位信息，所以标志物要完整出现在视频帧中，因此此技术广泛应用于环境稳定的室内，有很大的局限性。基于自然特征的是当前的热门研究方向[8]。

关于自然特征的检测及描述算法有许多，众所周知的SIFT、SURF、FAST等，在不考虑旋转与仿射变换的条件下，FAST是不错的选择，在小幅度的旋转下，FAST还是有一定的容错能力的；SIFT、SURF具有尺度不变性和旋转不变性，精度高，只是速度很慢，对于实时的系统不满足要求；为了满足速度要求，在牺牲一些精度的情况下，提出了ORB、BRISK算法。BRISK特征算子是一种新的具有尺度不变性和旋转不变性的角点检测和描述算法，与其他的特征检测与描述算法（SIFT、SURF等）相比，由于其采用二进制描述子以及Hamming距离匹配，使运算速度有了很大改善[9]。

本文BRISK算法对自然特征进行检测与提取，然后使用Hamming距离匹配，最后用RANSAC算法去除误匹配点，通过这些匹配特征点对，建立相机坐标和真实世界坐标之间的变换关系，找到预设目标，之后通过OpenGL将虚拟物体放置在目标上，达到对现实的增强效果。

2 系统设计（The system design）

所设计的AR系统主要包括图像识别与特征检测、特征提取、特征匹配、摄像机标定、虚拟物体三维注册等部分。

系统的大体工作流程是：先预设目标图片（如书封面等），用摄像头遍历场景，通过BRISK算法检测与提取自然特征，之后通过提取的特征进行匹配，成功后即找到目标，将由摄像机标定得到的内参数和得到的匹配特征点对代入到投影方程中求得旋转矩阵R和平移分量t，最后将OpenGL生成的虚拟物体放置到目标上，完成对现实场景增强的效果。

3 BRISK特征检测提取（Camera pose estimation）

3.1 尺度空间关键点检测提取

其中，d0由c0下采样得到，不同octave之间的采样关系为2/3，不同尺度之间的采样关系为1/2。

关键点检测是通过FAST的算法进行的，BRISK算法大部分使用FAST9-16提取特征点。首先，FAST9-16应用于每一个octave和每一层intra-octave，取相同的阈值T识别潜在的感兴趣区域；然后，对兴趣区域中的点进行非极大值抑制：（1）问题点要满足最大值条件，即同一层中兴趣点的FAST score必须大于与它相邻的其他八个点；（2）上下层的必须小于该点的。满足条件的即为所提取的关键点。对于最底层c0层，需要用FAST5-8虚拟一个d-1层。

3.2 BRISK描述子建立

BRISK使用几个同心Bresenham圆上均匀分布的点，每个模式设置了60个点，如图1所示为尺度t=1的模式的采样点分布，由长距离采样点和短距离采样点对分别估计特征点方向和生成二进制描述子。

4 摄像机的位姿估计（The result and conclusion）

其中，（X，Y，Z）T为真实世界坐标；为摄像机内参数矩阵，fx、fy、Cx、Cy为内参数，由摄像机标定可得；（x，y）T为投影变换后的二维图像坐标；R、t为世界坐标系到相机坐标系的转换系数。

由此式可得，通过匹配点对，代入方程中即可计算得到摄像机的位姿。最后将OpenGL生成的虚拟物体放置到目标上。

5 结论（Conclusion）

实验所用的主要的硬件有Microsoft LifeCam Studio摄像头，系统为64位win8的笔记本电脑；开发平台为Visual Studio 2010，链接OpenCV、OpenGL开发数据库。

图3（a）—图3（d）为实验结果，分别以不同目标图片（书封面、空调箱、窗户、工艺品）为目标。

就速度而言，从特征检测、提取到建立匹配，BRISK的处理总时间大约为75ms左右，SIFT的处理总时间大约为3200ms左右；可看出BRISK这点远优于SIFT。从实验可得，该系统也可在户外稳定工作，且遮挡部分标志也能稳定运行。后期，加入GPS、惯性导航传感器，在户外便可达到高精度的定位信息，从而为户外增强现实技术的研究提供了一条路径。

参考文献（References）

[1] 申凯，戴青，费晓飞.户外增强现实系统的关键技术研究[J].微机算机信息，2006，22（27）：169-172.

[2] 朱淼良，姚远，蒋云良.增强现实综述[J].中国图象图形学报，2004，9（7）：767-773.

[3] 孙源，陈靖.智能手机的移动增强现实技术研究[J].计算机科学，2012，39（Z6）：493-498

[4] 任结，等.基于ORB自然特征的AR实时系统实现[J].计算机应用研究，2012，29（9）：3594-3596.

[5] Kato H，Billinghurst M.Marker tracking and HMD calibration for a video-based augmented reality conferencing system[C].Proceedings of 2nd IEEE and ACM International Workshop on Augmented Reality，Washington DC，USA：IEEE ComputerSociety，1999：85-94.

[6] 常勇，何宗宜.基于ARToolKit的地下管网增强现实系统研究[J].计算机工程与应用，2005，（29）：196-199.

[7] 熊金猛，等.基于增强现实的车间布局仿真系统的设计与开发[J].机械与电子，2007，（1）：64-67.

[8] 易俊，李自力.基于ARToolKit立体视觉成像增强现实系统的研究[J].微计算机信息，2007，23（10）：255-257.

[9] Huang Fen，et al.Piano AR：a markerless augmented reality basedpiano teaching system[C].Proc of Intelligent Human-Machine Systems and Cybernetics.2011：47-52.

[10] 曹建，等.基于BRISK改进的快速角点特征算法[J].舰船电子工程，2013，33（5）：44-47.

作者简介：

杨 松（1986-），男，硕士生.研究领域：户外增强现实技术.

万韬阮（1960-），男，博士，教授.博师生导师.研究领域：三维可视化.

武 桐（1982-），女，硕士，讲师.研究领域：图像处理.

朱耀麟（1977-），男，博士，副教授.研究领域：信号处理.