光学透射式汽车抬头显示器系统的虚实注册方法研究

安喆， 徐熙平， 杨进华， 乔杨， 吕耀文， 刘洋

(长春理工大学 光电工程学院， 吉林 长春 130022)

0 引言

随着虚拟现实(VR)技术的发展，增强现实(AR)技术逐渐走进人们视野。与VR的沉浸式虚拟场景不同，AR技术将虚拟信息叠加到真实场景中，增加了场景中的有用信息，实现了对真实场景的增强。AR技术在很多领域都有应用，例如用于康复训练机器人的情景交互系统、早期在军用飞机上出现的抬头显示系统以及最近流行的Pokemon Go等都是其典型代表[1-3]。

一般AR主要涉及光学显示、虚实注册、实时交互3个方面内容。而如何确定虚拟信息在真实场景中的对应位置，即解决虚拟信息与真实环境的跟踪注册问题，是AR的关键技术之一。目前跟踪注册方法有3种[4-6]：基于硬件设备的跟踪注册法、基于视觉的跟踪注册法和混合跟踪注册法。其中基于视觉的跟踪注册方法是较为常用方法，该方法在场景中放置标志物，并对标志物进行识别，通过算法获取虚拟物体在真实场景中的位置，实现虚拟信息的注册。针对基于标志物的虚实注册问题国内外已有不少研究，虽然得到了很好的注册结果，但放置标志物不能适应多变的场景，有其局限性。而无标志物的注册方法[7]解决了这一问题。Lepetit等[8]提出首先创建场景模型与关键帧，再根据用户的视点变化选择参考图像帧，识别选取特征点，并与当前帧图像特征点进行匹配，通过最小化重投影误差计算出摄像机位姿，进而实现AR系统的跟踪注册。之后Klein等[9]提出了高效的并行追踪与绘制(PTAM)算法，将定位和跟踪分为两个不同的线程，加快了系统运行速度，但其不适用于复杂场景的情形。此外，国内外也有许多改进算法[10-13]，但是大多数算法存在一个问题：一般情况下，在识别特征点的过程中需要计算关键点与描述子，程序需要运行一定时间。国内的研究基本上都是针对手机等移动终端的虚实注册方法，即在摄像头获取现实场景后，根据获取的图像信息估计出虚实注册矩阵，从而将虚拟图像直接叠加在手机屏幕中的相应位置。本文以自由曲面离轴反射式汽车抬头显示器(HUD)系统为研究背景，建立了人眼、成像系统、外部场景以及虚像之间的关系，以解决HUD系统的虚实注册问题。

本文分析了系统中人眼与虚像之间的关系，对获取的图像进行特征识别，利用最小化灰度测量误差方法建立图像间的测量误差公式，并对测量误差进行优化，进而获取虚拟相机的跟踪姿态，根据道路场景的变化，在特征点附近实时叠加提示虚拟信息。注册值与真实值的误差范围小于0.1，且虚实注册速度较高，从而使驾驶员既可方便地观察提示信息，又不影响正常驾驶。

1 HUD系统的虚实注册原理

1.1 HUD工作原理及坐标定义

本文以HUD为研究对象，对车辆行进路线识别定位，与HUD产生的虚拟路面标志进行虚实跟踪注册。HUD是一种基于AR技术的辅助驾驶系统，它通过光学投影技术将虚拟信息投射到驾驶员视线前方，使驾驶员视线不用频繁地在真实路况与仪表盘、导航等信息之间转换，有效地提高了行车安全[14-16]。

HUD系统由投影组件、反射镜组件和主机3个部分组成。与汽车相连的处理器将车辆基本行驶信息及辅助行车信息整理编辑后，通过数据线传送给投影组件，投影组件将要显示的信息投射到一个特殊设计的自由曲面反射镜，通过反射镜将信息反射到汽车前挡风玻璃上，同时矫正了挡风玻璃产生的图像畸变误差，使驾驶员在视线前方看到显示的图像。此外，系统的处理器对图像亮度进行调节，并将导航等信息进行简化调整后显示在挡风玻璃上。HUD系统工作原理如图1所示。

典型AR系统是人眼通过显示设备在现实世界中看到虚拟图像，如果要建立人眼与虚拟图像之间的关系，最终对虚拟图像在现实场景中准确注册，首先要明确各坐标关系。在图1所示的AR系统中，以自由曲面离轴反射式显示成像系统为显示设备，利用跟踪摄像机建立成像系统与外部场景之间的联系。对系统各部分进行坐标定义：人眼通过成像系统观察到虚拟图像，二者构成组合成像系统，将其定义为虚拟坐标系V，将其像平面坐标系定义为I. 跟踪摄像机对应跟踪相机坐标系定义为C，C与虚拟相机坐标系V相对位置不变，真实场景对应世界坐标系定义为W.

1.2 HUD系统虚实注册方法

本文研究目的是在真实场景中注册虚拟信息，即虚拟相机对应的虚拟图像与真实场景准确叠加。首先获取虚拟相机的初始注册矩阵T1，再通过一定方法获取系统在运动状态下的姿态矩阵T2，则虚拟相机的注册矩阵Tr可用T1、T2的合成矩阵表示，具体流程如图2所示。

2 坐标变换与初始矩阵T1求解

2.1 坐标变换计算公式推导

定义了各部分的坐标后，假设空间中任意一点P，在世界坐标系W与平面坐标系I之间进行坐标变换，得到二者关系。若世界坐标系下任意一点PW在W到C下的映射点为PC，其坐标的旋转平移变换可表示为

(1)

PC在虚拟坐标系的映射点PV与I的映射点PI的坐标变换表示为

(2)

若由(1)式可得到PC点坐标PC=(x,y,z,1)T，又设：

(3)

则

PI=A(x,y,z,1)T.

(4)

通过求解(4)式中的矩阵A，即可得到虚拟内部参数KV及虚拟相机坐标系相对于跟踪相机坐标系的初始旋转矩阵r、初始平移矩阵t.

2.2 虚拟相机参数获取

实验分别采集跟踪相机6个姿态下的6组对应点，代入(4)式中，并对A进行奇异值分解，即可求出矩阵A.

求出矩阵A后，对A进行QR分解得到虚拟相机内部参数KV及其相对于跟踪相机坐标系的初始旋转矩阵r，然后进一步可求出初始平移矩阵t，此时的虚拟内部参数矩阵定义为初始注册矩阵T1.

3 基于最小化灰度测量误差法的跟踪相机姿态求解

3.1 相机姿态求解原理

本文提出的无标识虚实跟踪注册算法首先对跟踪相机进行识别初始化，即求取初始状态下的相机内外参数，然后获取相机不同姿态下的两张图像，并对第1张图像进行特征识别，此时无需计算描述子，直接对像素进行操作以节省算法时间。对图像1进行特征提取后，利用最小化灰度测量误差法获取特征像素点在图像2中的相应位置，此时即可估计出跟踪相机位姿，由于跟踪相机与虚拟相机相对位置不变，则此时估计的相机位姿即为虚拟相机注册矩阵T2.

最小化灰度测量误差的相机姿态求解基于灰度不变假设原理，即在同一空间中获取两幅图像，两图像的对应像素点在理论上灰度值相同。但是在实际环境中，两张图像的对应点必定存在灰度测量误差，因此建立灰度测量误差求取公式，以相机姿态变化为自变量，通过求取最优解获取相机姿态，此时灰度不变假设问题转变为最优化问题的求解，同时可以估计相机姿态，获取姿态矩阵。原理如图3所示。

若已知跟踪相机内部参数为KC，则相机获取的第1幅图像为I1，经平移和旋转后获取的第2幅图像为I2.si,I1为对图像I1识别提取的第i个特征像素点，像素点si,I1反投影到空间点的坐标为pi，将pi投影到图像I2得到像素点si,I2. 此时si,I1与si,I2的灰度测量误差为

li=l1(si,I1)-l2(si,I2),

(5)

式中：i=1,2,…,n,n为特征点个数。

(5)式结果越接近于0，代表灰度测量误差越小，通过求解li的二范数，将误差最小化，即

(6)

以I1对应的相机姿态为参考系：

si,I1=KCpi.

(7)

I2相对于I1的旋转矩阵为R、平移矩阵为T，则si,I2为

(8)

式中：fx、fy表示像素坐标系与成像坐标系之间的缩放量；cx、cy表示像素坐标系与成像坐标系之间的平移量。

将si,I1与si,I2代入(6)式得

(9)

此时的灰度不变假设问题转变为无约束非线性优化问题的求解，通过求解上述方程，即可解出相机姿态矩阵R、T.

3.2 无约束非线性优化求解跟踪相机姿态矩阵

首先获取跟踪相机不同姿态下的两幅图像，并对第1幅图进行特征提取，特征点像素个数为n.

(10)

解此类无约束非线性化问题[18]，需首先求Φ对δj的偏导，对于单一误差项li=l1(KCpi)-l2(KC·exp (j)pi)，令偏导等于0：

(11)

选定δj的初始点，利用迭代法进行逼近：

(12)

式中：k为迭代次数。将l2(KCexp(j)pi)在处进行泰勒展开：

l2(exp(j)pi)≈

(13)

泰勒展开后，将其代入(11)式化简，并将结果写成矩阵形式：

JTJΔβ=-JTli，

(14)

式中：Δβ为迭代增量值。

对于提取的n个特征像素点：

(15)

从而即可求得跟踪相机姿态矩阵T2.

由于跟踪相机与虚拟相机的相对位置不变，此时的跟踪相机姿态改变R、T与虚拟相机相同,则当前虚拟相机的姿态矩阵也为T2，因此虚拟相机的注册矩阵Tr可用T1、T2的合成矩阵表示：

Tr=T1T2,

(16)

求出了注册矩阵，即可对虚拟图像进行注册。

4 实验结果与误差分析

4.1 实验结果

求出虚拟相机的注册矩阵后，就得到了人眼相对于场景某一点的位置和方向，即可确定虚拟图像在世界坐标系中的叠加位置，接下来只需计算出在HUD上叠加显示的图像，就可看到虚实结合的图像。实验结果如图4所示。

4.2 系统注册误差分析

对连续500帧视频图像进行跟踪实验，以测试图像的特征点真实坐标为基准，再将估计得到的注册矩阵进行重投影，得到注册矩阵的重投影坐标，将其与特征点的真实坐标作对比，得到二者误差，即注册误差。以注册矩阵在xC轴方向上的平移分量为例，得到注册值与真实值的比较结果，图5为每帧图像的平移分量。

(17)

经计算：

DMN=1-0.911 1=0.088 9<0.1.

这两组数据比较相似，即误差在允许范围内，满足注册精度的要求。

为了评定算法的速度，将本文算法与基于特征点法的虚实注册方法进行对比，表1列出了两种方法在500帧视频图像中各步骤消耗的平均时间与算法总时间。

表1 特征点法与本文算法平均时间

由以上数据可知，本文方法不仅满足测量精度的要求，而且对比其他方法，虚实注册算法的平均速度提高了16.5%.

5 结论

本文对HUD系统产生的虚拟图像与真实场景进行虚实注册，建立了系统各部分的坐标转换关系，并对初始注册矩阵进行求解。提出采用最小化灰度测量误差方法获得相机的姿态估计，直接对像素进行提取，省去其他跟踪注册方法计算特征描述子的过程，建立姿态估计公式，并详细介绍了公式的求解方法，获得当前相机状态的注册矩阵，最终通过矩阵合成获得虚实注册矩阵。实验结果表明：真实值与注册值的相关距离小于0.1，且比其他方法的平均注册速度提高16.5%.

实验过程中如何减小跟踪相机和HUD的抖动，以避免注册误差的增加，以及在遮挡和光照改变的环境下如何保证算法的鲁棒性，将作为下一步研究的重点。

参考文献(References)

[1] 秦超龙,宋爱国,吴常铖,等. 基于Unity3D与Kinect的康复训练机器人情景交互系统[J]. 仪器仪表学报, 2017, 38(3): 530-536.

QIN Chao-long, SONG Ai-guo, WU Chang-cheng, et al. Scenario interaction system of rehabilitation training robot based on Unity3D and Kinect[J]. Chinese Journal of Scientific Instrument, 2017, 38(3): 530-536.(in Chinese)

[2] 侯颖,许威威. 增强现实技术综述[J]. 计算机测量与控制,2017,25(2):1-7,22.

HOU Ying, XU Wei-wei. A survey of augmented reality technology[J]. Computer Measurement & Control, 2017,25(2):1-7,22. (in Chinese)

[3] 余艳红. 增强现实技术的研究现状及发展趋势[J]. 湖南大众传媒职业技术学院学报,2016,16(1):55-57.

YU Yan-hong. Research status and development trend of augmented reality technology[J]. Journal of Hunan Mass Media Vocational Technical College, 2016, 16(1): 55-57. (in Chinese)

[4] 陈靖,孙源. 基于FAST关键点的增强现实跟踪注册算法[J]. 北京理工大学学报,2015,35(4):421-426.

CHEN Jing, SUN Yuan. System algorithm based on FAST keypoints for markerless augmented reality applications[J]. Transactions of Beijing Institute of Technology, 2015, 35(4): 421-426.(in Chinese)

[5] 李炎,尹东. 基于TLD的增强现实跟踪注册方法[J]. 系统仿真学报,2014,26(9):2062-2067,2072.

LI Yan,YIN Dong. AR tracking and registration method based-on TLD algorithm[J]. Journal of System Simulation, 2014,26(9): 2062-2067,2072. (in Chinese)

[6] 桂振文, 刘越, 陈靖,等. 基于自然场景在线学习的跟踪注册技术[J]. 软件学报, 2016,27(11): 2929-2945.

GUI Zhen-wen, LIU Yue, CHEN Jing, et al. Online learning of tracking and registration based on natural scenes[J]. Journal of Software,2016,27(11):2929-2945.(in Chinese)

[7] 林倞, 王涌天,刘越,等. 基于模板跟踪的实时无标志点注册算法[J]. 中国图象图形学报, 2008,13(9): 1813-1819.

LIN Jing,WANG Yong-tian, LIU Yue, et al. Realtime markerless registration algorithm for augmented reality based on template tracking[J].Journal of Image and Graphics, 2008, 13(9): 1813-1819. (in Chinese)

[8] Lepetit V, Vacchetti L, Thalmann D, et al. Fully automated and stable registration for augmented reality applications[C]∥Proceedings of IEEE and ACM International Symposium on Mixed and Augmented Reality. Tokyo, Japan: IEEE, 2003:93-102.

[9] Klein G, Murray D. Parallel tracking and mapping for small AR workspaces[C]∥IEEE and ACM International Symposium on Mixed and Augmented Reality. Cambridge, UK: IEEE Computer Society, 2007: 1-10.

[10] 李扬，张超，张明敏，等. 跟踪与匹配并行的增强现实注册方法[J]. 中国图象图形学报, 2011, 16(4): 680-685.

LI Yang, ZHANG Chao,ZHANG Ming-min, et al. Parallel tracking and matching for natural feature based AR registration[J]. Journal of Image and Graphics, 2011,16(4): 680-685. (in Chinese)

[11] 张格,陈昊升,叶阳东. 一种基于LoG算子的无标识增强现实算法: LoG-PTAMM[J]. 计算机辅助设计与图形学学报, 2016,28(9):1577-1586.

ZHANG Ge, CHEN Hao-sheng, YE Yang-dong. A LoG operator based markerless augmented reality algorithm: LoG-PTAMM[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(9): 1577-1586. (in Chinese)

[12] 李红波,王绪,聂平. 采用主监视窗扩展技术的增强现实三维注册方法[J]. 计算机应用与软件,2014,31(10): 148-153.

LI Hong-bo, WANG Xu, NIE Ping. An augmented reality 3D registration method using main-besel extension technology[J]. Computer Applications and Software,2014,31(10):148-153.(in Chinese)

[13] 陈靖, 王涌天, 李玉,等. 基于自然特征点的实时增强现实注册算法[J]. 系统仿真学报, 2007, 19(22):5198-5201.

CHEN Jing, WANG Yong-tian, LI Yu,et al. Stabel online natural feature-based registration algorithm for AR system[J]. Journal of System Simulation,2007, 19(22): 5198-5201. (in Chinese)

[14] Ishizaki A, Ikegami S, Yamabe T, et al. Accelerometer based HUD input for car navigation[C]∥Proceedings of IEEE International Conference on Consumer Electronics. Berlin, Germany: IEEE, 2014:278-279.

[15] 卢亚军,黄艳虎,熊庆捷. 基于ZigBee无线通信的汽车反射式HUD设计研究[J]. 电视技术,2016,40(7):56-59.

LU Ya-jun, HUANG Yan-hu, XIONG Qing-jie. Design of vehicle reflective HUD application based on short-distance wireless communication[J]. Video Engineering, 2016, 40(7): 56-59.(in Chinese)

[16] 吕钊, 吴小培, 张超,等. 基于EOG的安全辅助驾驶系统算法设计与实现[J]. 通信学报, 2016, 37(7):87-95.

LYU Zhao,WU Xiao-pei,ZHANG Chao,et al. Design and implementation algorithm of safe driver assistant system based on EOG[J]. Journal on Communications,2016, 37(7):87-95.(in Chinese)

[17] 戴建生.旋量代数与李群、李代数[M].北京：高等教育出版社，2014:57-64.

DAI Jian-sheng. Spinor algebra and Lie Groups and Lie algebras[M]. Beijing: Higher Education Press，2014:57-64. (in Chinese)

[18] 傅英定, 成孝予, 唐应辉. 最优化理论与方法[M]. 北京：国防工业出版社，2008:143-150.

FU Ying-ding, CHENG Xiao-yu, TANG Ying-hui. Optimization theory and method[M]. Beijing: National Defense Industry Press，2008:143-150.(in Chinese)