增强现实相关技术的最新进展

朱非凡 谭中伟

摘  要：文章综述了以传统光学透镜为主和以光波导元件为主的近眼显示设备，前者结构简单，但最终实现较小的视场角并且设备体积较大;后者使用光波导元件作为近眼显示设备，扩大眼动范围，使用扩瞳技术提升场视角，得到了成像质量更好的图像。为了提升用户的沉浸式体验感，将全息技术和近眼显示技术相结合，实现动态三维显示，并提出了基于计算全息技术应用于近眼显示设备所面临的技术挑战。

关键词：增强现实技术;光波导;计算全息;近眼显示;出瞳扩展

中图分类号：TP391.9;O436            文献标识码：A文章编号：2096-4706（2021）21-0041-04

Abstract： This paper summarizes the near eye display equipment based on traditional optical lens and optical waveguide element. The former has simple structure， but finally realizes small field angle and has a large volume; the latter uses the optical waveguide element as the near eye display device to expand the eye movement range， and uses the mydriasis technology to improve the field angle of view， so as to obtain an image with better imaging quality. In order to improve the users immersive experience， holographic technology and near eye display technology are combined to realize dynamic three-dimensional display， the technical challenges of applying computer-generated hologram technology to near eye display devices are put forward.

Keywords： augmented reality technology; optical waveguide; computer-generated hologram ; near eye display; exit pupil expansion

0  引  言

随着下一代移动通信的发展，增强现实显示技术受到了广泛关注[1]，国内外掀起了一股“增强现实”研究浪潮。归其原因，是传统二维显示技术到三维显示技术的转变，三维显示相对于二维平面显示，增加了深度信息。在智能手机和个人计算机功能长久依托于一块二维屏幕上时，具有强大立体感、交互式体验感、沉浸感的虚拟显示和增强现实技术体现其优势，有望成为下一代移动信息通信平台。用户可同时与虚拟场景和真实场景中的事物进行交互[2]。

头戴式显示AR（HeadMount Display， HMD）[3]将微型显示器所成的虚像，经过光学元件耦合入人眼，外界光线通过光学器件透射到人眼，因而，用户能感受到更为真实自然的虚拟与真实场景叠加效果，达到增强现实的目的。如今，伴随着AR产品的浪潮和技术的不断发展，AR产品在传统的教育、文化和游戏领域取得了丰硕成果，在军事、医疗和建筑领域也焕发出强大生命力。

1  传统光学透镜的AR显示设备

根据近眼显示设备的不同，主要可分为以传统光学透镜为主的AR显示设备和以光波导光学元件为主的AR显示设备。光机发射的光线与外部环境中的光线透过棱镜叠加，耦入人眼，达到虚拟与现实叠加的目的。

基于透镜的AR显示设备，最具有代表性的产品就是2012年谷歌公司发布的Google Glass，这种方案视场角较小，亮度较低，且由于使用棱镜，产品重量也难以降低。其中，基于曲面棱镜的光学元件方案如图1所示，光线经过全反射面反射到自由曲面棱镜后又再次反射进人的眼睛，产生虚拟图像，外部物体的反射光透过棱镜进入眼镜，产生真实图像。相较于透反式AR显示设备，基于自由曲面的光学元件只需要一个自由曲面棱镜结构，可以实现更好的成像效果，但要想得到更大的视场角，自由曲面棱镜的曲率也会随之增大，这会造成光学模组的体积和重量变大，导致其实用性下降。联想Mirage采用了Birdbath光学设计方案，主要原理也与上述原理相似。其分光镜与垂直于额头的显示光源角度相差45°，由分光鏡透射的外界光源与显示光源在合成器上合成后耦入人眼。因此，以传统光学透镜为主要方案的AR显示设备无法平衡大视场角和更为紧凑的外形体积的要求。

2  光波导AR显示设备

光波导近眼显示设备是光学近眼显示的一种全新方案，利用波导镜片作为传输介质，实现出瞳扩展，增大眼动范围（eye-box），相较于前文所提到的几种显示方案，光学透过率更高，视场角增大，成像质量更为优越，外形尺寸也更为紧凑，是目前消费市场的主流发展方案。

2.1  出瞳扩展

光波导在近眼显示设备中最大的优势就是能够进行出瞳扩展。首先介绍一维扩瞳的原理，输入光束在经过入耦合元件，在波导中满足全反射条件向前传输，传输到出耦合元件时，一部分光通过出耦合元件衍射出波导，另一部分光会继续在波导中以全反射式的状态向前传输。当光再次经过出耦合元件时，一部分耦出，这样就类似于在出瞳上，把同一束光不断进行“复制”，从而达到“扩瞳”的效果，如图2所示。

二维扩瞳技术是在一维扩瞳技术的基础上形成的，以色列威兹曼科学院是世界上较早进行波导技术研究的科研单位之一，提出的平面波导示意图基本原理如图3所示，其中，光栅1为入射光栅，将光束耦入平面波导中，波导片中光束在光栅2和光栅3中再次衍射，光束在经光栅2衍射改变了传输方向，完成了一维扩展，在光栅3处实现二维扩瞳。二维扩瞳技术要保证光束在三个光栅上衍射衍射角度都不一样，但要保证其衍射方程的相位和为0，使得出射光的方向与入射光方向相同。

2.2  阵列光波导

在以部分反射微镜阵列波导作为AR显示设备中，最具有代表性的是以色列的Lumus公司。阵列光波导原理如图4所示，该技术是在波导片中嵌入半反半透膜，通过利用多个等间距平行放置且有一定分光比的半透半反膜层实现对光束的耦出和出瞳扩展，满足HDM系统的大视场要求，但是其制备工艺的复杂性使得阵列光波导的成本居高不下。部分反射微镜阵列对于平行度要求极高，波导片中半反半透膜的几何位置的微小差异就可能导致致使成像质量偏离理想值，产生重影，如何平衡半反半透膜的反射和透射效率进而满足其出瞳成像均匀性，以及加工过程中的镀膜工艺也是要解决的问题。

2.3  表面浮雕光波导

衍射光栅作为波导耦合元件用在波导成像系统中，实现光波的耦合传输和扩瞳。表面 浮雕光栅耦合元件（Surface Relief Grating， SRG）就是一种目前主流的波导耦合光栅应用方案。衍射光波导基于光的衍射效应，利用多缝衍射原理使光发生色散，实现对光束的耦合。

微软公司发布的Hololens近眼显示系列以非对称的倾斜光栅作为衍射元件，倾斜光栅的厚度在微米级，所以可以直接制备在波导片上。当入射光透过波导片进入倾斜光栅时，倾斜光栅就会作用于入射光束实现光束的衍射，衍射角大于波导片内的全反射角，光束在波导片里会达到全反射条件向前传输，再次遇到耦合光栅后，光束就会耦合出波导片，进入人眼，原理如图5所示。为了消除光栅衍射形成的色散，需保证耦入和耦出的光栅矢量相等。入射光必须要满足布拉格条件，即某个特定角度的倾斜光栅只会耦合某一特定入射角的光束，因此，如果要增大近眼显示系统的场视角就要设计不同角度的倾斜光栅以满足布拉格衍射的角度选择性。

2.4  体全息光波导

体全息光波导属于衍射光波导的一种，光学耦合元件采用的是體全息光栅（Holographic Volume Grating，VHG）。这里“全息”的含义是指在体全息光栅的制备过程中，利用两束相干光源干涉并记录在感光材料上形成的光栅。体全息光栅对于光的衍射作用是依靠记录介质内部相对介电常数或电导率的周期变化实现的，由于光栅的记录介质是成周期性变化的，这就导致了等间隔面上的散射源会在特定方向上形成干涉，即布拉格干涉。

日本Sony公司的近眼显示方案就是采用了一种双层光反射式体光栅作为衍射元件，该方案总共用到6个耦合元件[4]，如图6（a）所示。不同波长的光在波导片的传输距离不相同，体全息光栅排列在近眼显示系统的不同位置，分别实现对红、绿、蓝三种颜色的光调制，最后从耦出元件汇聚到眼睛。此方案可减少成像色差，提高成像均匀性。此外，索尼公司的另一种双面体全息光栅方案的显著优点是体积小，双面体全息光栅衍射效率更高，但目前只能实现单点绿光成像，如图6（b）所示。

3  全息显示与近眼显示技术

上述提到的各种光学显示方案中基于双目视差原理，汇聚在人左右眼的图像略有差异经过大脑融合，形成一个立体的图像。同一个点经左右眼成像上后距离略有差异，称为水平视差，差异过大或过小，都会超过人眼的融合范围，产生重影问题。全息显示能够重建物体波前显示一个完整的三维图像，不会存在因双目视差引起的辐辏调节冲突引起的晕眩感。

4  基于计算全息技术的AR近眼显示设备

全息技术可以实现三维模型的重建，传统全息图的制备是指在照相胶片或干板上通过记录光的强度和相位信息，在参考光的照射下可以实现原物体复现。然而这种光学制备方法只适合在高精度实验室中完成，且产量较低。1965年，Kozma[5]等人提出的计算全息技术，通过数字全息叠加将三维物体发射的波前编码成数字衍射图案，相较于传统的光学全息曝光方式，计算全息技术有着不受外界环境因素影响，易于携带、存储、通过三维仿真软件建模虚拟物体等优点。空间光调制器是一种调制设备，通过控制输入信号对光波进行调制，从而改变光波的振幅、相位、偏振态等信息。将计算全息图和空间光调制器有机结合可实现基于计算全息技术的AR近眼显示设备。

为了验证基于计算全息技术的AR近眼显示设备的可行性，2015年chen[6]提出了利用全息系统成像，基于层析法处理将要显示的三维物体模型的采样点，提出了一种基于层析法的快速全息图生成与实时交互全息显示方法。近眼显示设备系统主要包括了分束镜（BS）、空间光调制器（SLM）和计算全息图（CGH）。生成的计算全息图加载到空间光调制器上，激光器的光源经过4-f滤波系统滤除噪声，参考光照射到空间光调制器后，经过一个分束镜到达人眼，外界环境光经过另一个分束镜到达人眼，达到“虚拟+现实”叠加的效果。

由于4-f滤波系统体积过于庞大，加之光路中存在分束镜，以及全息成像系统需要准直扩束等要求，这导致其结构复杂，此系统用在头部显示器会增加整个系统的体积核重量，降低用户的实用性和舒适性，并且此方案采用单目成像，致使用户沉浸感差。

将全息光学元件代替4-f滤波系统用于近眼显示器，可有效减小成像系统的体积。Ando等人提出将全息元件以离轴方式用于成像系统中[7]，空间光调制器中的衍射光通过一定的角度耦合到全息元件中，通过全息光学元件进入人眼，减小了系统的体积，实现了更为紧凑的外形结构，离轴式成像系统结构如图8所示。

4.1  空间光调制器与场视角

评价近眼显示器的一个质量指标可以用场视角（field of view， FOV），是指镜头所能覆盖的最大范围，目标物体超过了视场角就不会出现在镜头里。在实际应用中，偏小的视场角会造成黑边效应，影响AR产品的沉浸感。

传统增大场视角的方法可使用傅里叶变换光学系统，在仅使用一个透镜的情况下实现对视场角的展宽，然而在实际的应用中，庞大体积的傅里叶光学变换系统在AR近眼显示中无法得到实际的应用。另一种思路是拼接多个空间光调制器以增大场视角，这种拼接显示系统可以显示大尺寸的再现图像。这种方法在原理上虽然比较简单，但其实现系统却较为复杂，导致整个光学系统的体积较大，增加系统成本。

在基于计算全息技术的AR近眼显示设备中，空间光调制器位于系统的出射光瞳处，空间光调制器像素尺寸决定其最大衍射角，从而影响了动态全息图的最大尺寸，也就影响了最终的视场角的大小。激光器发出平面光，照射到空间光调制器，但是由空间光调制器的绝大部分像素产生的衍射波是无法到达人眼的，因此需要在空间光调制器之后放置一个透镜，把平面波转换为球面波，增大衍射角，从而得到一个大的视场角，Y.su等人提出采用离轴全息透镜作为光源照射空间光调制器[8]，防止观察到的图像出现“混叠”，并且在空间光调制器之后引入了二次调制，场视角比这仅有单个空间光调制器的视角宽3.8倍，如图9所示。

4.2  加速生成计算全息图

传统光学方法记录的全息图只能实现静态图像的再现，不能实现动态全息图像的刷新。通过计算机得到的计算全息图，加载到空间光调制器上，可以方便快速的复现3D全息图，实现动态3D图像显示。动态的三维立体显示对计算全息图的生成速度要求也很高。

计算全息图像中的三维物体信息由点元组成，由这些点元发出的光波在全息图波前叠加产生。在点元法的基础上，又提出了使用面元法生成全息图。面元法是将三维物体离散成许多层平面，由这些层物光波叠加生成。尽管基于点元法和面元法生成3D全息图像原理简单，但是三维立体图像的取样总量大，计算量会急剧增加，不适合三维动态显示。查表法的基本原理是将三维空间离散成一个个点，在此空间中可以形成任意形状的三维立体图像。所有物点发出的光波在全息图的波前提前计算，然后存储在计算机内存中。当计算某个三维物体时，先确定组成三维物体的物点，寻找提前在内存中存储的物点的波前，并进行叠加便可得到所需的全息图。因为要储存很多物点的波前数据，这对计算机的存储性能和读写性能要求很高。

多边形层析法是一种全新的方法，将三维图形层析为多边形的集合，对三维物体沿深度方向进行分层处理后，将二维多边形的截面信息传播到全息面上的复振幅叠加，通过降低采样速率并使用快速傅里叶变换，此方法只涉及有限平面的快速傅里叶变换，因此比前述的点元法、面元法和查表法生成的计算全息图速度更快。

5  结  论

随着技术发展，AR近眼显示设备也层出不穷，本文也介绍了不同光学技术的代表性产品。目前，以传統光学透镜为近眼显示设备的产品因其体积大和视场角小等缺点而发展受限，以光波导元件为近眼显示设备的产品受到了市场的青睐，市面上如今较为流行的AR近眼显示产品大都选择了此方案。在扩瞳技术的指导下，以衍射光波导为光学元件的近眼显示设备可以实现出瞳扩展，这大幅增大了场视角，其成像质量更好，并解决了一定的色散问题。然而，波导片的设计较为复杂，要将结构不断的优化才能实现更高的衍射效率，再加上采用出瞳扩展技术，导致衍射光波导的实现更为困难。并且衍射光波导的加工尺寸小，对加工工艺要求高，如何选择适合的光波导加工材料，对未来衍射光波导的发展是一个挑战。为了减少因辐辏调节冲突产生的晕眩感，提升用户的3D沉浸式体验，基于计算全息技术的AR近眼显示方案被提出，这种方案的3D实现效果更好，此方案的实现的有来自硬件和软件两个方面的挑战。空间光调制器是动态的光调制器，可以实现3D图像的动态刷新，可以决定了全息图的最大尺寸，进而决定了场视角的大小。计算全息图可以实现动态3D图像的复现，本文介绍多种算法实现快速生成计算全息图，多边形层析法是全息光学实时显示的最佳方案。

当前，基于光波导镜片的近眼显示是目前显示的主流方案，但还有一些加工工艺欠完善，及不能实现量产等问题。虽然基于快速生成计算全息图的近眼显示方案目前技术还不够成熟，但能够较好的实现三维动态3D显示，我预计其将具有很大的发展和应用潜力。

参考文献：

[1] 徐越，范君柳，孙文卿，等. 基于全息波导的增强现实头盔显示器研究进展 [J]. 激光杂志，2019，40（1）：11-17.

[2] 何泽浩，隋晓萌，赵燕，等. 基于全息光学的虚拟现实与增强现实技术进展 [J]. 科技导报，2018，36（9）：8-17.

[3] KOSS B，SIEBER A. Head-Mounted Display for Diving Computer Platform [J].Journal of Display Technology，2011，7（4）：193-199.

[4] MUKAWA H，AKUTSU K，Matsumura I.A full-color eyewear display using planar waveguides with reflection volume holograms [J].Journal of the Society for Information Display，2009（17）：185-193.

[5] KOZMA A，KELLY D L. Spatial Filtering for Detection of Signals Submerged in Noise [J].Applied Optics，1965（4）：387-392.

[6] CHEN J S，CHU D P. Improved layer-based method for rapid hologram generation and real-time interactive holographic display applications [J].Optics Express，2015，23（14）：18143-18155.

[7] MAIMONE A，GEORGIOU A，Kollin J S. Holographic near-eye displays for virtual and augmented reality [J].ACM Trans Graph，2017，36 （4）：1-16.

[8] SU Y F，CAI Z J，ZOU W L，et al. Viewing angle enlargement in holographic augmented reality using an off-axis holographic lens [J].OPTIK，2018，172：462-469.

作者简介：朱非凡（1997—），女，汉族，河南漯河人，硕士研究生在读，主要从事增强现实近眼显示的研究;通讯作者：谭中伟（1978—），男，汉族，河南信阳人，博士，教授，主要从事光纤通信、光纤传感和光信息处理方面的研究。