增强现实显示技术综述

史晓刚，薛正辉，李会会，王丙杰，李双龙

（1. 北京理工大学 信息与电子学院，北京100081；2.北京枭龙科技有限公司，北京100144）

1 引 言

增强现实(Augmented Reality，AR)通过将计算机生成的虚拟信息叠加到真实环境中，来丰富人们与现实世界和数字世界的互动，以达到超越现实的感官体验。1968年，Ivan Sutherland使用光学透视头戴式显示器开发出了世界上第一套增强现实系统，命名为达摩克利斯之剑(The Sword of Damocles)[1]。1992年，波音公司的Tom Caudell和David Mizell在帮助工人组装飞机电缆时，创造了增强现实一词。同年，两个早期的增强现实原型系统由美国空军的L.B Rosenberg和哥伦比亚大学的Steven Feiner等人提出，它们分别是Virtual Fixtures虚拟帮助系统和KARMA机械师修理帮助系统。1997年，Ronald Azuma撰写了第一份关于增强现实的报告，提出了后来被广泛接受的AR定义。该定义包含三个特征：虚实结合；实时交互；三维注册。2000年，Bruce Thomas开发了第一款室外AR游戏，ARQuake，将AR带到了室外的真实场景。此后，随着智能手机等移动设备的不断更新，越来越多的AR应用程序被开发出来。2012年，谷歌眼镜的亮相掀起了新一轮的AR热潮[2]。随后，越来越多的企业和科研机构积极投身于AR技术的研发。随着AR技术的快速发展，AR产品已被广泛应用于游戏、军事、教育、医疗和零售等领域。

AR采用手势识别、眼球追踪等人机交互方式，能够给用户带来颠覆式的场景体验，被认为是继个人电脑和智能手机后的下一代计算平台[3]。然而，AR同时显示真实世界和虚拟世界的特点，以及传递高保真图像的需求，给其光学设计在视场角(Field Of View，FOV)、眼动范围(eye-box)大小和图像对比度等方面带来了巨大挑战。目前，要设计出性能好、体积小和功耗低的AR头戴式显示设备还非常困难。本文以人眼视觉系统的视觉感知为基础，总结了AR头戴式显示器中微显示器和光学组合器的研究现状，对比分析了它们的性能参数和发展前景。

2 人眼视觉原理

人眼是自然进化而来的光学成像系统。光线通过虹膜进入眼睛，被角膜和晶状体折射后，在视网膜上成像，同时感光细胞将光信号转化为电信号[4]。电信号在视网膜上经过一定的信号处理后进入大脑。大脑接收到电信号后，根据多个线索对图像进行解析，并在三维空间中感知物体。

人眼的视场角分布如图1（a）所示，单目视场角约是水平160°和垂直130°，双目视场角约是水平200°和垂直130°，且水平方向有120°左右的重叠[5-6]。双目重叠区域对立体视觉至关重要，可用于完成阅读和社交等高敏锐度任务，周边的非重叠区域则在平衡和搜索等任务中发挥作用。人眼的分辨率极限由视网膜中央凹上圆锥细胞的平均间隔决定，可观察到的最小视角约为0.5弧分，或120像素/度，相当于20/10的视敏度[7]。显示技术中，若总显示像素数固定，分辨率密度越高，则视场角越小。而近眼显示系统普遍要求更大的视野，以增强用户沉浸感。一般认为，AR显示所需的最小视场为水平100°和垂直20°，而目前AR头戴式显示器可实现的视场角一般不超过水平60°。

图1 （a）人眼视场角分布[5]；（b）人眼观察真实景象时，会聚距离与调焦距离一致；（c）人眼观察显示屏上的虚拟物体时，会聚距离与调焦距离不一致Fig.1(a)The profile of human FOV[5];(b)accommodation cue coincides with vergence cue when viewing a real object;(c)accommodation cue mismatches with vergence cue when viewing a virtual object displayed at a fixed plane

人眼作为高动态范围的成像系统，可适应从白天（104lx）到夜晚（10−3lx）的光照变化。AR显示对显示亮度有严格要求，当周围环境照度比较高时，显示亮度的需求也会非常高。这种情况下，环境对比度(Ambient Contrast Ratio，ACR)可作为一个定量表征参数，定义为[8-10]：

其中，T是透光率，Lon和Loあ分别是开/关状态下的显示亮度，Lambient是环境亮度。环境照明一般以照度（lx）表示，为便于对比，可通过除以 π因子来将照度转化为亮度（nits）。起居室内的照度约为100 lx，转化为亮度为30 nits；普通办公室内的亮度约为150 nits；阴天和晴天时的室外亮度分别约为300 nits和3 000 nits。即使是对于高对比度（Lon/Loあ≥100）的显示系统，环境亮度依然可能会使图像被湮没，无法辨认。因此，一般认为，ACR=3:1时 ，显示图像可被识别； ACR=5:1时，显示图像易辨认； ACR>10:1时，显示图像成像质量好。若显示系统透光率为80%，周围环境照度为104lx，则ACR=2:1，若使显示图像不被湮没，则需2 500 nits的显示亮度；A CR=5:1正常显示图像时，需10 000 nits的显示亮度。目前，AR显示的亮度一般小于500 nits，较适合在室内使用。

评估AR显示产生的3D图像时，人眼的另一个需要考虑的因素是立体感。人眼观察3D物体时，视觉辐辏（眼睛旋转以将两只眼睛的视图重叠成一个对齐图像）和视觉调节（弯曲眼睛晶状体以聚焦不同距离的对象）一致，如图1（b）所示。然而，AR显示中，固定的显示平面对左右眼呈现不同的内容，使得眼睛虽然聚焦在平面上，而眼睛旋转形成的会聚点却往往在平面外，造成辐辏-调节冲 突(Vergence-Accommodation Conflict，VAC)[11-14]，如图1（c）所示。长期佩戴此类产品，可能会导致视觉疲劳和不适。单目显示是解决VAC的一种简单方法，但仅适用于AR应用的一些特殊场合。由于通过渲染立体显示中的会聚距离，可使其与人眼观察真实物体时一致，因此大多数方法都是通过改善调焦距离来减轻辐辏-调节冲突，如全息显示技术[2,15-16]、光场显示技术[17]、麦克斯韦观察法[18]、多焦面显示技术[19-21]和变焦面显示技术[14,22-24]等。

3 微显示器研究进展

对于光学透视式AR显示系统，ACR是评估其显示性能的一个重要参数。为达到AR显示所需的高亮度，微显示器和光学组合器的选择都非常重要。目前，关于AR显示的微显示器的研究还处于初步发展阶段。尽管文献中报道的微显示器种类较多，但现阶段能够用于AR显示的微显示器主要有硅基液晶(Liquid-Crystal-on-Silicon，LCoS)显示器、数字光处理(Digital Light Processer，DLP)显示器、有机发光二极管(Organic Light Emitting Diode，OLED)显示器、微型发光二极管(Micro Light Emitting Diode，μLED)显示器和视网膜扫描显示器5种。本节通过对近年来这5种微显示器的相关报道进行回顾总结，对AR显示的微显示器的发展历程和研究现状作简要探讨。

3.1 LCoS显示器研究进展

LCoS显示技术起源于20世纪70年代，是一种将液晶(Liquid Crystal，LC)和半导体基板相结合的新型显示技术。随着液晶电光响应特性的应用和硅互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)背板技术的发展，LCoS在自适应光学、计量学、量子物理学、通信和显示等领域得到了广泛应用[25]。典型的反射式LCoS结构如图2所示。LC层位于铟锡氧化物(Indium Tin Oxide，ITO)镀膜玻璃和CMOS背板之间，上下两个聚酰亚胺取向层决定LC的取向，铝电极则提供电压控制。反射式结构中，入射光两次经过LC层。外加电压变化时，LC分子重新定向以朝向相应的电场方向，使得出射光的相位和偏振得到调制。根据聚酰亚胺表面取向和LC材料的性质，LC模式主要被分为3种：垂直取向模式、扭曲向列相模式和平行取向模式，前两者主要用于强度调制，后者用于相位调制。

图2 LCoS结构示意图[25]Fig.2 Schematic diagram of LCoS structure[25]

近年来，LCoS以其高亮度、结构紧凑和高分辨率密度等特点成为AR头戴式显示器的主要解决方案，被最先应用于谷歌眼镜、HoloLens V1和Magic Leap One等头戴式显示器中。图3（彩图见期刊电子版）以谷歌眼镜为例，展示了LCoS在AR头戴式显示器中的工作原理。LCoS显示器使用发光二极管(Light Emitting Diodes，LEDs)作为光源，偏振分光镜(Polarization Beam Splitter，PBS)反射光。LEDs发出的光进入PBS后，s偏振光被反射，p偏振光透射进入LCoS。经过LCoS调制后，p偏振光返回LED光源，s偏振光则被PBS反射，经部分反射镜(Partially-Reflective Mirror，PRM)和聚焦镜(Focusing Mirror，FM)后进入人眼。由于只有p偏振光经过PBS进入LCoS，因此只有入射光的一半可被调制，导致光效较低。为提高显示亮度，可在LED光源和PBS之间放置适宜的偏振转换元件。传统的大型LCoS显示器中，包含复眼透镜的偏振转换系统、PBS阵列和半波片被组合在一起[6]。然而，当显示器像素尺寸缩小至微米级别时，偏振转换系统体积庞大的局限性突显出来。PBS的使用也使得进一步降低LCoS显示器的体积变得十分困难。然而，一些研究者提出使用基于薄膜偏振光栅的偏振转换系统[26-27]或能实现小体积和高效率的需求。

图3 基于LCoS结构的一种AR头戴式显示器的光学系统示意图[25]Fig.3 Schematic diagram of an LCoS based AR headmounted display optical system[25]

LED技术的发展大幅提高了LCoS的亮度，使其亮度达到了104~105nits。但LCoS作为一种被动发光显示技术，其动态范围有限，相对较差的暗状态会使其对比度较低，影响AR透视体验。另一个影响AR体验的因素是LCoS的响应时间，一般地，AR显示需要60 Hz以上的刷新率。传统LC材料的响应时间相对较长，难以满足60 Hz以上的刷新率需求。为解决此问题，响应速度快和可重复性高的数字驱动方案被提出和采用[28]。通过在单帧内施加不同脉冲宽度的二元电压，LC分子对均方根电压做出响应，使人眼感知到平均反射率。虽然数字驱动方案对LC响应时间要求较低，且可以提供较好的灰度精度，但在灰度变化比较小的情况下，可能会出现较强的边缘场效应。数字驱动方案中的LC响应时间要慎重选择，要使其小于帧时间，但大于脉冲宽度，以避免光强波动。一般来说，响应速度快的LC材料有助于提高模拟驱动和数字驱动LC器件的性能，因此人们一直致力于获得亚毫秒响应时间的LC材料。

理想情况下，若人眼视敏度覆盖100°的视场，则每只眼睛需要6K6K的分辨率，而目前大多数商用产品的分辨率为≤ 4K2K。要提高分辨率，LCoS显示器主要面临以下问题：（1）面板尺寸保持不变时，增大分辨率意味着像素尺寸变小，这将会导致更强的边缘场效应，同时像素间间隙的限制也可能导致填充因子降低；（2）有源矩阵驱动方案中，栅极线被依次开启。扫描更新方法使得面板分辨率和栅极线的信号时间（栅极打开+数据寻址时间）的乘积为一常数，即帧时间。保持帧率不变，分辨率提高可能会导致充电不足问题的出现；（3）计算量随分辨率的增加而增加，这可能会降低源输入帧频。改善硬件性能可用来解决上述一些问题。2004年，Kanazawa等人提出使用像素错位法集成4个LC显示屏来实现8K4K的分辨率[29]。此外，采用叠层方法时，在保持体积不会增加太多的情况下，适应反射式LCoS结构的光学系统需被精密设计以满足器件性能。2008年，JVC实现了8K4K分辨率的LCoS显示器，但如何获得更小的像素间距依然是一个难题[30]。

为缓解硬件压力，人们试图从时间方面来解决问题。场顺序式彩色显示方法被用于LCoS显示器中来实现4K2K的分辨率。场顺序式彩色显示按时间顺序显示RGB光，即每个图像帧被分成3个单色子帧[31]。这样，分辨率密度可增加至原来的3倍，但系统的刷新率也相应地变为原来的3倍。例如，采用场顺序式彩色显示的系统若具有60 Hz的显示帧率，则将需要180 Hz的色彩变化速率。近年来，像移法和图像复合法也被用于AR显示中，通过在每帧图像中产生两个光场来增加分辨率[32]。与场顺序式彩色显示一样，系统所需的场速率也变为原来的两倍。

为获得更大的视场和更高的分辨率，AR显示需要更高分辨率密度的LCoS面板。理想情况下，AR显示的像素间距需小于1μm，而目前可实现的最小像素间距为2.5~3μm。制备如此小的像素间距主要有电学和光学两方面的挑战。一方面，像素区域的有限空间将会容纳更少的晶体管和存储电容，导致LC层的低适用电压。另一方面，边缘场效应和低填充因子会影响光功率的输出。目前，商用LCoS面板一般具有较大的像素间距和有限的分辨率，难以提供令人满意的3D图像。对硬件进行升级或采用新的光学系统设计是非常必要的。

3.2 DLP显示器研究进展

DLP是一种反射式显示器[33]。DLP最早由德州仪器开发，利用数字微镜元件(Digital Micromirror Device，DMD)来产生图像。DMD是DLP的基础，DMD由聚集在硅基片上的微镜片（精密、微型的反射镜）组成。每个微镜片相当于投影画面的一个像素，微镜片的数量即为投影画面的分辨率。在数字驱动信号的控制下，微镜片可沿两个方向转动，其中一个方向倾斜+12°，入射光被反射到投影透镜，进而投射到屏幕上，屏幕变亮；另一个方向倾斜−12°，入射光被反射到吸收平面，由光吸收器吸收，屏幕变暗。微镜片处于投影状态和非投影状态时，分别对应“开”和“关”两种状态。通过改变两种状态间的切换频率，反射光呈现出白和黑之间的各种灰度。

DLP投影系统中，彩色图像主要通过两种方法来实现。单片DLP系统采用色轮来产生彩色图像。色轮由红、绿、蓝滤波系统组成，且以60 Hz的频率旋转，每秒产生180个彩色场。色轮旋转时，红、绿、蓝光按顺序投射到DMD上。色轮与视频信号同步，当红光投射到DMD上时，微镜片根据要显示的红光信息（何处显示、显示多强的红光）来相应改变倾斜方向和转动频率，绿光和蓝光也一样。人眼视觉系统将红、绿、蓝3种信息综合，进而形成完整的彩色图像。3片DLP系统采用3个DMD来产生彩色图像，每个DMD对应红、绿、蓝光的一种。棱镜系统首先将白光分为红、绿、蓝光，然后每种光连续地投射到对应的DMD上产生彩色图像。3片DLP系统亮度较高，主要用于超大屏幕和高亮度应用场合。

DLP采用数字光开关来反射光线，具有较高的光效率和亮度，而且每个微镜片的尺寸一般为14μm×14μm，体积较小，因而可被用于AR头戴式显示器中，如已被Vuzix和DigiLens等公司AR眼镜产品采用。使用LEDs和激光等作为光源，DLP显示器的动态范围比LCoS显示器更高，且其振幅调制具有偏振无关性。这些特点使得DLP在车载AR显示系统中也具有广泛的应用范围[34]。然而，虽然不使用PBS，DLP的反射光路依然很长，如图4所示，不利于体积的减小。

图4 DLP结构示意图Fig.4 Schematic diagram of DLP structure

3.3 OLED显示器研究进展

为了进一步减小显示器体积，同时获得更高的亮度和分辨率，OLED显示技术被用于AR显示中。不同于LCoS显示需要使用LED或激光外置光源通过液晶矩阵产生图像，OLED是一种自发光显示技术。OLED器件在施加电压时，金属阴极和ITO阳极产生的电子和空穴在电场力的作用下，分别穿过电子传输层和空穴传输层，在有机发光层相遇，形成能量激子，从而激发发光分子产生可见光。OLED具有无需背光、高分辨率、高对比度、宽视角、低响应时间和低功耗等优点，且其每个像素都可以独立控制，并能产生3种不同颜色的光，实现彩色显示。OLED的组成成分为固态结构，没有液态物质，因而抗机械振动性能更好。

随着AR显示设备的轻便化，适用于AR眼镜和头盔的微型OLED显示器逐步发展起来，其典型结构是在白光OLEDs上排列彩色滤光片[35-36]，如图5（彩图见期刊电子版）所示。彩色滤光片选择需要通过的波段光波，反射掉其他不需要通过的波段，使人眼接收到饱和的颜色光线。目前，全彩色微型OLED已可实现3 000~5 000 nits的显示亮度和3 000像素/英寸的分辨率。然而，对于大眼动范围的AR显示系统，这样的亮度还远不够。而且，由于OLED的寿命与其亮度成反比，OLED显示屏寿命相对较短，加上成本略高和色彩纯度不够等因素，OLED在AR显示方面的应用还远不如LCoS。因此，未来需进一步提高微型OLED显示器的显示亮度，器件寿命和电流效率。

图5 微型OLED结构示意图Fig.5 Schematic diagram of micro-OLED structure

3.4 μLED显示器研究进展

相比于LCoS和OLED，μLED显示技术近年来吸引了越来越多的关注，并被视为下一代显示技术[37-39]。μLED有很多优势，如高效率、长寿命、高分辨率、高色彩饱和度、高动态范围等，且可以较高密度集成在芯片上。μLED将LED薄膜化、微小化和阵列化后，可通过巨量转移技术转移到驱动电路背板上，再利用物理沉积技术生成外接电极和保护层，以形成微小间距的LED。电路基板可以为硬性或柔性，透明或不透明。

μLED的轻薄、省电和全天候使用等特点，使其在显示方面的应用非常突出。2014年，苹果公司收购了拥有多项μLED显示技术专利的LuxVue公司，将μLED技术用于AR/VR方面。最近报道的可用于AR头戴式显示器的全彩色μLED实现了105~106nits的显示亮度[40]。但目前μLED尚未产业化，且面临许多技术挑战，如巨量转移技术和全彩化显示等。一方面，由于难以将驱动电路直接制备在μLED衬底上，因此需要将μLED从其衬底上转移到CMOS驱动电路衬底上。然而，转移的μLED尺寸小、数量多，且需要精确对位和非常高的良率，因此巨量转移技术是目前难以实现的一项关键性技术。另一方面，μLED主要采用两种方法来实现彩色显示。一是三色RGB法，即分别在不同的衬底上外延并制作红色、绿色、蓝色的μLED芯片，然后将其切割，转移到目标基板上。由于需要将3种不同的μLED转移到目标基板上，因此三色RGB法对巨量转移技术要求很高，实现起来非常困难。另一种方法是短波长μLED+发光介质法，即利用沉积在短波长μLED上的发光介质（如荧光粉或量子点）作为颜色转换层来实现全彩显示，如图6（彩图见期刊电子版）所示。此种方法需要将颜色转换层放置在尺寸很小的像素上，且目前常用的荧光粉材料颗粒尺寸大，容易造成沉积不均匀[41-42]，而量子点材料尺寸小，但材料稳定性较差且寿命短[43]。

图6 μLED结构示意图Fig.6 Schematic diagram of μLED structure

3.5 视网膜扫描显示器研究进展

通常显示器都含有一个由微小像素结构组成的显示屏幕，观察者直接观察该屏幕或将屏幕上的图像通过光学系统成像后用眼睛观察以获得显示图像。随着AR头戴式显示器的发展，特别是微显示技术和人眼视觉系统研究的成熟，逐渐出现了一种新型的显示技术，称为视网膜扫描显示(Retinal Scanning Display，RSD)技术。RSD利用扫描器对光束进行二维扫描，扫描图像经成像后在观察者的视网膜上形成二维图像，如图7所示。RSD光源发出的一个脉冲即为一个像素，扫描器以非常高的频率振动，人眼因视觉延迟而感知到静态的二维图像。相比于AR显示常用的LCoS和OLED等传统平板显示器，RSD可根据设备所处环境的亮暗对显示亮度和色彩等进行调节，使用户在清晰观察周围环境的情况下获得设备传输的虚拟显示信息。

图7 视网膜扫描显示系统示意图Fig.7 Schematic diagram of retinal scanning display

RSD采用半导体激光器等作为光源，显示亮度可大幅提高。一般地，RSD的扫描器由相互垂直放置的水平扫描镜和垂直扫描镜组成，水平扫描镜高速扫描形成扫描线，垂直扫描镜低速扫描使扫描线沿垂直方向平移以形成图像。North Focals AR 眼镜采用了一个二维MEMS激光束扫描系统[44]，由激光器发出的光线被反射镜反射后，再经全息膜调制，最后在人眼视网膜上成像。而HoloLens V2采用了两个一维MEMS激光束扫描系统，激光器发出的红绿蓝三色脉冲分别投射到两面反射镜上以形成图像。Magic Leap提出了另一种基于光纤的激光束扫描系统，将红绿蓝三色激光耦合入光纤后，光纤随驱动器共振产生快速二维运动以形成图像。基于光纤的激光束扫描系统体积小、重量轻、分辨率无上限且成本低。随着技术的发展和成熟，有望在AR头戴式显示器等领域得到应用。RSD的出瞳主要由激光束的参数和扫描镜决定，为使出瞳直径在10~15 mm范围及以上，通常需要出瞳扩展，这也使得其光学设计更加复杂。

目前，用于AR显示的各种微显示器正处于快速发展阶段[45]。为方便人们的选择，表1给出了5种微显示器的定性比较。可以看出，LCoS和DLP显示器可提供较高的显示亮度，但光学效率和紧凑性很差，使得它们不适用于未来便携化的可穿戴头戴显示产品。OLED显示器展现出出色的光学效率和紧凑性，是一种理想的显示器，其主要限制是有限的显示亮度。然而，正如我们看到的，OLED显示器的亮度在过去几年中已经得到了很大的改善。μLED相比OLED、LCoS等显示技术具有显著的优势，被认为是最有前途的显示技术。通过将LED器件小型化，μLED可实现超高分辨率显示，但也面临许多新的技术挑战，如巨量转移技术、全彩化显示等，目前产学两界正对此进行广泛研究。MEMS RSD技术随着在HoloLens V2上的应用而引起了人们的广泛关注。RSD技术也能实现非常高的亮度和光效，及非常小的体积，且每次扩大视场时，只需调大扫描镜转动角度，不需要重新设计整个光引擎，节省未来开发成本。未来很长一段时间内，OLED，μLED和RSD等技术将共同发展，哪种技术更适合未来的AR头戴式显示产品取决于产品的系统设计参数，光学组合器的选择和微显示器自身的性能。换句话说，目前还没有一种通用的显示技术能够适用于所有的AR显示系统。AR显示系统是微显示器和光学组合器的集成，它们需要相互配合以更好地满足不同的AR系统设计规格。

表 1几种AR微显示器之间的性能对比Tab.1 Performance comparison of different types of AR micro-displays

4 光学组合器的研究进展

光学组合器将来自微显示器的虚拟信息和现实世界的物理景象组合在一起，决定了AR头戴式显示器的体积大小、亮度、视场、效率和眼动范围大小等。原则上，只要能将虚拟显示信息和现实物理景象组合起来的结构都可用作AR头戴式显示器的光学组合器，因此光学组合器的种类多种多样。但考虑到体积大小、可实现的图像质量和可批量生产等因素，目前AR显示常用的光学组合器主要有Birdbath结构、自由曲面反射镜结构、自由曲面棱镜结构、阵列波导结构、表面浮雕光栅结构和全息光学元件结构等6种。本节将介绍以上光学组合器结构的工作原理，主要性能指标及在AR眼镜中的应用。

4.1 Birdbath结构

Birdbath结构将来自于微显示器的光线投射到位于眼睛前方的分光镜上[46-47]，如图8（彩图见期刊电子版）中红色光线所示。分光镜同时反射和透射光线，使用户在看清现实世界的物理景象时，也可看到微显示器生成的数字影像。位于分光镜一侧的凹面镜用来反射光线，将光重新导向眼睛。

图8 Birdbath结构示意图Fig.8 Structure diagram of Birdbath optical combiner

Birdbath结构为AR眼镜提供了一种较简单的解决方案,被用于谷歌眼镜、ODG R8和R9、联想Mirage等AR头戴式显示器中。采用Birdbath结构的AR眼镜通常体积较大，视场角中等，一般为50°左右。由于分光镜为半透半反镜，光线经过分光镜时被多次反射，每次反射都会产生50%的光损，因此Birdbath结构的能量损失严重。

4.2 自由曲面反射镜结构

自由曲面反射镜结构仅使用一个曲面反射镜收集来自于微显示器和现实世界的光线[48]，如图9所示。微显示器的理想位置是与镜面平行，因此大多数基于此种结构的AR 头戴式显示器都将微显示器放置在额头上方，如Mira Prism、Meta 2和DreamGlass等AR眼镜。采用自由曲面反射镜结构的AR眼镜也具有较大体积，可实现的视场角为50°~100°。由于光线仅被反射一次，自由曲面反射镜结构的光损明显降低，远低于Birdbath结构的光损。

图9 自由曲面反射镜结构示意图Fig.9 Structure diagram of freeform mirror optical combiner

4.3 自由曲面棱镜结构

自由曲面棱镜结构巧妙地将两个折射面，一个全内反射面和一个部分反射面合并到一个元件中[49]，如图10所示，增加了结构的自由度。此种结构可以增大视场角，同时提高成像质量，但光学元件的厚度较大，且通常需要一个校正棱镜来消除环境光从自由曲面棱镜的折射。爱普生BT-300、耐德佳X2等AR眼镜采用了此种结构。将自由曲面棱镜结构与几何波导或衍射波导相结合，可以在保证图像质量的情况下减小体积，是解决光学厚度问题的一个有效途径，成为近年来的研究热点。

图10 自由曲面棱镜结构示意图Fig.10 Structure diagram of freeform prism optical combiner

4.4 阵列波导结构

为进一步减小AR头戴式显示器的体积，由多个部分反射面组成的阵列波导结构被提出[50-52]，如图11所示。来自于微显示器的光线耦合进入波导，在波导内以全反射形式传输，遇到一个部分反射面时将部分光线反射入人眼，部分透射的光则继续前进，遇到下一个部分反射面时重复上述过程，直到最后一个面将入射的光线全部反射入人眼。棱镜是最早用于将光线耦合进入波导的结构，可以将其固定在波导耦入的一端，或将波导切割成一个角度，以允许入射光进入波导管。

图11 阵列波导结构示意图Fig.11 Structure diagram of cascaded mirrors optical combiner

进一步减小阵列波导结构的厚度，可以提高透视率，且通过降低部分反射面的反射率，可使光线分布在较大的眼动范围内，这种方法被应用于Lumus AR眼镜等。但级联的反射面结构容易产生百叶窗效应。随着切割/抛光和涂层技术的发展，以及采用更好的光学设计方法，早期版本中出现的百叶窗效应已被有效降低。由于每一个部分的反射面均会形成一个出瞳，因此可以在波导板厚度很薄的情况下，进行出瞳扩展，实现大视场显示。然而，波导的全内反射角限制了结构的视场角，且多次反射容易产生杂光，使得出射光线强度分布不均匀，图像质量下降。

4.5 表面浮雕光栅结构

表面浮雕光栅(Surface Relief Gratings，SRGs)主要包括矩形光栅、倾斜光栅、闪耀光栅和模拟光栅等结构[53]，如图12所示。SRGs用于将光耦合入或耦合出光波导，且可以工作在反射和透射模式，其中反射模式下可通过在光栅结构表面涂覆金属层来提高反射效率。SRGs在可见光波段的光栅周期一般小于500 nm，因此需要采用电子束曝光等方法制备模板。模板制备好后，再通过纳米压印复刻到聚合物材料上以实现批量生产。由于空气和聚合物材料的折射率差，SRGs可实现较大的折射率调制，折射率比δn≥0.5。要降低δn，可使用聚合物材料代替空气。大δn的SRGs展现出超宽的光谱带宽和角带宽，有利于提升整体效率。

图12 各种表面浮雕光栅结构示意图[53]。(a)矩形光栅；(b)倾斜光栅；(c)闪耀光栅和(d)模拟光栅Fig.12 Structure diagram of various SRGs[53].(a)Rectangular grating;(b)slanted grating;(c) blazed grating and (d)analog grating

如图13所示，位于显示端一侧的输入耦合光栅将来自微显示器的光线衍射到波导中，衍射角大于波导全内反射临界角。衍射光线以全反射形式在波导内向人眼观察区域传输。位于眼睛前方的输出耦合光栅衍射传输来的光，使其向人眼方向传输。为了使光线分布在较大的眼动范围内，输出耦合光栅的衍射效率一般较低，且衍射效率通常呈梯度分布，以使向人眼方向传输的衍射光的强度分布更均匀[54]。

图13 光栅波导结构示意图Fig.13 Structure diagram of grating waveguide optical combiner

波导的全内反射临界角取决于波导材料的折射率大小，其限制了光在波导中传输的最小角度。波导材料的折射率越大，对应的全内反射临界角越小。此外，全内反射的最大角度一般设定为小于80°。因此，高折射率的波导材料是获得更大角度范围的关键。目前，市面上的玻璃的折射率已可达2.0，而塑料的折射率约为1.75。高折射率的波导材料虽可使视场角增加，但由于光栅的衍射特性，过大的视场角往往难以同时满足亮度分布和色彩分布的均匀性。光栅衍射方程为

其中，θin和θout分 别是入射角和衍射角，nin和nout分别是入射区域和衍射区域的折射率，m是衍射级次，Λ是光栅周期。该方程表明了波长与衍射角的关系。对于固定参数的光栅结构，不同波长的入射光会被衍射到不同的角度范围，而波导所允许的全内反射角范围对于所有的波长却是相同的。因此，如果光栅结构使绿光具有最大的视场角，那么红光和蓝光的视场角通常会被截止而变窄。为了使RGB光具有相同的视场角，通常需要3个不同的光栅结构分别将RGB光衍射到相同的角度范围。三光栅结构的单波导设计方案，可使RGB光被对应的光栅结构衍射。然而，不同光线之间的串扰，如红光被绿光对应的光栅结构衍射，成为一个主要问题。低串扰的波导设计方案通常是通过降低光栅波导组合器的光谱带宽，牺牲整体效率来实现的。为了实现高效率，双波导和三波导设计方案被采用，这也使得器件厚度相应增加[55]。

图14 给出了微软HoloLens V1头戴式显示器中使用的光学组合器结构。HoloLens V1采用了三层波导，每层波导的SRG都有不同的光栅周期，以传输特定波段的光，使其具有最大视场角[56]。为简便起见，这里只画出了两层波导及其中心区域。微显示器和人眼观察区域分别位于波导两侧。输入耦合光栅选用倾斜光栅，这是因为倾斜光栅能够作用于特定的光谱范围，同时使剩余光谱不受影响，以被位于下层波导的输入耦合光栅衍射。输出耦合光栅也选用倾斜光栅，通过优化使其在特定的入射角度范围（波导全内反射允许的角度范围）更有效地工作，同时保证透视效果不受影响。调制输出耦合光栅的深度以产生均匀的出射强度分布。输入和输出耦合光栅的倾斜角度均接近于45°，转折光栅（未画出）的倾斜角度为该角度的一半。

图14 HoloLens V1光学组合器示意图[53]Fig.14 Structure diagram of HoloLens V1 optical combiner[53]

图15 给出了Magic Leap One头戴式显示器中使用的光学组合器结构。Magic Leap One采用了六层波导，能在1 m和3 m处实现聚焦以产生3D图像[57]。同样地，为简便起见，这里也只画出了两层波导及其中心区域。微显示器和人眼观察区域位于波导同侧。这种结构中，输入耦合光栅为涂覆金属层的闪耀光栅。每层波导的输入耦合光栅在空间位置上相互错开，以传输来自LCoS显示器的不同波段的光。由于输入耦合光栅在空间位置上不重叠，因此闪耀光栅不必工作在特定的光波段。输出耦合光栅为矩形光栅，其深度也被调制以产生均匀的出射强度分布。转折光栅（未画出）也为矩形光栅，其周期在每层波导中都不相同。

图15 Magic Leap One光学组合器示意图[53]Fig.15 Structure diagram of Magic Leap One optical combiner[53]

4.6 全息光学元件结构

全息光学元件(Holographic Optical Element，HOE)是利用光全息术在记录材料薄膜上记录点光源的干涉条纹，再经过处理制成光栅条纹结构（如图16所示）的薄膜光学元件，具有光束准直、聚焦、偏转等功能。记录材料包括卤化银乳胶、重铬酸明胶、光致聚合物、液晶、光折变晶体、光致抗蚀剂和光导热塑料等[58-59]。HOE种类包括全息透镜、全息光栅、全息滤光片和全息扫描器等，其对光的衍射符合布拉格定律，只有满足布拉格条件的入射光才会被衍射，不满足布拉格条件的入射光不被衍射。HOE体积薄，重量轻，且可同时记录多个全息图，使它能够替代许多传统的光学元件，如棱镜、立方体分束器和光栅等，进一步减小AR头戴式显示器体积。近眼显示系统中，如图17所示，HOE可同时用作输入和输出耦合光栅[60-61]，将来自微显示器或空间光调制器(Spatial Light Modulator，SLM)的光导向人眼，同时在不增加额外光功率的情况下传输来自真实场景的光。

图16 光栅条纹结构示意图Fig.16 Schematic diagram of grating stripe structure

图17 全息光学元件波导组合器示意图[4]Fig.17 Schematic diagram of holographic optical element waveguide combiner[4]

离轴全息透镜和空间光调制器或MEMS激光扫描器件等可组成全息激光视网膜投影系统，如图18所示，将入射到全息透镜上的光线重新定向入射到人眼以实现虚拟图像的显示[44,62]。离轴全息透镜方案将一个全息准直透镜和一个简单的线性光栅记录在同一个全息干板上，全息准直透镜将来自光源的光束准直为平面波，并衍射进基底以进行全内反射传输，线光栅则将光束衍射出基底进入人眼。此种方案采用HOE作为组合元件，结构紧凑，视场角大，体积小，眼动范围也比较小。然而，由于全息透镜具有复杂的像差和严重的色散，因此成像效果不理想。采用离轴全息透镜方案的典型AR头戴式显示器是North Focals AR眼镜。

图18 离轴全息光学元件组合器示意图[4]Fig.18 Schematic diagram of off-axis holographic optical element combiner[4]

当记录介质厚度远大于条纹间距时，全息光栅为体全息光栅。折射率比δn较小时，体全息光栅展现出良好的光谱选择性，且通常工作在反射模式。反射体全息能避免色串扰的出现，是一种良好的白光再现全息图。全色反射体全息图可通过相位复用3个单色反射体全息图来实现，但效率较低。为提高效率和使体全息光栅能够工作在透射模式，需增大折射率比。Digilens提出了一种基于全息聚合物分散液晶(Holographic Polymer-Dispersed Liquid Crystals，HPDLCs)的体全息光栅结构,在干涉曝光下利用LCs和单体的相分离来产生折射率调制[63]。干涉曝光后，光栅结构中形成的LC纳米液滴由外加电压驱动，实现电控切换的体全息光栅。HPDLCs具有较大的折射率比，在厚度小于4μm时也可产生较强的耦合效率。虽然增大折射率比可提高效率及增大光谱带宽和角带宽，但使用现有材料一般难以实现，且大折射率比的全息光栅材料通常对环境条件（如温度和湿度等）更敏感。

增大全息光栅的厚度可使光谱带宽或角带宽变窄，不利于用于AR显示中。但全息光栅厚度增加时，可相位复用的全息图个数也将增加，可使多个布拉格衍射条件协同工作以获得较宽的光谱带宽和角带宽[53]。厚度达500μm的体全息光栅在反射和透射模式下工作良好，但需被放置在两层波导板之间。图19展示了位于波导板之间的透射体全息光栅的光线传输情况。对于输出耦合光栅，光线向下传输时，远离布拉格状态，不发生衍射；向上传输时，处于或接近布拉格状态，产生衍射光。

图19 体全息光栅波导组合器示意图Fig.19 Schematic diagram of volume holographic grating waveguide combiner

偏振体光栅(Polarization Volume Grating，PVG)是另一种基于液晶的体全息光栅[64-69]，如图20所示。PVG主要由两种方法制备获得。一种方法是利用LC材料的光定向和自组装。光定向层首先涂覆在衬底上，然后通过干涉曝光来定义面内晶轴，最后将液晶聚合物前体涂覆在曝光后的光定向层上。前体中的手性分子促使LCs在光定向层上按照记录的光栅周期自组装成螺旋结构，形成PVG。另一种方法是利用肉桂酸的光环合反应将体极化场记录到材料中。首先将含肉桂酸酯基的LC前体薄膜涂覆在衬底上，然后使用左旋和右旋圆偏光干涉曝光涂覆样品，记录三维极化场。高温退火后，双折射增加，PVG形成。上述任一种制备方法，除了折射率有所变化外，PVG的布拉格衍射都是由LC光轴的螺旋旋转形成的，这说明PVG的折射率调制δn其实是LC材料的双折射Δn。液晶显示产业的发展使得Δn可在0.05~0.4范围内变化，因此PVG的折射率比也可在较大范围内调节。PVG具有较强的偏振选择性,可用于提高效率、增大视场角和扩展出瞳等[70]。

图20 偏振体光栅结构示意图[67]Fig.20 Structure diagram of polarization volume grating[67]

表2 总结了以上光学组合器的一些性能参数及批量加工方法。Birdbath、自由曲面反射镜和自由曲面棱镜结构成像质量虽好，但体积较大，且结构视场角越大，光学镜片越厚，体积越大，限制了它们在AR头戴式显示器方面的应用。阵列波导结构具有轻薄、眼动范围大和色彩均匀的优势，设计方案成熟，具备大规模的量产能力，但目前尚未成为AR头戴式显示器的主流方案。如何充分考虑杂散光和人眼兼容性，如何控制各个膜层的反射率和透过率，如何控制镀膜工艺，以保证整个眼动范围内亮度和色彩的均匀性，是阵列波导结构的研究重点。SRG结构具有大视场和大眼动范围的优势，同时由于纳米压印的便利性，受到了越来越多的关注。但SRG目前的主要问题有：（1）效率低；（2）色彩不均匀和彩虹效应；（3）波导板两侧均有图像信息耦出；（4）纳米压印的良率问题。微软HoloLens和Magic Leap One AR头戴式显示器采用的都是SRG方案，且HoloLens是目前AR市场上的主导产品。可以说，SRG是目前AR头戴式显示器的主流方案，但还需进一步完善设计方案和提升量产良率。离轴全息透镜结构视场角大，体积轻巧，未来有可能成为消费市场的主导产品，但目前受限于眼动范围比较小，只在个别领域有所应用。体全息光栅波导结构利用全息光栅作为波导组合器的输入和输出耦合光栅，相比于阵列波导结构采用几何光学元件来耦入和耦出光线，可有效降低显示系统的厚度和重量。体全息光栅结构还具有色彩均匀性好和易于实现单片彩色波导的优势，但其采用全息干涉曝光的方法进行波导片的加工，无法进行大规模的量产。同时，做大视场角需要叠加多层全息光栅，且做彩色波导片需要高密度的曝光材料，这进一步增加了工艺难度。因此，体全息光栅波导结构在短期内也难成为AR头戴式显示器的主流方案。

表2 AR光学组合器的性能对比Tab.2 Performance comparison of AR optical combiners

5 总结与展望

AR显示技术面临的挑战是影响AR普及的主要因素。人眼视觉系统的需求为AR显示提供了定量标准，也指出了当前AR头戴式显示器中需要解决的主要问题，如分辨率、视场角、显示亮度、辐辏-调节冲突和体积大小等。分辨率的高低和视场角的大小取决于微显示芯片的尺寸，高的分辨率和大的视场角需要更大尺寸的微显示芯片。视场角越大，显示亮度需求越高，显示器也会变得更笨重。辐辏-调节冲突一般通过改变显示平面距离和提供不同显示平面等方法来解决。光学组合器将虚拟物体和真实景象相结合，决定了AR头戴式显示器的显示亮度。传统的反射式组合器成像质量较好，效率高，体积也较大。光栅波导组合器体积虽小，但显示亮度不足，且光栅衍射容易使亮度分布和色彩分布不均匀。在目前技术水平下，如何在视场角和显示亮度等指标上找到相应的平衡对AR设备至关重要。随着显示技术、光学技术和数字处理芯片的发展，未来的AR头戴式显示器必然会更加小巧和舒适，也更能满足大众消费者的需求。