视网膜投影显示技术研究进展

张 旭，王 梓，*，屠科锋，陈 涛，庞煜剑，吕国强，冯奇斌

（1. 合肥工业大学 仪器科学与光电工程学院，安徽 合肥230009；2. 合肥工业大学 特种显示国家工程实验室，光电技术研究院，安徽 合肥230009）

1 引 言

近眼显示器（Near eye display，NED）或头戴显示器（Head mounted display，HMD）［1-3］作为实现虚拟现实（Virtual reality，VR）［4］和增强现实（Augmented Reality，AR）［5-6］并提供沉浸式和交互式体验的基本设备，受到了研究者们的广泛关注。目前，NED 面临的一个关键问题是辐辏-聚焦冲突，用户长时间观看会导致眼睛疲劳和不适［7］。视网膜投影显示（Retinal projection displays，RPD）技术具有全景聚焦（Always in focus）的图像特征，自然化解了辐辏-聚焦冲突，是近眼显示领域的研究热点之一。

RPD 这一概念最早出现在1860 年物理学家麦克斯韦所做的一个实验中［8］。他将光源通过透镜直接成像在瞳孔中，由此观察到透镜被光线均匀地照明。这种将光源成像在瞳孔中的方法被称为麦克斯韦观察法（Maxwellian viewing）。1980 年，Webb 等人设计了一种扫描激光检眼镜，将二维扫描激光束通过瞳孔直接投射到视网膜上，并探测返回的光强来检查眼底的情况［9］。这种技术已经被广泛运用在眼科检查中。在此基础上，Kollin 等人加入图像源，开发了第一款RPD 显示器原 型［10］。随 后，RPD 技 术 开 始 受 到 企 业 界 的关注。

2010 年，日本Brother 公司在世博会上展示了一 款RPD 眼镜终端AirScouter［11］，能够提供单目AR 显示，视场角为20°（H）×11.4°（V）。2014 年，Avegant 公司发布一款具有立体影像视觉的双目RPD VR 观 影 设 备Glyph［12］。2018 年，加 拿 大 创业公司North 发布一款基于激光光束扫描（Laser beam scanning，LBS）的RPD AR 眼镜Focals，该眼镜可以在约15°的视场范围内提供300×300 分辨率的图像。微软则在2017 年展示了视场角高达80°的RPD AR 眼镜样机［13］。

由于RPD 无辐辏-聚焦冲突、高光效、大视场等优点，国内外学者近年来开展了大量的研究，并且出现了采用全息波前调控的新型RPD显示方法。本文将从原理、分类等方面对其研究进展进行概述，并对RPD 技术的发展进行了展望。

2 RPD 原理

图1 为传统RPD 的基本原理图。在图1（a）中，点光源经透镜准直后，平行照射空间光调制器（Spatial light modulator，SLM）加载数字图像信息，经目镜在人眼瞳孔处汇聚成光点，直接投射到人眼视网膜上成像，而不受人眼调焦的影响。平行光源在瞳孔处的成像产生了小于瞳孔直径的出瞳孔径，大幅增加了近眼显示系统的景深，且可以通过添加光阑进一步增加系统景深。人眼成像景深范围Δl［14］：

其中δ为视网膜最小分辨尺寸，f为人眼等效焦距，l为人眼聚焦面深度，d为瞳孔处的系统出瞳孔径大小。可见，RPD 的大景深特征来源于小出瞳孔径。

图1（b）是另一种采用LBS 方式的RPD 显示原理［15］。微机电系统（Micro-Electro-Mechanical System，MEMS）扫描镜对激光束做二维方向的扫描偏转，同时对激光束的强度进行同步调制，加载图像信息，实现激光束扫描投影。再通过目镜在人眼瞳孔处汇聚成光点，实现视网膜投影显示。LBS 方式利用激光的高准直性实现小出瞳孔径，与图1（a）中的被动式光机相比，是一种主动式的显示方法。

图1 视网膜投影原理。（a）基于SLM 的视网膜投影显示；（b）基于LBS 的视网膜投影显示。Fig. 1 Principle of RPD.（a）RPD based on SLM；（b）RPD based on LBS.

与传统直视式显示相比，RPD 将图像源直接成像到人眼瞳孔中的独特原理造就了诸多优势。第一，RPD 将近乎所有的光都汇聚到人眼中，因此系统光效很高，特别适合于户外使用。第二，通过增加目镜的数值孔径可以直接获得大视场的近眼显示。第三，RPD 的全景聚焦特征自然化解了近眼显示存在的辐辏-聚焦冲突，可以实现无视疲劳的AR 近眼显示。在某些AR 应用如车辆辅助驾驶上，驾驶员双眼对焦在车外不同距离处时均可看清虚拟图像，避免了在车外路况与虚拟图像之间来回对焦引发的风险，增加了驾驶安全性。

RPD 的景深与SLM 像素间距及图像频谱相关。如图1（a）所示，SLM 放置于目镜的前焦面上，则瞳孔位于SLM 的频谱面上。假设某一像素处的图像空间频率为ν，则其光束发散角为2 sin-1(λυ)，在瞳孔处所产生的光束宽度为2fsin-1(λυ)，f为目镜焦距。可见当SLM 像素间距越小，图像高频成分越丰富，则产生的光束宽度越大，RPD 的景深则越小。通常可以在人眼瞳孔处（即频谱面）添加小孔或增加单独的滤波系统来限制光束宽度，增加景深，但是同时会滤除图像高频信息，造成图像质量下降。因此RPD 存在景深-图像质量之间的权衡问题。

由于光线被汇聚至一点，过小的出瞳（Eyebox）尺寸使得人眼瞳孔必须正好位于光点上时才能接收到图像，而微小的偏移将导致图像消失。近眼显示中，理想的出瞳大小约为8～15 mm［16-17］，因此出瞳拓展是RPD 所要解决的关键问题。围绕该问题，国内外学者给出了形式多样的解决方案，主要分为几何光学与衍射光学两大类。

3 基于几何光学的RPD

基于几何光学的RPD 通过透镜等几何光学元件，将光束汇聚到人眼瞳孔中，向视网膜直接投射图像。Yang等人设计了基于硅基液晶（Liquid crystal on silicon，LCOS）的RPD 系统，利用准直激光束照射LCOS 后，由透镜汇聚到人眼瞳孔中［18-19］。Lin 等人采用透镜将LBS 系统的扫描光束汇聚到人眼瞳孔中，实现30°×22°视场角的RPD 显示［20］。Zhang 等人在此基础上实现31.5°视场角的RPD 与光场显示的结合［21］。Hyeongkyu等人利用针孔限制微显示器的成像光束宽度，并利用回反射膜与分光镜将光束汇聚到瞳孔中［22］。除了传统二维图像源，利用全息生成三维图像源并由透镜汇聚到人眼中，可以实现具有深度感的RPD 近眼显示［23-25］。

由于光线被透镜汇聚至一点，出瞳拓展显得尤为关键。RPD 的出瞳拓展方法可分为视点复制和视点转向。视点复制通过产生多个视点，以覆盖较大的眼动范围。如图2（a）所示，Shrestha等人提出分光镜阵列方法，使光路多次透反射后形成3×3 个间距为4 mm 的视点阵列来拓展出瞳［26］。这种视点复制方法简单有效，但需要格外注意视点间距与瞳孔直径之间的匹配。如图3 所示，视点间距小于瞳孔直径时会导致视点间串扰，视点间距大于瞳孔直径时会导致图像丢失。考虑到人眼瞳孔直径随环境光强的变化而改变，视点间距的设计面临挑战。此外，视点复制得越多，每一视点图像亮度也随之降低。

图2 视网膜投影出瞳拓展。（a）分光镜阵列；（b）机械转向镜（c）LED 阵列。Fig.2 Eyebox expansion of RPD using beam splitter array（a），steering mirror（b）and LED array（c），respectively.

图3 （a）视点间距过小导致串扰；（b）视点间距过大导致图像丢失。Fig.3 Crosstalk problem with a narrow viewpoint spacing（a）and blank image problem with wide viewpoint spacing（b）in the RPD with multiple viewpoints.

相比之下，如图2（b）所示，视点转向方法会根据瞳孔的位置动态地改变视点的位置。Jang等人采用高速机械转向镜改变光线传播方向，从而改变汇聚视点位置［27］。视点转向方法的图像亮度更高，且无需考虑视点间距与瞳孔直径的匹配，但是额外的瞳孔追踪与光线转向设备也增加了RPD 系统的复杂性。

如图2（c）所示，Hedili 等人提出一种发光二极管（Light-emitting diode ，LED）光源阵列方案来实现视点转向。根据瞳孔追踪的信息动态控制不同位置LED 发光，以生成瞳孔面不同位置的视点，从而获得一个14 mm×10 mm 大小的出瞳［28］。

另一方面，LED 光源阵列方案亦可实现视点复制。Ueno 等人提出一种LED 阵列配合高速SLM 生 成2D 视 点 阵 列 的 方 案［29］。通 过 高 速 切换LED 光源，并同步刷新SLM 上加载的图像，可以实现视点复制。该方法的特别之处在于使相邻视点加载视差图像并一同进入瞳孔，实现附加单目深度线索的超多视点显示。

4 基于衍射光学的RPD

采用几何透镜不利于光学系统的减薄，而透镜全息光学元件（HOE）作为离轴的光学组合器，可以较好地解决轻薄化问题［30-32］。如图4 所示，经过光学干涉制备的透镜HOE，作为平面光学元件，同时具备了聚焦与反射的光学效果。同时由于布拉格光栅的波长选择性，透镜HOE 对环境光的透过率接近100%。利用透镜HOE 对LBS［33］、LCOS［34］等图像源光束进行汇聚，可以实现结构紧凑、高光效的RPD 系统。

图4 基于HOE 的RPD。（a）透镜HOE 对LBS 图像源光束汇聚；（b）透镜HOE 对SLM 图像源光束汇聚。Fig.4 RPD based on HOE.（a）LBS image source beam converged by lens HOE；（b）SLM image source beam converged by lens HOE.

Maimone 等人利用全息方法生成三维图像源，并开发了基于HOE 的AR 眼镜样机，视场角达 到80°［13］。Lee 等 人 利 用 可 调 焦 液 体 透 镜 配 合透镜HOE，实现了RPD 与直视式显示的切换［35］。

与前述几何透镜RPD 的出瞳拓展类似，在基于HOE 的RPD 中，如图5（a）所示，采用透镜阵列HOE 产生点光源阵列复制视点［36］，或采用机械偏转镜偏转视点［37］是常见的出瞳拓展方法。此外，如图5（b）所示，HOE 的角度复用特性提供了另一种可能的解决方案，Kim 等人提出将多个汇聚光束记录到同一个HOE 中，从而将信号光汇聚到出瞳为9 mm×3 mm 的3 个不同视点［38］。

图5 （a）透镜阵列HOE 产生的点光源阵列；（b）多个汇聚光束记录到同一个HOE。Fig.5 （a）Point light array produced by lens array HOE；（b）Multiple converging beams are recorded to a single HOE.

为了消除可能出现的视点间串扰，Jo 等人设计了多片HOE 结构，使每片HOE 产生分离的视点，这样即使多个视点同时进入人眼也不会产生串扰［39］。

Choi 等人采用基于二维针镜阵列HOE 的薄波导系统，在对RPD 进行出瞳拓展的同时，保证了结构的紧凑型［40］。

Wang 等人将周期相同、相位相反的光栅曝光到几何相位光学元件（Pancharatnam-Berry optical element）不同区域，用于将空间光调制器出射的信号光分离成3 束不同方向的光束，3 束光经透镜汇聚后被HOE 反射，同时进入人眼，实现超多视点视网膜投影显示［41］。

近年来，具备偏振特性的体光栅器件（PVG）或液晶HOE（LCHOE）也被用于实现RPD 的出瞳拓展［42］，如图6 所示。与传统HOE 记录干涉光束的强度不同，由于液晶固有的各向异性特性，PVG对信号光的偏振态非常敏感。该特性结合液晶器件的偏振调制能力，为RPD 系统出瞳拓展提供新的可能。

图6 （a）反射式PVG；（b）透射式PVG。Fig.6 （a）Reflective PVG；（b）Transmissive PVG.

Xiong 等人利用反射式液晶全息光学元件（LCHOEs）的偏振选择特性［43］，通过控制偏振转换器（PC）动态切换入射光偏振态可以使得左手性LCHOE 与右手性LCHOE 分别发挥作用，从而实现RPD 视点位置的动态切换。

同样基于偏振选择性，Yoo 等人利用透射式偏振光栅（PG）器件与偏振转换器动态切换光束方向，配合HOE 产生两组可切换的视点，以缓解传统HOE 复制视点可能出现的视点串扰及图像丢失［44］。Shi 等人则通过调整两块PG 间距来改变视点间距，以适应人眼瞳孔大小的变化［45］。另外，为实现出瞳在二维方向的拓展，Lin等人采用两片几何相位偏转器（Pancharatnam-Berry deflectors）分别对水平和垂直两个方向进行出瞳拓展［46］。He 等人通过优化液晶达曼光栅衍射级次，获取3×3 的高均匀度彩色视点阵列［47］。

视点间距与瞳孔直径匹配，以及眼球的转动要求对视点三维坐标、数量、间距等参数实现自由、精准的操控，采用全息波前调制的方法可以很好地完成这一目标。2018 年，Takaki 等人提出一种全新的无透镜波前调控全息RPD 方法［14］，将目标图像作为振幅，乘以汇聚球面波相位，再通过菲涅尔衍射并引入参考光干涉，得到最终的振幅全息图，如图7（a）所示。这种方法摒弃了透镜的使用，直接通过SLM 波前调制实现视网膜投影。结合人眼追踪，视点三维坐标可以通过编码球面波相位进行自由精准的操控，具有无透镜像差、高系统自由度等优点。全息RPD 的全息图计算过程十分简单，对计算资源的需求较低。此外，由于使用球面波相位替代了传统随机相位，散斑噪声得到了较好的抑制。

图7 （a）全息RPD 原理；（b）采用多球面波编码的全息视网膜投影出瞳拓展；（c）共轭光项编码实现全息视网膜投影出瞳拓展。Fig.7 （a）Principle of holographic RPD；（b）Eyebox expansion of holographic RPD using multiple spherical wave encoding method；（c）Eyebox expansion of holographic RPD using conjugate wavefront encoding method.

Wang 等人理论分析了该球面波前方法中存在的景深-图像质量权衡问题，并提出一种具有不同聚焦特性的平面波前方法［48］。通过将球面波方法和平面波方法有效地结合，在保证图像质量的同时拓展了景深。

全息RPD 的灵活波前调控特性可以更为简单地实现视点复制。如图7（b）所示，Chang 等人利用乘上不同方向闪耀光栅的多个球面波相位将光线汇聚到多个视点［49］。Zhang 等人为相位全息图添加不同平面载波，并由透镜汇聚到不同视点位置［50］。同时，通过对准相邻视点的投射图像位置，实现了无缝的视点切换。Wang 等人利用振幅全息图的共轭光来拓展全息RPD 的出瞳［51］。如图7（c）所示，通过将共轭光项编码成平面波相位与目标图像的乘积，结合多平面波编码，将传统无用的共轭光干扰转化成视点阵列，实现了双倍的视点复制。此外，通过在单张全息图中编码三色RPD 波前信息，并利用数值低通滤波器消除颜色串扰，可以实现低散斑噪声的彩色动态全息RPD 显示及横向出瞳拓展［52］。与传统复制视点方法不同，全息RPD 利用波前编码实现光束汇聚、偏转及复制，可以对视点三维坐标、数量及间距灵活调控，以完美匹配瞳孔位置及大小的变化，有效解决视点串扰及图像丢失问题。

5 结 论

RPD 近眼显示具有高光效、大视场等特点，其全景聚焦特征自然化解了辐辏-聚焦冲突，可以实现无视疲劳的AR 近眼显示。针对出瞳拓展问题，几何光学方法常采用点光源阵列与机械偏转镜等手段实现视点的复制或偏转，但具备一定的复杂性。HOE 独特的角度和偏振复用特性有助于实现大视场、大出瞳的轻薄化RPD 系统。全息RPD 直接通过SLM 波前调制实现视网膜投影，可以实现对视点的自由、精准的操控。但全息RPD 系统的出瞳与视场角仍受到SLM 器件的限制。未来，通过结合全息波前调控与HOE 的优点，有望实现大视场、大出瞳、高系统自由度的轻薄化RPD 近眼显示。