基于预处理卷积神经网络提升3D 光场显示视觉分辨率的方法

于迅博，李涵宇，高 鑫，桑新柱，颜玢玢，粟曦雯，温旭东，徐 斌，王越笛

（北京邮电大学 电子工程学院，北京100876）

1 引 言

3D 光场显示技术被认为是实现裸眼3D 立体的一种非常有前途的方法。近几十年来，3D光场显示的成像技术取得了惊人的进展，为观众提供了大量机会去了解裸眼3D 显示技术。显示设备的分辨率是3D 光场显示系统中最重要的因素之一，为了进一步提高3D 光场显示的分辨率，人们做了很多努力［1-8］。3D 光场显示系统通常由平面（2D）显示设备和控光元件组成。提升分辨率的主要途径有二：一是对背光刷新模组和显示面板进行时分复用［3-4］，二是通过空分复用增加二维显示面板的分辨率［5-7］。上述两种方法的本质都是为了提高像素的数量，然而它们都大幅增加了系统的复杂度和制造难度。

除了增加像素数量，还可以通过提高视觉分辨率改进图像质量。目前有很多可行的方案来实现2D 显示系统的视觉分辨率提升［9-14］。例如通过紧凑排列多个投影仪，并对其投影区域进行特异化处理，以创造新的视觉像素［10］；通过将一对传统显示器分层，构建一个级联的显示器架构，进而产生视觉子像素［11］；基于人眼视觉系统的特点，提高预显示内容的刷新频率也可以提供更多的视觉像素［12］。最近有学者提出了新的思路，将提升视觉分辨率的方案应用到了3D 显示系 统 中［15-17］。Zhan 等 人 使 用Pancaratnam-Berry偏转器，通过叠加两个偏移的像素格来提升视觉分辨率［15］。高鑫等人设计了一个线性棱镜阵列，将原始体素阵列在对角线上一分为二，以提高视觉分辨率［16］。

前期工作中为提高视觉分辨率需要引入新的光学结构或显示设备。我们提出了一种基于深度学习优化基元图像阵列的3D 光场显示方法，该方法不需要引入额外的控光元件就可以提高视觉分辨率。在3D 光场显示的成像过程中，由于透镜存在像差，光线经过透镜会形成弥散斑。相邻像素弥散斑之间的混叠区域可被视为新的视觉像素，并作为额外的信息载体。基于这个前提，我们搭建并训练了一个卷积神经网络（CNN），以从高分辨率基元图像阵列（HEIA）中训练得到预处理的基元图像阵列（PEIA）。通过现有的透镜阵列对PEIA 进行加载显示，实现了视觉分辨率提高的3D 光场显示。在实验中，对现有的透镜阵列进行像差分析，提取其点扩散函数阵列，并用高斯分布近似替代，方便后续网络的搭建。通过使用LEIA和设计的复合透镜阵列，演示了在70°视角下具有更好视觉分辨率的光场显示。

2 基于LEIA 提升视觉分辨率

2.1 由透镜像差引起的弥散斑交叠

我们在以前的工作中提出了一个带有透镜阵列、LCD 和定向扩散膜的光场显示系统［17］。图1中画出了基本的显示单元，并结合了3D 光场显示系统的成像过程。像素1、2、3、4（表示为P1、P2、P3、P4）是LCD 上相邻的不同像素。由于透镜存在像差，使得单一像素在成像过程中形成了一个弥散斑。LCD 上两个相邻像素发出的光线经过透镜后在定向扩散膜上形成的弥散斑之间产生了交叠区域，混叠区域可以被看作是新的视觉像素。如图1 所示，新的视觉像素被标记为SP1～SP5（SP 表示亚像素）。新视觉像素的强度可以用P1、P2、P3 和P4 的强度表示。例如SP5的强度可以用公式（1）表示：

图1 由相邻像素之间交叠区域产生的新视觉像素Fig.1 New visual pixels generated by aliasing areas between adjacent pixels

Intensity(SP5)=K1·Intensity(P1)+

K2·Intensity(P2)+K3·Intensity(P3)+

K4·Intensity(P4)， （1）

其中K1、K2、K3和K4分别表示P1、P2、P3 和P4 在SP5 位置的权重系数。权重系数可以通过分析定向扩散膜上显示的弥散斑强度分布得到。

如图1 所示，在HFS 上显示的视觉像素的强度分布可以通过卷积运算来表示：

VI(x,y)=PI(x,y)*h(x,y)， （2）

其中：*代表卷积运算，VI（x，y）代表视觉像素在定向扩散膜上的强度分布，PI（x，y）代表像素在LCD 上的强度分布，h（x，y）表示对应的点扩散函数（PSF）。单一透镜下不同视场角的每个像素的PSF 可以被近似看作高斯分布，因此弥散斑的均方根半径（RMS）的2 倍可被视为等于高斯分布的半高全宽（FWHM）［18］。根据高斯公式，任意RMS 半径弥散斑的PSF 可以表示为：

其 中：R是RMS 半 径，μx是 沿x轴 方 向 的 期 望，μy是沿y轴方向的期望。当基元图像（EI）经过透镜时，透镜不同视场角下弥散斑的RMS 半径都不相同，与其对应的PSF 也不相同。基于公式（3）及上述的讨论分析，我们可以用不同的高斯分布近似替代不同视场角下的PSF。因此单一透镜下复杂繁琐的PSF 分布情况可以用一个高斯核阵列（GKA）来表示。那么EI 的成像过程可以看作是EI 的强度分布与高斯核阵列之间的卷积运算，如图2 所示。

图2 像素经过透镜的过程可被视为与高斯核的卷积Fig.2 Process of pixel blurring after passing through a lens which can be regarded as convolution with a Gaussian kernel

2.2 基于CNN 提升视觉分辨率

为了将交叠区域变成可利用的视觉像素，我们设计了一个用于分辨率增强的CNN，用于从HEIA 中获得PEIA。图3 解释了视觉分辨率增强是如何实现的。首先用虚拟相机阵列（VCA）对三维模型采集一系列高分辨率的视差图，然后以15 360×8 640（16K）的分辨率合成HEIA。

图3 使用CNN 实现视觉分辨率增强的3D 光场显示过程Fig.3 Process of using CNN to realize visual resolution enhanced 3D display

将HEIA 输入至CNN，经过CNN 的处理，得到分辨率为7 680×4 320（8K）的PEIA。输出的PEIA 被加载到LCD 面板上，经过透镜阵列的光学变换后，观众可以在定向扩散膜上观察到具有视觉分辨率增强的光场显示3D 图像。我们使用16K 分辨率的HEIA 作为网络输入的原因有二：一是真实物理分辨率与视觉分辨率目前难以通过简单的公式进行衡量，选择横向分辨率乘以2和纵向分辨率乘以2 的训练方式与文中所提的两个相邻像素相互交叠产生一个新视觉信息的模型更加契合；二是如果选用更高分辨率的合成图作为输入，将会加剧虚拟相机采集视差图时所带来的时间成本。

图4 展示了用分辨率增强的CNN 获取PEI的过程。其中HEI 作为CNN 的输入。将HEI 输入至分辨率增强的CNN 得到PEI。然后对图像依次进行双线性插值放大和卷积点扩散函数阵列操作，上述操作是模拟真实系统中的光学成像过程：双线性插值对应着像素经过透镜的放大过程，卷积对应着光线经过透镜形成弥散斑相互影响的过程。最终将仿真得到的图像与HEI 计算结构相似性差异（SSIM）作为网络的损失函数，进行梯度优化反向传播。CNN 是用TensorFlow 框架编程的，并在NVIDIA RTX 2070 GPU 上运行。当训练过程迭代到50 000 次时，所采用的网络收敛性良好。每次迭代耗时约0.036 s，总训练时间为1 800 s。CNN 中共有5 个卷积层，每个卷积层依次包括32、64、128、256 和512 个特征。

图4 分辨率增强的CNN 的示意图Fig. 4 Schematic diagram of the resolution-enhanced CNN

为了验证上述的构想，并且考虑到设计制造的难度和光学加工的成本，我们使用了实验室中现有的透镜阵列模组，其基本透镜单元为两个透镜的复合透镜，如图5（a）所示。我们对该透镜不同视场角下的弥散斑分布进行了定量分析，并使用GKA 表示了PSF 阵列。考虑到读者的直观感受，我们只列出了透镜在0°、19.7°和34.6°视场角下的弥散斑示意图和RMS 半径，如图5（b）所示。

图5 （a）复合透镜的结构参数；（b）复合透镜在3 个视角下的弥散斑分布情况（RMS 半径：0°视场角：4 035.04 μm，19.7°视场角：3 843.27 μm，34.6°视场角：4 198.41μm）。Fig. 5 （a）Structural parameters of the compound lens；（b）Spot diagrams of the compound lens in three viewing angles（RMS radius：0° viewing angle：4 035.04 μm，19.7°viewing angle：3 843.27 μm，34.6°viewing angle：4 198.41 μm）.

3 仿真和实验

我们分别使用标准分辨率图和三维街道场景来验证所提出方法的有效性。如图6 和图7 所示，通过引入基于CNN 的视觉分辨率增强方法，仿真图像的细节更加清晰。在街道场景的仿真当中可以看到，视觉分辨率有所提升，并且图像的SSIM 值也有提升。

图6 标准分辨率图的仿真结果。（a）未使用优化方法；（b）采用视觉分辨率增强方法。Fig. 6 Simulation results of standard resolution chart.（a）Without the proposed visual resolution-enhanced method；（b）With the visual resolution-enhanced method.

图7 街道场景的仿真结果。（a）高分辨率的原始图像；（b）未优化的仿真图像；（c）使用视觉分辨率增强方法的仿真图像。Fig. 7 （a）Original image with high resolution；（b）Simulation image without visual resolution-enhanced method；（c）Simulation image with the visual resolution-enhanced method.

在光学实验中，我们展示了一个由定向扩散膜、透镜阵列和LCD 组成的光场显示系统。透镜阵列被放置在距离LCD 上方8.151 mm 处，定向扩散膜被放置在透镜阵列上方180.0 mm 处。透镜阵列的规模为53×30，相邻透镜单元之间的中心距离是13 mm。LCD 的尺寸为81.28 cm（32 in），分辨率为7 680×4 320。图8 展示了从3 个角度下拍摄的实际显示图像的照片，并放大了一些局部的细节。图8 的顶部为未进行优化的3D 图像，底部为使用基于CNN 的视觉分辨率提升的3D 图像，中间两种图像之间的局部对比。很明显，在70°的视角内，由视觉分辨率增强方法产生的3D图像更加清晰，并提供了更多的街道细节信息。

图8 未使用优化方法（a）和采用视觉分辨率增强方法（b）的街道场景的三维光场显示Fig. 8 3D light field display for a street scene without the proposed visual resolution-enhanced method（a）and with the visual resolution-enhanced method（b）

4 结 论

本文提出了一种基于深度学习提升视觉分辨率的3D 光场显示方法。该方法的核心是将弥散斑的交叠区域视为新的视觉像素，并作为额外的信息载体使用。为了将交叠区域转化为可用的视觉像素，构建了一个CNN，从HEIA 中获得PEIA。将PEIA 加载到LCD 上，经过透镜阵列的光学变换和定向扩散膜的扩散作用，为观众提供视觉分辨率增强的3D 图像。在实验中，通过利用PEIA 和复合透镜阵列，实现了视觉分辨率提高的光场显示。