基于正交投影的计算光场显示

孙玉楷，牛萍娟，郭云雷，刘 雷，罗德智

(1.天津工业大学电子与信息工程学院，天津 300387；2.天津工业大学电气工程与自动化学院，天津 300387)

引言

近年来，显示技术由黑白到彩色，由模拟到数字，由普通清晰度到高清晰度，每次发展都提高人类的视觉感受。随着现代电视相关技术的不断发展，现在的电视节目制作在表现形式、制作方式、舞美设计等方面发现了很大的变化[1]。客观世界在空间以三维状态存在，深度是第三维信息。三维显示提供了三维场景的深度感知，帮助人类获取丰富信息，增加虚拟体验，三维显示技术逐渐成为研究应用热点。传统的平面显示装置，例如阴极射线管显示器、液晶显示器或等离子显示器，由于缺乏深度信息使高分辨率的数据或图像变得模糊混乱[2]。平板显示器和透镜阵列的组合替代投影机阵列以及背投式反射光路的运用，在很大程度上优化了系统结构、减少了系硬件占用空间的同时降低了开发经济成本[3]。Lippmann[4]于1908年提出集成成像，发现柱透镜阵列或微透镜阵列通过图像技术可以记录和重新构建光场。在1948年，Gobar[5]发明全息术，使用光线的波前来记录与重建光场。全息术应用于三维显示的缺点是需要激光才可以重建光场，而Denisyuk[6]改进全息术以布拉格衍射不仅对方向有选择性而且对波长有选择性为基础使用白光进行光场的重建。随着电子技术与计算机技术的革命性的快速发展，光场显示技术受到巨大的影响。集成成像利用微透镜阵列对三维场景进行记录，并通过相同参数的微透镜阵列再现出三维图像。根据光路可逆原理再现出的三维图像与原三维场景具有相同的色彩、深度等信息[7]。需要说明的是计算光场显示不同于集成成像，集成成像使用微透镜阵列或柱透镜阵列对三维场景进行采集，只可对客观存在物体进行记录，而本文提出的基于正交投影的计算光场显示，借鉴计算全息的设计理念，使用光线追迹原理渲染三维虚拟场景；并使用正交投影方式对三维场景进行采样；通过分析集成成像显示的成像振幅分布规律，抽样重组出元素图像阵列用于三维显示。

1 原理

几何光学把光源或物体看作是由许多几何点组成，并把由几何点发出的光抽象成几何线一样的光线，随着光线的传播，对于每个采样点可建立一个传播过程，只要追迹经过光学系统的光线传播，即可得到物像关系，是一种对光线采样的过程[8-9]。

1.1 光线追迹算法

光线追迹算法是生成真实感图像的主要算法之一，主要思想是追踪穿过画面的光线观察物体之间相互作用，模拟光线在环境中的传播。在自然世界中，光线从光源出发照射到物体上，被物体反射或穿过，反射光线到达人眼或照相机的镜头。而光线追迹算法是逆着光线的方向进行计算的，它从模拟的照相机出发，反向追踪光线到场景中，建立场景的图像，如图1所示。

图1 光线追迹算法流程图Fig.1 Ray tracing algorithm flow chart

1.2 光场

一个物体发出的无间断分布的辐射，可以被全光函数完整的表达，全光函数是一个七维函数，完整地描述了波长为λ，时刻t一条光线的辐射为

P=P(x,y,z,θ,φ,λ,t)

(1)

式中x,y,z,θ,φ描述了入射到点(x,y,z)、方向为(θ,φ) 的光线。假设全光函数是统计的不随时间与辐射改变的一条光线，光场可以用一个自由空间光线投射到辐射的四维函数表示为

L=L(u,v,s,t)

(2)

在式(2)中，输入一个坐标表示自由空间光线，则输出一个三成分RGB矢量辐射亮度。

传统集成成像显示方式是一种对称的光学系统，其记录阶段和显示阶段所使用的透镜阵列各个参数完全相同，在CCD前方添加成像透镜，使透镜阵列形成的元素图像阵列的尺寸与图像传感元件的尺寸相匹配。CCD可以在较大面积上非常有效、均匀地收集和转移所产生的电荷并低噪声地测量[10]。在显示阶段的像空间集成与原三维物体形貌相同的三维再现像，由于整个系统使用相同参数透镜阵列，记录得到的元素图像阵列可直接用于显示阶段。记录阶段是通过记录透镜阵列对物空间场景成像，获取物空间场景不同的分布，形成元素图像阵列。显示阶段是把元素图像阵列放在具有相同参数的透镜阵列物空间的相应位置处，根据光路可逆原理，光线通过透镜阵列重建出物空间场景，可在一个有限的视角从的任意方向观看[11]。

在传统集成成像显示中由于透镜阵列和光学图像传感元件制作过程存在缺陷，透镜阵列的尺寸也会导致衍射效应。没有考虑到环境光的影响，工作面上的照明环境是由环境光与屏幕共同组成的，当环境光在工作面上产生的照度较高，其色温与目标色温差距较大[12]。本文传统集成成像显示的基础上进一步提出正交投影计算光场显示。三维场景被抽象后的光线通过轴向子午线不会出现聚散度的改变，但通过屈光力子午线会出现聚散度的改变。

通过分析采集到的元素图像阵列振幅信息与柱透镜的成像光路可通过计算机生成用于计算光场显示的元素图像阵列。传统集成成像显示中三维场景被前端采集装置所采集并被显示装置重建显示时，三维场景之间的深度关系是反转的。本文消除深度反转影响的程序流程图如图2所示。

图2 消除深度反转流程图Fig.2 Eliminate the depth inversion flow chart

2 消除串扰

为了消除显示过程中的串扰，本文采用正交投影的方式采集构成元素图像阵列的单元图像。透视投影是从某个投射中心将物体投射到单一投影面上所得到的图形，正交投影相当于沿CCD光轴的方向将三维场景直接投影到图形平面，正交投影可以表示景物的真正尺度，如图3所示。

图3 正交投影示意图Fig.3 Orthogonal projection schematic diagram

被采集的单元图像由于角度的不同，每个角度的光强会有所差异，不同的单元图像经过抽样重组后会在边缘处存在跳变。考虑到元素图像阵列的每个像素记录着光场的方向与强度，本文使用加权平均的方法对元素图像阵列进行线性平滑滤波，消除锐化效果[13]。

利用光线追迹原理生成单元图像与经过特殊变换的元素图像阵列，是通过编码形式记录光场的方向与强度，是在计算机里通过数字方法合成的。元图像阵列的排布位置反应了光场中光线的方向，在排布位置对应的亮度振幅分布反应其强度信息。计算光场显示过程与全光学成像显示过程相同，通过光学手段得到三维再现像。计算光场显示具有在记录和再现时无需相干光源、三维图像全真色彩、观看三维图像时不存在眼睛会聚与调节不匹配的问题的优点，其显示示意如图4所示。

图4 显示示意图Fig.4 Display schematic diagram

3 实验结果与讨论

本文通过使用POV-RAY三维软件基于光线追迹原理渲染出三维场景，并利用正交投影方式对三维场景进行采样，生成用于消除串扰的单元图像，样机系统主要由一个柱透镜阵列、4 K显示屏构成，采用实验装置数据信息如表1所示。

表1 实验装置数据信息

在显微镜下对柱透镜阵列进行检测，发现无损坏且间距直径均匀可用于实验，检测效果如图5所示。

将实验系统安装调试完成，上载元素图像阵列，并在最大可视角边界处进行采样，效果如图6所示。

对显示效果进行串扰与图像光强归一化检测，分析曲线如图7所示(图中X为分辨率，H为光通量)。

图5 柱透镜阵列Fig.5 Column lens array

图6 光场显示效果Fig.6 Light field display effect

根据图7曲线，分析如下：中间区域较为平滑，串扰与光强归一化效果明显，与之比较的是未被柱透镜阵列覆盖的区域，光线方向与强度抖动区间大，不适合观看。因此，本文所设计的基于正交投影的计算光场显示消除了串扰，可以较好地展现三维场景的遮挡与深度信息，适合观察者长期观看。

图7 检测曲线Fig.7 Testing curve

4 结论

传统集成成像记录阶段和显示阶段所使用的柱透镜阵列各个参数完全相同，两个阶段是物像关系互换的过程存在深度反转问题，倒置物体间的遮挡关系，在前端采集光场过程由于柱透镜衍射和装置的限制，对成像效果造成影响。本文提出的基于正交投影的计算光场显示系统利用光线追迹方法渲染三维场景，并使用正交投影方式采集单元图像用于消除串扰，光强归一化算法处理更使观看效果大大提升。计算光场显示在借鉴计算全息处理方法的基础上进行创新，通过计算模拟记录光场方向与强度，正确反映物体之间深度关系，消除深度反转。空间分辨率损失问题依然是限制计算光场的一个问题，是我们下一步的工作重点。

[1] 谭磊. 浅谈大中型综艺演播室灯光系统的设计[J]. 照明工程学报,2017,28(3):36-40.

[2] 刘旭, 李海峰.现代投影显示技术[M].杭州：浙江大学出版社,2009.

[3] PENG Y F,LI H F,LIU X,et al. A full-parallax Compact Three Dimensional Display System Based on Spliced View field[J]. Acta Photonica Sinica, 2011, 40(9):1405-1408.

[4] LIPPMANN G.La Photographie Intégrale[M]. 1908.

[5] GABOR D. A new microscopic principle[J]. Nature, 1948.161(4098): 777.

[6] DENISYUK YN. On the reflection of optical properties of an object in a wave field of light scattered by it[J]. Doklady Akademii Nauk SSSR, 1962，144(6): 1275-1278.

[7] DENG H,LI S L,WU F, et al. Toed-in integral imaging with enhanced 3D viewing angle[J]. Optics and Precision Engineering, 2014, 22(1):1-6.

[8] 徐汝彪, 刘慎权. 光线追踪技术综述[J]. 计算机研究与发展, 1990(5):19-27.

[9] ORTIZ S, SIEDLECKI D, REMON L, et al. Three-dimensional ray tracing on Delaunay-based reconstructed surfaces.[J]. 2009, 48(20):3886-3893.

[10] 宋敏,郐新凯,郑亚茹. CCD与CMOS图像传感器探测性能比较[J]. 半导体光电,2005(1):5-9.

[11] JIAO X X. Study of Optical Pick-up System on Integral Imaging Three Dimensional DisplayTechnology[D]. Tianjin:Nankai University,2012.

[12] 陈镜羽,葛爱明. 照度及色温自适应调节的LED台灯设计[J]. 照明工程学报,2017,28(3):70-74.

[13] 徐晶. 基于微透镜阵列的集成成像和光场成像研究[D]. 合肥：中国科学技术大学, 2011.