谢宏斌,杨 勇,赵 星,方志良,袁小聪
(南开大学现代光学研究所光学信息技术科学教育部重点实验室,天津300071)
自19世纪初银盐感光照相技术问世,人们就开始了对三维立体摄影与显示技术的探索。在近两百年的研究和探索中,已经取得了一些突破性的成果,至今影响深远,不过由于制作工艺和技术难度的限制,许多难题尚未解决,三维立体影像技术仍然没有被广泛应用。近年来,计算机技术的飞速发展为三维立体影像技术的发展提供了良好的技术基础,立体电影已经被搬上银幕,给人们的影音娱乐方式带来了新的期望,人们迫切期待三维立体摄影与显示技术能走进寻常生活。除此之外,在商业、医学、军事等方面,三维显示技术也有重要的应用前景。因此,作为下一代的显示手段,三维显示技术的研究具有重要意义。
在过去的两百年里,为了真实记录和再现三维世界,人们做出了很多努力,其中许多方法能有效地再现三维图像。按照成像原理,三维显示大致可以分为全息和非全息两大类。全息技术是通过记录参考光和物光的干涉条纹,然后用与记录时相同的参考光来再现三维图像。这种方法的优点在于能够重现物体的光强和位相信息,从而显示具有真实深度信息的立体图像。但由于记录和再现过程(尤其是记录过程)需要相干光源这一苛刻的条件,并且再现的图像存在严重的色彩失真,因此全息技术一直没有得到广泛的应用[1-3]。相比之下,非全息技术更加容易实现,获得了许多研究人员的青睐。
非全息技术包括双目视差、集成成像、真三维体显示等。其中,真三维体显示技术是将三维物体分成二维的点阵或者切面,并将其投影到一个旋转或者抖动的屏幕上,然后通过人眼的视觉暂留效应产生立体效果[4]。由于系统构建复杂,该技术没能得到广泛应用。集成成像技术是在1908年由Lippmann提出来的,其基本原理是利用微透镜阵列或者针孔阵列记录并再现三维图像。受微透镜阵列的加工工艺限制,该技术自发明后沉寂了几十年,直到60年代,相关的制作加工技术的成熟才使得集成成像技术重新得到人们的重视。但是,由于串扰、景深、视场角和分辨率等影响显示效果,集成成像技术至今仍处于基础研究阶段[5-9]。相比之下,基于双目视差技术的三维显示技术发展较快,甚至有不少相关的三维显示产品问世。该技术的基本原理是通过特殊的光学器件,如偏振眼镜、狭缝光栅和柱面透镜光栅等,使双眼同时观看到三维物体不同视角的图像,经过人脑的信息综合,产生对三维图像的感知[10]。双目视差技术之所以能够得到广泛的应用,一方面是成像原理比较简单,另一方面是因为相关的光学器件,特别是狭缝光栅和柱面透镜光栅的制作工艺相当成熟,为该技术提供了硬件基础,使之成为自由立体显示的有效手段[11-12]。所谓自由立体显示,就是不需要借助特殊的眼镜或是头盔,人眼能直接观看三维立体图像。因此,狭缝光栅和柱面透镜光栅在现今的自由立体显示技术的研究和应用中极受关注。
基于狭缝光栅的三维裸眼显示原理和柱面透镜光栅的原理基本相同,都是首先记录三维场景不同视角的图像(这些图像之间存在一些微小的差异,即视差),然后将他们均匀分割后交替排列,合成一幅二维图像,并通过显示器(如投影仪、液晶显示器等)进行显示;最后,将狭缝光栅或者柱面透镜光栅放置于屏幕前特定位置,人们选择适当的距离就能观看到三维图像[13-14]。最初,人们只用两个视角的图像实现三维效果,如图1所示。图中显示屏上白色部分代表了左眼视角的图像,黑色部分代表了右眼视角的图像。通过狭缝光栅的遮挡作用,两个视角的图像分别进入左眼和右眼,但这样观看时人眼的活动范围受限,人眼只要稍微偏离观看位置,就会影响观看效果。后来,人们通过增加更多视角的图像,将三维图像的观察区域划分成更多的区域,使得在观看时能够拥有一定的自由度,并允许多人同时观看三维图像[15]。但这些也只是三维显示的基本应用,在实际的三维显示应用中,串扰、视场角等因素都会严重影响图像的显示效果。尽管人们已经采取了许多方法来解决这些问题,如改变液晶显示器的基本结构等,但这些方法都过于复杂,不利于推广[16-17]。与其它复杂的手段相比,狭缝光栅和柱面透镜光栅,特别是它们组合构成的新构型,在减小串扰、增强三维图像可视度方面的应用显得更加简单、灵活,有实用价值。
图1 光栅式自由立体显示器原理和结构图Fig.1 Principle and structure diagram of parallax barrier system
基于狭缝光栅和柱面透镜光栅水平视差的三维显示方案已经比较成熟,能够较好地显示三维图像,并且具有结构简单、容易实现等特点。常见的系统如图1所示,即将狭缝光栅或者柱面透镜光栅直接和液晶显示器组合。不难看出,由于二维显示器同时显示两幅甚至更多视角的图像,使得三维图像的分辨率大幅下降,并存在较大的串扰,影响显示效果。
因此,人们采用投影仪来替代液晶显示器进行显示[18]。这种投影系统通常包含多个投影仪,分别同时向银幕投影不同视角的图像,使得每个视角的图像都能保持较高的分辨率。但是,在单狭缝光栅或者柱面透镜系统的投影过程中,由于狭缝光栅和柱面透镜的制作不可避免会存在偏差,同时投影仪和它们的位置匹配有很大的难度,投影图像的边缘容易出现像差,如边缘模糊、畸变等,从而影响显示效果。为此,人们通常采用双狭缝或者双柱面透镜的结构[19],如图2所示。图中两个狭缝光栅平行排列,狭缝光栅1的作用是控制投影仪输出图像的尺寸,使其边缘更加平整、清晰,从而使投影到屏幕的图像严格和狭缝光栅2匹配,这样,通过狭缝光栅2的遮挡作用,就能观看到较为理想的三维效果。这种系统在显示三维图像时,每个视角的图像都能保持普通二维显示器的分辨率,显示屏幕尺寸能达到152.4 cm(60 in),并且能有效减小串扰。
图2 双狭缝三维显示系统的原理和结构图[19]Fig.2 Principle and structure diagram of double parallax barrier display system [19]
投影系统虽然能改善串扰和分辨率等问题,但是最基本的光栅配合液晶显示器的系统由于结构简单、造价低廉,仍是人们热衷的三维显示方案。为了克服串扰等问题,人们提出了一种“双光栅”液晶三维显示方案[20],其基本结构如图3(a)所示。该系统包括一个液晶显示器和两个栅距不同的柱面透镜光栅,两个光栅中柱面透镜的焦平面都在显示器表面上,其中,柱面透镜光栅1的栅距为液晶显示器像素尺寸的1/3。图3(b)、(c)分别表示传统单光栅系统和双柱面光栅系统对光线的控制作用。从图中可以看出,在单光栅系统中,平行光经过光栅后不会汇聚于一点,而是出现类似球差的光斑分布;而在双光栅系统中,平行光能有效汇聚于一点,这样,在三维显示时,通过柱面透镜的聚焦作用对显示器发出的光进行控制,使其更集中地照明不同视角的图像,减少大角度的光能损失,对显示器中每个像素发出的光具有更好的引导作用。同时,通过实验测量传统单光栅系统和这种双柱面透镜光栅系统中各视角图像的光强分布随观察距离变化情况,可以发现该系统具有更好的抗串扰效果。因此,这种双光栅系统在更有效利用光能的同时,结合柱面光栅2的作用,能减小串扰并扩大三维图像的可视范围。
图3 双柱面透镜光栅显示系统[20]Fig.3 Two-layer lenticular lens display system [20]
众所周知,在液晶显示器中,每个像素都由红、绿、蓝(RGB)3个子像素构成。当柱面透镜光栅竖直地和液晶显示器配合时,一方面将产生莫尔条纹[21],另一方面会将RGB三基色分开,使显示的图像中充满红、绿、蓝三色条纹,产生严重色彩混淆。为了克服柱面透镜光栅和液晶显示器贴合时产生的莫尔条纹和色彩混淆,将柱面透镜光栅倾斜 18°左右[22,23],这里的柱面透镜光栅 2 也不例外。这样,通过简单地将两个不同栅距的柱面透镜光栅顺向叠加,就能明显地增大三维图像的显示亮度,同时减小串扰,增大视场角。
图4 后交叠柱面透镜光栅显示系统[24]Fig.4 Rear-cross-lenticular 3D display system [24]
为了克服液晶显示器本身特性对三维显示效果的影响,有人提出了一种“后交叠柱面透镜光栅”三维显示系统[24]。这种“后交叠柱面透镜光栅”三维显示系统通过设计新的图像显示方法,能有效避免莫尔条纹和色彩混淆的产生,基本结构如图4所示。
该系统由背光平板、方格掩模板、两块栅距不同并正交叠加的柱面透镜光栅以及液晶显示器构成。由图4(a)可以看出,不同视角的图像不再像传统方法中纵向间歇排列,而是变成横向排列。方格掩模板的作用类似于狭缝光栅,白色部分透光而黑色部分不透光,具体原理如图4(b)(以左眼为例)所示。它和纵向光栅一齐控制背光的走向,从而使左、右视角的图像对应地进入人眼。而横向光栅则起到聚光的作用,它的栅距和视角图像的抽样间隔相同,一方面通过柱面透镜对光的汇聚作用,将背光集中地照明对应视角的图像,从而提高背光的利用率,增大三维图像的亮度;另一方面,文献[24]通过光线追迹方法与传统狭缝光栅系统对比,发现类似于双柱面透镜光栅液晶显示系统,横向光栅还能有效减小串扰,并扩大三维图像在竖直方向上的视场。该系统不同于传统光栅式三维显示器,它巧妙地利用了两块柱面透镜光栅和方格掩模板的组合结构,提高了三维图像的显示效果。
由于狭缝光栅和柱面透镜光栅只在单一方向上对光有约束作用,所以这种光栅式的三维显示系统只能适应人眼的水平布局,提供水平方向的视差信息,这对于三维图像的再现来说是不够全面的。因此,要想再现出像全息图一样较全面的三维信息,光靠这种一维排布的光栅式结构并不可行。集成成像能够记录并再现各个方向的三维信息,其根本特点在于采用了微透镜阵列这种在各个方向都能对光起约束、引导作用的器件。一方面,集成成像可以通过微透镜阵列记录三维场景,获得一系列元素图像,并通过微透镜阵列直接再现三维图像[25];另一方面,由于从微透镜阵列记录的元素图像中可以提取出三维场景的不同视角的图像,故可以对三维场景记录N×N个视角的图像,然后参照微透镜记录三维信息的方式,将不同视角的图像重新编码并合成一幅元素图像集,最后用透镜阵列显示[26]。这样一来,就可以观看到任意方向的视差信息,即所谓全视差。但是,要制作出符合要求的透镜阵列,特别是大面积的透镜阵列,并保证其中每个透镜的参数都基本一致,就目前的塑料、玻璃加工工艺水平而言,不仅造价高昂,而且有一定的难度。对此,人们提出了一些解决方法,即利用狭缝光栅和柱面透镜光栅组合来替代微透镜阵列,实现全视差的三维立体显示。
图5 狭缝光栅和柱面透镜光栅叠加构成透镜阵列[27]Fig.5 Micro-lens array based on parallax barrier and lenticular lens array[27]
对于狭缝光栅和柱面透镜光栅而言,它们只能在一个方向上控制光线的走向。特别是柱面透镜光栅,它在一个方向上具有透镜的作用,而垂直方向只相当于平行平板。如果将两种光栅相叠加,其交叠部分就能同时在水平和竖直方向上拥有透镜的特性,对光线走向进行控制,从而构成一种新型的微透镜阵列[27],能基本实现透镜阵列的功能,如图5(a)所示。通过匹配相关参数,如栅距,柱面透镜厚度、折射率和显示器像素尺寸等之间的关系可以发现,要想利用常规的柱面透镜光栅和狭缝光栅叠加构成透镜阵列,它们的栅距不能相同,且必须改变显示器每个像素的尺寸。为此,通过设计使得狭缝光栅的栅距为柱面透镜光栅的一半,同时将显示器中水平排列的两个原始像素构成一个“合成像素”,作为显示器中最小显示的单位,如图5(b)所示,一个“透镜”覆盖了4个“合成像素”,由此,通过配合新的像素分布,利用叠加的微透镜阵列就可以有效地显示具有全视差信息的三维图像,但狭缝光栅的引入不可避免地降低了显示时图像的亮度。
将两块相同的柱面透镜光栅相向叠加,也能构成正方形孔径的透镜阵列[28]如图6所示。这种方法已经在很多文献中被报道,并且有相关的实验验证了这种方法在全视差三维显示中能有效替代微透镜阵列,实现三维显示功能。
图6 柱面透镜叠加构成透镜阵列Fig.6 Cross-lenticular lens array
但是,和单光栅液晶显示系统一样,这种叠加的透镜阵列在和液晶显示器配合时也会出现莫尔条纹和色彩混淆。为此,可以将图6(a)中的透镜阵列旋转一定角度(如45°)来避免莫尔条纹的出现。此外,也可以进行非正交叠加,即构成菱形或者平行四边形的微透镜[29],但这样对应图像的编码、排列方式也要相应调整,以使合成图像中的子图像轮廓与叠加构成的透镜孔径一致。如图6(b)所示,其中的小方格代表显示器的像素分布。当柱面透镜叠加时,每个叠加透镜覆盖的像素将是图中粗线包围的区域,因此在图像编码时应按照这种图案进行设计。同时,莫尔条纹和色彩混淆的改善情况及柱面透镜叠加的角度有关。相关研究表明,当叠加角度为20~30°时,显示效果能得到明显改善[30]。
此外,由于这种透镜阵列是由柱面透镜光栅叠加而成,每个“透镜”边缘结构复杂,成像性质不理想,并且越靠近中心部分,其光学性质越接近传统透镜。因此,在三维图像显示时,每个“透镜”覆盖的图像经过相邻的“透镜”必定不能理想“成像”,这一特性将在一定程度上减小串扰的产生,从而提高三维图像的显示效果。这样,通过灵活改变柱面透镜光栅的配合方法和对应的图像编码方式,就可以实现各种自由立体显示。图7为作者利用该方法再现的立体图像,4幅图分别为不同视角观察的结果。从实验结果可以看出,各个视角观察到的图像存在明显的差异,如汽车与路障间的错位变化等。由于这种新型透镜的厚度与孔径之比较大,属于厚透镜,其视场角较小,如实验结果是由栅距为0.8 mm、厚度为3 mm的柱面透镜光栅重现的,其有效视场角为20°左右,但在视场范围内,重现的三维图像轮廓清晰,并没有出现串扰,这也验证了其具有抗串扰作用。
图7 柱面透镜光栅叠加显示立体图像Fig.7 Reconstructed 3D images with cross-lenticular lens array
根据是否能够显示全视差信息,分两方面介绍了狭缝光栅和柱面透镜光栅在自由立体显示技术中的重要应用。作为自由立体显示的有效手段,这种光栅式的显示技术发展成熟,具有重要的应用前景。此外,根据狭缝光栅和柱面透镜光栅的特殊光学性质,通过在传统的自由立体显示系统中添加各种光栅的灵活组合式结构来提高立体显示效果,如减小串扰、增大视场角、增大显示亮度、消除莫尔条纹和提供更全面的三维信息等。在当今传统透镜阵列的制作存在一定困难的情况下,基于这两种光栅的简单叠加就可以构成大面积、参数均匀、价格低廉的新型透镜阵列,亦可实现全视差自由立体显示,这对于推进全视差自由立体显示技术的发展具有重要意义。
[1]LEITH E N,UPATNIEKS J.Reconstructed wavefronts and communication theory[J].J.Opt.Soc.Am.,1962,52(10):1123-1130.
[2]MASAHIRO Y,HIROAKI S,TOSHIO H,et al..Automatic recording method for holographic three-dimensional animation[J].J.Opt.Soc.Am.,1992,A9(7):1200-1205.
[3]KETCHEL B P,HEID C A,WOOD G L,et al..Three-dimensional color holographic display[J].Appl.Opt.,1999,38(29):6159-6166.
[4]姜太平,沈春林,谭皓.真三维立体显示技术[J].中国图象图形学报,2003,8(4):361-366.JIANG T P,SHEN CH L,TAN H.Overview of the true three-dimension volumetric display technologies[J].J.Image and Graphics,2003,8(4):361-366.(in Chinese)
[5]PARK J H,HONG K H,LEE B H.Recent progress in three-dimensional information processing based on integral imaging[J].Appl.Opt.,2009,48(34):H77-H94.
[6]FUMIO O,JUN A,MASAHIRO K.Wave optical analysis of integral method for three-dimensional images[J].Opt.Lett.,2007,32(4):364-366.
[7]LIAO H,TAKEYOSHI D,KEISUKE N.Autostereoscopic 3D display with long visualization depth using referential viewing area based integral photography[J].Visualization Computer Graphics,2010,17(11):1690-1701.
[8]PIAO Y.Cross-interference reduction using spatial mapping for integral imaging[C]//Computer Sci.Information Technol.(ICCSIT),2010 3rd IEEE International Conference on,July 9-11,2010,Chengdu,China,2010:212-216.
[9]CHOI H,PARK J,KIM J.Wide-viewing-angle 3D/2D convertible display system using two display devices and a lens array[J].Opt.Express,2005,13(21):8424-8432.
[10]SON J Y,JAVIDI B.Three-dimensional imaging methods based on multiview images[J].Display Technol.,2005,1(1):125-140.
[11]JOHNSON R B,JACOBSEN G A.Advances in lenticular lens arrays for visual display[J].SPIE,2005,5874:587401.
[12]周磊,陶宇虹,王琼华,等.立体显示用柱面透镜光栅的设计[J].光子学报,2009,38(1):30-33.ZHOU L,TAO Y H,WANG Q H,et al..Design of lenticular lens in autostereoscopic display[J].Acta Photonica Sinica,2009,38(1):30-33.(in Chinese)
[13]SEXTON I.Parallax barrier display systems[C]//Stereoscopic Television IEEE Colloquium on,Oct 15,1992,London,UK,1992:5/1-5/5.
[14]PARK D H,KIM K G,LEE C H,et al..Lenticular stereoscopic imaging and displaying techniques with no special glasses[C].Proc.of IEEE International Conference on Image ProcessingICIP'95,Oct 23-26,1995,Washington,USA,1995,3:137-140.
[15]SON J Y,SAVELJEV V V,KIM J S,et al..Viewing zones in three-dimensional imaging systems based on lenticular,parallax-barrier,and microlens-array plates[J].Appl.Opt.,2004,43(26):4985-4992.
[16]CHEN C H,HUANG Y P,CHUANG S C,et al..Liquid crystal panel for high efficiency barrier type autostereoscopic three-dimensional displays[J].Appl.Opt.,2009,48(18):3446-3454.
[17]HIROTSUGU Y,MAKOTO K,SYUJI M,et al..Enlargement of viewing area of stereoscopic full-color led display by use of a parallax barrier[J].Appl.Opt.,2002,41(32):6907-6919.
[18]HARUO I,MINORU Y,DAISUKE T,et al..50-inch autostereoscopic full-color 3D TV display system[J].SPIE,1992,1669:176-185.
[19]TAO Y H,WANG Q H,GU J,et al..Autostereoscopic three-dimensional projector based on two parallax barriers[J].Opt.Lett.,2009,34(20):3220-3222.
[20]ZHAO W X,WANG Q H,WANG A H,et al..Autostereoscopic display based on two-layer lenticular lenses[J].Opt.Lett.,2010,35(24):4127-4129.
[21]朱燕林,陈瑞改,谢佳,等.光栅式自由立体显示器中莫尔条纹的形成规律[J].液晶与显示,2009,24(6):911-915.ZHU Y L,CHEN R G,XIE J,et al..Principle of Morié fringe in autostereoscopic display based on parallax barrier and lenticular lens[J].Chinese J.Liquid Crystals and Displays,2009,24(6):911-915.(in Chinese)
[22]WANG Q H,TAO Y H,LI D H,et al..3D autostereoscopic liquid crystal display based on lenticular lens[J].Chinese J.Electron Devices,2008,31(1):296-298.
[23]WANG Q H,LI X F,ZHOU L,et al..Cross-talk reduction by correcting the subpixel position in a multiview autostereoscopic three-dimensional display based on a lenticular sheet[J].Appl.Opt.,2011,50(7):B1-B5.
[24]HIDEKI M,HIROYASU N,NAOSATO T,et al..Rear-cross-lenticular 3D display without eyeglasses[J].SPIE,1998,3295:193-202.
[25]JUN A,FUMIO O,MASAHIRO K,et al..Integral three-dimensional television using a 33-megapixel imaging system[J].J.Display Technol.,2010,6(10):422-430.
[26]YUICHIT,TAKAFUMI K,KEITA T,et al..TransCAIP:A live 3 D TV system using a camera array and an integral photography display with interactive control of viewing parameters[J].IEEE T.Vis.Comput.Gr.,2009,15(5):841-852.
[27]WANG Q H,DENG H,JIAO T T,et al..Imitating micro-lens array for integral imaging[J].Chinese Opt.Lett.,2010,8(5):512-514.
[28]KIM S S,SON K H,SAVELJEV V V,et al..Printed 3D multi-view images[J].J.Opt.Society Korea,2001,5(1):29-31.
[29]SON J Y,SAVELJEV V V,KWACK K D,et al..Characteristics of pixel arrangements in various rhombuses for full-parallax three-dimensional image generation[J].Appl.Opt.,2006,45(12):2689-2696.
[30]SON J Y,SAVELJEV V V,JAVID B,et al..A method of building pixel cells with an arbitrary vertex angle[J].Opt.Eng.,2005,44(2):024003.