基于超分辨率焦点堆栈光场成像的全聚焦图像生成研究

陈怡良 柯天星 姜鑫 彭晶

摘要：本文通过对基于光场相机三维深度信息提取关键技术进行了深入的研究，重点研究了光场相机成像原理，引入焦点堆栈这一理念，并在其基础之上得出超分辨率焦点堆栈的研究算法，在重聚焦算法的基础上，提出基于光场相机的全聚焦图像生成算法。通过轮廓提取的方法，对比所获取的重聚焦图像与所生成的全聚焦图像。实验结果表明：所提出的算法能够较好生成全聚焦图像。最后，对光场相机研究中遇到的问题进一步的分析，提出有待改进之处，并对光场相机的发展前景进行了展望。

关键词：光场相机；超分辨率；焦点堆栈；全聚焦图像

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2018）22-0139-04

1引言

长久以来，光学系统是人类获取信息最有效的方法之一，人类用眼睛捕捉现实世界的三维信息，照相机、电视等则用图像将信息保存、显示。我们可以发现，我们所观察的信息都是三维立体的，而显示却多是以二维的形式，失去了物体的深度信息，传统相机的成像局限于此，因此，实现包括对三维空间、视点、光谱以及时间信息等多维度信息的采集[1-5]。而这些信息的统合表示——全光函数[6-8]，而作为全光函数的一种简化实现——光场相机，其原理是通过在传统相机的主镜头和图像传感器间插入一块微透镜阵列，以实现利用单个相机收集多个方向的光线，来完成复杂光场信息的采集，它可以记录到达传感器的不同方向的光线，通过技术处理，甚至能够看到拍摄画面中被遮挡的部位，同时能将原本场景中巫法看不清的内容变得清晰，这引起了广大研究者的兴趣。现在的市场上，一些较为成熟的光场相机逐渐出现，诸如：手持式光场相机、Retrix光场相机、Adobe光场相机以及英特尔光场相机都在许多应用中表现出了其相较于传统相机的巨大优势。

相较于二维数字图像，光场成像因其丰富的信息量使得它的应用范围明显更加的广泛。本文所研究的：场景重聚焦技术以及场景深度计算技术[14]正是其应用的一个重要分支。场景重聚焦技术针对拍摄图像的后期处理，显著性地增大了图像的可操作性，它可以让我们在图像拍摄后重新获取聚焦在不同的焦距上，以获取不同焦距的图像，也被称为“先摄影，后聚焦”，Lytro光场相机[9]集成了这项技术并上市，该相机也是本文研究依据之一。

本文以Lytro光场相机为主要研究对象，主要对以Lytro光场相机为例的聚焦型光场相机的原理以及后期成像处理[15]进行了研究，分析了微透镜阵列的光场采集原理，并研究了后期再聚焦处理的算法，对算法的深入解析，通过对图像的景深（场景深度）变换，完成图像的全聚焦处理。

光场相机的原始图像是通过Lytro官方的重聚焦程序：Lytro Desktop所提取。再进行解码得到需要的变量获取解码图。但这仅是每个微透镜获得的图像，这些图像是没有经处理过的图像，不仅画质很低，而且每个图像所存储的信息并不多所以还需要更进一步处理才可以[10]。本文主要讨论如何能够较好生成全聚焦图像，改进方法如下：在数字重聚焦技术原理的基础上，结合焦点堆栈，引入超分辨率离散焦点堆栈变换的研究算法，从而获得光场聚焦在各个点的图像信息，并获取全聚焦图像。

2基于焦点堆栈的数字重聚焦

焦点堆栈并非一个全新的理论，它源自显微镜摄影，其本质简而言之就是一组不同焦点和不同曝光的照片的集合。其中每一张相片都有自身的曝光时间和景深，且焦点堆栈也一样，它的曝光时间等于拍摄所有堆栈中照片所花费的时间，景深[12，13]则是所有相片的景深集合。焦点堆栈具有丰富的三维信息，它已经广泛应用于图像的合成，而本文将以其完成重聚焦技术的研究与实现[10]。

2.1 数字重聚焦技术

2.2 焦点堆栈变换

通过对比可发现，相较于部分聚焦图片，全聚焦图片各部分的轮廓都清晰可见。证明全聚焦图片的生成的成功，如图4所示。

本实验在对光场相机成像做模拟的同时，对其成像算法进行了优化。同时通过大量的实验来证实了这些优化。至于如何改进光場相机的成像清晰度，本质还是要提高的还是硬件设备，在软件方面只能够进行辅助优化。随着科技的进步，硬件设备进一步优化，光场相机的前景会越来越好。

4结语

在计算机技术不断发展的现在，各式与之相关的科技不断地日新月异。本文所研究的光场相机也是其中之一。其中数字重聚焦技术是针对传统相机无法获取光线的方向信息导致成像景深不足以及难以对运动物体聚焦而采取的光场成像的弥补技术，通过引入的焦点堆栈概念对光场的数字重聚焦技术进行了解读与实践，进一步还延伸出了超分辨率焦点堆栈变换的概念和算法。最后通过轮廓提取技术将不同聚焦的图像轮廓提取出来，以轮廓图进行对比对聚焦图片的效果进行了讨论。最后，本文在撰写过程中，得到了本科学业导师李晖老师悉心的指导，在此特此感谢！

参考文献：

[1] Gershun A. The Light Field， Moscow， 1936. Translated by P. Moon and G. Timoshenko in Journal of Mathematics and Physics， Vol. XVIII， MIT， 1939： 51-151.

[2] Adelson E H， J. Y.A. Wang， Single lens stereo with a plenoptic camera， IEEE Trans. on Pattern Analysis and Machine Intelligence，1992，14（2）：99-106.

[3] M. Levoy，P. Hanrahan， Light field rendering， in Proc. 23rd Annu. Conf. Comput. Graph. Interact. Tech.， New Orleans， Louisiana， 1996， 31-42.

[4] S. J. Gortler， R. Grzeszczuk， R. Szeliski， and M. F. Cohen， The lumigraph， in Proc. 23rd Annu. Conf. Comput. Graph. Interact. Tech.， New Orleans， Louisiana， 1996， 43-54.

[5] 徐树奎，涂丹，李国辉，等. 计算机摄影综述[J]. 计算机应用研究，2010，27（11）：4032-4039.

[6] ADELSON E H，BERGEN J R. The plenoptic function and the elem ents of early vision[J]. Computational models of visual processing，1991，1（2）：121-122.

[7] A. Wenger， A. Gardner， C. Tchou， J. Unger， T. Hawkins， P. Debevec， Performance Relighting and Reflectance Transformation with Time-Multiplexed Illumination， SIGGRAPH， 2005

[8] M. G. Lippmann， Epreuves reversible donnant lasensation du relief， J. Phys.，1908（7）：821-825

[9] 燕宇杰.基于微透镜阵列的数字光场成像研究 [D].四川：电子科技大学， 2015.

[10] 聶云峰，相里斌，周志良.光场成像技术进展[J].中国科学院研究生院学报，2011，28（5）：563-572.

[11] 周文晖，林丽莉.Lytro相机的光场图像校正与重对焦方法 [J].中国图象图形学报，2014，31（8）：71-92.

[12] Jacques Duparré， Peter Dannberg， Peter Schreiber， Andreas Br?uer， and Andreas Tünnermann， Thincompound-eye camera， Applied Optics，200544（15）：2949-2956.

[13] B. Wilburn， N. Joshi， V. Vaish， E.-V. Talvala， E. Antunez， A. Barth， A. Adams， M. Horowitz， and M. Levoy， High performance imaging using large camera arrays， in Proc. 32nd Annu. Conf. Comput. Graph.Interact. Tech.， Los Angeles， CA， 2005，765-776.

[14] 赵兴荣.基于光场相机深度信息获取技术的研究[D].山西：中北大学，2014.

[15] 周文晖，林丽莉.Lytro相机的光场图像校正与重对焦方法[J].中国图象图形学报，2014，31（8）：71-92.

【通联编辑：唐一东】