一种微透镜光场相机的子孔径图像提取方法

贾 琦，王安红，武迎春，魏计林

(太原科技大学 应用科学学院，太原 030024)

传统相机在拍摄真实场景时往往不能获取场景多个视点的信息，而新型的微透镜光场相机[1]和相机阵列却可以得到场景更多的信息，例如场景的多视点信息，场景的深度信息等。相比于相机阵列，微透镜光场相机又有着无法比拟的便携性和快速性。但是，由于国内外光场相机对相关技术的保密和软件程序的不开源等问题，使得使用者无法自主获得需要的数据，例如子孔径图像的获取，深度信息的恢复，前后景的重聚焦等。因此，本文对微透镜光场相机成像系统中涉及的关键技术做了研究，特别对子孔径图像进行了系统地研究，结合光场的定义，研究阐述了子孔径图像的成像原理[3]。此外，本文采用了一个光场能量函数，并且从光学、物理学以及几何光学的角度给出了采用光场相机的四维参数化表示，四维光场获取方式。其次，本文还利用了数字图像处理的方法对光场相机的微透镜中心像素进行了标定，并对标定后图像的像素进行了提取和重排，最终实现了对光场相机子孔径图像的提取，为后续场景深度的恢复，三维场景的重建等奠定了基础。

1 光场相机基本理论

1.1 光场的定义

光场[2]的实质就是空间中全部光的具体的传播方向的集合，是携带着场景物体光学信息的。如图1所示，光场可以看作为光线的一个五维函数：L(x,y,z,θ,φ)，其中(x,y,z)代表该点空间三维坐标，(θ,φ)分别代表该点处光线的仰角和方位角。

1.2 光场的四维参数化表示

将光场五维函数降到四维，场景内一条光线同时包含了二维位置信息(u,v)和二维方向信息(θ,φ)，即光场的四维参数化表示。根据 Levoy 的光场渲染理论可以推出，空间中的任意光线都可以采用两个平行平面的双平面参数方法参数化表示所捕捉的光场，这些光线同时携带了强度和方向信息。若用(u,v)和(s,t)分别表示这条光线与两个平面交点的坐标，在(u,v,s,t)四维坐标空间中，每一条光线可表示为L(u,v,s,t)，其位置和方向信息可以由分别(u,v)和(s, t)来决定。其中，L(u,v,s,t)所对应的是场景内的一个点发射出的光线。把探测器面上每个点所接收到的来自主透镜面的全部光线进行积分，这样就整个像面(s,t)处的光照度就可表示为：

I(x,y)=∬L(u,v,s,t)dudv

(1)

图1 空间任意点的 5D 坐标表示

Fig.1 5D coordinate of arbitary special point

1.3 基于微透镜光场相机的四维光场获取

由 Levoy 的光场渲染理论可知，光场可以被两个平行平面的双平面参数方法进行参数化表示， 这些光线同时携带了二维位置信息(u,v)和二维方向信息(θ,φ).

图2 光场相机的四维参数化表示

Fig.2 4D parameteriazation of light-filed camera

图3 光场相机的内部结构图

Fig.3 Interal structure oflight-filed camera

微透镜阵列光场相机的内部结构[5]如图3所示，从主透镜面穿出的光线经过每个微透镜后投影到探测器平面形成一个子图像,子图像中每一点对应于主透镜面发出的一条光线。每幅子图像都可以看作是一个宏像素,那么每个宏像素的位置就分别对应拍摄场景的一个位置坐标(s，t)；而宏像素内的每一点则分别对应场景内被拍摄物体在该位置的方向坐标(u，v)，将这些宏像素整体组合来看，镜头孔径上每一点和每一个微透镜后的子图像共同记录了光场。

2 光场相机原图像与子孔径图像

2.1 光场相机原图像

由于微透镜光场相机拍摄的原图像格式无法直接被电脑读取转换成我们熟悉的常规图像，所以利用matlab光场相机扩展包提取并恢复出了一幅微透镜光场相机原图像，如图4所示：

图4 光场相机原图像

Fig.4 The original graph of light-filed camera

将其放大为图5，可以看到，光场图像由许多微透镜覆盖下的子图像组成的，每幅微透镜图像边缘的黑色区域是微透镜未覆盖CCD的区域。

图5 光场相机原图像放大后的图像

Fig.5 Theenlarged diagram of the original graph of light-filed camera

为了更加直观，我们将放大图简化，如图6所示，其中六边形区域表示光线通过微透镜在CCD上的成像部分，黑色区域代表未成像的区域。

图6 光场相机原图像放大后图像的简图

Fig.6 The schematic enlarged diagram of the original graph of light-filed camera

2.2 光场相机子孔径图像

由公式(1)可知，主镜头孔径和微透镜阵列的尺寸将决定四维光场中各个变量的取值范围。对公式(1)中 (u,v)的积分坐标和范围进行限定，就可以在一个小范围的成像视角中成像。所得到的图像是场景拍摄目标通过主镜头某个子孔径范围下所成的像，得到以下公式[4]：

(2)

在光场相机采集的光场数据中，其主透镜下的同一个子孔径在CCD上的成像对应于光场相机中所有微透镜单元成像区域的相同坐标。从上图7可推出，光场相机得到的子孔径图像就相当于光场相机主镜头光圈减小后成的像[7]。同理，该像也等同于微透镜阵列的像元阵列成的像。因此，我们可以得出，子孔径图像具有非常大的景深范围和微小的视差关系，而且它的信噪比也相对低一些。通过四维空间来观察二维空间，子孔径图像就等价于实际光场在水平维度上的切片[9]。

图7 子孔径图像的提取原理

Fig.7 The extraction diagram of sub-aperture graph

3 子孔径图像的提取

3.1 利用峰值检测法标定微透镜图像中心点

传统基于边缘检测和几何方法的微透镜中心标定不可用的原因在于，实际应用中，微透镜成像存在渐晕效应，每个微透镜由于生产技术水平不同，其尺寸并不是完全相同，也不一定完全是水平于CCD平面的，这样就导致了微透镜边缘模糊且微透镜图像的几何中心不一定是微透镜图像的成像中心。对此，我们采用了基于光照度的峰值检测法，由微透镜成像原理可知，光线通过微透镜时会产生汇聚作用，而通过微透镜中心点的光线会沿直线传播，所以微透镜成像中心点的亮度是最高的。因此，通过拍摄白图像的方法来检测每个微透镜图像的亮度最高的点来求得微透镜图像中心点的方法是可行的。

标定步骤如下：

1)首先利用多个光场原始数据提取出多幅光场白图像，并且把每一张白图像都加入到高斯滤波器中进行去噪处理。

2)将去噪后的多幅白图像进行求均值处理得出一幅均值白图像。

3)最后根据透镜中心点汇聚光最强的原理，找出基础白图像的中心坐标。

在进行了上述一系列工作后，我们便能够很好地找出白图像中的中心坐标，这是后续进行子孔径图像提取的基础工作。中心坐标标定的正确与否直接关系到子孔径图像提取的准确性。因此在公式(1)的基础上得出了最终的结果[3]，如图8所示：

图8 峰值检测法标定微透镜中心点

Fig.8 Micro-lens central points calibrated by peak-value inspection

3.2 子孔径图像的提取

本文中光场数据主要由Lytro光场相机获得。Lytro光场相机由六边形微透镜阵列组成，分辨率为3280×3280.其中空间分辨率为296×296,其角度分辨率为12×12.采用微透镜阵列可以将获取的光线分成许多细小的部分，这些被分化后的光线经过传感器阵列就可以将每个微透镜产生的焦点形成焦点平面。

由图5可以发现，微透镜图像的亮度是由中心向四周由亮变暗的，图像的边缘部分由于光线的汇聚作用强而导致接收的光线较少，因此我们只取图像中心区域亮度较高的部分[7]。例如，我们以微透镜图像中心点为中心取一个7×7像素的图像区域：

图9 提取微透镜图像的明亮区域

Fig.9 The bright area of micro-lens graph

将提取出的图像按原有微透镜排列次序排好，并标出中心点(图10(a)中蓝色方块)，将微透镜图像所有相同位置的像素全部提出(图10(a)中红色，黄色紫色方块)并进行重排列操作，即可得到所需视点的子孔径图像(最下方的提取像素重组图)，由图10(b)所示：

(a)需要提取的不同视点子孔径图像的像素位置

(b)将提取的相应位置的像素点进行重新排列，得到所需的子孔径图像

图10 子孔径图像提取示意图

Fig.10 The extraction schematic of sub-aperture graph

3.3 实验结果

为了更加直观的看到获得到的子孔径图像是否具有视差效果，本文随机抽取了两张子孔径图并放大。左图为Lytro相机第二行第二列的子孔径图像，右图为第二行第六列的子孔径图像。

图11 两幅子孔径图像的对比图

Fig.11 The constract of two sub=aperture graphs

将这两幅图进行对比，可以看出其中存在微小的视差，证明了本文方法的可行[8]。

4 结束语

提出一种基于光场相机的子孔径图像提取方法。在预处理图像后，采用峰值检测法对光场相机原图像中的微透镜图像进行中心标定，将中心点附近的明亮区域提取出来，得到一个n×n的微透镜图像，将其中相同位置的像素点进行提取并重新排列组合成子孔径图像。实验结果表明，我们方法在提取子孔径图像方面不仅定位精准，运算速度快，而且得到的子孔径图像具有明显可见的视差。接下来需要做的工作是运用提取的子孔径图像计算拍摄场景的深度信息、重建拍摄场景的三维环境。

参考文献：

[1] 徐晶. 基于微透镜阵列的集成成像和光场成像研究[D]. 合肥：中国科学技术大学, 2011.

[2] 周志良. 光场成像技术研究[D]. 合肥：中国科学技术大学, 2012.

[3] 张旭, 李晨. 微透镜阵列式光场成像模型及其标定方法[J]. 光学学报, 2014, 34(12):95-107.

[4] 赵兴荣. 基于光场相机深度信息获取技术的研究[D]. 太原：中北大学, 2014.

[5] 刘朝霞. 人人都是大师 光场相机技术浅析[J]. 新潮电子, 2014(8):92-93.

[6] REN N, LEVOY M, BREDIF M, et al. Light Field Photography with a Hand-Held Plenopic Camera[J]. 2005，2(11)1-11.

[7] 杨凡, 袁艳, 周志良,等. 光场相机成像质量评价方法研究[J]. 现代电子技术, 2011, 34(6):4-6.

[8] 袁艳, 周宇, 胡煌华,等. 光场相机中微透镜阵列与探测器配准误差分析[J]. 光子学报, 2010, 39(1):123-126.

[9] SHI L, HASSANIEH H, DAVIS A, et al. Light Field Reconstruction Using Sparsity in the Continuous Fourier Domain[J]. Acm Transactions on Graphics, 2014, 34(1):1-13.