基于虚拟深度的聚焦型显微光场相机深度测量标定

钱天磊， 周 骛， 马原驰， 刘慧芳， 蔡小舒

（上海理工大学 能源与动力工程学院，上海 200093）

随着光学电子制造工艺和计算成像技术的发展，光场相机已逐步走入生活和科研领域。在功能方面，与传统相机相比，光场相机可同时记录光线的强度和传播方向，实现空间光场信息的采集；获得的数据可以用于数字重聚焦、三维重建、空间深度获取等诸多方面。在结构方面，与传统相机相比，光场相机在主镜头和传感器之间增加了一片微透镜阵列，用于光线传播方向的获取。

光场这一概念最早由Gershun[1]在1939 年提出，用来描述光在三维空间中的辐射传递特征。1992 年，Andelson 等[2]设计了一台单镜头的光场相机，其原理为在主镜头成像面上安装一个透镜阵列用以采集光线的角度信息，实现了光场采集和三维测量。但由于当时制造工艺限制，微透镜和传感器像元较大，其测量精度很低。Ng[3]在2006 年制造了第一台手持式的光场相机。Lumsdaine 等[4-5]设计了聚焦型光场相机，也被称为第二代光场相机。与第一代光场相机相比，聚焦型光场相机的特点是传感器所在位置与主镜头成像面关于微透镜阵列共轭。微透镜阵列与传感器组成了微型的多目视觉系统[6]，对主镜头的成像进行了二次的采集。相同硬件条件下，这一结构的光场相机空间分辨率更高。2012 年，Perwaß[7]等对聚焦型光场相机结构进行改良，用3 种不同焦距的微透镜阵列代替传统单一焦距的微透镜阵列。相比于单一焦距的微透镜阵列，3 种焦距按规律交错分布的微透镜阵列在像方的成像范围更广。在不同深度位置下，选择成像最清晰的一种微透镜进行深度测量，可提升深度测量范围。

为了实现光场相机的三维测量，对整套测量系统的标定必不可少，即将图像中提取的深度表征量与实际深度一一对应。Bok 等[8]通过拍摄棋盘格标定板，利用原始图像中的线性特征对非聚焦型光场相机进行了标定。Johannsen 等[9]通过拍摄确定倾斜角度的圆点标定板，利用21 个参数对每个圆点从物方到像方的坐标转换进行了描述。在给定部分参数的理论初始值后，采用序列二次规划（SQP）算法求解标定模型，对装配大景深单反镜头的聚焦型光场相机进行了标定。Sun 等[10]通过拍摄倾斜的棋盘格标定板，利用共轭关系将图像上的点坐标转换到虚拟像点坐标，采用张正友标定法[11]，对大景深的聚焦型光场成像系统进行了标定。

在标定聚焦型显微光场相机时，由于其主镜头景深浅、深度测量范围小的特点，利用倾斜角度的标定板进行标定时，标定板初始位置难以确保与成像面完全平行，实际倾斜角度很难精确确定；而成像系统深度测量范围小，标定板在深度测量范围内可倾斜角度小，难以进一步精确细分倾角来拍摄足够数量的标定图像来进行相机标定。本文通过平移拍摄不同深度下的单一角点标定板进行标定，利用图像匹配算法，计算得到相邻重复成像点的间距与虚拟深度，并将虚拟深度与实际深度进行拟合。通过验证性实验，并与商业软件深度测量结果对比，证明这一标定方法的准确性。

1 标定原理

1.1 聚焦型光场相机成像模型

根据微透镜阵列在主镜头成像面的前后位置不同，聚焦型光场相机又可细分为两种结构[12]，如图1 所示。分析图1（a）可知，当测量点从主镜头工作距离逐步远离主镜头时，光线的出射孔径角会逐渐增大，像面逐渐前移，所投射到的微透镜则会越来越少。当被投射的透镜少于2 个时，无法进行深度测量。因此，图1（a）所示结构的聚焦型光场相机测量范围位于主镜头工作距离前向，图1（b）则与之相反。采用图1（a）结构的聚焦型光场相机，对图2（a）所示图形在不同深度位置下拍摄，得到一系列光场图像。初始位置在主镜头工作距离附近，所获得的光场原始图像如图2（b）所示。当物体远离初始位置1 mm 时，如图2（c）所示，微透镜下的成像无法提取出特征信息进行深度测量。图2（d）～（f）为从初始位置逐步靠近主镜头拍摄得到的光场原始图像。由变化趋势可见该光场相机的微透镜阵列在主镜头成像面前，且通过微透镜对应的宏像素图像可发现，微透镜阵列为3 种不同焦距的透镜规律排布而成。

图1 两种不同结构聚焦型光场相机Fig.1 Two focused light-field cameras with different structures

图2 同一物体在不同深度位置下的光场图像Fig.2 Light-field images at different depths from the same object

1.2 虚拟深度与实际深度函数关系推导

为了便于虚拟深度与实际深度间关系式的推导，一般将主镜头成像简化为薄透镜成像模型，微透镜成像简化为针孔成像模型[13]。光场成像原理简图如图3 所示，l 为物面到主镜头的距离，即物体实际深度，l’为主镜头到虚拟清晰像面的距离，m 为主镜头到微透镜阵列的距离，a 为微透镜到传感器的距离，b 为微透镜到像面的距离，D 表示重复像点间距离，d 表示2 个重复像点所对应的微透镜中心距离。

主镜头成像符合高斯公式

式中，f 为主镜头焦距。

只要求解得到l’，即可通过式（1）计算出深度l。而l’符合等式

主镜头到微透镜的距离m 为未知常量，微透镜到像面的距离b 为未知变量，是商业相机内部参数。引入一个无量纲参数虚拟深度v[14]。

分析图3 中的几何相似关系可以得到

将式（3）代入式（4），可得

图3 聚焦型光场相机深度测量原理简图Fig.3 Principle of depth estimation by the focused light-field camera

因此，通过提取原始图像中的特征点，获取其相邻重复像点的间距D，即可计算得到虚拟深度v。联立等式（1）～（3）可得

式（6）描述了虚拟深度v 与物体实际深度l 间的函数关系：l 为关于v 的含有3 个未知常量的反比例函数。通过拍摄多组深度下的图像，得到多组（l, v）并进行拟合，即可求解得到未知参数，完成测量系统的标定。考虑实际主镜头为透镜组，设l0为物面到主镜头前端面距离，Δl 为主镜头前端面到等效主平面的距离。

将式（7）代入式（6），可得

由于Δl 与a，m，f 同样为未知常量，将Δl 合并入分式，可以得到式（8）的函数形式为

式中：x 为自变量；f (x)为因变量；p1，p2，q1为3 个未知常量。

式（9）与式（6）的函数形式相同，为含有3 个未知常量的反比例函数。因此，主镜头等效主平面位置不影响实际深度与虚拟深度的函数关系形式，可以用物面到主镜头前端面距离l0代替实际物距l 进行标定与拟合，式（6）具有通用性。

2 标定实验

2.1 实验装置

图4 聚焦型显微光场相机标定系统示意图Fig.4 Schematic of the calibration system for the focused micro light-field camera

实验装置如图4 所示，采用Raytrix 公司生产的R12 Micro 光场相机，微透镜光圈大小为F26；配合主镜头为型号VSZ-0745CO 的可变倍镜头，光圈为无级调节，调节范围包含F26。选取主镜头的放大倍率为2.8×，光阑完全打开，相邻宏像素相切但不重叠，满足主镜头与微透镜光圈相匹配[7]的原则。在这一成像条件下，主镜头景深约0.2 mm，工作距离为100 mm。在工作距离附近固定标定板，作为起始位置。分析式（6）可知，理论上只需拍摄3 个不同深度位置的标定板图像，即可求解得到未知参数。为了提高标定结果的准确性，本文将位移平台在5 mm 深度范围内，以0.2 mm 为步长朝主镜头方向移动标定板，每移动一次标定板，拍摄一张标定板图像并记录下对应的深度，共拍摄26 张标定图像。

2.2 标定图像处理及结果

使用的光场相机微透镜阵列中存在3 种不同焦距的微透镜，其分布规律如图5 所示，数字1，2，3 分别标记了这3 种微透镜。本文选用的图像处理软件为MATLAB。选择对比度较高、成像较清晰的一种透镜，在其宏像素下选取特征区域，并记录特征区的顶点坐标（x1, y1）。利用MATLAB中基于最小距离分类器的模板匹配算法[15]可匹配到相近同种微透镜下的特征区，并获得其顶点坐标为（x2, y2）。通过两者的坐标差，可以计算得到D，并根据式（5）进一步获得v。

图5 3 种不同焦距的微透镜及特征区域匹配Fig.5 Microlens with three different focal lengths and image matching

根据式（6），在MATLAB 平台上选用式（9）所示的反比例函数对标定实验的一组（l，v）数据进行拟合，结果如图6 所示。实验标定深度范围为95～100 mm，拟合公式确定系数为0.984 9。

图6 拟合曲线得到的虚拟深度与实际深度关系Fig. 6 Functional velation between virtual depth and real depth by curve fitting

综上，聚焦型显微光场相机的标定步骤如下：

a. 通过在主镜头工作距离前后平移标定板，分析不同深度位置下的成像，确定所要标定的聚焦型显微光场相机成像模型与深度测量区（微透镜阵列在主镜头成像面前或者后，深度测量区在主镜头工作距离位置前向或者后向）；

b. 选择单一角点的标定板，使拍摄视场内仅出现一个深度的特征点。确定标定的深度范围和初始位置，拍摄不同深度下的标定板图像；

c. 在每一幅光场原始图像中，选择成像质量最佳的微透镜下的特征区域，通过图像匹配算法获得相邻重复像点的间距D，并计算虚拟深度v；

d. 将虚拟深度v 与实际深度l 一一对应，选择反比例函数模型进行曲线拟合，获得函数关系式；

e. 得到系统参数。

3 深度测量分辨率与测量误差

3.1 深度测量分辨率分析

分析图6 可以发现，对本文中的测量系统，在深度处于95.0～97.6 mm 范围内出现了多个实际深度l 对应一个虚拟深度v 的现象，造成这一现象的原因是当深度测量点逐渐靠近主镜头时，出射孔径角的变化量越来越小，重复成像点间距的变化量ΔD 也随之越来越小，当ΔD 小于一个像素时，就无法分辨出物方深度的变化，达到了基于此标定方法的深度测量分辨率极限。将式（5）代入标定函数式，可得深度l 与重复像点间距离的关系式

由ΔD 大于等于1 个像素得到

化简后得到

图7 为主镜头前端95～100 mm 范围内的深度测量分辨率曲线，Δl 为深度测量分辨率。分析图7 曲线，当l＜97.8 mm 时，Δl 超过了0.5 mm。而标定实验中，选取的步长为0.2 mm，小于该深度下的深度测量分辨率，从而造成了多个实际深度对应同一虚拟深度的现象。

图7 不同深度下的深度测量分辨率Fig. 7 Resolution of depth estimation at different depth positions

图8 深度测量误差分析实验系统示意图Fig.8 Diagram of the experiment system for the analysis of depth measurement error

3.2 测量误差分析实验

在本文的标定实验中，由于实验中难以精确获得物体离镜头前端面的实际距离，本文对深度差值的测量误差进行分析。如图8 所示，采用1 mm×1 mm 的棋盘格标定板，通过旋转平台将标定板倾斜一定的角度即可获取两角点间的深度距离。由于安装标定板时难以确保其处于平行面，且很难通过更精确的测量方法获取真实的初始倾斜角度，本文通过深度测量的方式确定标定板在旋转前的初始倾角，并依据该深度位置下的深度测量分辨率计算初始倾角的误差。拍摄一张旋转前的图片，选取棋盘格上同一行间距为3 mm 两个角点。通过深度计算公式，得到两个角点在初始位置时深度分别为99.927 mm 与99.837 mm，深度测量分辨率分别为0.066 mm 与0.076 mm。选择分辨率较大值0.076 mm 作为误差，则相对深度为0.090±0.076 mm，且通过三角函数关系可以得到初始倾角θ0为1.7±1.5°。利用旋转平台将标定板倾斜20°，标定板所在平面与平行面的夹角为21.7±1.5°。旋转后，间距3 mm 两个角点的实际深度距离间隔为1.11±0.07 mm，在后续误差分析中以1.11 mm 作为真实值进行对比。将倾斜后的标定板在主镜头工作距离附近固定，通过位移平台在5 mm 范围内以0.2 mm 为步长移动标定板，拍摄每个深度位置下的图像。

基于图6 中的标定数据，测量上述拍摄图像中两个角点的相对深度，并与相对深度值1.11 mm进行比较，得到测量误差，如图9 所示。将实验的处理结果与商业软件的处理结果进行了对比。在97.4～100 mm 范围内，两者测量误差随深度变化的趋势基本一致，且本文标定方法的深度测量误差略小于商业软件的测量误差。当深度小于97.4 mm 时，深度测量分辨率较快下降，对相对深度测量的误差影响较大，不适合进行深度测量。考虑到在98～100 mm 深度范围内误差小于5.35%，具有较高的深度测量精度，可认为该范围为系统的测量范围。

图9 不同深度位置下的深度测量误差Fig. 9 Depth measurement error at different depth positions

4 结 论

对聚焦型显微光场相机进行了基于虚拟深度的深度测量标定及误差分析，得到以下结论：基于高斯光学理论，推导出深度表征量虚拟深度与实际深度成反比例函数关系，并证明这一函数关系对薄透镜和透镜组均适用。基于光场相机Raytrix R12 Micro 搭建了显微光场成像系统，通过拍摄不同深度位置的单一角点标定板，对成像系统进行了深度测量的标定。基于标定得到的数据，对上述光场成像系统在不同深度位置下的深度分辨率进行了分析，深度测量分辨率最小可达57.8 μm。通过拍摄已知倾斜角度的棋盘格标定板，对不同深度位置下的深度测量误差进行分析，在该系统主镜头工作距离前向2 mm（10 倍景深）范围内，测量误差小于5.35%，说明本文所提出的深度测量和相应的标定方法可行可靠。