基于斜率关联函数的弹丸位置深度估计方法

岳世强，李翰山，张晓倩

(西安工业大学电子信息工程学院，陕西 西安 710021)

0 引言

在靶场武器测试领域，弹丸的位置参数是目标毁伤效能评估的重要参数，而弹丸的深度信息为其位置参数计算提供了理论依据。弹丸的深度图像对比其灰度图像，具有三维位置信息。目前，国内外光场图像的深度估计方法主要有基于散焦、相关性线索提取焦点堆栈图像的局部深度法，基于多视角立体匹配的深度估计法和基于场景内容自适应的迭代深度估计法[1-3]。基于散焦、相关性线索提取焦点堆栈图像的局部深度方法对光场相机重聚焦后的图像进行聚焦性检测，估计出物体的局部深度信息[4-7]，应用在场景结构简单且目标距离相对较近的场景中；对于物体在场景中有时可能存在被遮挡或目标距离相对较远的场景,深度估计时的结果可能会因此出现较大的错误。基于多视角立体匹配的方法是利用物体图像的颜色一致性信息，通过构造成本量提取物体的深度信息，利用相移理论获取微阵列之间的亚像素位移，然后将中心视角与其他视角分别进行立体匹配，最后利用图割优化算法获得最终的深度图[8]；该方法获取的深度图的精度较高，但需要对每个视角下的图像进行成本构造，因此计算需要时间较长。基于场景内容自适应迭代深度估计算法采用全局优化迭代计算框架，求解不同微透镜后子图像的匹配关系以实现深度估计，获取了不同深度分辨率的重建结果[9-12]；该方法由于迭代运算，进行深度估计时间较长。本文针对快速且精准估计弹丸位置的深度信息，提出基于斜率关联函数的位置深度估计方法。

1 微阵列透镜光场成像原理

相比传统相机，光场相机在结构上增加了微阵列透镜，可以记录弹丸的位置和方向的四维光场信息，可以记录弹丸光线位置和方向信息，具有还原所记录弹丸图像场景深度信息的能力。微阵列透镜光场成像原理如图1所示。

图1 微阵列透镜光场成像原理图Fig.1 Light field imaging principle of micro array lens

图1中，多个弹丸进入光场相机的探测视场内，弹丸经过光场相机的主透镜成像，光线聚焦于微透镜阵列平面，而后经单个微透镜分散出强度和方向分量，到达探测器的探测面，在探测面形成弹丸像点,由于微透镜的重聚焦作用，弹丸在重聚焦平面形成新的像点。光场相机采集的弹丸四维光场数据经积分运算得到数字二维重聚焦图像，可以恢复出不同位置深度信息的弹丸图像，该成像模型为弹丸的深度估计提供了理论依据。

2 斜率关联函数的弹丸深度建模与估计方法

2.1 弹丸成像重聚焦与深度建模分析

光场相机的重聚焦过程是从采集的弹丸二维光场图像获取到四维光场数据，光线经过微阵列透镜重聚焦于新的像面，得到处于不同深度位置弹丸的二维图像，微阵列透镜中每个微透镜成像并在探测器平面上形成一个宏像素代表一个空间位置采样。

根据光场成像原理，弹丸重新聚焦到一个新的成像平面，即重聚焦平面，如图2所示，弹丸重聚焦平面距微阵列透镜平面的距离为L′，L′=αf；探测器平面距微阵列平面的距离为L，L=F；探测器平面上(s,t)点的光线记为LF(u,v,s,t)；由于重聚焦过程，光线所携带的四维信息变为二维信息，光线发生变化记为LαF，在重聚焦平面的光线记为Lαf(s′,t′)，光线LF与LαF实际上是微阵列与探测器间的同一条光线,其探测器平面接收到的弹丸能量可表示为：

图2 弹丸光场重聚焦示意图Fig.2 Refocusing diagram of projectile light field

(1)

弹丸在探测器平面光线信息记为LF(u,v,s,t)，将该处所有位置信息进行积分，得到重聚焦平面弹丸清晰的成像，根据重聚焦原理可以得到，与微阵列距离为αF重聚焦平面弹丸图像表达式为：

(2)

式(2)中，f为光场相机标准焦距，α为重聚焦系数。弹丸在最大聚焦度情况下，探测器平面距重聚焦平面的最大距离可表示为：

Lmax=αfm

(3)

式(3)中，fm为弹丸成像最清晰时的最大时微透镜焦距，θ为弹丸与光场相机光轴的夹角。利用透镜高斯成像原理，弹丸深度信息可表示为：

(4)

不同位置深度信息的弹丸在重聚焦作用下，在重聚焦平面上呈现清晰的像，如图2所示，得出弹丸光线信息在进行积分后，在重聚焦平面所占积分元长度s′-u与深度信息h的关系为：

(5)

由式(5)可以得出，弹丸在经过重聚焦之后，深度与在重聚焦平面所占积分元长度、微透镜焦距、重聚焦系数有关。大小不同的弹丸经过重聚焦作用在重聚焦平面所占积分元长度不同，因此大小不同弹丸在经过微阵列成像时所占微透镜数目不同。

将弹丸重聚焦模型投影到二维平面，图3中，a2为弹丸P重聚焦所占积分元长度，h为弹丸的深度信息，微阵列对同一弹丸采集到的图像之间存在视角差异，根据微阵列的结构，不同大小弹丸成像所占微阵列的长度值不同，弹丸P重聚焦所占微阵列差值的长度可表示为：

图3 弹丸所占重聚焦平面积分元与深度关系Fig.3 The area components of the refocused plane occupied by the projectile depth relationship

d=l1-l2

(6)

根据相似三角形几何推导，可以得出深度与微阵列差值的关系：

(7)

由此可见，微阵列差值d与弹丸深度h成反比，与重聚焦平面的积分元长度b成正比，即弹丸的深度信息越大，所占微阵列差值d越小，重聚焦平面的积分元长度越大。对于大小相同的弹丸，其重聚焦所占微阵列透镜数目相同，弹丸的深度信息与重聚焦平面的积分元长度存在线性关系，因此，根据弹丸的深度信息与重聚焦平面的积分元长度关系可以估计弹丸深度信息。

2.2 斜率关联函数的弹丸位置深度估计

弹丸的深度信息与弹丸在重聚焦平面的积分元长度成正比，因此，在光场相机探测视场内，处于不同位置的弹丸具有不同的深度信息。由于存在弹丸数目较多，因此构造弹丸的深度梯度平面图，反应每个弹丸的深度信息，如图4所示。

图4 任意位置弹丸深度梯度示意图Fig.4 Schematic diagram of projectile depth gradient at any position

图4中，选取处于光场相机探测视场内不同位置的弹丸A1,A2,A3,A4,重聚焦之后像点在重聚焦平面处于不同的位置，构建弹丸深度梯度平面，每个弹丸的深度信息不同，因此在深度梯度平面内不同的位置，可在深度梯度平面内插入一条直线，这条线穿过所有弹丸成像点时弹丸的深度都不同。弹丸的像点处于合焦状态，此时这条直线的斜率便反映了弹丸重聚焦所占积分元长度与深度的关系，并据此推断场景的深度与结构：单点对应一条纹理线，而纹理线的斜率可以映射出该点的深度信息。由于不同大小弹丸在重聚焦平面的积分元长度对应于不同的深度梯度平面，弹丸位置随机分布，其成像可能会存在遮挡，最小二乘法优点是可以较好地处理离群值，故我们使用最小二乘法来拟合弹丸深度梯度面，根据积分元长度值C(h,u,v)对图像拟合的公式为:

z=ux+vy+h

(8)

(9)

根据弹丸深度梯度平面图，反映了弹丸的深度信息，深度梯度平面斜率k可表示为：

(10)

式(10)中，λ表示深度梯度平面平滑算子，kuu表示深度梯度平面在u方向上的梯度，kvv表示深度梯度平面在v方向上的梯度，kuv和kvu表示深度梯度平面在u和v共同方向的梯度。根据图4，斜率k可表示为：

(11)

根据弹丸重聚焦平面的积分元s′-u与深度信息h的关系可得:

(12)

即弹丸的深度可表示为：

(13)

斜率关联函数反映弹丸深度梯度平面，可得斜率关联系数为：

(14)

式(14)中，fmax与fmin分别代表光场相机微阵列最大焦距与最小焦距，Δf表示微阵列最大焦距与最小焦距的差值，α为重聚焦系数。

深度梯度平面图斜率关联度Ri可表示为：

(15)

式(15)中，N为光场相机探测到的弹丸个数，β为光场相机的分辨率。斜率关联度Ri的大小能够体现弹丸深度估计的噪声，即可反映弹丸深度估计的精确程度。

3 实验分析

采用第一代Lytro相机，其有效光线数(即像素)为1 100万，等效焦距为35 mm,焦距范围为35～280 mm,光学变焦8倍，可多点触摸，微阵列透镜由3 560×3 560的小型微透镜排列构成，可更充分地利用空间分辨率，微透镜孔径为150 μm，焦距为3.46 mm。现场布置如图5所示，以10个螺丝钉模拟弹丸，螺丝钉后方设置以参照物，参照物距离光场相机距离为5 m,每个螺丝钉与光场相机的距离不同，距离螺丝钉一定距离设置一基准线，光场相机放置于基准线上，拍摄得到10个螺丝钉以及参照物的光场图像。为了对比本方法计算螺丝钉的深度信息的精度，将激光测距仪放置于基准线，分别测得每个螺丝钉距离基准线的垂直距离，作为实验对比数据。

图5 实验现场示意图Fig.5 Schematic diagram of experiment site

根据图5采用斜率关联函数处理得到全局深度梯度如图6所示。

图6 图像深度输出结果Fig.6 Image depth output results

图6中颜色的不同代表了螺丝钉深度信息的不同，螺丝钉距离光场相机距离越近(深度信息越小),则颜色越深，距离光场相机距离越远，颜色越浅，可以看出参照物其颜色最浅，利用采集的光场数据得到弹丸深度信息与重聚焦平面的积分元长度变化曲线如图7所示。

图7 弹丸深度信息分布图Fig.7 Distribution of projectile depth information

由图7可以得出，弹丸目标与光场相机光轴的夹角在0°～90°范围内，弹丸与光场相机光轴越近时，弹丸深度信息越大，在θ≈0°时，弹丸深度信息达到最佳，此时弹丸在重聚焦平面像点最为清晰，深度信息随着弹丸与光场相机的光轴夹角θ变大而减小。分析可知，通过弹丸在重聚焦平面的积分元长度可估计弹丸的深度信息。

采用最小二乘法对不同深度信息弹丸进行斜率梯度平面拟合，斜率梯度平面分布如图8所示。

图8 弹丸斜率梯度平面分布图Fig.8 Plane distribution of projectile slope gradient

根据图8得知，处于不同深度的弹丸在重聚焦平面的像点位置不同，斜率平面可直观反映弹丸深度信息，斜率k的变化范围为1～5，其结果与激光测距仪测得每个螺丝钉距离光场相机的距离基本吻合。

深度梯度平面图斜率关联度能够反映估计深度的精确程度，光场相机最小焦距取35 mm,最大焦距取280 mm,即Δf=245 mm，重聚焦系数α范围为0.1～1。弹丸深度梯度平面斜率关联度如图9所示。

由图9分析得知，弹丸深度梯度平面斜率关联度与光场相机焦距f与重聚焦系数α的变化呈线性关系。焦距与重聚焦系数取最小时，弹丸深度梯度平面斜率关联度为最小值0.1，此时的弹丸深度估计精确度较低；焦距与重聚焦系数取最小时，弹丸深度梯度平面斜率关联度为最大值0.9，弹丸深度估计精确度高。因此斜率关联度Ri体现了弹丸深度信息估计的精确性，为弹丸深度信息估计精度提供了参考依据。

图9 弹丸深度梯度平面斜率关联度分布图Fig.9 Distribution of correlation degree of plane slope of projectile depth gradient

本文忽略了光场相机制造参数对弹丸深度信息估计的影响，主要讨论弹丸与光场相机光轴的夹角、焦距、重聚焦系数对深度信息的影响，为了进行弹丸深度信息估计的不确定性分析，表1给出了重聚焦系数取0.5，焦距取150 mm，10个弹丸与光轴夹角取不同值情况下深度信息估计的实验数据。

表1 弹丸与光轴夹角对深度估计的影响Tab.1 Influence of angle between projectile and optical axis on depth estimation

表1中，在焦距和重聚焦系数不变的情况下，与激光测距仪测得距离作对比，实验数据表明，随着弹丸与光场相机光轴的夹角θ逐渐变大，其深度信息误差逐渐大，误差最大为6.93 mm,最小为2.67 mm。表2给出弹丸与光轴夹角、重聚焦系数不变情况下，焦距取不同值时深度信息估计的实验数据。

表2 焦距对深度信息估计的影响Tab.2 Effect of focal length on depth information estimation

表2中，在弹丸与光轴夹角和重聚焦系数不变的情况下，与激光测距仪测得距离作对比，实验数据表明，随着相机焦距的逐渐变大，其深度信息逐渐变大，误差最大为6.93 mm,最小为2.67 mm。表3给出弹丸与光轴夹角、焦距不变情况下，不同重聚焦系数下深度信息估计的实验数据。

表3 重聚焦系数对深度信息估计的影响Tab.3 Effect of refocusing coefficient on depth information estimation

续表3

表3中，在弹丸与光轴夹角和焦距不变的情况下，与激光测距仪测得距离作对比，实验数据表明，随着重聚焦的逐渐变大，其深度信息误差先变小后变大，重聚焦系数取0.5时深度信息估计达到最佳为1.38 mm，重聚焦系数相比于弹丸与光轴夹角和焦距对深度信息估计影响较小。

4 结论

本文提出基于斜率关联函数的弹丸位置深度估计方法，该方法建立了弹丸光场重聚焦与深度关系模型，给出弹丸通过光场相机测试区域任意位置时的深度信息与光场相机的焦距和重聚焦系数之间的关联，构建光场重聚焦与深度信息的数学模型，结合弹丸深度信息与弹丸所占积分元长度处于重聚焦平面的关系，推导了任意位置弹丸深度信息的解析函数，利用最小二乘法拟合弹丸深度梯度平面，结合斜率关联函数估计弹丸位置深度信息。仿真实验结果表明，光场相机焦距在35～280 mm与弹丸和光场相机光轴夹角0到π/2范围内，随着弹丸和光场相机光轴夹角和焦距的增大其弹丸深度信息误差逐渐变大，弹丸位置深度估计精度达到10%，为靶场武器测试领域弹丸深度信息的估计提供了方法。