基于单次曝光光场成像的全焦图像重建技术

（江南大学 理学院，江苏 无锡 214122）

引言

图像的高质量获取在现场监控、地理勘探、军事侦察以及无人驾驶等众多领域具有不可替代的作用，除了获取高分辨率的图像，大景深图像的获取同样能够提高图像采集的质量。由于景深的限制，仅仅通过光学系统的优化设计仍旧难以实现令人满意的大景深全焦成像。因此为了重建大景深全焦图像，最常用的方法是基于多聚焦图像进行图像融合生成全焦图像[1]：其主要由基于硬件的多聚焦图像源集的采集和基于软件的全焦图像的融合两部分构成。常见的多聚焦图像源集的采集方法主要包括手动调焦以及结合自动电机的自动调焦[2]两种。手动调焦受到操作精度的限制，聚焦位置不准确，且部分聚焦图源数目有限。结合电机进行自动化多聚焦操作的准确度相对于手动调焦有明显提高，但是在多次拍摄的过程中，背景信息的不一致仍会影响全焦图像生成效果。另外，这些方法依赖多次曝光，图像采集的不稳定性也会导致全焦图像重建质量的下降。

常用的全焦图像融合方法也尚待提升。Nitin S.Ambatkard 等提出了基于小波分解的多聚焦图像融合算法[3]，该算法利用离散小波变换对图像进行分解，并用最大选择原理和最小选择原理两种融合方式对分解图像进行融合分析，此方法虽然可以实现全焦融合，但是产生的全焦图像边缘模糊，高频细节丢失。Nitin S.Ambatkard 等人又对传统小波融合进行改良，提出了基于小波域方差计算的多聚焦融合算法[4]，提升了结果图的融合质量，但是仍然受到小波变换的自身缺乏局部分析能力且信息冗余过大[5]限制。Mostafa Amin-Naji等提出了神经网络（CNNs）硬投票进行多聚焦图像融合的方法[6]，此方法采用了3个不同的数据集和模型，有助于提升网络分类的准确度。杨斌等人利用卷积深度神经网络获取全焦图像并通过使用类似于平均滤波器的重构神经网络滤波器提升全焦图像的分辨率[7]，这类基于神经网络的全焦融合算法对硬件要求较高，为了保证训练精度，需要大量的输入信息。另外，基于深度索引的全焦融合算法依赖大量实验提取最优结果，操作复杂费时。探索一种全新的全焦图像重建方法，不仅不依赖多次曝光重建多聚焦图像源集，并且能够快速高质量地实现大景深全焦图像的融合，成为了全焦图像重建技术需要解决的关键问题。

为了解决上述问题，本文提出了基于单次曝光光场成像的导向滤波全焦图像重建技术：通过基于单次曝光的光场成像技术进行信息采集，经由光场重建即可得到多聚焦图像集；进而使用导向滤波方法确定各级图像融合权重，最后进行图像融合得到高质量大景深的全焦图像。在基于硬件的多聚焦图像源集的采集方面，相比于多次曝光实现多聚焦图像采集的方式，单次曝光的操作不仅具有更好的背景一致性和图像采集稳定性，而且经过后期数字重聚焦可得到大量多聚焦切片以保证图像源集的数据完整性。在基于软件的全焦图像的融合方面，导向滤波器作为一种保边的非线性滤波器，可以极大程度地保留边缘高频信息，相比于小波融合和深度图索引的方法有效保持了源图像的细节信息，能够实现更好的成像效果。本文通过实验证明了所提出的基于单次曝光光场成像的导向滤波全焦图像重建技术可以获得与传统方法相比清晰度更高、综合成像质量更好的全焦图像，因此该技术有望用于计算大景深成像等应用中。

1 原理

本文提出的基于单次曝光光场成像的导向滤波全焦图像重建技术的整体思路是，首先使用光场成像的方法采集光场图像，进而结合数字重聚焦技术解码光场图像[8]，以获得一系列多聚焦图像即多聚焦图像源集；在此基础上，结合导向滤波确定各级图像的融合权重；最后结合多聚焦图像源集及其融合权重重建大景深全焦图像。基于单次曝光光场成像[9-10]的导向滤波全焦图像重建技术的流程方法如图1所示。以下将分别从基于单次曝光光场成像的多聚焦图像源集的获取和基于导向滤波的全焦图像的重建2个方面对本文提出的基于单次曝光光场成像的导向滤波全焦图像重建技术展开详细介绍。

1.1 基于单次曝光光场成像的多聚焦图像源集的获取

传统图像传感器拍摄物体时，可以记录物体某个方向的投影强度，但是却丢失了光线的方向信息。基于波前探测的一系列成像技术虽然记录了完整的波前信息，但是这些方法依赖于相干光源，并不适用于自然光线下的被动成像模式。然而，基于微透镜阵列成像的光场成像技术能够同时记录光线的强度和方向信息，经过后期数字图像处理如光场重聚焦可以实现多聚焦图像的重建。因此，为了不依赖多次曝光重建多聚焦图像源集，本文提出的全焦图像重建技术利用可实现单次曝光的光场成像技术采集光场图像，并结合光场解码和数字重聚焦获得用于大景深全聚焦图像重建的多聚焦图像源集。

图2（a）展示了光场成像系统的原理图，光场成像在主透镜和传感器之间引入微透镜阵列平面，与其后面的传感器平面组成双平面系统，以进行光线的参数化标定。其中，图2（a）左边的平面代表微透镜平面（u-v平面），右边的平面代表传感器CCD平面（s-t平面），2个平面的间距是微透镜的焦距。

图1 本文提出的基于单次曝光光场成像的导向滤波全焦图像重建技术流程图Fig.1 Flow chart of guided filter all-in-focus image reconstruction technology based on single exposure light field imaging

图2 基于单次曝光光场成像的多聚焦图像源集的获取原理Fig.2 Principle of obtaining multi-focus image source set based on single exposure light field imaging

如图2（a）所示的一条光线穿过2个平面，交点分别为（u0，v0）和（s0，t0），这条光线可以表示为L（u0，v0，s0，t0），传感器记录的是距离为f的光线强度。图2（b）展示了光场重聚焦算法原理，经过简单的三角形相似原理可以将光线入射角度与入射强度结合起来，得到光辐射量的积分[11]如公式（1）所示。其中α是变焦倍率，f是微透镜阵列与传感器之间的间距。

根据（1）式可以得到位于某一焦面上的图像，通过改变变焦倍率α的大小，可以得到一系列对应不同焦面的图像，也就是进行后期融合需要的多聚焦图像源集。

1.2 基于导向滤波的全焦图像的重建

在获得多聚焦图像源集的基础上，计算重建得到的对应不同焦面图像的低频信息与高频信息，进而使用导向滤波方法确定各级图像融合权重，最后进行图像融合得到高质量大景深的全焦图像。

通过光场重聚焦得到一组数量为N的多聚焦图像源集，由成像原理可知，每张图像上聚焦区域不同，即每张子图像均为部分聚焦[12]图像。首先将这些多聚焦图像源集根据频率分解为低频信息层L和细节信息层H两层，如（2）式和（3）式所示，其中：IN代表了第N个源图像；LN和HN分别表示第N个图像对应的低频信息层和高频信息层；faverage是一个窗口大小为31×31的均值滤波器[13]，利用faverage对原始图像进行滤波得到低频信息，然后通过差值的方式得到高频细节信息。

根据本文提出的大景深全焦图像重建方法，全焦图像实际上是这些低频信息层和高频信息层按照不同的权重进行叠加的结果。因此，在获得源图像低频信息层和高频信息层的基础上，还需要确定对应的叠加权重。首先，按照（4）式对源图像的边缘进行提取，其中：EN代表提取的边缘信息；flaplacian为拉普拉斯滤波器[14]。值得说明的是为了增强边缘提取的效果，通过（4）式运算后，本文还通过高斯变换将边缘信息强化，强化后的边缘信息仍然用EN表示。

进而基于（5）式对每一个多聚焦图像源集计算，以求得其对应的显著图PN（i，j），其中（i，j）为图像索引。

显著图表示了不同焦面图像的清晰位置。利用这些清晰位置，结合导向滤波计算出低频信息和高频信息对应的权重图，分别如（6）式和（7）式所示。

导向滤波器[15]作为一种保边滤波器，具有良好的边缘保持能力。传统的线性滤波器如高斯滤波器[16]、拉普拉斯滤波器、Sobel 滤波器[17]等在进行图像滤波的过程[18]中往往会造成高频信息丢失。导向滤波器通过引入一张引导图像作为边缘判断标准以尽可能保留边缘信息。（6）式和（7）式中的fguide表示导向滤波器，WLN和WHN分别表示低频信息权重图和高频信息权重图，PN作为引导图像构建了滤波权重WS（PN），S代表滤波窗口。值得说明的是，在计算低频信息权重时，滤波窗口SL设置为8×8个像素以及归一化因子设置为0.32。在计算高频信息权重时，输入信息与计算低频信息权重时相同，但是滤波窗口SH尺寸变为4×4个像素，减小窗口尺寸可以防止滤波过度而造成细节信息受损，归一化因子设置为0.052。根据（6）～（7）式可以计算出对应于各个源图像的低频信息权重和高频信息权重，再根据（8）式获得归一化的低频信息权重和高频信息权重。

在根据（2）～（3）式获得低频信息和高频信息[19]以及根据（6）～（8）式获得归一化的低频信息和高频信息权重的基础上，根据（9）式按照不同的权重比例将低频信息和高频信息进行叠加即可以得到最后的融合全焦图像Ifusion。

以上详细介绍了基于单次曝光光场成像的导向滤波全焦图像重建技术的原理，为了更加清晰说明其程序结构，本文还提供了基于导向滤波的全焦图像的重建技术的伪代码，如表1所示。从数学分析和程序结构可以发现多聚焦图像源集的获取仅需要基于单次曝光的光场成像技术结合光场重聚焦便可以获得，相较于多次曝光技术而言，不仅保证了背景的一致性，同时也提升了系统的稳定性。另外，全焦图像的重建基于导向滤波，其处理速度快、重建效果好。以下将使用实验的方式验证基于单次曝光光场成像的导向滤波全焦图像重建技术的效果。

表1 全焦图像重建技术伪代码Table1 Pseudocode for all-in-focus image reconstruction technology

2 实验

为了测试本文提出的基于单次曝光光场成像的导向滤波全焦图像重建技术的实际效果，设计了如图3所示的实验。被测物为3个具有一定间距的物体，且场景内的3个物体之间存在部分遮挡，使用商业化的光场相机Lytro 1.0 拍摄光场图像。Lytro 相机的景深可以达到220 mm（30 mm～250 mm）[20]，而在实验中，样品系统的景深为79 mm，处于Lytro 相机的景深有效范围。之后，对采集到的光场信息进行解码、色彩校正以及数字重聚焦，重建得到一系列位于不同焦面的图像，作为多焦面图像源集。最终结合导向滤波对所得多聚焦图像源集进行图像融合，得到大景深全焦图像。

图3 基于单次曝光光场成像的导向滤波全焦图像重建技术的实验系统Fig.3 Experimental system of guided filter all-in-focus image reconstruction technology based on single exposure light field imaging

图4展示了基于单次曝光光场成像的多聚焦图像源集的获取结果，图4（a）是光场图像经过解码和颜色矫正的结果图，图4（b）和图4（c）是局部放大图，进一步展示了解码图像的细节信息，可以看出商用光场相机拍摄的光场图像单元是正六边形的，这样可以最大化地保证光场信息采集效率。对图4（a）的图像进行光场重聚焦可以重建获得一系列对应于不同焦面的图像，即为多聚焦图像源集，如图4（d）所示。

在获得多聚焦图像源集的基础上，使用导向滤波方法重建全焦图像，其结果如图5所示。图5（a）和图5（b）展示了多聚焦图像源集中的2 幅图像，它们分别聚焦至远景部分和近景部分，虚线所示的局部放大图如图5（d）、图5（g）、图5（e）和图5（h）所示。可以看出这些聚焦于不同焦面的图像仅有部分深度的图像具有清晰的细节，而难以实现大景深成像。图5（c）展示了基于图4（d）所示的一系列多聚焦图像源集使用本文提出的基于单次曝光光场成像的导向滤波全焦图像重建技术获得的结果，其局部放大图如图5（f）和图5（i）所示。无论是远景部分和近景部分都具有清晰的细节信息，可以看出本文提出的基于单次曝光光场成像的导向滤波全焦图像重建技术可以获得高质量的大景深全焦图像。

图4 基于单次曝光光场成像的多聚焦图像源集的获取结果Fig.4 Results of multi-focus image source set based on single exposure light field imaging

图6还比较了本文提出的基于单次曝光光场成像的导向滤波全焦图像重建技术、基于深度索引的全焦融合方法和基于小波变换[21]的全焦融合方法[22-24]的全焦图像重建效果。这里，3种方法重建所基于的多焦面图像源集一致，均为图4（d）所示基于光场成像技术获得的一系列不同焦面的图像。图6（a）展示的是使用基于深度索引算法获得的全焦图像，这里选取指定区间内41 幅源图像进行融合；由其局部放大图可知，其得到的全焦图像边缘存在明显的模糊伪像。图6（b）展示的基于小波变换方法得到的全焦图像，这里选取小波基“sym5”，同样由其局部放大图可知，该全焦图像的细节部分丢失严重，边缘部分光晕明显。相比而言，本文方法得到全焦图像如图6（c）所示，具有更多的高频细节信息，同时不存在伪像和光晕，未出现像素点偏移问题，实现了较好的融合结果。利用“Brenner”清晰度评价标准[25]计算3种重建的全焦图像的清晰度，基于深度索引的方法得到全焦图像的清晰度是7.31，以此为基础，基于小波变换方法得到的全焦图像的清晰度提高了1.92%，而本文提出的方法计算出的全焦图像的清晰度提高了13.68%，证明本文所提方法产生的全焦图像具有更高的清晰度。

图5 基于导向滤波的全焦图像的重建效果Fig.5 Reconstruction results of all-in-focus image based on guided filtering

图6 全焦图像的重建效果比较Fig.6 Comparison of different reconstruction results of allin-focus images

另外，为了分析图像融合的计算时间，并与传统的方法进行比较，我们统计了基于小波变换的全焦图像融合方法、基于深度索引的全焦图像融合方法以及本文提出的基于单次曝光光场成像的导向滤波全焦图像重建方法的计算时间。为了保证统一性，3种方法的重建清晰度保持一致，每一幅图像像素数为379×378，计算平台硬件为Intel Celeron 1007U 1.5 GHz，RAM 4 GB，计算平台软件件为Matlab 软件。为了获取全焦图像，基于小波变换的全焦图像融合方法需要4.35 s，基于深度索引的全焦图像融合方法需要6.25 s，而基于单次曝光光场成像的导向滤波全焦图像重建方法仅需要4.17 s。结果表明，基于单次曝光光场成像的导向滤波全焦图像重建方法不仅能够高质量地重建全焦图像，而且较之经典方法速度有明显提高。

根据以上实验结果可以看出，本文提出的全焦图像重建技术仅基于单次曝光拍摄的光场图像便能够重建出高质量的大景深全焦图像，而且相比于基于深度索引和小波变换的全焦融合方法，其重建大景深全焦图像具有更清晰的细节信息，因此具有更好的重建效果。

3 结论

为了避免基于多次曝光的多焦面图像源集采集方式导致的采集图像背景不统一、系统不稳定，以及常见融合算法信息冗余、操作复杂、缺乏局部分析能力、对硬件要求高的缺点，本文提出了基于单次曝光光场成像的导向滤波全焦图像重建技术。该方法首先基于单次曝光的光场成像技术进行信息采集，经由光场重聚焦即可得到多聚焦图像源集，进而使用导向滤波方法确定各级图像融合权重，最后进行图像融合得到高质量大景深的全焦图像。实验证明该方法能够实现高质量的大景深全焦图像重建，而且相比于传统的基于深度索引和小波变换的全焦融合方法，其重建大景深全焦图像具有更好的效果。考虑其具有重建质量高、单次曝光的优势，有望能够用于现场监控、地理勘探、军事侦察以及无人驾驶等需要大景深全焦图像的领域中。