一种光场图像空间和角度分辨率重建方法

郑祥祥　张治安

摘要：光场相机能够通过一次拍摄获取包含空间和角度的四维信息。然而，光场图像空间分辨率较低，角度分辨率也无法满足应用需求。针对此问题，提出一种基于卷积神经网络的光场图像超分辨率重建方法，同时提高光场图像的空间分辨率和角度分辨率。首先通过空间分辨率重建网络恢复子孔径图像的高频细节，然后根据子孔径图像位置，设计三种不同的角度分辨率重建网络在子孔径图像间插入新的视角。实验结果表明，该文方法与其他先进方法相比，在定性和定量评价方面均取得较好的重建效果。

关键词：超分辨率重建；光场；卷积神经网络；空间分辨率；角度分辨率

1概述

光场成像作为一种新型成像技术，与传统的二维成像技术相比，不仅记录了光线的位置信息，还记录了光线的方向信息，具有先拍照后聚焦的独特优势。因此，光场成像已成为成像领域的研究热点之一，并在计算机视觉领域得到广泛应用，如显著性检测、深度估计、目标检测与识别等。

光场相机通过在主透镜和图像传感器之间插入微透镜阵列实现对四维光场的采集，但是由于传感器分辨率的限制，光场相机通过牺牲角度分辨率来换取角度分辨率。目前，光场相机一般具有较小的角度分辨率，且其空间分辨率也远低于传统相机，提高光场图像的分辨率对充分发挥光场相机的优势十分必要。

Bishop等人首次提出了光场图像的超分辨率重建，利用深度图和精确的相机内部参数构建微透镜阵列光场相机成像模型，应用盲反卷积对光场进行恢复；Wanner和Goldluecke提出在TV框架下，利用光场EPI（EpipolarPlane Image）提取深度信息，将贝叶斯框架下的MAP估计作为数据项，TV模型作为能量函数的先验模型进行超分辨率重建；Mitra等人分析了EPI的低秩性与视差之间的关系，提出以混合高斯模型作为先验的超分辨率重建方法。然而，光场图像间基线较窄且受到微透镜畸变、渐晕等效应的影响，这些因素限制了上述方法的应用。

近年来，深度学习尤其是卷积神经网络（Convolutional Neural Network，CNN）由于其出色的学习能力，已经被成功地运用到超分辨率重建、图像理解等应用。Dong等人将稀疏表示与多层非线性操作联系起来，将CNN用于单幅图像的超分辨率重建。Liao等人提出一种基于CNN的视频超分辨率重建方法，先通过不同的光流估计参数得到输入视频序列的不同融合结果，然后通过CNN得到每个图像块的最佳融合结果，从而重建出高分辨率图像。Yoon等人首次提出基于CNN的光场数据超分辨率重建，其网络可分为空间分辨率重建卷积神经网络和角度分辨率重建卷积神经网络，空间分辨率重建卷积神经网络类似于文献，没有充分利用多视角图像间的有用信息对空间分辨率进行重建。

针對上述问题，本文设计了一种基于卷积神经网络的光场超分辨率重建方法，其网络结构如图1所示，该方法首先利用文献处理视频帧间信息的优势，通过CNN挖掘光场多视角图像之间的有用信息，对光场图像进行空间分辨率的重建，然后将重建后的多视角图像作为输入进行角度分辨率的重建。实验结果表明，本文方法相对目前现有光场超分辨率重建方法，在定量指标和定性评价上均有所提升。