散焦图像的深度恢复方法综述

吴秋峰 王宽全

摘要：散焦图像的深度恢复是根据两幅散焦图像模糊程度不同的特点，从两幅散焦图像恢复场景的深度信息，该方法已成功应用于工业检测、医学和军事等领域。结合国内外相关进展，主要论述了被动式散焦图像的深度恢复的确定性方法、统计方法、正则化方法和偏微分方程方法，并且分析了四种方法的优劣性。

关键词：散焦图像的深度恢复； 确定性方法； 正则化方法； 统计方法

中图分类号：TP301 文献标识码：A文章编号：2095-2163（2013）06-0054-03

0引言

在众多的深度恢复方法中，散焦图像的深度恢复（Depth from Defocus， DFD）是根据两幅散焦图像模糊程度不同的特点，从两幅散焦图像恢复场景的深度信息，既避免了聚焦图像的深度恢复（Depth from Focus， DFF）需要拍摄大量图像的问题， 也避免了双（多）目视觉（Depth from Stereo， DFS）的特征点匹配困难的问题， 因此，DFD问题得到了国内外很多学者的关注和重视，并研究获得了此问题的多种解决方法。

1DFD基本理论

由真实孔径成像系统的成像原理知，当聚焦时，物距D，焦距Fl和像距v满足1D+1v=1Fl；当不对焦时，点光源变为半径为rb的模糊圆盘，成像系统各参数满足如下关系[1]：

rb=r0v01Fl-1v0-1D（1）

其中，rb表示圆盘半径，r0表示透镜的半径，v0表示像距。

为了刻画图像的散焦程度，引入模糊参数，模糊度σ与物距D有如下关系：

σ=ρr0v01Fl-1v0-1D（2）

由模糊参数σ表示成像过程的点扩散函数（Point Spread Function， PSF），以高斯点扩散函数为例，如下式所示：

h（i，j）=12πσ2exp-（i2+j2）2σ2（3）

散焦图像可以表示为聚焦图像与PSF卷积过程，即：

g（i，j）=f（i，j）*h（i，j）=∑m∑nf（m，n）h（i，j；m，n）（4）

由（1）-（4）式知，DFD问题就是从两幅散焦图像恢复场景的深度信息的过程。

2国内外研究现状

下面将从确定性方法、统计方法、正则化方法和偏微分方程方法四个方面加以论述与分析。

2.1确定性方法

在DFD问题的解决过程中，确定性方法由于具有简单性和实时性的优点，并不需要恢复清晰图像，得到了国内外学者的广泛关注，但因受到噪声和窗口化的影响，使得确定性方法的精度不高[2-12]。众多学者建立不同的参数与深度关系，总结如表1所示。

2.2统计方法

统计方法精度高，能同时恢复深度和清晰图像，但缺点是计算复杂、不具备实时性。自1989年Dubes和Jain将随机场模型应用于图像分析后[13]，马尔可夫随机场（Markov Random Field， MRF）在图像处理、图像分割和机器视觉等方面得到了广泛应用。

2008年，曾祥进等人针对显微视觉图像深度信息估计问题，提出了一种基于MRF的散焦特征参数模型，该模型将散焦特征深度信息的估计转化为能量函数的优化问题，应用迭代条件模式算法进行优化，在迭代条件模式算法中应用最小二乘估计算法对初始点参数进行估计，从而改进其性能，防止了其进入局部最优解，实验表明该模型和算法的高度可行性和良好有效性[19-20]。

2.3正则化方法

DFD问题是从多幅散焦图像恢复场景的深度信息过程，可以看作为病态的逆过程，因此，可以采用正则化方法来加以解决。

1995年，印度工业大学Rajagopalan 和Chaudhuri根据场景深度信息具有光滑性的特点，融入光滑约束，将DFD问题转化为变分问题，采用正则化方法加以解决[21-22]。

2003年，Favaro等人根据所涉及变量均为非负的特点，提出了将I-divergence准则代替最小二乘准则，构建保真项，使用迭代模式减少能量函数收敛于Euler-Lagrange 方程的局部最优解，恢复场景深度信息[23]。2010年，Favaro提出了基于非局部均衡化滤波正则化方法的微型构件深度信息恢复算法。该方法假设具有相似颜色的像素属于同一曲面。将问题转换成变分问题，采用线性化Euler-Lagrange方程方法解决此变分问题。该方法能够有效解决大分块曲面的三维重建[24]。

2.4基于偏微分方程方法

由于图像成像过程可以看作为热扩散过程，将其看成热扩散方程，引入偏微分方程方法。

2003年，Favaro等人在各向同性扩散框架下估计场景深度信息，通过设计一种迭代算法在推断热扩散方程扩散系数的基础上，估计场景深度信息，实验结果表明，与正则化相比该方法更优、且更具实时性，但该方法却并未解决遮挡问题。另外，采用凸梯度下降法，结果导致深度估计是一个局部最优解[25]。2008年，Favaro等人扩展了2003年的工作，将各向同性扩散框架拓展为各向异性扩散框架，来推断模糊参数，该方法有效避免了相对模糊的测量，同时推导了一种全局算法[26]。

与Favaro工作类似，2004年，Namboodiri和Chaudhuri仍采用热扩散方程描述成像过程，以此恢复场景深度信息，该方法不单推断深度信息，得到了聚焦图像，而且有效解决遮挡问题。同时也证明了DFD和DFF的等价性[27-29]。

3结束语

与其他深度恢复方法相比，DFD方法具备了有效避免匹配问题等优点，得到了广大学者的系统深入研究，但是，场景三维信息恢复不够细致，深度重构速度有待提高。因此，应该在以下两方面开展进一步地研究：

（1）根据场景几何结构的多分辨率信息，构建正则化项；

（2）提高深度恢复算法的运算效率，设计有效的优化算法。

参考文献：

[1]CHAUDHURI S， RAJAGOPALAN A N. Depth from defocus： a real aperture imaging approach. Springer Verlag， New York， 1999.

[2]LIU Y F. A unified approach to image focus and defocus analysis[D].State University of New York at Stony Brook， 1998.

[3]PENTLAND A P. A new sense for depth of field[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1987， 9（4）： 523-531.

[4]PENTLAND A P， DARRELL T， TURK M， et al. A simple real-time range camera[C]//IEEE Conference on Computer Vision and Pattern Recognition， 1989： 256-261.

[5]GROSSMAN P. Depth from focus[J]. Pattern Recognition Letters， 1987， 5（1）：63-69.

[6]SUBBARAO M， GURUMOORTHY N. Depth recovery from blurred edges[C]//IEEE Conference on Computer Vision and Pattern Recognition， 1988： 498-503.

[7]HWANG T， CLARK J J， YUE A L. A depth recovery algorithm using defocus information[C]//IEEE Conf. Computer Vision and Pattern Recognition， 1989： 476-481.

[8]田涛，潘俊民.基于矩保持法的散焦图像深度估计[J].上海交通大学学报， 2000， 24（7）： 917-922.

[9]程鸿，章权兵，宫炎炎.一种新的基于散焦图像的深度恢复算法[J]. 计算机应用与软件，2010，27（2）：271-273.

[10]周烨锋， 邱慧娟.基于远心光学系统散焦图像的距离估计[J].红外与激光工程， 2006， 35：534-537.

[11]SURYA G， SUBBARAO M. Depth from defocus by changing camera aperture a spatial domain approach[C]//IEEE Conference on Computer Vision and Pattern Recognition，1993：61-67.

[12]LEROY J， SIMON T. An efficient method for monocular depth from defocus[C]//50th International Symposium ELMAR-2008，2008：133-136.

[13]DUBES R C， JAIN A K. Random field models in image analysis[J]. Journal of Applied Statistics. 1989， 16： 131-163.

[14]RAJAGOPALAN A N， CHAUDHURI S . Optimal selection of camera parameters for recovery of depth from defocused images[C]// IEEE Conference on Computer Vision and Pattern Recognition， 1997： 219-224.

[15]RAJAGOPALAN A N， CHAUDHURI S. Performance analysis of maximum likelihood estimator for recovery of depth from defocused images and optimal selection of camera parameters[J]. International Journal of Computer Vision，1998， 30：175-190.

[16]RAJAGOPALAN A N， CHAUDHURI S. Optimal recovery of depth from defocused images using an MRF model[C]//International Conference on Computer Vision，1998：1047-1052.

[17]RAJAGOPALAN A N， CHAUDHURI S. MRF model based identification of shift variant point spread function for a class of imaging systems[J]. Signal Processing， 1999， 76（3）：285-299.

[18]RAJAGOPALAN A N， CHAUDHURI S. An MRF model-based approach to simultaneous recovery of depth and restoration from defocused images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1999， 21（7）：577-589.

[19]曾祥进， 黄心汉，吴倩，等.马尔科夫随机场在显微图像散焦深度信息估计中的应用[J]. 机器人，2008， 30（5）：416-421.

[20]ZENG X， HUANG X， WANG M， et al. The depth information estimation of microscope defocus image based-on markov random field[C]//IEEE Conference on Robotics， Automation and Mechatronics，2008：999-1004.

[21]RAJAGOPALAN A N， CHAUDHURI S. A variational approach to depth from defocus[C]//Proc. Intl. Conf.， Intelligent Robotic Systems， 1995：45-48.

[22]RAJAGOPALAN A N， CHAUDHURI S . A variational approach to recovery of depth from defocused images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1997， 19（10）：1158-1164.

[23]FAVARO P， MENNUCCI A， SOATTO S. Observing shape from defocused images[J]. International Journal of Computer Vision，2003， 52（1）： 25-43.

[24]FAVARO P. Recovering thin structures via nonlocal-means regularization with application to depth from Defocus[C]//IEEE Conference on Computer Vision and Pattern Recognition， 2010：1110-1117.

[25]Favaro P， OSHER S， SOATTO S， et al. 3D shape from anisotropic diffusion[J]. International Journal of Computer Vision，2003：179-186.

[26]NAMBOODHURI V P， CHAUDHURI S. Use of linear diffusion in depth estimation based on defocus cue[C]//Proc.4th Indian Conf. on Computer Vision， Graphics and Image Processing， 2004：133-138.

[27]FAVARO P， SOATTO S， BURGER M， et al. Shape from defocus via diffusion[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008， 30（3）： 518-531.

[28]NAMBOODHURI V P， CHAUDHURI S. On defocus，diffusion and depth estimation. Pattern Recognition Letters， 2007，28：311-319.

[29]NAMBOODIRI V P. Novel diffusion based techniques for depth estimation and image restoration from defocused images[D].Department of Electrical Engineering， Indian Institute of Technology-Bombay， 2008.