一种基于改进MRF的深度图超分辨率重建

陈金奇，李 榕

（华南师范大学物理与电信工程学院，广州510006）

一种基于改进MRF的深度图超分辨率重建

陈金奇，李 榕

（华南师范大学物理与电信工程学院，广州510006）

随着计算机视觉技术的发展，快速直接获取深度信息越来越受到大家的重视，然而直接获取的深度图像因受到其成像原理以及硬件设备所限，存在分辨率低、边缘噪声大等缺点，而无法达到实际应用要求。为此提出一种基于改进马尔科夫随机场的深度图超分辨率重建方法，具体就是引进同场景高分辨率彩色图，充分挖掘彩色图和深度图的内在关系，构建局部自相关性特征结构，从而重新构建马尔科夫随机场的深度数据约束项和深度平滑项，从而将重建问题转化为求最优解问题。实验表明该方法较其他方法在面对图像边缘过度平滑以及边缘像素稀疏等问题时有更好的抑制作用，在峰值信噪比和均方根误差两项评价指标上均取得较好结果，能得到高质量致密深度图，有很好的视觉效果。

深度图；超分辨率；TOF相机；彩色图像引导；局部自相关性；马尔科夫随机场

1 引言

随着三维目标视觉技术的发展，获取高质量的三维场景深度信息成为大家关注的焦点。获取深度信息的方法从所用设备可以分为间接获取和直接获取。双目立体视觉[1-2]是间接获取的经典方法，该方法需要两个具有一定距离的相机对同一场景进行同时拍摄或者从不同角度拍摄同一场景，通过立体匹配算法找出左右两幅图像各对应点之间的视差信息从而计算得到深度信息。该方法对无纹理区域效果差而且不能解决左右图像之间遮挡问题，所以不能很好的应用到实际中。直接获取比较于间接获取的区别在于设备本身需要发射能量来获取深度信息。激光测距扫描仪[3-5]通过单点扫描获取场景深度信息，但获取的深度值呈现出离散形式而限制了其应用。TOF相机通过对场景发射近红外脉冲，计算脉冲往返场景的时间差来获取深度信息，然而受到硬件限制，TOF相机得到的深度图存在分辨率低，边缘噪声大等缺点。

由于受到硬件限制，获取的深度信息无法达到实际应用要求，从软件方面通过构造数学模型，以分辨率低、噪声大的深度图获得高分辨率、高质量的深度图成为众多学者的研究热点。深度图超分辨率重建就是其中之一。从处理的数据源信息不同，可以分为多帧图像的超分辨率重建和单帧图像的超分辨率重建。然而在实际应用中很难得到同一场景的多帧深度图，主要是对多帧低分辨率深度图之间的运动有很高的要求（必须是亚像素级别的运动位移）。因此，多帧深度图像的超分辨率重建的可行性很低。单帧深度图由于本身分辨率低、噪声大、所含信息少等缺点，只用它本身进行重建也很难获得理想的结果。所以大家提出一类结合同场景高分辨率彩色图的方法。Kopf等人[6]采用联合双边上采样，由低分辨率深度图得到高分辨率深度图；Yang等人[7]将彩色图的局部特征运用到深度图的超分辨率重建；Chan等人[8]将局部窗口深度信息的相似性与联合滤波相结合，很好的解决了彩色纹理信息对深度图的影响；Min等人[9]提出一种带权重系数的众数滤波方法，该方法对联合双边滤波出现的边缘过度深度值有很好的抑制效果；Matsuo等人[10]提出带权重联合双边滤波器，有较好的实时运算效率；董文箐等人[11]将二阶微分算子和测地距离运用到深度图超分辨率重建中，对图像边缘结构有较好的保护作用并且解决了伪影问题；Li等人[12]提出一种基于稀疏表示过完备字典基的学习方法，能得到高质量深度图，但该方法耗时长，运算效率低；Diebel等人[13]最早将马尔科夫随机场运用到深度图升采样中，将像素点间的颜色相似性引申为马尔科夫随机场的平滑项，转化为求最优解问题。

总之采用与同场景高分辨率彩色图相结合的各种方法在一定的条件下都得到较高质量的深度图，然而各自有优缺点。上述的系列滤波方法都是基于局部信息的深度图重建方法，有较快的运行效率，在图像边缘处理上有较好效果，然而以马尔科夫随机场模型为代表的基于全局优化的深度图重建方法能够保持更多全局结构化信息，但是该方法得到的结果往往会出现部分像素点没有深度值或深度值误差较大，而且图像边缘过度平滑。针对这种问题，提出一种以马尔科夫随机场为基础，以同场景高分辨率彩色图为引导，寻找彩色图和深度图局部内在联系，构建局部自相似性，重新构造马尔科夫随机场的能量项的方法，从而将超分辨率重建问题转化为求最优解问题。本方法最终在保持更多全局结构化信息的前提下，得到高致密的深度图，并对边缘过度平滑有较好的抑制作用。

2 马尔科夫随机场

在文献[14]中，将马尔科夫随机场运用到深度图超分辨率重建中，其模型表达式可以写成如下形式：

其中y表示待估算的深度点，z表示输入的原始深度点，x表示同场景相对应的彩色点。分别表示马尔科夫随机场中两个能量项的深度数据项和深度平滑项，其具体表达式如下：

对公式（1）“-log”运算，可将深度图像超分辨率重建问题（后验概率最大化问题）转换成为关于y的全局能量最小化问题：

该方法得到的结果整体上存在深度值稀疏，边缘过度平滑的问题。为此通过充分挖掘深度图与同场景高分辨率彩色图的内在关系，构建局部特征关系形成新的能量约束项来抑制上述问题。

通过观察可以发现，真实场景中颜色相似的地方有较大的概率存在相似的深度值，但不能要求颜色突变，对应的深度值也突变，场景表面是分段光滑的。基于以上的先验假设，可以重新构造权重

表示颜色越相似，有相同深度值概率越大，

表示空间距离越近，有相同深度值概率越大。

于是构建新的深度平滑项，

同时构建新的深度数据约束项，

表示初始深度值相似度越大，最终有相同深度值概率越大。

将公式（9）和（10）代入公式（5）中进行求解，最终得到理想结果。

3 实验结果及分析

为验证所提方法的有效性，采用Middlebury数据集[13]提供的深度图进行实验，并与双立方插值法、文献[12]中的马尔科夫随机场模型方法和实际深度值进行比较。

表1 均方根误差评价结果

表2 峰值信噪比评价结果

图1 Middleburry数据集[13]实验结果

为客观分析该重建方法效果，采用均方根误差和峰值信噪比分别对Art、Baby、Bowling三组图像的重建结果进行比较。对比采用的是[15]中提供的真实深度值。表1给出各算法的均方根误差结果，表2给出峰值信噪比结果

从表1、表2的评价结果可以看出，该方法在均方根误差和峰值信噪比评价结果上均优于双立方插值法和文献[12]的方法。

4 结束语

提出一种深度图超分辨率重建算法。以马尔科夫随机场模型为基础，引入同场景高分辨率彩色图，充分挖掘深度图与彩色图的内在联系以构造局部特征结构模型，从而重新构造马尔科夫随机场的深度数据约束项和深度平滑项，将深度图超分辨率重建问题转化为求最优解问题。实验表明，该方法对深度图边缘噪声，边缘过度平滑，图像边缘像素稀疏等问题有很好的抑制作用，最后能得到高质量、高致密深度图，有很好的视觉效果。

[1]Hartley R,Zisserman A.Multiple view geometry in computer vision[M].Cambridge Universes,2000.

[2]Hosni A,Rheman C,Bleger M,et al.Fast cost-volume filetering for visual correspondence and beyond [J].IEEE Transaction on Patten Analysis and Machine Intelligence,2012,35(2):504-511.

[3]Cheng X,Zhang H,Xie R.Study on 3D laser scanning modeling method for large-scale history building[C].//Computer Application and System Modeling(ICCASM),2010 International Conference on.IEEE,2010(7):573-577.

[4]Jarvis R A.A Perspective on Range Finding Techniques for Computer Vision[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1983,5(2):122-139

[5]Salvi J,Pages J,Batlle J.Pattern Codification Strategies in Structured Light Systems[J].Pattern Recognition,2004,37(4):827-849

[6]Kopf J,Cohen M F,Lischinski D,et al.Joint Bilateral up Sampling[J].ACMTransactions on Graphics,2007,26(3):96.

[7]Park J,Kim H,Tai Y,et al.High Quality Depth Map up Sampling for 3D-TOF Cameras[C].//Computer Vision(ICCV),2011 IEEE International Conference on.IEE,2011:1623-1630.

[8]Chan D,Buisman H,Theobalt C,et al.A Noise-aware Filter for Real-time Depth up Sampling [C].//Workshop on Multi-camera and Multi-modal Sensor Fusion Algorithms and Applications-M2SFA2 2008.

[9]Dongbo M,Jiangbo L,Do M N.Depth Video Enhancement Based on Weighted Mode Filtering[J].Image Processing,IEEE Transaction on,2012,21(3):1176-1190.

[10]MatsuoT,FukushimaN,IshibashiY.WeightedJointBilateral Filter with Slope Depth Compensation Filter for Depth Map Refinement[J].VISAPP,2013(2):300-309.

[11]董文菁，胡良梅，张旭东，杨慧，陈仲海.基于二阶微分算子和测地距离的深度图超分辨率重建[J].计算机应用与软件，2016,33（7）：200-203.Dong Wenjing,Hu Liangmei,Zhang Xudong,Yang Hui,Chen Zhonghai.Second-order Differential Operator and Geodesic Distance[J].Computer Application and Software,2016,33(7):200-203.

[12]Li Y J,Cohen M F,Lischinski D,et al.Joint Example-based Depth Map Super-resolution [C].//Proceedings of the 9th International Conference on Multimedia and Expo.Australia:IEEE Single Processing Society,2012:152-157.

[13]Diebel,Thrun S.An application of Markov Random Fields to Range Sensing [J].Advances in NeuralInformation Processing Systems,2006,18:291.

[14]刘俊毅.彩色图像引导的深度图像增强[D].杭州:浙江大学，2014.Liu Junyi.Color Image Guided Depth Image Enhancement[D].Hangzhou:Zhejiang University,2014.

[15]Middlebury datasets[EB/OL].2001-03-10[2011-07-05].http://vision.middlebury.edu/stereo/data/.

A Depth Map Super-resolution Reconstruction Based on Improved Markov Random Field

Chen Jinqi,Li Rong
(School of Physics and Telecommunication Engineering,South China Normal University,Guangzhou 510006,China)

As the development of the computer vision technology,rapid direct access to depth information is increasingly concerned,but direct access to the depth map has some disadvantages such as low resolution and heavy edge noise because of the limitation of its imaging principle and hardware,and can't meet the requirements of practical application.For this,a depth map super-resolution reconstruction method based on improved MRF is presented,which in detail is:fully digging the inner relationship of color graph and depth map,constructing local autocorrelation feature structure,and reconstructing the depth data constraint term and depth smoothing term of MRF,so as to convert the problem of reconstruction into finding optimal solution.Experiments show that this method has better suppression effect than others when confronting the problems of edge over-smoothing and sparse edge pixel and achieves better results in the two terms of assessment criteria of peak signal-to-noise ratio and root-mean-square error,which can obtain high quality dense depth map with a good visual effect.

Depth Map；Super-resolution；TOF Camera；Color image guidance；Local autocorrelation；Markov Random Field

10.3969/j.issn.1002-2279.2017.04.015

TP391.7

A

1002-2279-（2017）04-0060-04

陈金奇（1988—），男，湖北省咸宁市崇阳县人，硕士研究生，主研方向：图像处理与机器视觉。

李 榕（1957—），男，广东省广州人，教授，硕士生导师，主研方向：图像处理与机器视觉、光信息处理。

2017-03-03