基于低分辨率彩色指导图像的深度图像超分辨率重建

武玉龙，赵 洋，曹明伟，刘晓平



基于低分辨率彩色指导图像的深度图像超分辨率重建

武玉龙，赵 洋，曹明伟，刘晓平

(合肥工业大学计算机与信息学院，安徽 合肥 230009)

传统的以彩色图像为指导的深度图像超分辨率(SR)重建方法，参考图像必须为高分辨率彩色图像，彩色图像的分辨率决定了深度图像的放大上限。同时，实际应用中可能只存在低分辨率彩色图像，此时上述方法也不再适用。为此，探讨使用任意分辨率彩色图像为指导的深度图像SR重建方法。首先，使用大量不同类别的图像SR算法对输入彩色图像进行上采样，得到高分辨率彩色图像并以此作为指导图像，然后采用基于二阶总广义变分方法，将由低分辨率彩色图像重建得到的图像作为正则约束项，添加图像边缘信息，构建目标函数，将深度图像SR重建问题转化为最优化问题，再通过原-对偶方法求解，最终得到高分辨率深度图像。探讨了之前被相关方法所忽略的情形，该方法可以适用于任意分辨率的彩色指导图像。并且通过相关实验发现了令人惊异的现象，即通过使用低分辨率彩色图像放大后作为指导，可以得到与使用高分辨率彩色指导图像相近甚至更好的结果，对相关问题的研究和应用具有一定参考意义。

超分辨率重建；深度图像；二阶总广义变分；ToF相机

场景中各点相对于相机的距离可以用深度图像表示，获取准确、高分辨率的深度图像是计算机视觉领域的一个挑战性工作。快速、准确地获取真实场景的稠密深度信息，在如三维重建、目标识别、机器人导航、自动辅助驾驶、医疗等诸多领域[1-3]有着广泛应用。

传统的深度图像获取方法主要包括两类：①立体匹配方法[4-5]，通过找出两幅或多幅图像之间成像点的对应关系，计算视差图，从而估计深度信息。这类算法容易受到遮挡以及无纹理区域的影响，因此，难以产生广泛的实际应用。②通过硬件设备直接获取。如激光测距扫描仪[6]和飞行时间相机[7]。前者通过逐点扫描获取场景深度，同一时间只能测量一个点的深度，其只能应用于静态场景，同时也决定了其较大的时间代价；后者运用高速快门(大约几毫秒)，通过主动给场景发送光脉冲，检测反射信号的时间延迟来确定场景深度，这种测量方法与场景纹理无关，与环境光条件也无关，即使近距离的场景，依然可以得到稠密的深度图像。但由于芯片大小的限制，其只能获取低分辨率的场景深度，如Canesta EP DevKit仅仅可以得到分辨率为64×64的深度图像，难以满足实际应用的需求。

为提高深度图像的分辨率，许多学者开展了关于深度图像超分辨率(super-resolution，SR)重建的研究。目前，深度图像SR重建主要有两种方法：①利用序列深度图像的SR算法。SCHUON等[8]引入双边全变差正则约束项对多幅深度图像SR重建，采用极大似然估计理论构建目标函数进行深度图像的SR重建。RAJAGOPALAN等[9]将马尔科夫随机场引入到深度图像SR重建问题中。这类方法需要多帧深度图像之间的亚像素位移信息，很难保证实时性，而且ToF相机采集深度的随机误差会对多帧图像之间的运动估计和匹配产生较大影响。②结合同场景高分辨率彩色图像的SR重建算法。这类算法假定同场景的彩色图像和深度图像之间存在一致的不连续性，以高分辨率的彩色图像为指导，对低分辨率深度图像重建。YANG等[10]利用双边滤波函数指导深度图像的SR重建。DIEBEL和THRUN[11]运用马尔科夫随机场建立彩色图像和深度图像之间的联系，将深度图像SR重建问题转化为能量最优化问题。LU等[12]改进了马尔科夫随机场。文献[13-14]采用联合双边上采样(joint bilateral upsampling)和引导图像滤波函数指导深度图像SR重建。文献[15]对联合双边滤波进行改进并提出了自适应双边滤波器。文献[16]利用二阶总广义变分模型，将高分辨率彩色信息融入到二阶正则项中进行深度图像的SR重建。以同场景的高分辨率彩色图像为指导，对深度图像SR重建，可以取得较好效果。但是，此方法的前提条件是存在同场景的高分辨率彩色图像，且重建后的深度图像的分辨率上限受彩色图像分辨率所限制，无法生成任意的更高分辨率的深度图像；同时，实际应用中可能存在彩色参考图像分辨率过低的情形，此时上述方法也不再适用。

目前的基于彩色指导图像的方法仅关注于高分辨率，对任意分辨率的指导图像，特别是低分辨率指导图像的情形，缺乏相关的讨论与研究。因而，本文探讨了基于低分辨率彩色指导图像的深度图像SR重建方法。本文以低分辨率彩色图像为输入，采用不同的SR重建算法对彩色图像进行放大，得到高分辨率彩色指导图像，然后以此指导深度图像的SR重建。本文的意义在于：①输入指导图像可以为任意分辨率彩色图像，扩大了算法的应用范围；②本文通过实验发现，通过放大低分辨率指导图像这一超采样过程，重建的指导图像的噪声等不自然效应也相应得到抑制，进而使用相应放大后图像作为指导得到的结果可达到甚至超过直接使用高分辨率彩色指导图像获得的结果。这一结论是违反了普遍的直观感觉的，对相关研究和应用具有一定的参考价值。

1 本文框架

以同场景高分辨率彩色图像为指导的深度图像SR重建算法框架如图1所示，其输入为低分辨率深度图像和高分辨率彩色图像，通过发掘彩色图像和深度图像之间的内在联系，结合重构约束来制定优化策略，最终将图像的SR重建问题转化为最优求解问题。

如图2所示，不同于传统框架，本文以低分辨率彩色图像和低分辨率深度图像为输入，首先对彩色图像SR重建，得到高分辨率的彩色图像作为参考图像，然后利用上述算法框架，采用二阶总广义变分模型，把得到的参考图像作为初始高分辨率深度图像的正则约束项，并添加图像边缘信息，构建目标函数，将SR重建问题转化为最优求解问题，最终得到高分辨率深度图像。

1.1 彩色图像超分辨率重建

本文的输入为任意分辨率的彩色图像，为了获得高分辨率的彩色指导图像，需对输入彩色图像SR重建。图像SR是指通过单帧或多帧低分辨率图像恢复对应高分辨率图像的过程，其中单帧图像SR也常被称为图像放大、上采样、上尺度。目前的SR重建方法可分为基于插值、基于重建和基于学习3类。

基于插值的方法是最为基础的一类算法[17]，然而插值往往会引起边缘锯齿、振铃、模糊等不自然效应。为了降低插值带来的不自然效应，许多插值方法聚焦于利用边缘先验知识、改进插值网格、强化边缘[18]等。

基于重建的方法是另一类经典的SR算法，其基本约束在于放大得到的重建图像再次降采样后，需和输入的低分辨率图像相一致。同时，通过引入额外的模型或约束，可以进一步改善重建图像的质量，如基于梯度的约束[19]、基于纹理的约束[20]和基于迭代反卷积模型的方法等。由于重建方法的基本相似约束是定义在低分辨率级别，在放大因子较大时，该类方法性能会较大程度的衰退。

近些年，基于学习的方法逐渐成为SR的热门研究方向。该类方法由FREEMAN和PASZTOR[21]提出，通过参照使用额外的高分辨率样例，学习如何从低分辨率恢复高分辨率图像。常见的基于学习的SR模型包括：基于领域嵌入(neighbor embedding)的流形方法[22-23]、基于稀疏表达(sparse representation)的方法[24-25]、基于局部自样例(local self-exemplar)的方法[26]、基于锚邻居回归(anchor neighborhood regression，ANR)的方法[27-29]、基于局部编码的方法[30]和基于随机森林(radom forest)的方法[31]。特别是最近两年，基于深度卷积神经网络(convolutional neural network, CNN)的方法在图像SR问题上取得了非常好的效果，如DONG等[32]提出的基于CNN的三层SR网络(SR-CNN)，KIM等[33]提出的更窄更深的SR卷积网络(very deep SR，VDSR)，ZHAO等[34]提出的渐进上采样网络(gradual upsampling network，GUN)及LEDIG等[35]采用的基于对抗网络(Adversarial Network)的方法等。

1.2 以高分辨率彩色图像为指导的深度图像SR重建

本文首先对任意分辨率的彩色图像SR重建，然后由得到的高分辨率彩色图像为指导，对深度图像SR重建，后者主要基于文献[16]，其在彩色图像边缘对应于深度图像边缘的前提假设下，引入带有各向异性扩散张量的二阶总广义变分模型，避免了一范式正则项会使重建后图像存在分块效应的问题，在SR重建效果和计算效率上都取得较大提升。

由于深度图像和彩色图像来自不同的相机，首先要对相机标定，获取相机的内部参数和外部参数，这样就可以定义彩色相机所在的坐标系为世界坐标系Ω，将深度图像映射到彩色图像所在世界坐标系中。这种映射关系为

通过上述映射，得到一张基于深度测量的稀疏深度图像D，引入二阶总广义变分模型，将D作为初始值，以高分辨率彩色图像作为正则化约束项，构建目标函数，从而将图像SR重建问题转化为目标函数最优化求解问题。这里的目标函数定义为

最后，利用原-对偶能量最小化方法(primal- dual energy minimization scheme)，设定阈值和迭代次数，迭代计算，直到满足小于阈值或达到最大迭代次数，完成计算，得到最终重建的高分辨率深度图像。

2 实验结果及分析

为了验证本文方法的有效性，采用了Middlebury数据集[36]和FERSTL等[16]提供的真实场景数据集ToFMark分别进行测试。本文的实验环境为：处理器Intel(R) Core(TM) i7-2600，主频3.40 GHz，内存8 G。为了便于定量分析实验结果，本文以平均绝对误差(mean absolute error，MAE)为评价标准，MAE的计算如下

2.1 Middlebury数据集

由于Middlebury数据集只提供了高分辨率的彩色图像和高分辨率的深度图像，为了模拟实验中输入为低分辨率彩色图像和低分辨率深度图像，首先分别以因子为1/4和1/16的Bicubic降采样方法，对高分辨率彩色图像降采样，1/4降采样后的彩色图像分辨率为344×272，1/16降采样后的彩色图像分辨率为86×68。然后分别以因子为1/2和1/4的Bicubic降采样方法，对高分辨率深度图像降采样，1/2降采样后的深度图像分辨率为688×544，1/4降采样后的深度图像分辨率为344×272，同时为了模拟深度图像真实获取过程，对降采样后的深度图像添加高斯噪声[16]。

为了对比实验结果，本文使用了多种图像SR算法进行低分辨率指导图像的重建试验，包括：基于插值的方法ICBC[18]，基于字典学习的方法ScSR[24]、ASDS[25]、LLE[22]、ANR[27]、A+[28]、IPR[29]、LPCSR[30]，以及基于深度学习的方法SRCNN[32]、GUN[34]。图3展示了测试图像Art的实验结果，其中Ground truth为原始高分辨率深度图像，Original为以原始高分辨率彩色图像为指导深度图像的重建结果，其他图像分别为先对低分辨率彩色图像SR重建，然后以重建后的图像为指导深度图像的重建结果。图3中截取了部分画笔图像进行放大，对比发现以重建后的彩色图像为指导重建得到的深度图像质量与以原始高分辨率彩色图像为指导重建得到的深度图像质量非常接近，这说明尽管使用低分辨率图像作为指导，也可以有效地指导深度图像的SR重建。

为了定量比较，表1、2分别给出了不同算法在不同图片Art、Books、Moebius、Dolls、Laundry、Reindeer上对1/2/、1/4降采样得到的低分辨率深度图像重建的MAE结果。其中×4、×16分别指对低分辨率彩色图像4倍、16倍SR重建。表中前3行列出了采用不同插值方法由低分辨率深度图像重建的结果，Original为使用高分辨率指导图像获得的结果，后面为采用不同SR重建方法获得的彩色图像指导的重建结果。实验结果表明，从客观指标上看，低分辨率指导图像获得的结果接近甚至好于高分辨率指导图像获得的结果，整体上看，针对Art、Books、Moebius图片，LPCSR方法要优于其他方法；针对Dolls、Laundry、Reindeer，ScSR方法更为优秀，这说明基于字典学习的方法可以取得最佳效果。同时也发现了两个有趣的现象。

图3 不同算法在图片Art上的SR重建结果比较

表1 不同算法对Middlebury数据集1/2降采样得到的低分辨率深度图像重建的MAE

(注：标注加粗的为本组最佳者；标注下划线的为本组次佳者)

表2 不同算法对Middlebury数据集1/4降采样得到的低分辨率深度图像重建的MAE

(注：标注加粗的为本组最佳者；标注下划线的为本组次佳者)

(1) 以各个方法重建后的彩色图像为指导获得的结果，整体上优于以原始彩色图像为指导的结果，这一结论与普遍的直观感觉恰恰相反。对于这一现象的成因，可分析为在基于彩色图像边缘对应于深度图像边缘的前提假设下，采用各向异性扩散张量，将图像看做热量场，每个像素看做热流，根据当前像素和周围像素的关系，来确定是否要向周围扩散，在当前像素和周围像素差别较大时，认定邻域像素很可能是个边界，那么当前像素就不向这个方向扩散，这个边界就得到保留。通过在TGV模型中添加各向异性扩散张量，保留图像边缘信息，增强边缘对比度。这样在以彩色图像为指导的深度图像SR重建过程中只考虑物体的边缘结构，而不考虑具体的纹理细节，所以低分辨率图像放大带来的纹理损失并不会过多的影响深度图像重建，反之，这一过程中对图像边缘的随机增强效果反而对图像的重建质量带来少许提升；其次，实验图像中存在噪声和纹理细节的干扰，不论基于字典学习还是基于深度学习的方法，在低分辨率图像方法这一类似超采样的过程中，能够较好地抑制噪声等高频分量。因而使用SR重建后的彩色图像为指导得到的深度图像结果反而略优。

(2) 在以各个方法重建后的彩色图像为指导获得的结果比较中，最好结果均非由基于深度学习的方法获得，这与理论上基于深度学习的方法更为优秀相悖，这说明虽然基于深度学习的重建方法相较于其他方法可以带来更好的纹理细节，却并非能够实现最好的边缘增强效果。

2.2 ToFMark数据集

ToFMark数据集中低分辨率深度图像由PMD Nano ToF相机采集获得，分辨率为120×160，高分辨率彩色图像由CMOS相机获得，分辨率为810×610。为了模拟低分辨率彩色输入图像，本文分别以因子为1/4和1/16的Bicubic降采样方法，对高分辨率彩色图像降采样，1/4降采样后的低分辨率彩色图像分辨率为203×153，1/16降采样后的低分辨率彩色图像分辨率为51×39。

图4中Ground truth为原始高分辨率深度图，Original为采用原始高分辨率彩色图像为指导重建出的深度图像，其他图像分别为先对低分辨率彩色图像SR重建，然后以重建后的图像为指导深度图像的重建结果。图中截取了玩偶的头部进行了放大，从视觉效果上看，以原始高分辨率彩色图像为指导重建出的深度图像质量最佳；以基于深度学习和基于字典学习重建的彩色图像为指导得到的深度图像质量次之；基于插值的方法效果最差，可以看到玩偶的顶部较为模糊。但整体上看，基于以重建后的彩色图像为指导重建得到的深度图像质量与以原始高分辨彩色图像为指导重建得到的深度图像质量相差不大。

表3分别为不同方法深度图像重建的MAE结果比较。整体来看，使用低分辨率指导图像可以获得接近于以原始高分辨率彩色图像为指导所得到的结果。而在不同的彩色图像SR算法中，以GUN和ASDS方法重建的指导图像的效果略好于其他方法。

图4 不同算法在图片Devil上的SR重建结果比较

表3 不同算法对ToF数据集低分辨率深度图像重建的MAE

(注：标注加粗的为本组最佳者；标注下划线的为本组次佳者)

3 结束语

传统的以彩色图像为指导的深度图像SR重建方法，输入指导图像必须为高分辨率彩色图像。为了扩展其应用范围，本文探讨了一种以任意分辨率彩色图像为指导的深度图像SR重建方法。本文首先采用图像SR重建算法对输入彩色图像上采样，得到高分辨率彩色图像并以此作为参考图像，采用基于二阶总广义变分的方法，将低分辨率彩色图像重建得到的图像作为正则约束项，添加图像边缘信息，构建目标函数，将深度图像SR重建问题转化为最优求解问题，最终得到高分辨率深度图像。实验结果表明，以重建的彩色图像为指导方法得到的深度图像质量可以达到甚至超过以原始高分辨率彩色图像为指导方法得到的深度图像，这就避免了对输入彩色图像的高分辨率要求，扩展了算法的应用范围。同时，本方法突破了输入彩色图像分辨率的限制，可以输出合理范围内的任意分辨率的高质量深度图像。后续工作将在大量的深度图像SR重建方法上应用本文所提出的低分辨率指导的框架，以进一步验证本文所观测的结论。

[1] NGUYEN C V, IZADI S, LOVELL D. Modeling Kinect sensor noise for improved 3D reconstruction and tracking [C]//International Conference on 3d Imaging. New York: IEEE Press, 2012: 524-530.

[2] ONG A P R, BUGTAI N T, ALDABA L M M, et al. Application of KinectTMand wireless technology for patient data recording and viewing system in the course of surgery [C]//Biomedical Engineerings Recent Progress in Biomaterials, Drugs Development & Medical Devices: First International Symposium of Biomedical Engineering. New York: AIP Publishing LLC, 2017: 465-471.

[3] FANKHAUSER P, BLOESCH M, RODRIGUEZ D, et al. Kinect v2 for mobile robot navigation: evaluation and modeling [C]//International Conference on Advanced Robotics. New York: IEEE Press, 2015: 388-394.

[4] NAVARRO J, BUADES A. Robust and dense depth estimation for light field images [J]. IEEE Transactions on Image Processing, 2017, (99): 1.

[5] WANG F, JIA K, FENG J. The real-time depth map obtainment based on stereo matching [C]//The Euro-China Conference on Intelligent Data Analysis and Applications. Berlin: Springer International Publishing, 2016: 138-144.

[6] DOMAE Y. 3-D sensing technology for industrial robots [J]. Mitsubishi Electric Advance, 2013, 141: 15-17.

[7] KOLB A, BARTH E, KOCH R, et al. Time-of-flight sensors in computer graphics [J]. Computer Graphics Forum, 2009(10): 776-778.

[8] SCHUON S, THEOBALT C, DAVIS J, et al. LidarBoost: depth superresolution for ToF 3D shape scanning [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2009: 343-350.

[9] RAJAGOPALAN A N, BHAVSAR A, WALLHOFF F, et al. Resolution enhancement of PMD range maps [C]//Dagm Symposium on Pattern Recognition. Berlin: Springer International Publishing, 2008: 304-313.

[10] YANG Q, YANG R, DAVIS J, et al. Spatial-depth super resolution for range images [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2007: 1-8.

[11] DIEBEL J, THRUN S. An application of Markov random fields to range sensing [C]//Advances in Neural Information Processing Systems. Cambridge: MIT Press, 2005: 291-298.

[12] LU J, MIN D, PAHWA R S, et al. A revisit to MRF-based depth map super-resolution and enhancement [C]//IEEE International Conference on Acoustics, Speech and Signal Processing. New York: IEEE Press, 2011: 985-988.

[13] ALVES A. Joint bilateral upsampling [J]. ACM Transactions on Graphics, 2013, 26(3): 96.

[14] CHO J H, IKEHATA S, YOO H, et al. Depth map up-sampling using cost-volume filtering [C]//IEEE IVMSP Workshop. New York: IEEE Press, 2013: 1-4.

[15] KIM J, JEON G, JEONG J. Joint-adaptive bilateral depth map upsampling [J]. Signal Processing Image Communication, 2014, 29(4): 506-513.

[16] FERSTL D, Reinbacher C, Ranftl R, et al. Image guided depth upsampling using anisotropic total generalized variation [C]//IEEE International Conference on Computer Vision. New York: IEEE Press, 2013: 993-1000.

[17] LEHMANN T M, GÖNNER C, SPITZER K. Survey: interpolation methods in medical image processing [J]. IEEE Transactions on Medical Imaging, 1999, 18(11): 1049.

[18] GIACHETTI A, ASUNI N. Real-time artifact-free image upscaling [J]. IEEE Transactions on Image Processing, 2011: 20(10): 2760-2768.

[19] SUN J, SUN J, XU Z, et al. Image super-resolution using gradient profile prior [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2008: 1-8.

[20] ZHAO Y, WANG R, WANG W, et al. High resolution local structure-constrained image upsampling [J]. IEEE Transactions on Image Processing, 2015, 24(11): 4394-4407.

[21] FREEMAN W T, PASZTOR E C. Learning low-level vision [J]. International Journal of Computer Vision, 2000, 40(1): 25-47.

[22] CHANG H, YEUNG D Y, XIONG Y. Super-resolution through neighbor embedding [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2004: 275-282.

[23] ZHAO Y, WANG R, WANG W, et al. Multilevel modified finite radon transform network for image Upsampling [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2016, 26(12): 2189-2199.

[24] YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[25] DONG W, ZHANG L, SHI G, et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization [J]. IEEE Transactions on Image Processing, 2011, 20(7): 1838-1857.

[26] GLASNER D, BAGON S, IRANI M. Super-resolution from a single image [C]//IEEE Conference on International Computer Vision. New York: IEEE Press, 2009: 349-356.

[27] TIMOFTE R, DE V, GOOL L V. Anchored neighborhood regression for fast example-based super-resolution [C]//IEEE International Conference on Computer Vision. New York: IEEE Press, 2013: 1920-1927.

[28] TIMOFTE R, SMET V D, GOOL L V. A+: adjusted anchored neighborhood regression for fast super-resolution [C]//Asian Conference on Computer Vision. Berlin: Springer International Publishing, 2014: 111-126.

[29] ZHAO Y, WANG R G, JIA W, et al. Iterative projection reconstruction for fast and efficient image upsampling [J]. Neurocomputing, 2016, 226(C): 200-211.

[30] ZHAO Y, WANG R, JIA W, et al. Local patch classification based framework for single image super-resolution [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 1-11.

[31] SCHULTER S, LEISTNER C, BISCHOF H. Fast and accurate image upscaling with super-resolution forests [C]//Computer Vision and Pattern Recognition. New York: IEEE Press, 2015:3791-3799.

[32] DONG C, LOY C C, HE K, et al. Image super-resolution using deep convolutional networks [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 38(2): 295-307.

[33] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2015: 1646-1654.

[34] ZHAO Y, WANG R, DONG W, et al. GUN: Gradual upsampling network for single image super-resolution [C]// IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 1-11.

[35] LEDIG C, THEIS L, HUSZAR F, et al. Photo-realistic single image super-resolution using a generative adversarial network [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 1-19.

[36] HIRSCHMULLER H, SCHARSTEIN D. Evaluation of cost functions for stereo matching [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2007: 1-8.

Low-Resolution RGB Image Guided Depth Image Super-Resolution

WU Yulong, ZHAO Yang, CAO Mingwei, LIU Xiaoping

(School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China)

In traditional methods of RGB image guided depth image super-resolution, the reference images are required to be high-resolution intensity images and its resolution determines the upper limit of the depth image upsampling. Moreover, in some situations only low-resolution RGB images are available, thus the traditional methods are unpractical. In this paper an arbitrary resolution RGB image guided depth image super-resolution is proposed. First, we use different image super-resolution algorithm for the input RGB image upsampling, so that a high-resolution reference RGB image can be obtained. Then we increase the resolution of the input depth image by using the second-order total generalized variation based method and adding edge cues from the reference image obtained in above step. Then the final energy objective function is defined and depth image super-resolution can be transformed into optimization problem, which can be solved by primal-dual energy minimization scheme. Finally the high-resolution depth image is generated. This paper explores the cases previously ignored by the relevant method and the proposed method can be applied to arbitrary resolution RGB images. Through the relevant experiments, we found an amazing phenomenon that, by using low-resolution color image up-sampling as a guide, we can get similar to or even better results compared with using high-resolution intensity guided image. This conclusion has some reference significance for the research and application of related issues.

super-resolution reconstruction; depth image; second order total generalized variation; ToF camera

TP 751

10.11996/JG.j.2095-302X.2018020235

A

2095-302X(2018)02-0235-09

2017-06-20；

2017-08-13

国家自然科学基金面上项目(61370167)；国家自然科学基金青年科学基金项目(61602146)；安徽省自然科学基金项目(JZ2015AKZR0664)

武玉龙(1991–)，男，山东东营人，硕士研究生。主要研究方向为三维重建。E-mail：1317255537@qq.com

刘晓平(1964–)，男，山东济南人，博士，教授，博士生导师。主要研究方向为计算机辅助设计、计算机图形学。E-mail：liu@hfut.edu.cn