基于块的分级空洞填充技术

彭建华，王国中，范 涛，赵海武，腾国伟，李国平

(上海大学通信与信息工程学院，上海200072)

1 基于深度图像的绘制

基于深度图像的绘制(Depth Image Based Rendering，DIBR)技术［1－2］是三维立体视频(Three － Dimensional Video，3DV)系统中应用最广泛的技术。与需要传输左右两个视点的3DV系统相比，DIBR技术利用彩色图像、相应的深度图像以及相机的参数来绘制目标视点，这样就减少一路彩色视频的传输，有效地提高了传输效率，并且在数字电视广播系统中，深度加彩色的视频格式传输的电视信号有利于2D/3D之间的选择，在客户端如果需要2D视频就直接解码彩色视频，如果需要3D模式就利用DIBR技术绘制虚拟视点。

DIBR技术的理论基础是3D Image Warping［3］方程，但是使用该方法会产生可见性问题和空洞问题。对于可见性问题，Leonard McMillan在1995年提出了一种遮挡兼容算法［4］很好地解决了该问题。对于空洞问题最常用的就是邻域填充和均值滤波，由于邻域填充和均值滤波在插值时没有很好地保护边缘信息，因此在纹理密集区域有明显的错误，主观质量非常差。为此Chen等人提出了一种改进的基于深度图边缘滤波和插值的DIBR算法［5］，基于边缘的插值方法检测4个方向的差异的最小值，然后用最小差分的两对像素的均值填充空洞，显然这种方法对于较大空洞区域不能获得很好的效果。Kwan－Jung等人提出了一种基于深度信息修复的空洞填充方法［6］，该方法通过深度图中的深度值来区分纹理图像中的前景和背景，在进行空洞填充时仅利用背景值对空洞进行填充，但是该方法对于前景产生的空洞会出现很大的错误。

为了保证不同大小的空洞区域都能获得很好的空洞填充效果，本文提出了一种基于块的分级空洞填充技术，对因三维旋转而产生的空洞图像，首先将空洞区域分成两个等级，其中含有较少的空洞像素点的区域(小空洞区域)设为等级一，含有较多的空洞像素点的区域(大空洞区域)设为等级二。为了保证空洞填充的速度，对于等级一的空洞区域直接分块，利用块的均值来填充空洞;而等级二区域的点，由于空洞区域较大，空洞像素点过多，不能满足块的均值填充需要较多的已知像素的条件，所以对于等级二空洞区域的点使用块匹配技术按块进行填充。

2 基于深度图像的绘制

基于图像的绘制(Image－based Rendering，IBR)技术［7］旨在利用已有的图像信息来绘制现实世界的场景。其中基于深度图的绘制(Depth Image Based Rendering，DIBR)系统是一种在3DV系统中应用最为广泛的技术，其客户端最重要的技术就是基于深度图像的绘制(DIBR)。DIBR技术是利用参考图像、深度图像以及相关相机参数来合成一个虚拟视点，它首先将参考图像中像素的相机坐标映射到点的世界坐标，再将世界坐标映射到目标图像的相机坐标中，完成3D旋转。其中两次映射公式分别如式(1)、式(2)所示

式中:A是摄像机的内参矩阵;R是摄像机的旋转矩阵;t是平移矩阵;d表示在三维空间点的深度值;参考视点的坐标(u，v)通过三维旋转到(U，V)。

式中:坐标(l，m，n)归一化变成就代表虚拟视点的整数坐标(U，V)。按公式对参考图像进行3D旋转，就得到了一幅含有空洞的目标图像。

3 基于块的分级空洞填充技术

对于3D旋转后带有空洞的目标图像，在自由视点视频(Free Viewpoint Video，FVV)中最常用的方法就是利用不同视点来绘制同一虚拟视点的视点图像，然后利用图像融合技术［8－11］融合得到的虚拟视点图像来填充空洞像素。显然在单路彩色加深度系统中由于只有1路已知视点图像，所以不能应用融合技术，针对单路彩色加深度3DV系统，结合图像修复［12－13］的思想，本文提出了一种基于块的分级空洞填充技术。本算法针对不同级别空洞采用不同的填充算法，主要包括两种空洞填充技术:块的均值填充和块匹配填充。

块的均值填充:

首先，以当前空洞像素的位置为中心向周围扩展一个N×N块。

然后，利用式(3)以当前N×N块中非空洞像素的均值来填充。

式中:P(x，y)表示在像素点(x，y)处的空洞像素的值;N是扩展的N×N块的边长;M是以点(x，y)为中心扩展的N×N块中的空洞像素点的个数;P(x+i，y+j)为点(x+i，y+j)处的像素值。本算法仅应用于小空洞区域，所以得到的N×N块中M值较小，这样就能保证块中有足够多的非空洞像素来求均，从而保证填充值的正确性。

块匹配填充:

第一步，从大空洞区域边缘的空洞像素开始建立一个块。

第二步，从当前块开始进行搜索找到与当前块最匹配的块，本文使用绝对值最小匹配准则确定最匹配块，如式(4)所示

式中:(i，j)表示最佳匹配向量;N是块的边长;P(x，y)和P(x+i，y+j)分别表示点(x，y)和点(x+i，y+j)处的像素值;D表示搜索深度。

第三步，利用式(5)，用搜索到的最匹配的块中的像素值来填充当前块中的空洞。

式中:坐标数组［x，y］ ={［0，0］，［0，1］，［0，2］，…，［N－1，N－2］，［N－1，N－1］};Pref(x，y)和Ptar(x+i，y+j)分别表示含空洞块的像素值和搜索到的最佳匹配块对应位置的像素值;(i，j)表示第二步中得到的最佳匹配向量。

第四步，重复第一步到第三步直到当前空洞区域全部填充好。

该算法的具体实现如图1所示。

从图1可知，相对于基于像素的填充，本算法采用的基于块的填充技术，有效地保证了待填充像素和周围像素的相关性，使得填充后的图像更加真实。同时，为了兼顾填充效率和填充后图像的质量，本算法提出分级空洞技术，按照带空洞图像的空洞区域的大小(统计空洞区域中空洞像素点的个数)将空洞区域分成两个等级，对于较大的空洞区域采用块匹配技术，从空洞区域周围搜索与当前含空洞像素块最匹配的块来填充块中空洞像素。由于块匹配技术很好地保持填充像素和周围像素的相关性，所以填充后的图像主客观质量都有提高;对于较小的空洞区域，利用块的均值填充和使用块匹配技术填充的效果相当，所以对于较小的空洞区域直接利用块的均值填充来保证填充速度。

图1 基于块的分级空洞填充技术实现框图

4 实验结果与分析

为了验证本算法在虚拟视点绘制时空洞填充的有效性，实验将本文填充算法和经典的邻域填充、仅仅使用块均值填充的填充效果进行了主客观的比较。本次试验采用的测试序列是JCT－3V的测试序列BookArrival(1 024×768)、pantomime(1 280 ×960)、lovebird1(1 024 ×768)、kendo(1 024 ×768)、balloons(1 024 ×768)，采用PSNR和SSIM［14］作为客观评价标准。图2～6是本文算法与邻域和块均值填充算法的主观性能的比较。

图2 基于块的分级空洞填充技术实现框图

从图2～6的实验结果可以看出，本文算法消除了邻域和块均值填充在大空洞区域过分平滑的错误，保持了边缘和纹理的连续性(特别是图2的地毯、图3的幕布、图4的树部分，充分保留了边缘和纹理的连续性，获得了很好的视觉效果)。因此，本文提出的算法很好地改善了填充后图像的主观质量。

图3 序列pantomime不同填充算法主观质量比较

图4 序列lovebird1不同填充算法主观质量比较

图5 序列kendo不同填充算法主观质量比较

图6 序列balloons不同填充算法主观质量比较

对于本文算法与其他两种算法的客观比较结果如表1、表2所示，实验中分别选取了5个序列(BookArrival，pantomime等)的前10帧进行测试，统计了它们前10帧的平均PSNR和SSIM。

表1 不同填充算法的平均PSNR dB

表2 不同填充算法的平均SSIM dB

从表1、表2的客观评价试验结果可以看出，相对于邻域填充，本文算法在大部分情况下PSNR和SSIM是有所提升的;和仅仅使用基于块的均值填充相比，PSNR有0.01 dB级别的下降，而SSIM有0.000 1 dB级别的下降，这是因为块的均值填充将整个空洞区域平滑了，其客观质量略优于本文算法，但是其主观质量远低于本文算法。

综上主客观的综合评价结果，可以发现本文算法在大大改善主观质量的同时，也兼顾了客观质量，明显优于传统的邻域填充和仅仅使用块均值填充。

5 结论

本文提出了一种应用于单路彩色加深度的3D视频系统的基于块的分级空洞填充技术，该技术充分考虑了待填充像素和周围像素的相关性，可以获得很好的主观质量。从实验结果可以看出使用本文方法可以大大地提升填充后图像的主观性能，同时为了改善填充算法的填充速度，本文还采用了分级技术。总之，本文的填充算法充分考虑了填充速度和填充后图像的主客观质量，可以很好地应用于单路彩色加深度的3D视频系统中。

［1］ FEHN C.Depth－image－based rendering(DIBR)，compression and transmission for a new approach on 3D－TV ［C］//Proc.SPIE Conf.Stereoscopic Displays and Virtual Reality Systems XI.［S.l.］:SPIE Press，2004:93－104.

［2］郑专，安平，张秋闻，等.基于GPU加速的深度图像绘制［J］.电视技术，2012，36(11):11－14.

［3］ MCMILLAN L.An image－based approach to three－dimensional computer graphics［D］.Chapel Hill，NC，USA:University of North Carolina，1997.

［4］ MCMILLAN L.A list－priority rendering algorithm for redisplaying projected surfaces［EB/OL］.［2013－02－15］.http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.45.1759.

［5］ CHENW，CHANG Y，LIN S，etal.Efficient depth image based rendering with edge dependent depth filter and interpolation［C］//Proc.ICME 2005.［S.l.］:IEEE Press，2005:1314－1317.

［6］ OH K，SEHOON Y，HO Y.Hole filling method using depth based inpainting for view synthesis in free viewpoint television and 3－D video［C］//Proc.PCS 2009.［S.l.］:PCSPress.2009:1－4.

［7］ CHAN S，SHUM H，KING T.Image－based rendering and synthesis［J］.Signal Processing Magazine，2007，24(6):22－33.

［8］ TIAN D，LAIP，LOPEZ P，et al.View synthesis techniques for 3D video［C］//Proc.SPIE 7443，Applications of Digital Image Processing XXXII.［S.l.］:SPIE Press，2009:1－11.

［9］ OH K，SEHOON Y，ANTHONY V，et al.Virtual view synthesis method and self－evaluation metrics for free viewpoint television and 3D video［J］.International Journal of Imaging Systems and Technology，2010，20(4):378－390.

［10］鞠芹，安平，张倩，等.高质量的虚拟视点图像的绘制方法［J］.电视技术，2009，33(9):9－11.

［11］ FENG Y，LID，LUO K，et al.Asymmetric bidirectional view synthesis for free viewpoint and three－dimensional video［J］.IEEE Trans.Consumer Electronics，2009，55(4):2349－2355.

［12］ CHEN Y.A lattice－boltzmann method for image inpainting［C］//2010 3rd International Congress on Image and Signal Processing.［S.l.］:IEEE Press，2010:1222－1225.

［13］ OLIVEIRA M，BRIAN B，MCKENNA R，et al.Fast digital image inpaintingc［C］//Proc.VIIP 2001.Marbella，Spain:［s.n.］，2001:3－5.

［14］ WANG Z，BOVIK A.Mean squared error:love it or leave it?－A new look at signal fidelitymeasures［J］.IEEE Signal Processing Magazine，2009，26(1):98－117.