一种基于时间导向的DIBR空洞填补方法

丁陈敏，吕昭宏，姚剑敏，许胜允，林博瑛，郭太良

(1.福州大学场致发射国家地方联合工程实验室，福建福州350000;2.冠捷显示科技(厦门)有限公司厦门创新中心，福建厦门361000)

近年来，随着视频显示技术的发展，3D显示技术已成为下一代具有立体感、真实感和交互性特点的视频显示技术的基础［1］。目前，比较常见的方法是利用关键帧与其对应的深度图合成任意视点的图像，然而采用DIBR合成的视图往往存在空洞［2］。空洞产生的原因大致分为两类:第一类是将关键帧映射到新视点图像时，二维图像中的可见物体在新视点图像上的投影发生了错误而引起的;第二类是由物体之间发生遮蔽现象引起的［3］。

针对视点合成时视图中产生的空洞，现有技术采用的DIBR算法均是在同一个画面中对空洞附近进行水平像素的推测运算，这样得到的填洞像素值的正确率不高，容易造成图像边缘的失真［4］。

基于传统空洞填补方法存在的局限性，本文提出一种基于时间导向的DIBR孔填充的方法，利用结构相似性的方法查找连续视频序列中与关键帧拥有相同背景信息的前后相似帧，然后比较前后相似帧的深度信息，利用背景信息对新视点中的空洞进行填补。

1 传统DIBR孔填充方法

如图1所示，绘制新视点的过程中，变形后的新视点中有未被像素填充的区域，称之为空洞区域，空洞区域填补效果的好坏，决定了最终生成的多视点图像的立体效果［5］。因此，空洞填补是视点绘制的一个重要步骤。

图1 新视点图像细节图(其中黑色区域为空洞区域)

针对如何解决DIBR产生空洞引起的新视点图像中各种失真问题，国内外的学者提出了很多相关的填洞算法，主要分为两类:

1)第一类是采用图像修复技术填补空洞。主要是利用二维图像与其对应的深度图进行图像变形后，对生成的新视点中的空洞区域周围的像素信息进行处理计算，以此找到合适的背景信息，对空洞进行填补。比较常用的有水平镜像方法，顾名思义，就是选取一条参照线，按照相对位置关系选取对应的像素信息填洞［6］。利用水平镜像方法得到的填洞后，图像在物体的交界处画面会产生伪影，造成图像边缘模糊的现象，如图2所示。

图2 水平镜像填洞结果

2)第二类是构造全局背景填补空洞［7］。主要是利用视频序列帧间信息的互补性生成一张全局背景图像，并以此为辅助图像，去填补从关键帧映射到新视点时产生的空洞，该方法相比于第一类方法，对于简单场景中的空洞有很好的填补效果(如图3a所示)。但该类方法也存在一些不足，首先，构造全局背景需要确保单镜头中序列没有相机运动。目前，多数影片中的场景都不能做到这一点。其次，构造全局背景，需要从序列中提取与关键帧相关的背景信息，这就需要很多的帧间信息。再次，全局背景图像对于图像中有多个物体移动的情况不能起到很好的填补效果［8］，如图3b、3c所示。最后，使用构造的全局背景去填补空洞，不能完整地对新视点中的所有空洞区域进行填补，填补后预留的空洞使用图像修复方法进行处理，增加了算法实施的运算量。

图3 构造全局背景填洞效果

2 基于时间导向的DIBR空洞填补方法

2.1 算法思路

针对上述算法填洞效果会造成新视点在填洞后产生伪影、纹理失真以及运算量过大等情况。本文提出了一种基于时间导向的空洞填补方法，对基于视频序列生成一张全局背景图像来填补空洞的方法进行改进。

首先，视频序列的帧间信息具有关联性，如图4所示，中间帧第8帧缺失的背景像素可以在前后帧第7帧和第9帧中找到合适的背景像素信息。利用结构相似性的方法得到拥有相同背景的系列图像，以此作为依据，去填补新视点中空洞，得到的填补像素是真实存在的，优于传统填洞方法对空洞周围像素进行猜测得到填洞信息。其次，结构相似性方法设定了相似帧的范围，在采用相似帧填洞时，只用到了关键帧的前后帧序列，不仅节省了运算量，还不用考量相机的角度就可以对新视点中的空洞进行填补［8］。另外得到相似帧与关键帧在时间上关联密切，对于关键帧中有多个物体移动的情况，也能起到很好的填补效果。再次，采用相似帧填补空洞是遍历整个新视点图像，逐个像素进行填补，不需要另外使用图像修复方法进行处理，减少了内存的占用率，也大大增强了图像填补的正确率［7］。

图4 视频序列帧间信息的关联性

另外，采用相似帧填洞与构造全局背景填洞方法比较，在影片拍摄要求、影片要求以及适用场景等方面均有所不同。首先，构造全局背景对影片的拍摄有特殊的要求，全局背景的影片在拍摄时，摄像机是固定的，物体在移动，而相似帧方法使用的影片拍摄时不需要摄像机固定。其次，为了构造完整的全局背景，根据场景的不同，需要的影片数目不定，而相似帧方法不论何种场景对于影片的数目要求都是固定的。再次，两种方法适用的场景也有所不同，相似帧方法对于场景没有限制，而构造全局背景只能用在特殊的场景。两种方法的比较具体如表1所示。

表1 相似帧方法与构造全局背景方法比较

2.2 算法框架

本算法的架构由3个部分组成，如图5所示。第1部分是利用已知的方法对二维图像(即关键帧)及其深度图进行图像变形;第2部分是在二维图像所在的连续视频序列中利用结构相似性的方法(SSIM)查找满足相似范围的前后相似帧;第3部分是利用得到的相似帧图像对变形后的新视点图像做空洞填补。

图5 本文系统架构图

2.3 图像变形

图像变形部分的输入是二维图像和它对应的深度图，利用文献［9］中的使用方法求得像素视差，然后对图像进行变形(warping)，变形后，就会得到带有空洞(holes)的新视点图像(如图6所示)。

图6 新视点图像(含有空洞区域)

2.4 基于结构的相似帧查找方法(SSIM)

为了对新视点中的空洞区域进行填补，本文采用结构相似性的方法在连续视频序列中查找与新视点拥有相同背景信息的前后帧图像。结构相似性方法是一种衡量两幅图像相似度的新指标，其值越大，表示两幅图像结构越接近，最大值为1。本文中对相似帧的查找，按照视频序列帧间信息的关联性，选取的是在时间上序列中物体有相对位移关系的前后帧图像，所以对于相似帧的查找，按照实验结果，选取的前后帧与关键帧的相似范围在［0.85 0.96］时，就可以作为填洞的参考图像。

结构相似性方法(SSIM)的基本框图如图7所示［10］。其中，信号x，y分别是原图像信号和连续前后帧图像信号。结构相似性方法的核心函数定义为

图7 结构相似性方法(SSIM)基本框图

式中:S(x，y)描述了原始图像信号与连续视频帧前后图像信号之间的相似性，作为相似度度量;l(x，y)是亮度比较函数;c(x，y)是对比度比较函数;s(x，y)是结构比较函数;f(·)是整合函数，3个函数相对独立。3个比较函数定义如下

式中:C1，C2，C3是用来增加计算结果的稳定性，一般数值都比较小;L 为像素的最大值(通常为 255);K1，K2＜ ＜1;μx，μy是亮度均值，作为亮度的估计;σx，σy是标准方差作为对比度的估计，σxy是x，y的协方差。结合上式定义信号x，y之间的SSIM指标为

SSIM(x，y)=［l(x，y)α］·［c(x，y)］β·［s(x，y)］γ(3)式中:α，β，γ＞0，这3个参量对亮度、对比度和结构信息进行权值调整。在本文中 L=255，K1=0．03，K2=0．05，α =β =γ =1。

2.5 基于时间导向的空洞填补

图8a是视频序列“dancer”中的第40帧在变形后得到的新视点图像，图8b和8c是依照结构相似性的方法查找到满足相似范围的第38帧和第41帧图像。对应空洞区域的细节如图 8d，8e，8f，8g 所示。

图8 结构相似性方法查找得到的前后相似帧以及对应的细节图像

查找到关键帧的前后相似帧后，依照相似帧与其对应的深度图的像素信息，对新视点中的空洞进行填补，填洞流程如图9所示。按照流程图所示，首先，输入新视点图像以及相似帧查找环节得到的前后帧图像和其对应深度图。其次，对新视点中的空洞进行分类［11］。根据空洞所处的位置，本文将空洞分为单个像素的空洞和大范围的空洞，即

图9 填补空洞流程图

对空洞区域进行分类，再选择最佳的填洞方法对其进行处理，不仅降低了运算的时间，而且可以确保图像填补后的品质。再次，根据分类的情况，单个像素的空洞采用直接复制的方法填补。对大范围空洞的处理，是本文的重点，主要思路是比较前后相似帧对应深度图的像素值大小，选取像素值小的对应位置的像素信息对大范围空洞区域进行填补。具体实施如图10所示。

图10 单个像素的空洞填补情况(其中像素值为0的区域为空洞)

如图8d所示，对于单个像素的洞，由于只有一个像素的关系，不论用什么方法填补，不会影响图像填补后的整体效果，而且单个像素的洞基本上都出现在图像中物体的中间，因此，对于单个像素的洞，采取的方法是使用临近像素直接复制对其进行填补，即用空洞对应位置的前一个位置的像素信息对单个空洞进行填补，如图10所示。

为了填补图8e中大范围的空洞(图中的黑色区域)，本文的实施方案如图11～15所示，其中图11是红色方块区域对应的红色通道部分像素值。

图11 单通道部分像素值

图12 第41帧深度图对应位置像素值

图13 第38帧深度图对应位置像素值

图14 第38帧对应位置的像素值

图15 填补后得到的单通道像素值

查找到空洞位置后，接下来，逐个像素比较结构相似帧查找环节得到的第38帧图像和第41帧图像深度图对应位置的像素值，如图12和图13所示。

对于图11中的空洞区域(像素值为0的区域)，逐个位置比较图12和图13空洞对应位置的像素值，可以得出，第38帧深度图像空洞对应的所有位置的像素值都小于第41帧深度图像对应位置的像素值。一般的大范围空洞区域对应图像中的背景区域，而背景区域的像素值偏小，所以应选取第38帧图像的像素信息逐个去填补空洞，其像素值如图14所示。如果第38帧深度图像对应空洞位置的像素值与第41帧深度图像相比，有的大有的小，那么也是选取像素值小的对应位置的信息填补空洞。

将第38帧图像对应位置的像素值逐个填补到新视点中的空洞位置，得到的红色通道像素值如图15所示。因此，基于结构相似帧方法查找得到的填补空洞像素是真实存在的，只要比较前后帧深度图的像素值的大小，就可以得到正确的背景像素信息，对空洞区域进行填补。另外，由于图像是由RGB三色构成的，对于绿色通道和蓝色通道，也采用如流程图7所示的方法，先对空洞进行分类，再根据分类的情况使用不同的方法处理空洞区域来得到填补像素。实验证明，通过上述处理，RGB三通道都能找到合适的像素信息对空洞区域进行填补。

3 实验结果

本文利用“dancer“序列，将采用直接复制方法、水平镜像方法以及本文方法的填洞结果进行了比较，如图16所示。由于大部分序列在影片拍摄要求、影片要求以及使用场景等方面都不满足构造全局背景的条件，所以在实验中未和获得全局背景的算法进行比较。

图16 已有方法和本文方法的填洞结果比较图

从上面的实验结果可以看出，本文所采用的填补方法绘制得到的图像在前后景的边界处有较好的填补效果，可以真实地还原图像的边缘以及减少图像边缘的鬼影现象，使获得的多视点图像具有较高的填补质量。

通过比较原始图像和填洞后新视点图像峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)以及结构相似度(Structural Similarity Index，SSIM)来衡量新视点图像绘制后的质量［12］，比较结果如表2 所示。

表2 SSIM与PSNR结果比较

从表2可以看出，本文的填洞方法在数值上，相较于水平镜像的方法峰值信噪比提高了12.7%，结构相似度相较于水平镜像方法，提高了8.38%。

4 结论

本文提出了一种基于时间导向的DIBR空洞填补方法，利用结构相似性的方法查找连续视频序列中与关键帧拥有相同背景信息的前后图像，然后参照相似帧查找结果对图像变形后的新视点中的空洞区域进行填补。本文的方法能够最大限度地还原真实图像，减少了空洞填充时由于人为因素猜测得到填补信息而引起的图像失真现象，可以得到正确的、质量好的多视点图像。

［1］柴宏颖，颜淑惠.具有方向性的3D影像修补技术［D］.台湾:淡江大学，2012.

［2］王爱红，王琼华，李大海，等.立体显示中立体深度与视差图获取的关系［J］.光学精密工程，2009(17):474-475.

［3］ OH K J，YEA S，HO Y S.Hole filling method using depth based in-painting for view synthesis in free viewpoint television and 3-D video［C］//Proc.Picture Coding Symposium.［S.l.］:IEEE Press，2009:1-4.

［4］ CHOI S，HAM B，SOHN K.Hole filling with random walks using occlusion constraints in view synthesis［J］.IEEE Int.Conf.Image Process，2011(9):1965-1968.

［5］ BERTALMIO M，SAPIRO G，CASELLES V，et al.Image inpainting［J］.Acm Siggraph，2000(7):417-424.

［6］ CHOIS，HAM B.Space-time hole filling with random walks in view extrapolation for 3D video［J］.IEEE Trans.Image Processing，2013(6):2429-2435.

［7］陈坤斌，刘海旭，李学明.构造全局背景的虚拟视点合成算法［J］.信号处理，2013(10):1307-1311.

［8］ SCHMEING M，JIANG X Y.A backgound modeling faithful approach to the disocclusion problem［J］.International Journal of Pattern Recognition and Artificial Intelligence，2013(2):1-4.

［9］刘楷哲，吴其霖，黄伟豪，等.基于3D显示器格式之实时3D内容合成技术［J］.影像与识别，2010(2):87-91.

［10］佟雨兵，张其善，祁云平.基于PSNR与SSIM联合的图像质量评价模型［J］.中国图象图形学报，2006(12):1758-1760.

［11］陈昭和，郭柏廷，宋俊毅，等.立体影像产生之有效破洞填补方法［C］//第十一届离岛信息技术与应用研讨会论文集.［出版地不详］:华侨大学，2010:474-478.

［12］ WANG Z，BOVIK A C，SHEIKH H R，et al.Image quality assessment:From error visibility to structural similarity［J］.IEEE Trans.Image Process，2004(4):600-612.