用于3DTV的图像绘制技术*

安 平 ，张 倩 ，鞠 芹 ，王 贺 ，张兆杨

（1.上海大学 通信与信息工程学院，上海 200072；2.上海大学 新型显示技术及应用集成教育部重点实验室，上海 200072）

1 引言

多视点成像是指用摄像机阵列同时获取动态时变场景，获得高性能的多视点视频数据，使人眼能直接从立体显示设备中获得具有真实、立体、交互甚至现实世界无法获取的视觉内容，由此逐渐引起人们的高度兴趣和重视，其中，三维电视（3DTV）是最重要的应用之一[1]，成为继高清晰度电视（HDTV）之后的下一代电视技术，有广阔的应用前景。

3DTV能够给用户交互式的3D深度感觉[2]，可让用户自由选择视点，通过3D立体显示器显示3D图像，给用户身临其境的立体感。如何发展自由视点视频的新的视点绘制方法是决定3DTV立体图像质量的关键技术之一。基于深度图像的绘制（DIBR）、基于光线空间的绘制以及光场绘制是3类典型的图像绘制技术[3]。针对3DTV应用，笔者将这3类图像绘制技术用于3DTV虚拟视点图像的生成，提出了几种改进的图像绘制方法，生成的新视点图像具有良好的质量。

2 基于DIBR和图像融合的任意视点绘制

基于深度图像的绘制（DIBR）技术[4]利用三维图像变换方程将参考图像中的像素映射到目标图像中。由于将场景的深度信息引入到图像绘制中，因此DIBR能大大减少参考图像的数目。为此，提出一种高效的基于DIBR和图像融合的新视点生成方法，与一般的DIBR方法相比，本方法对目标摄像机的位置没有限制，适用于生成真实场景的任意新视点图像。首先对参考图像进行预处理，包括深度图像边缘滤波和彩色图像规正，以减少在目标图像中产生的较大空洞以及虚假边缘；然后利用三维图像变换生成新视点图像，并对两幅目标图像进行融合得到新视点图像，最后用插值法填充剩余的较小空洞。算法流程如图1所示。

图1 基于DIBR的新视点生成算法框图

2.1 用边缘滤波预处理深度图

用边缘滤波器[5]平滑深度图像中深度值有较大变化的所有区域 （对象的边缘部分而不仅仅是水平边缘部分）。为了减少赝像，在平滑深度图的时候，应当保持前景物体的深度值不变，因为人眼对前景对象的变化比对背景的变化要敏感。

2.2 三维图像变换

推出一种简洁高效的三维图像变换方程式

2.3 图像融合

利用三维图像变换方程，根据深度信息可将参考图像中的像素坐标映射到目标图像中的对应位置。使用两幅参考图像分别生成目标图像，然后再将这两幅目标图像融合成最终的新视点图像，克服了仅由一幅参考图像提供信息的不充分性。

2.4 实验结果

用上述DIBR算法，对Microsoft Research提供的“Ballet”序列的测试结果如图2所示。摄像机4图像（见图2a）生成的摄像机5图像如图2d所示，摄像机6图像（见图2b）生成的摄像机5图像如图2e所示，图2d和图2e融合的结果示于图2f。与摄像机5的原始图像（图2c）相比，融合后生成的摄像机5图像的峰值信噪比（PSNR）可达32.03 dB，图像质量好，真实感强。

3 基于光线空间的自由视点绘制

光线空间表示法是实现复杂场景3DTV的关键技术，能在没有任何几何信息的前提下，利用一系列参考图像产生新视点图像。为了绘制出高真实感的新视点图像，需要对场景进行密集采样，但是在实际应用中，密集采样非常复杂而且代价昂贵，因此主要利用稀疏采样的光线空间数据进行新视点的绘制。

3.1 方法描述

首先需要求得从左到右以及从右到左的视差，可采用各种成熟且效果好的视差估计算法。然后需要根据视差找到对应点在中间视点图像上的坐标位置，这一过程需要将计算得到的视差投影到中间虚拟视点图像上。

设平行摄像系统，摄像机基线距离为B、焦距为F。假设场景中一点P与摄像机的距离为z，且P在最左端和最右端图像平面上的投影点为 PL和 PR，设 dLR（x，y）表示以左图像为参考，从左到右的视差，则 dLR（XL，Y）=。

设中间摄像机CI到最左端摄像机的距离为x，则在无遮挡时CI的视差为

视点CI中对应点的坐标值XI为

若已知中间虚拟摄像机位置α、左右图像匹配点的相对位置XL和 XR（或者 XL和 dLR），则点 P在中间虚拟摄像机图像上投影点的坐标XI可以由式（5）得到，由此可以获得XI的灰度值

若以右图像作为参考图像，以dRL表示从右到左的视差，同理可以得到

当中间虚拟图像中某一像素点（X，Y）在左右图像中都有对应点时，将式（6）和式（7）进行加权平均作为它的灰度值，即

对遮挡作如下处理：对中间虚拟视点图像中横坐标X＜α·ImageWidth和 X＞α·ImageWidth区域的内容分别主要从左参考图像和右参考图像中获取。

3.2 实验结果

用实验室实拍序列“小熊”测试了以上算法，实验结果如图3所示。其中图3a和3b分别为最左端和最右端的参考图像，图3c为生成的新视点图像，可见本文方法生成的图像主观质量良好。

4 基于光场绘制的新视点生成算法

光场绘制利用参考图像数据库来合成新视点图像，其过程可以看作光线查找和插值的过程。为克服一般光场绘制存在的深度固定和焦距固定的缺点，提出一种新的光线数据库的参数化方法，该方法能在较低光场采样的条件下利用一个可变焦平面重构深度值未知且有较大变化的场景，同时还能交互地实现改变焦距和改变景深的功能。

4.1 算法流程

设一条光线r=（s，t，u，v）的颜色值 c（r）=c（s，t，u，v），光线r与目标图像平面交点的像素坐标为 （x，y），并且（x，y）的颜色值为 c（x，y），用 K 表示投影中心为 o的目标摄像机。令w（x，y）表示光圈加权函数，δ为光圈宽度。对于参考摄像机DS，t，用RC表示一个由所确定的多边形 C，用 Rk表示 RC在目标摄像机图像平面上的投影。对于在Rk内的每一个像素（x，y），用 r表示穿过 o 和（x，y）的一条光线。

第一步，求出目标光线r与平面C与F的交点（s′，t′）和（f，g）F，并且设定好虚拟光圈的大小，即确定那些参考摄像机的光线参与对目标光线r的重构；第二步，利用映射求出光线 r与目标图像平面的交点（u，v）；第三步，根据第一步得到的（s′，t′），计算不同参考光线对应的加权函数weight；第四步，根据第一步确定的虚拟光圈大小及第三步确定的加权函数weight，利用方程来计算目标图像上坐标为（x，y）的像素的颜色值。

4.2 实验结果

用日本名古屋大学提供的测试序列“Akko&Kayo”对提出的算法进行验证。图4为利用不同的虚拟光圈生成的具有不同景深效果的虚拟视点图像，其中图4a，4b，4c分别为使用2，4，6条参考光线来合成虚拟光圈。图5为前后移动焦平面时生成的具有不同焦距的新视点图像，其中图5a，5b，5c分别为聚焦在左边人手位置、左边人脸位置和中间窗帘位置时的效果。

可见，所提算法不仅能够利用2D稀疏摄像机阵列生成任意位置的虚拟视点图像，还可以通过交互地改变焦平面的位置和虚拟光圈的大小实现改变焦距和改变景深的功能。

5 小结

笔者对3类图像绘制技术的典型方法进行了改进，提出基于DIBR和图像融合的新视点生成算法、基于视差估计的光线空间插值方法、新的光场参数化方法。所提出的新视点图像绘制方法实验效果良好，适用于真实场景的任意视点绘制，可用于3DTV的场景渲染，满足观众交互性视点变化的要求。

[1]KUBOTA A，SMOLIC A，MAGNOR M，et al.Multiview imaging and 3DTV[J].IEEE Signal Processing Magazine，2007，24（6）：10-21.

[2]MATUSIK W，PFISTER H.3DTV:a scalable system for real-time acquisition， transmission and autostereoscopic display of dynamic scenes[EB/OL].[2009-03-01.]http://people.csail.mit.edu/wojciech/3DTV/3DTV.pdf.

[3]CHEN Wan yu，CHANG Yu lin，LIN S F，et al.Efficient depth image based rendering with edge dependent depth filter and interpolation[C]//Proc.IEEE International Conference on Multimedia and Expo， 2005（ICME 2005）.[S.l.]：IEEE Press，2005：1314-1317.

[4]鞠芹，安平，张倩，等.高质量的虚拟视点图像的绘制方法[J].电视技术，2009，33（9）：9－11.

[5]ZHANG C，CHEN T.A survey on image-based rendering-representation， sampling， and compression[J].Signal Processing:Image Communication，2004，19（1）：1-28.