面向裸眼立体电视的体视动画技术综述

董芳菲，黄心渊，2

(1.北京林业大学信息学院，北京 100083;2.中国传媒大学 动画与数字艺术学院，北京 100024)

0 引言

立体显示技术源于对人眼的仿生研究，它借鉴人类的双眼视差和视觉暂留原理使平面图像产生立体效果。在虚拟现实中，常结合一些辅助设备观看双视点立体图像，它能带给观众强烈的沉浸感，但存在位置固定、视角受限以及头晕恶心等症状。裸眼立体显示技术则不需要佩戴诸如立体眼镜等辅助设备，并能实现多人从多视角观看立体图像。随着计算机技术的发展，如何利用裸眼来观看立体图像逐渐成为各国学者的研究重点，因此裸眼立体显示的应用与研究具有非常重要的意义，它即将成为立体电视技术的下一个发展方向。

作为裸眼立体电视的核心技术，获取体视动画片源主要有三种方式:一是通过摆设多视点摄像机实地拍摄;二是通过平面图像转换生成立体图像;三是通过在虚拟场景中摆设多视点摄像机虚拟拍摄。其中通过实地拍摄的方式存在多视点摄像机非完全匹配、镜头重复修改等缺点。通过平面图像转换的方式得到视差信息较少，因此立体效果较差。而利用虚拟三维软件制作体视片源的方式则有效避免了上述方法所带来的问题［1-2］:首先，虚拟三维软件生成的摄影机是完全匹配的，不存在渲染画面的跳动、光斑等问题;其次，虚拟三维软件只需要复制多台摄影机进行渲染就可以快速生成体视动画，并且可对镜头进行反复修改，降低镜头的实拍成本;第三，虚拟三维软件可以完成许多实拍所不能完成的镜头，还可以准确控制画面构图、镜头组接、节奏等方面。目前，在虚拟三维软件如3ds Max、Maya中采用双机拍摄的体视动画已经得到普遍应用。在国外，迪士尼、梦工厂、帝门影业公司先后推出《闪电狗》、《飞屋环游记》、《爱丽丝梦游仙境》、《玩具总动员3》、《怪兽大战外星人》等多部精彩体视动画影片［3-4］;在国内，北京景深数码影像工作室、数虎图像影视有限公司均致力于体视动画影片的开发，曾制作出《海龟之旅》、《古国惊梦》等多部优秀体视影片［5］。

体视动画的片源制作也相应拉动了裸眼立体电视的生产和推广。在国外，2009年日本高新技术博览会上日立展示了基于透镜阵列结构的10 in的FULL Parallax 3D TV［6］;2010年东芝展示了基于透镜阵列结构的12 in和20 in的9视点裸眼立体电视［7］。在2011年国际消费电子展上，东芝展示了56 in和65 in的9视点裸眼立体电视［8-9］，索尼和夏普也分别展示了基于透镜阵列和视差栅栏结构的裸眼立体电视。近年来，国外其他品牌如LG也研制出了基于透镜阵列的4视差裸眼立体电视［10］，三星也即将推出基于透镜阵列的55 in的9视点裸眼立体电视［11］。而国内在这方面的研究起步较晚，目前只有TCL研制出国内首个基于透镜阵列结构的裸眼立体电视［6］。

本文首先介绍了裸眼体视动画的技术原理，然后对体视图像获取、体视图像采样合成、裸眼立体电视显示3方面进行了阐述，最后指出了裸眼体视动画技术的不足和研究方向。

1 裸眼体视动画技术原理

人的立体视觉［12］是通过两只眼睛实现的，由于两眼在看同一物体时会有细微的差别，即双目视差，因此大脑通过对具有视差的图像进行综合分析和处理，产生出精确的三维物体以及物体在场景中的定位。裸眼立体显示技术则利用运动视差［13-14］原理，即因观测者本身的移动而造成的不同远近物体的移动速度差异，从而判断物体间相对远近的关系。

裸眼体视动画技术［15］则是在虚拟场景中，首先利用多台摄像机配置在各个方向模拟双眼观看的不同位置，形成虚拟摄像机阵列，分别对场景模型对象进行多视点图像序列渲染输出，然后将所渲染的多视点图像序列通过一定的图像采样和组合方法形成一幅立体图像，最后在具备特殊物理结构的裸眼立体电视上进行显示。其主要有体视图像获取、体视图像采样合成、裸眼体视图像显示3个步骤，流程如图1所示。

图1 裸眼体视动画流程图

本文根据文献资料以及实际应用成果，详细介绍了体视图像获取、体视图像采样合成、裸眼体视图像显示方法。

2 裸眼体视动画技术方法

2.1 体视图像获取

体视图像获取是生成具有运动视差立体图像的关键性步骤。在虚拟场景中，需要多台摄像机配置在各个方向模拟双眼观看的不同位置，形成虚拟摄像机阵列，然后分别对场景对象进行多视点图像序列渲染输出，通常摄像机之间的距离(基线距离)、目标距离、视野都是决定立体显示效果的重要参数。在此，介绍基于双视点的体视图像获取方法和基于多视点的体视图像获取方法。

2.1.1 基于双视点的体视图像获取方法

作为多视点立体摄像机最简单的创建方式，基于双视点的体视图像获取方法的基本思想是利用双目摄像机模拟人类双眼从而渲染出场景对象，真实地反映对象的远近关系，其获取方法有两种:第一种是按设定的距离平行移动摄像机进行双机拍摄，即平行成像;第二种是设定拍摄对象的中心并围绕其进行双机拍摄，即汇聚成像［16-18］。

双视点体视成像模型［19-20］如图2和图3所示:XOY面为观察者双眼所在平面，P(屏幕)是平行于XOY面的投影面，V 是平行于 XOY 面的像平面，设 E1(h，0，0)，E2(-h，0，0)(h＞0)分别是左眼和右眼的坐标，W是双视点汇聚到像平面V形成的交点。设像平面与XOY面的距离为vd(vd＞0)，投影平面与XOY面的距离为pd(pd＞0)，KO'L为屏幕图像坐标系，其中 O'K//OX，O'L//OY，O'在坐标系XOY中的坐标为(x0，y0，pd)。设通过E1和E2观看W，可以分别得到W在P内的立体图像对S1和S2。

通过获得双视点摄像机间的距离和汇聚角内部参数，可得到平移和旋转矩阵［21］，从而确定双视点摄像机之间的位置关系

刘文文等人采用双视点立体摄像机算法模型，在3ds Max中分别实现了汇聚和平行型立体摄像机的创建，并提出了立体摄像机内部参数的确定原则，将立体显示对象在XOY平面上的放大倍数要与Z方向上的放大倍数一致，使深度畸变降到最小，通过实验表明渲染得到的立体图像对成像清晰，场景深度感较强，获得较好的立体视觉效果［22］。

2.1.2 基于多视点的体视图像获取方法

由于双视点裸眼立体显示使观看者的位置和角度受限，因此需要对双视点摄像机进行扩展，由多个摄像机从不同角度拍摄，形成多视点摄像机阵列［23］，多视点摄像机在取值［12］时一般取 2，4，9，16 等值，为了追求可视角度更大立体图像，也可设置更多的摄像机数量，如图4所示。基于多视点的体视图像获取方法的基本思想是已知双视点的摄像机内部参数，即平移和旋转矩阵，通过两两计算双视点摄像机的方法，可得到多视点坐标系的转换关系。

图4 多视点摄像机阵列

根据双视点成像模型，可以得到双视点摄像机之间的位置关系，用平移和旋转矩阵［14-16，21，24-32］表示。假设场景中共m台摄像机，将两个相邻的摄像机之间的位置关系用(Ri，Tj)表示后，以第1个摄像机为世界坐标系原点，则第m台摄像机在世界坐标系中位置Em可计算如下

式中:i=1，2，…，m;j=1，2，…，m。田丰等人利用 4 组汇聚型摄像机进行多视点摄像机环形拍摄，提出了满足较小场景畸变的多视点拍摄间距，分析了立体深度与拍摄间距的定量关系，并计算了拍摄间距对应的物理场景包容范围，同时制作了立体游戏互动平台和大屏幕自由立体播放器［16］。实验证明通过多视点摄像机的创建所拍摄的立体片源可满足预先设定的立体效果。侯春萍［33］等人还提出基于多视点的体视图像获取方法不但可以在同一个平面内按照相等的距离、特定形式线性排列产生多视点，也可使多个摄像机在空间以某种阵列形式排列产生多视点，生成的多个视差图像则可同时携带水平视差和垂直视差信息。

2.2 体视图像采样合成

体视图像采样合成［16］基本思想是将虚拟场景中所渲染的多视点图像序列按照一定规律的采样和组合方法从不同视点的原始图像中提取数据并进行采样合成计算，形成一幅立体图像，这样可以节省带宽，方便立体图像在广播电视网络上的快速传播，但是会牺牲立体图像的分辨力。根据不同裸眼立体电视显示屏的不同采样模板，主要分为垂直采样合成模板和倾斜采样合成模板;根据裸眼立体电视显示屏上单像素中RGB分量物理位置，主要分为RGB分离采样和RGB不分离采样。

2.2.1 垂直采样合成

垂直采样合成的基本思想是将所拍摄的多视点图像从不同视点的原始图像提取相应列像素［12，15-16，22，34-37］，以列交错的形式排列，得到的立体图像对的垂直分辨力不变，水平分辨力变为(1/视点数)。

式中:i=0，1，…，Xmax;j=0，1，…，Ymax;n=1，2，…，m;q=0，1，…，最后把各个视点的矩阵相加得到立体图像矩阵

若裸眼立体电视显示屏上的RGB像素物理位置不同，即液晶屏采用子像素采样合成，一个像素包含3个子像素，每个子像素代表一个视点，需要对每个视点R分量、G分量、B分量进行离散化分别进行垂直采样，把各个分量累加获得采样合成图F，最终提取采样合成图像F中相应视点的RGB分量，分别显示在液晶像素的RGB子像素单元上

张晓媛等人利用垂直采样算法实现了立体图像对到立体合成图像的转化，将每个视点图像占用显示区整个屏幕的一部分，并且提出了消除屏幕两侧图像立体效果弱的方法，在图像合成时对边缘部分采用不等间距分割从而进行垂直采样［36-37］，实验证明经过垂直采样算法合成的立体图像观看具有明显的层次感。

2.2.2 倾斜采样合成

为了平衡水平和垂直方向的分辨力，裸眼立体显示器采用倾斜结构的柱透镜技术，对每个视点画面进行倾斜采样方式来匹配倾斜安装的柱透镜，即从不同视点的原始图像按照柱透镜倾斜角度依次提取相应矩阵块，以倾斜列交错的形式排列。

倾斜采样合成算法基本思想［16，37-40］与垂直采样合成算法类似，区别就是每个视点的采样矩阵不同，它需要按照透镜柱面的倾斜角度计算采样，而非进行垂直采样。

宋晓炜等人应用倾斜采样合成算法进行多视点立体图像合成，并进行算法改进，分别进行子像素判断准则、视点视图下采样以及多视点子像素排列3个步骤，实现了倾斜采样合成新算法［39］，可以广泛应用到任意倾斜角度、任意宽度的透柱镜LCD裸眼立体显示设备上，具有通用性。

2.3 裸眼立体电视显示

裸眼立体电视显示［41-42］是在显示器上利用特殊物理结构和光学原理，在精密制造工艺的保证下，用行列扫描电路控制多视点采样合成立体图像中每个像素的颜色灰度，从而在水平方向不同位置处对多视点图像进行显像，当用户的左右眼同时处于不同视区，无需眼镜即可经过大脑融合产生立体感，扩大了可视角度。目前裸眼立体电视显示技术主要分为透镜柱面、视差栅栏和指向光源3种，下面分别进行介绍。

2.3.1 透镜柱面技术

透镜柱面［16，33，43-49］的显示原理是在显示屏前加一层垂直或倾斜排列的透镜柱面，让显示屏的像平面位于透镜焦平面上，如图5所示。每个视点的图像像素在每个柱透镜下面被分成几个子像素，透镜柱面利用每个柱镜面对光的折射作用，将以不同的方向投射每个子像素，把不同视点的平面图像导向双眼分别对应的区域。由于柱透镜不会阻挡背光，因此其特点是画面亮度不受影响，图像丰富真实，但分辨力会有一定的下降。目前透镜柱面方法已经成为市场上裸眼立体电视生产的主流技术，如日立、东芝、索尼、LG［7-10］均推出了基于透镜柱面结构的裸眼立体电视。

图5 透镜柱面与视差栅栏结构成像原理

2.3.2 视差栅栏技术

视差栅栏技术［16，45-50］的显示原理是利用安置在背光模块及LCD/LED液晶面板间的液晶层和偏振膜制造出一系列方向为90°的垂直条级，使通过它们的光形成垂直细条栅模式，如图5所示。在立体显示状态下，其中一个视点的图像显示在液晶屏上，不透明条纹会遮挡其余视点图像，这样将各视点画面分开，使观看者看到立体影像。基于视差栅栏的裸眼立体电视由于背光遭到视差屏障阻挡，立体图像显示亮度会随之降低，并且分辨力会有一定的下降。

2.3.3 指向光源技术

指向光源［51-53］的显示原理是指搭配数个背光源来控制光的方向，背光源发出的光线让体视片源以排序的方式在不同方向上的某个区域之间进行左右眼影像互换，通过50～60 Hz的频率改变光源的方向，从而在LCD面板上产生双目视差的影像。指向光源技术需要LCD面板和背光源均具备快速的响应时间，并且LCD液晶面板上相应的显示影像与背光的转换应同步，其透光率是可以保证的，并且分辨力取决于LCD液晶面板，可以显示高清晰的体视片源。

2009年3M公司展示了其研发成功的3D光学膜［54］，该产品的面世实现了无需佩戴3D眼镜，就可以在手机、游戏机及其他手持设备中显示真正的三维立体影像，极大地增强了基于移动设备的交流和互动。

3 目前存在的问题和进一步研究重点

作者通过查阅了大量文献，对目前常用的裸眼体视动画技术方法进行了介绍。目前基于裸眼的体视动画技术仍存在以下问题:1)目前在多视点体视图像获取阶段由于视点数量不多，使观看者位置和人数均受到限制，多视点体视动画片源数量不足;2)体视图像采样合成会带来分辨力下降的情况，并随着视点的增加，分辨力下降越严重，因此局限于能够表示的像素数，并且也存在立体图像与倾斜透镜匹配的问题;3)当前常见的裸眼立体电视存在2D与3D不兼容、透光度低、分辨力低等问题。

根据以上存在的问题，以后的研究方向和重点有:1)利用虚拟环境增加更多的体视摄像机，或对渲染的立体图像对进行视差补偿［20］，增加中间视点图像，从而扩大体视图像可视角度和范围;2)对每个视点画面采用倾斜采样合成，平衡水平和垂直分辨力，减小体视画面的边缘锯齿感;3)利用指向光源原理技术实现体视动画片源在裸眼立体电视上的显示，保证了体视图像的高透光度、高分辨力，在2010年国际显示技术研讨会上也指出指向光源技术将是未来裸眼立体显示技术重要的发展趋势［55］。

［1］刘跃军.立体动画电影发展空间研究［J］.电影技术，2009，12(4):32-34.

［2］佟志强，王赫晨.立体电视特效镜头的实现方法及沉浸感分析［J］.中国有线电视，2010(9):1056-1059.

［3］吴景. 立体娱乐［J］.3D 中国杂志，2010，5(1):11-13.

［4］钒铮.3D数字电影受追捧成为市场主力军［J］.中国电影市场，2009(10):22-24.

［5］数虎图像有限公司.3D立体影片生产第一线［J］.3D中国杂志，2009，6(2):67-71.

［6］郯道宗.甩掉眼镜，裸眼3D更精彩［J］.实用影音技术，2010(1):32-39.

［7］Vinsson.聚焦3D电视技术，裸眼3D取得突破——CEATEC JAPAN2010日本高新科技展回顾［J］.家庭影院技术，2010(11):90-91.

［8］网易数码.裸眼3D不是梦，从CES2011看平板电视发展［EB/OL］.［2011-01-09］.http://tech.163.com/digi/11/0109/06/6PUG6DMD 001618VK.html.

［9］雅虎数码.2011年最值得期待的裸眼3D设备［EB/OL］.［2011-01-13］.http://digi.cn.yahoo.com/newspic/digi/4042/10/.

［10］电脑之家.LG展示全球最大65寸裸眼3D电视［EB/OL］.［2011-01-12］.http://labs.chinamobile.com/news/48221.

［11］驱动之家.三星展示55寸裸眼3D电视［EB/OL］.［2011-03-21］.http://news.mydrivers.com/1/189/189012.htm.

［12］何赛军.基于柱镜光栅的多视点自由立体显示技术研究［D］.浙江:浙江大学，2009.

［13］陈乃塘.3D来了［J］.电子与电脑，2010(1):46-49.

［14］MATUSIK W，PFISTER H.3D TV:A scalable system for real-time acquisition，transmission and autostereoscopic display of dynamic scenes［J］.ACM Transactions on Graphics，2004，23(3):814-824.

［15］NOBUO N，HIROTSUGU Y.Large LED-screen 3D television system without eyewear［C］//Proc.SPIE.［S.l.］:IEEE Press，2004:41-55.

［16］田丰.裸眼立体显示及数据获取的研究与实现［D］.上海:华东师范大学，2010.

［17］Autodesk.Autodesk 3ds Max techniques anaglyph stereoscopy techniques［M/CD］.［2008-08-02］.http://store.autodesk.com/DRHM/servlet/Con…uctID=105972800.

［18］HUA Chen，DONE Ye.Stereo camera calibration based on accurate control points［J］.Optics and Precision Engineering，2006，14(5):903-909.

［19］刘然，朱庆生.基于计算机立体视觉的双目立体成像研究［D］.重庆:重庆大学，2007.

［20］支丽欧，朱庆生.立体图像对的生成算法研究［D］.重庆:重庆大学，2007.

［21］张浩，李大海.自由立体显示拍摄系统中空间自由度的确定［J］.液晶与显示，2010，25(2):287-291.

［22］刘文文，杜江.3Ds Max自由立体显示功能的实现［D］.安徽:合肥工业大学，2008.

［23］庄克生.基于视差的多视点生成技术研究［D］.上海:上海大学，2009.

［24］YANG J C，EVERETT M，BUEHLER C.A real-time distributed light field camera［C］//Proc.13th Eurographics workshop on Rendering.Pisa，Italy:［s.n.］，2002:26-28.

［25］WILBURN B，JOSHI N，VAISH V.High performance imaging using large camera arrays［J］.ACM Transactions on Graphics，2005，24(3):138-142.

［26］张超.自然三维电视系统中视频预处理算法研究［D］.浙江:浙江大学，2010.

［27］张茂军，李乐.面向3DTV的高分辨率摄像机阵列设计与实现［J］.计算机应用，2008，28(7):1872-1874.

［28］MORBEE M.A distributed coding-based extension of a mono-view to a multi-view video system［C］//Proc.3DTV Conference.Kos Island，Greece:［s.n.］，2007:987-990.

［29］KIM H.3D video system for capturing moments in daily life［C］//Proc.Three-Dimensional TV，Video and Display IV.Boston，USA:［s.n.］，2007:324-332.

［30］PEDERSINI F.Multi-camera systems［J］.IEEE Signal Processing Magazine，1999(5):55-65.

［31］FURUKAWA Y，PONCE J.Accurate，dense and robust multiview stereopsis［J］.IEEE Transaction on pattern analysis and machine intelligence，2010，32(8):1362-1376.

［32］KUBOTA A，SMOLIC A.Multiview imaging and 3DTV［J］.IEEE Signal Processing Magazine，2007，24(6):1-25.

［33］侯春平，杨蕾.立体电视技术综述［J］.信号处理，2007，5(10):729-735.

［34］TABIT M.Data compression of integral images for 3D TV［C］//Proc.3DTV Conference.Kos Island，Greece:［s.n.］，2007:1-4.

［35］VETRO A，YEA S.Towards a 3D video format for auto-stereoscopic displays［C］//Proc.SPIE Conference on Applications of Digital Image Processing XXXI.Denver，USA:［s.n.］，2008:225-234.

［36］张晓媛，黄红梅.LED显示屏的裸眼立体影像研究［J］.天津理工大学学报，2006，22(6):20-22.

［37］张晓媛.裸眼立体显示技术研究［D］.天津:天津理工大学，2006.

［38］杨蕾.基于棱柱镜技术的自由立体显示图像合成［J］.天津理工大学学报，2007，40(9):1105-1110.

［39］宋晓炜，杨蕾.一种光栅普适的LCD多视点立体图像合成方法［J］.计算机应用，2008，28(1):195-198.

［40］赵悟翔，王琼华.阶梯光栅多视点自由立体显示的子像素排列［J］.四川大学学报，2009，41(6):216-219.

［41］梁发云，邓善熙.基于裸眼立体显示的视频变换技术研究［J］.应用科学学报，2005，23(4):435-437.

［42］PHILIP B.A survey of 3DTV displays:techniques and technologies［J］.IEEE Transactions on circuits and systems for video technology，2007，17(11):1647-1658.

［43］HILL L，JACOBS A.3-D liquid crystal displays and their applications［J］.Proceedings of the IEEE，2006，94(3):575-590.

［44］SON J Y，SAVELJEW V V.Parameters for designing autostereoscopic imaging systems based on lenticular parallax barrier and intergral photography plates［J］.Optics and Precision Engineering，2003，42(11):3326-3333.

［45］胡睿，彭涛.立体电视技术的实现及其进展［J］.有线电视技术，2004，248(8):96-98.

［46］吕朝辉，董跃.立体电视研究现状与展望［J］.电视技术，2006，30(8):39-41.

［47］DODGSON N A.Autostereoscopic 3D Display［J］.Computer，2005，38(8):31-36.

［48］3D中国.裸眼3D技术简介以及相关主流技术说明［EB/OL］.［2010-12-23］.http://www.china3-d.com/Classroom/jczs/2010-12-23/5813.html.

［49］秦开怀，罗建利.自由立体显示技术及其发展［J］.中国图象图形学报，2009，14(10):1934-1941.

［50］许磊.立体影像技术的研究与实践［D］.北京:北京交通大学，2009.

［51］苏文林.采用背光源场序性光线方向控制的三维显示［J］.彩色显像管，2000(4):32-35.

［52］汪洋，王元庆.多用户自由立体显示技术［J］.液晶与显示，2009，24(3):434-437.

［53］光电显示网.未来显示屏行业发展趋势［EB/OL］.［2009-04-17］.http://display.ofweek.com/2009-04/ART-230003-8110-28413216.html.

［54］中国家电网.裸眼3D备受瞩目，3M开发指向背光技术［EB/OL］.［2009-10-19］.http://www.cheaa.com/Tech/XinXun/2009-10/192043.html.

［55］DONELAN J，邱勇.2010年SID关于三维显示的报道［J］.现代显示，2009(11):5-7.