离轴平行立体成像中视差图像失真及观看舒适性研究

刘霜　闪明才　孔祥杰

摘 要：视差立体成像系统中的图像失真是系统本身结构造成的，不可能完全消除，但可以通过对拍摄和播放参数的控制尽量减小。摄像机的构造不同产生的失真也会有差别，离轴平行摄像机产生的典型失真有深度非线性化、木偶剧效应、纸板效应及剪切失真等。每种失真都是立体成像系统中存在的成像缺陷，通过推导立体成像及显示系统的几何关系，可以找到失真原因；通过对公式分析，可以得到那些参数对失真产生起关键作用。用离轴平行摄像机在室内和室外拍摄并实时观察，通过改变拍摄参数来观察失真结果，可以找到如何在拍摄时通过拍摄参数的调节来控制失真，失真的减少可以大大地提高观看舒适性。

关键词：双目视差；离轴平行成像；图像失真；观看舒适性

引言

立体（3D）的显示相对于平面（2D）的显示增加了深度信息，给观看者带来视觉享受和更加震撼的视觉体验[1]。然而，双目视差立体显示时再现物体场景并不同于真实世界中的物体，由于拍摄时摄像机的摆放结构不同以及摄像方法的原因，立体图像会有各种畸变或者说失真，如深度水平弯曲、深度非线性化、木偶剧效应、剪切失真、梯度失真等[2]，另外一种典型失真现象是纸板效应[3]。失真和拍摄时摄像机的摆放结构有很大的关系，常见的摆放结构有：平行式（如图1-a所示）、汇聚式（如图1-b所示）、离轴平行式（CCD中心和成像中心不重合，如图1-c所示）[4]。

图中点画线为汇聚面，平行式结构中没有汇聚面，只有负视差，较明显的失真有：纸板效应、部分区域非立体化、木偶剧效应、深度缺失等。汇聚式结构可获得较大的视差图像公共场景区，同时存在正视差、零视差和负视差，但容易造成梯度失真、深度非线性化、剪切失真等。离轴平行式结构结合了平行式结构和汇聚式结构的优点，公共场景区域大，没有梯度失真，有正视差、零视差和负视差，但是仍然存在失真。接下来将重点讨论离轴平行立体成像中视差图像失真和系统中参数的关系，以及如何将失真控制在最小范围内，提高观看舒适性。

1 离轴平行立体成像中的失真分析

1.1 离轴平行立体成像系统的坐标分析

离轴平行立体成像系统实现立体观看要经过三次独立的坐标变换，首先是由实物的拍摄坐标转换成立体摄像机的CCD成像坐标，接下来把CCD的坐标转换成屏幕坐标，以左右视差图的形式展示在屏幕上；最后视差图经过双眼在大脑融合，融合的对象会根据视差的多少形成感知物体坐标，产生立体感觉。为了更好地理解三次坐标转换，把三次坐标转换的信息画在同一张图中，如图2所示，CCD成像坐标如图3所示。

图2、3中各参数说明如下：（xO，yO，zO）为某对象上参考点在世界坐标系的坐标，B为左右镜头间距；f为焦距；C为汇聚距离；E为观察者的眼距，一般平均为65mm；由于拍摄时的汇聚面的图像在放映时视差为零，所以可认为两者统一为一个面，即为图2中的屏幕，在拍摄时参考点在CCD上形成视差坐标为CL（xCL，yC）、CR（xCR，yC），由于平行结构垂直方向不存在视差所以只有yC，xCL和xCR是以CCD屏幕中心作为原点来计算的；h为离轴距离，通过改变h可调节汇聚距离C；（xSL，yS）、（xSR，yS）表示参考点的屏幕坐标；WC为CCD宽度，WS为屏幕宽度，设拍摄时的高宽比和播放时一样，这样图像水平放大率和竖直放大率一样都为Mf，统一称为帧放大率Mf=WS/WC；V（xV，yV，zV）为观察者双目连线中心的世界坐标系的坐标；β为汇聚角，tanβ=h/f=（B/2）/C；拍摄时原点位于左右摄像机光心连线的中点，X0轴平行于光心连线方向，Z0轴平行于相机光轴方向。

由图3可知，实物参考点（xO，yO，zO）在CCD上的成像坐标为：

1.2 离轴平行立体成像系统的失真分析

首先，分析观察者观看到的感知物体深度是否能还原真实物体深度，如果zI=zO那么感知物体和实物的深度是一致的，但从（6）可知，感知物体深度跟播放时的屏幕大小、实物深度zO以及观察者的位置zV有关，所以，zI=zO只是各个参数协调后的偶然事件。假定观察者在某点观察，而且播放屏幕不变，这时zI是zO的函数，对（6）求zO的偏导数，可以得到感知物体各点相对于实际物体各点在深度方向的变化率，定义为深度放大率Md，有：

可以看到，感知物体深度zI与实际物体深度zO并不是线性关系，当zO值变化越大时，zI相对于zO的变化量越小，这种情况称为深度非线性化。

接着，分析观察者观察到的感知物体大小是否能还原真实物体大小，同理，对（4）求xO的偏导数，对（5）求yO的偏导数，可以得到感知物体各点相对于实际物体各点在尺寸上的变化率，定义为尺寸放大率Ms，有：

由（8）可知，不同深度的物体在再现时具有不同的尺寸放大率，当zO等于0时， Ms=1（E≈B=65mm），也就是说，在汇聚面上的物体，尺寸失真最小接近于不失真，在正水平视差时，zO为负值越大，Ms越小（Ms<1），在负水平视差时，zO为正值越大，Ms越大（Ms>1），而远离汇聚面的背景尺寸会比真实的背景偏小，这种情况称为木偶剧效应。

最后，定义深度放大率与尺寸放大率的比值为放大因子[5]，即：

由（9）可知，在正水平视差时，当zO为负值越大，M越小，这时深度方向上的变化变小，也就是说物体看上去更扁了，象纸板做的一样，称这种失真为纸板效应。

2 实验

对立体失真的实验可以采用主观评价方法来进行，先将立体失真分为三个等级，并列出各等级的表现特征，然后让观察者说出观看后立体的失真程度，如表1所示。

实验设备摄像机采用Panasonic AG-3DA1MC，显示器采用Panasonic BT-3DL2550MC，帧放大率Mf为110，拍摄对象分为室内和室外两种场景，在室内拍摄3米内近距离物体，在本实验中观看的对象是前后两个立方体。在室外可拍摄大于3米较远的物体，观察对象为风景图像，让观察者分别观察拍摄到的物体，在不同的参数选择下，统计观察者的感受等级。在室内时，取C=2420mm通过调节焦距f和被拍摄物体到镜头的距离C-zO来观察，观察到的失真统计后，□代表状态3有失真，○代表状态2有点失真但不太明显，×代表状态1没有失真，得到如图4所示的结果。endprint

在室外，取C=5000mm通过调节焦距f和被拍摄物体到镜头的距离C-zO来观察，得到如图5所示的结果，当焦距取太大时容易产生纸板效应。

3 结束语

从图4可以看出，在室内拍摄时，随着焦距f的增加，被拍摄物体到镜头的距离C-zO在无失真的情况下范围在变窄，所以在室内拍摄时，焦距f不易调的过大，太大了近的和远的物体会失真，另外，在物体离镜头太近时，左右图的视差会超出人眼的瞳距，这时图像不能正确汇聚，如在小于1.3m时，左右图像已经不能形成立体了，变得模糊不清；图5是室外拍摄的情况，同样随着焦距f的增加，被拍摄物体到镜头的距离C-zO在无失真的情况下范围在变窄，另外，因为室外多以风景作为背景拍摄，背景表现为无限远，所以想要背景不失真，要设置焦距f在20mm以下为好，否则会产生明显的木偶剧和纸板效应，甚至会产生背景图像不能正确汇聚。

参考文献

[1]刘然，朱庆生，等.基于监视器的双目立体视觉的立体效果[J].同济大学学报，2007，35（11）：1542-1547.

[2]Andrew W，Tom D.Image Distortions in Stereoscopic Video Systems[J].Proceedings of the SPIE Volume 1915，Stereoscopic Displays and Applications IV，San Jose，California，February 1993.

[3]Yamanoue H，Okui M，Yuyama I.A Study on the Relationship Between Shooting Conditions and Cardboard Effect of Stereoscopic Images[J].IEEE Transactions on Circuits and Systems for Video Technology，2000，10（3）：411-416.

[4]Yamanoue，H.The Differences Between Toed-in Camera Configurations and Parallel Camera Configurations in Shooting Stereoscopic Images[C]. Multimedia and Expo， 2006 IEEE International Conference on Digital Object Identifier，2006：1701-1704.

作者简介：刘霜（1971-），男，河北保定人，博士，主要从事3D视觉控制研究。endprint

在室外，取C=5000mm通过调节焦距f和被拍摄物体到镜头的距离C-zO来观察，得到如图5所示的结果，当焦距取太大时容易产生纸板效应。

3 结束语

从图4可以看出，在室内拍摄时，随着焦距f的增加，被拍摄物体到镜头的距离C-zO在无失真的情况下范围在变窄，所以在室内拍摄时，焦距f不易调的过大，太大了近的和远的物体会失真，另外，在物体离镜头太近时，左右图的视差会超出人眼的瞳距，这时图像不能正确汇聚，如在小于1.3m时，左右图像已经不能形成立体了，变得模糊不清；图5是室外拍摄的情况，同样随着焦距f的增加，被拍摄物体到镜头的距离C-zO在无失真的情况下范围在变窄，另外，因为室外多以风景作为背景拍摄，背景表现为无限远，所以想要背景不失真，要设置焦距f在20mm以下为好，否则会产生明显的木偶剧和纸板效应，甚至会产生背景图像不能正确汇聚。

参考文献

[1]刘然，朱庆生，等.基于监视器的双目立体视觉的立体效果[J].同济大学学报，2007，35（11）：1542-1547.

[2]Andrew W，Tom D.Image Distortions in Stereoscopic Video Systems[J].Proceedings of the SPIE Volume 1915，Stereoscopic Displays and Applications IV，San Jose，California，February 1993.

[3]Yamanoue H，Okui M，Yuyama I.A Study on the Relationship Between Shooting Conditions and Cardboard Effect of Stereoscopic Images[J].IEEE Transactions on Circuits and Systems for Video Technology，2000，10（3）：411-416.

[4]Yamanoue，H.The Differences Between Toed-in Camera Configurations and Parallel Camera Configurations in Shooting Stereoscopic Images[C]. Multimedia and Expo， 2006 IEEE International Conference on Digital Object Identifier，2006：1701-1704.

作者简介：刘霜（1971-），男，河北保定人，博士，主要从事3D视觉控制研究。endprint

在室外，取C=5000mm通过调节焦距f和被拍摄物体到镜头的距离C-zO来观察，得到如图5所示的结果，当焦距取太大时容易产生纸板效应。

3 结束语

从图4可以看出，在室内拍摄时，随着焦距f的增加，被拍摄物体到镜头的距离C-zO在无失真的情况下范围在变窄，所以在室内拍摄时，焦距f不易调的过大，太大了近的和远的物体会失真，另外，在物体离镜头太近时，左右图的视差会超出人眼的瞳距，这时图像不能正确汇聚，如在小于1.3m时，左右图像已经不能形成立体了，变得模糊不清；图5是室外拍摄的情况，同样随着焦距f的增加，被拍摄物体到镜头的距离C-zO在无失真的情况下范围在变窄，另外，因为室外多以风景作为背景拍摄，背景表现为无限远，所以想要背景不失真，要设置焦距f在20mm以下为好，否则会产生明显的木偶剧和纸板效应，甚至会产生背景图像不能正确汇聚。

参考文献

[1]刘然，朱庆生，等.基于监视器的双目立体视觉的立体效果[J].同济大学学报，2007，35（11）：1542-1547.

[2]Andrew W，Tom D.Image Distortions in Stereoscopic Video Systems[J].Proceedings of the SPIE Volume 1915，Stereoscopic Displays and Applications IV，San Jose，California，February 1993.

[3]Yamanoue H，Okui M，Yuyama I.A Study on the Relationship Between Shooting Conditions and Cardboard Effect of Stereoscopic Images[J].IEEE Transactions on Circuits and Systems for Video Technology，2000，10（3）：411-416.

[4]Yamanoue，H.The Differences Between Toed-in Camera Configurations and Parallel Camera Configurations in Shooting Stereoscopic Images[C]. Multimedia and Expo， 2006 IEEE International Conference on Digital Object Identifier，2006：1701-1704.

作者简介：刘霜（1971-），男，河北保定人，博士，主要从事3D视觉控制研究。endprint