立体视觉与立体成像

李桂苓，潘 榕，许树檀

（天津大学 电子信息工程学院，天津 300072）

自然界存在于三维空间，人类观看自然景物时，不仅能看到其高度和宽度，而且能辨别远近，产生深度感，形成立体视觉。

受种种条件限制，目前电视系统播出二维画面。有经验的摄影师或经计算机处理，借助人们的经验和学习能力等，虽可制作带有一定立体感的电视节目，但十分受限。

对形成立体视觉的机制至今不甚清楚，有客观因素也有生理和心理因素，又因人群及年龄而异。客观因素主要包括画面构图、边界、纹理、遮挡、阴影、颜色、对比、背景、透视、空气透视和运动等。客观因素加上人们的理解能力和先验知识，使得单眼看物体，单镜头摄像，也能诱发或增强一定的立体感。生理因素主要体现为调节、辐辏和融合，而人们的学习、记忆、联想和经验积累，所处环境、视野和心情等，则属心理因素。这些因素相互作用，但普遍认为立体视觉主要靠双眼获取双目立体信息，经大脑融合而得，这是目前构建较实用的立体图像或视频系统的基础[1-3]。

制作、播出和收视立体电视节目，构建三维电视（3DTV）系统，是人类多年的追求，数十年间，曾几度兴起高潮。近来，立体电影《阿凡达》成功上演，推动了3DTV。目前，偏振光式和开关式电视显示屏和蓝光光盘已商品化，今年NAB2011有众多厂商展示3DTV摄像机和3DTV节目制作平台，国内外在试播或筹办3DTV广播。为此，本文简要介绍建立立体视觉主要靠哪些因素，有哪些主要要求等，旨在促进3DTV发展。

1 双目立体视觉

人类两眼的瞳孔距约58～72 mm，这使两眼看同一物体时，左右视角略有差别，成像于视网膜亦不尽相同。这种双眼视觉差异称双目视差。双镜头3DTV摄像机即模拟两眼摄取图像。

双目视差分为水平和垂直两种。水平视差如图1所示，较易在大脑中融合，制作3DTV节目应尽量利用。垂直视差是两眼视网膜成像相关点在垂直方向上的差异，大脑难以融合，并易引起视觉不适，制作3DTV节目应予避免。

视觉分辨双目水平视差的能力用立体视觉锐度表示，单位为秒（"）。立体视觉正常的人，立体视觉锐度约5"～10"。由图2所示几何关系，可导出立体视觉锐度的弧度值近似为

式中：d为瞳孔距；Δz为远近两点P2与P1的距离差；z为观看距离。

双目视差的存在会引起两眼睫状肌等进行复杂的调整，这些生理信息经视神经送到大脑，可感知物体距离，形成深度感，加上人的经验和知识等，便形成源自双目视差的立体视觉。因3DTV摄像机和计算机难以模拟这一复杂过程，其建立的立体感必不完善，加之更难反映所有人双眼的调整能力，致使同一3DTV节目对某些观众可能更加不适应。

图3示出了视觉对带有视差的左右眼图像进行变形移位，形成整体双目图像，产生立体感的视觉现象，并称之为视觉移位现象。该图表明，视觉会将字母F移位到E和H的中间，并感知F浮在E和H的前面。不戴眼镜观看需戴眼镜观看的立体电视图像时，会看到左右错开的不重叠图像，戴上眼镜使二重像对应成像于双眼，才能形成深度感，也说明了视觉移位现象。

2 融合与立体视觉

融合是大脑将同时成像于两眼视网膜略有差异的一对影像综合为完整而有纵深感印象的过程。

融合功能分为感觉融合（静态融合）和运动融合（动态融合）两种。感觉融合指大脑把落在两眼视网膜对应点上的物像综合为一个完整印象的机制。运动融合是一种通过大脑视觉中枢神经所支配的反射性眼球运动，使两眼偏离对应点的物像重新回到对应点，即调整眼睛的状态，来维持感觉融合的能力。

能维持融合的一对图像差异之限界为融合范围，其值因人而异，差异超过这个界限的物像对将感知为双像。

3 双目立体视觉的工程实现

工程上，双目立体视觉可基于几何光学，由立体摄像机模拟。目前较常用的这类模型有平行式立体视觉模型和会聚式立体视觉模型两种。前者是后者的特例。

平行式立体视觉模型原理上由两台平行放置的摄像机组成，按较简单的几何关系，可较好地模拟基于双目视差的双目立体视觉。会聚式立体视觉模型的会聚距离有限，更接近两台摄像机光轴难以真正平行的真实情况，用来摄取立体图像或视频较为方便，如图4所示。

图4a是一平行光轴双目立体成像系统模型。它由左（L）、右（R）两台光轴平行、具相同线性特性的摄像机组成。物体上的P点在左（L）摄像机成像于PL，它位于P点与透镜中心CL连线同图像平面的交点。若知图像平面上的点PL和透镜中心CL，则可确定一条射线PLCL，所有可成像在PL点的物体点必在此射线上。同一物体点P在右（R）摄像机的成像点为PR，PR与相应透镜中心CR决定射线PRCR，PRCR与PLCL的交点即P点的空间位置。这意味若有按此模型摄取的一对图像，则可以其一为基准，寻找同一物体点在两图像中的匹配点，它们与相应透镜中心连线之交点即该点的空间位置，从而获其深度信息。

如图4b所示，对两摄像机光轴平行、水平扫描线位于同一平面、焦距为f的理想平行视点模型，设P点在左、右图像平面中成像点相对于坐标原点OL和OR（左、右摄像机透镜光轴与图像平面的交点）的距离分别为x1和x2，则P点在左、右图像平面中成像点位置差x1-x2即双目视差。

按几何光学

式（4）表明，摄像机几何参数固定时，视差x1-x2与距离z成反比，与P点离相机光轴距离无关。拉远两摄像机距离d，可加大视差，增强立体感，但其值难以模拟多种体征和年龄段受众，致使所拍节目不能适应所有人群。为突出立体感而过分拉大两镜头间距离，将引发观看不适。

4 辐辏与立体视觉

双眼观看景物时，左右眼视网膜上成像的相对位置略有差异。使这种二重像成为单像，眼球需旋转，称之为辐辏。两眼对一视点两视线之夹角称辐辏角。辐辏过程中，眼外肌做功，其张力感和两眼状况提供立体视觉信息，产生深度感。

如图5所示，L，R分别为左右眼，d为两眼间的瞳孔距，z为视距，P2和P1分别为两个物体或同一物体上远近不同的两点，ΔZ为 P1和 P2间的深度距离，θ1和θ2分别为左右眼视角，α1和α2分别为 P1和 P2的辐辏角。P2和 P1两点远近的不同，辐辏角α2和α1不一样，使眼球需做的旋转程度不一，从而产生P2和P1两点间的深度感。

双目视差也可按图5所示的两眼视角差定义。在P1和P2间相对距离很近的情况下，由几何关系可近似导出双目视差

式（5）表明，双目视差近似与深度成正比，而与视距的平方成反比。正常视力可分辨的双目视差约5"～10"，双目视差单独起作用时，视距约超过250 m即失去立体感，如图6所示。

式（1）、式（4）和式（5）均定量描述了水平方向的双目视差。式（1）与式（5）相同，说明立体视觉锐度是按双目视角差定义，而图5和式（5）物理意义较明显，但图4和式（4）对立体成像和寻求左右图像匹配点等工程问题更便捷。

5 运动视差与立体视觉

当观看者与景物间或物体间相对运动时，对观看者来说，景物、不同物体、同一物体不同部位或物体与背景间，对人眼的相对位置将发生变化。这些变化反映为视网膜成像位置、形状或大小的差别。这些差别的变化方向、速度及大小的差异称为运动视差。视觉通过比较视网膜图像时间序列的变化信息，会产生深度感。

运动视差对立体视觉的贡献与相对运动的速度有关，且因人而异，较敏感的角速度范围约为每秒几度。运动视差还与视距有关，如图6所示，在百米和数百米以下的中距离内，运动视差和双目视差是产生立体视觉的主要因素。

6 交叉视差及非交叉视差与立体视觉

双眼同时注视某一目标时，双眼视线交叉于一点，称其为注视点。注视点分别成像于双眼视网膜的中心凹，这两个光点相对应，相应信息传入大脑，由视中枢神经合成为一个完整像点。但视觉不仅能看清这一点，而且能辨别这一点与周围物体间的距离、深度和凹凸等关系，视觉依靠这种立体视觉功能，形成立体像。

比注视点近的物体在注视眼黄斑颞侧与非注视眼的颞侧视网膜成像，这对成像间的差异形成交叉视差。尚能由大脑融合的交叉视差的极大值即融合范围的前界。远于注视点的物体在注视眼黄斑鼻侧与非注视眼的鼻侧视网膜成像，这对成像间的差异形成非交叉视差。尚能由大脑融合的非交叉视差的极大值即融合范围的后界。

交叉视差和非交叉视差均属双目视差，视觉对前者更敏感些。融合范围的前、后界限定整个视觉融合范围。

7 继时显示与立体视觉

左右眼同时接受图像刺激产生的视觉称同时视觉，进入左右眼的图像有先后则称继时显示。继时显示形成立体视觉的规律与同时视觉有所不同，除与滞后时间的长短有关外，也与先行显示图像显示时间的长短有关。若先行显示图像显示时间约长20 ms，则继时显示滞后时间约短于20 ms时，继时显示的双目视差图像所产生的立体视觉与同时显示产生的立体视觉大致相同；继时滞后时间长于20 ms时，继时显示的立体视觉随着滞后时间的增长而减弱，超过约100 ms后，则难以形成立体视觉；当图像的亮度增高时，为形成立体视觉所允许的继时显示滞后时间缩短；先行显示图像的显示时间接近400 ms时，继时显示不再能形成立体视觉。

现已实用化的开关眼镜式立体电视显示方式即继时显示技术的一种应用。目前，平板显示屏刷新频率可以提得较高，切换双目视差图像的技术也相当成熟。实际上选定开关眼镜式平板电视的时间参数，还应考虑到闪烁和响应时间等因素。

8 立体视觉与观看距离和运动速度的关系

人眼允许辐辏与调节在一定范围内变化，但两者的变化超过各自允许的范围，就会在观看三维景象时引起视觉疲劳、眩晕、恶心等各种不适。为避免或减小这种不适程度，制作立体图像或立体视频节目时，需力求符合视觉规律，不要为立体感强而一味人为地夸大，或严重破坏各立体视觉要素间的平衡。

各立体视觉因素各有对应的分辨精度和有效距离。图6给出了深度灵敏度D/ΔD与视距D的关系。

图6表明，在数米范围的近距离，调节、辐辏，瞳孔反应等立体视觉因素起主要作用，属动态立体视觉。对千米级远距离，例如观看远处层叠起伏的山峦时，大视野和空气透视等成为主要立体视觉因素，属静态立体视觉。在百米左右的中距离，双目视差和运动视差是立体视觉的主要因素。其中，运动视差对立体视觉的贡献还与相对运动的速度有关，且因人而异。

9 结束语

本文讲述了立体视觉主要有哪些因素，分析了它们的形成机理，导出了双目视差关系式，给出了相应参数的约略值或范围。希望能对制作立体电视节目、编码传输立体电视数据流和正确重显立体视频图像有一定的参考价值。

随着立体电视节目摄制、录放、编辑、传输和显示等技术的趋于成熟和相关设备的商品化，特别是高质量节目量的增加，会促进立体电视的发展。

[1]RUICHEK Y，ISSA H，POSTAIRE J G，et al.Towards real-time obsta⁃cle detection using a hierachical decomposition methodology for ste⁃reo matching with a genetic algorithm[C]//Proc.16th IEEE Internati⁃nal Conference.[S.l.]：IEEE Press，2004：138-147.

[2]GROSSBERG S，HOWE P D L.A laminar cortical model of stereopsis and three-dimensional surface perception[J].Vision Research，2003，43（7）：801-829.

[3]陈松.现代眼科检查方法与进展[M].北京：中国协和医科大学出版社，2000.