集装箱起重机模拟器的立体显示及景深

, ,

(1.天津理工大学 海运学院， 天津300384； 2.大连海事大学 航海动态仿真及控制交通运输部重点实验室, 辽宁 大连 116026)

集装箱起重机模拟器的立体显示及景深

赵猛1,尹勇2,崔建辉1

(1.天津理工大学海运学院，天津300384； 2.大连海事大学航海动态仿真及控制交通运输部重点实验室,辽宁大连116026)

根据集装箱装卸培训特点，提出对集装箱起重机模拟器采用立体显示恢复出虚拟场景的深度信息，以提高模拟器仿真环境的逼真度。提出一种精确确定立体图像绘制时双视点距离的计算方法,使人眼能舒适地融合物理屏幕上的双眼图像。根据多人观测结果的均值确定物理屏幕人眼深度可融合范围;通过零视差面与固定物理屏幕间的射影变换得出双视点距离设定值。试验结果表明,固定物理屏幕立体显现不可避免地会产生深度方向上的压缩，该方法适于不同尺度的虚拟场景。

集装箱起重机;模拟器;立体显示;视差;深度感知

Abstract: According to the characteristics of container handling training，a stereo display mode is used to recover the depth information of virtual scene and improve the fidelity of the simulator environment. In order to fuse stereo images comfortably with the fixed physical screen by human eyes, the parallax of stereo images must be controlled within a certain range. A method for accurately determining distance of two viewpoints in virtual scene is presented. According to the mean results of subjects’ observation, critical depth of fusion limitation in the physical screen space is determined. According to projective transformation of zero-parallax surface to the physical screen, the distance of two viewpoints is deduced. Test results show that stereo display on the fixed physical screen will inevitably engender compression in the depth direction. The method is suitable for multi-scale virtual scene.

Keywords: container crane; simulator; stereo display; parallax; depth perception

岸边集装箱起重机模拟器[1]属于微观海事仿真范畴，在水路安全运输生产仿真方面不可缺少。国内各类海事仿真模拟器的研制虽然起步较晚，但已开发出比较成熟的系统,如船舶操纵模拟器、轮机模拟器、全球海上遇险与安全系统(Global Maritime Distress and Safety System,GMDSS)仿真系统等。对于集装箱起重机模拟器，国内相关机构[2-4]的开发都还处于原型机阶段，没有代表性的产品;国外商业化产品[5]已得到广泛应用，但大多采用单视点系统，驾驶员对场景中景物间(如集装箱与船)、景物与人之间的距离不能很好地把握，培训效果大打折扣。对此,提出采用立体显示技术,并给出一种绘制立体图像时双视点距离的确定方法,在符合人眼生理机能的基础上，最大限度地增强虚拟场景的景深层次感，使模拟器仿真环境更接近于真实场景。

1 岸边集装箱起重机模拟器

对于危险性高、培训周期长和投入多等行业的操作训练或维修培训，采用虚拟显示技术可显著提高培训效果、节约培训成本。岸边集装箱起重机模拟器是虚拟现实技术的典型应用，图1为采用OSG(OpenSceneGraph)作为视景开发工具生成的集装箱起重机模拟器三维可视化场景。

b) 视点漫游场景

岸边集装箱起重机的吊具与集装箱对位操作是起重机司机培训的核心内容，操作过程中通过眼睛判断及视频图像辅助,准确无误地将吊具四角上的锁头插入到集装箱顶上对应的角件孔中并缩紧。随着港内潮高发生变化，岸边集装箱起重机的驾驶室一般距离水面40 m以上[6]，司机需在该高度上控制吊具的起升和下降，并配合调整起重机大车与驾驶室的位置,实现准确的对位，稍有失误就会造成箱体、船体或吊具损坏。

每个集装箱在船上的垂直位置都是不同的，起重机司机在装卸过程中需依靠经验判断箱子与自己的距离、箱子与吊具的距离及吊具起升与下降的高度等。文献[7]通过2个摄像头获取箱体的视差图像，从2个视差图像中恢复出箱体的位置信息，实现吊具的自动对位操作,目前还处于初期研究阶段。对于采用立体显示系统的模拟器，培训司机通过佩戴立体显示设备[8]观察绘制的双眼虚拟场景图像，在投影幕或显示器前后的一定距离内恢复出具有一定景深的立体图像，以此增强三维显示效果，提高培训质量。

2 立体视差显示原理

在真实的环境中，受限于人眼的生理机能，需在人眼调焦与辐辏的共同作用下于观察点附近形成立体视觉，且视网膜上被观察点附近的景物清晰,此时人眼所感知的调焦距离与辐辏距离一致,等于观察点到人眼的距离，立体视觉舒适。同时,相对于该观察点，视网膜上的远景及近景图像均模糊显示，这就避免了因视觉干扰而造成疲劳(见图2a)。在仿真环境中, 经图形绘制流水线绘制后，整个三维场景的双眼视差图像完全清晰地显示在屏幕上，若双视点距离的设置不合理,则会使物理屏幕上产生远景与近景的大视差图像(见图2b)，此时人眼调焦在物理屏幕上，但超出了辐辏距离，二者长时间不一致会造成视觉疲劳，甚至导致人眼立体视觉建立失败。可见,双视点距离设置是绘制立体图像的关键。

a)

b)

对于虚拟场景双眼图像的绘制,可采用内束模型和离轴模型2种模型设置双视点视见体，其中内束模型会使立体图像产生垂直变形，且同一深度面与视线不垂直[9]，与真实人眼的立体视觉不符。这里介绍离轴模型的一种双视点距离的确定方法。图3为人眼可融合深度范围。

a)

b)

图3a中,人眼可通过调焦与辐辏，在物理屏幕前后一定范围内融合同一物体的双眼图像，形成清晰的立体视觉。零视差点图像、正视差点图像和负视差点图像分别被人眼感知在屏幕上、屏幕后及屏幕前。虚拟场景中正确设置双视点距离的目的是使虚拟场景整个深度范围内的物体被人眼感知在物理屏幕前后可舒适地建立立体视觉的深度范围内。

图3b中,对于场景中任意一点P(x,y,z),投影在深度为f的虚拟屏幕(即零视差面)上，左眼图像在零视差面上的投影点P左的坐标为

(1)

右眼图像在零视差面上的投影点P右的坐标为

(2)

由式(1)和式(2)可知，离轴模型不产生垂直视差，在零视差面上的水平视差值为

(3)

由式(3)可知，对于给定的零视差面深度f和双视点距离s，同一深度点的视差值只与该点虚拟场景的深度z有关，处于被感知的同一深度面上，符合人眼生理视觉。

虚拟场景中:S值确定太小，场景深度层次感弱，立体效果不明显；S值确定太大，视差值处于临界深度外，产生复视，不能建立立体视觉。通常通过反复试验获得舒适的双视点分离距离，但结果不具通用性。针对不同空间尺度的虚拟场景及不同的显示设备尺寸(投影屏幕或显示器)，给出一种具有普遍性、能精确确定虚拟场景中双视点距离的方法。

3 立体深度与视差计算

与真实环境相比，通过观察固定距离屏幕上的左右眼图像建立立体视觉是有局限性的。设置的双视点距离值需以下面2点为前提。

1) 若物理屏幕与人眼的距离固定不变，则在该屏幕上人眼能融合的图像视差是有一定范围的，存在最大正视差(入屏幕显示)和最小负视差(出屏幕显示)。

2) 虚拟场景的景深与物理屏幕上人眼可融合的深度范围不一定一致，景深大于可融合范围，人眼感受到的三维物体景深被压缩；景深小于可融合范围，人眼感受到的三维物体景深被扩展。

图4为虚拟场景的零视差面,其中:S为虚拟场景中两视点间的距离;D近和D远为2个视点所确定的视见体的近裁减面及远裁剪面与视点间的距离，则虚拟场景的景深为D远-D近，与视点间的距离为D零的平面为零视差面，该面上的点被人眼感知显示在物理屏幕上;d近和d远为景深中最近点P近及最远点P远在零视差面上投影的视差值;N为零视差面的宽度。由此可得

图4 虚拟场景的零视差面

(4)

(5)

从图4中可看出,零视差面为三维场景的投影面，三维图形绘制后经投影机显示在物理屏幕上，因此2个屏幕满足中心投影的射影变换(见图5)。P远的视差d远在物理屏幕上的投影为d正，P近的视差d近在物理屏幕上的投影为d负，物理屏幕的宽度为M,则

(6)

图5 投影机的射影变换

可见,物理屏幕与零视差面宽度的比值等于相应视差的比值，将式(6)变换为式(7)的形式。

(7)

由式(7)可知,零视差面和物理屏幕上的最大正视差与最小负视差的比值相等。将式(4)和(5)代入到式(7)中,可得

(8)

从式(8)中可看出，若系数γ已知，则由D远和D近可唯一确定零视差面所在深度值。若要调解正视差与负视差的深度范围，可首先确定出零视差面与任意裁减面的深度值，再由式(8)确定另一深度裁减面。

文献[10]和文献[11]通过试验得到物理屏幕后的立体视觉深度范围要比屏幕前的大的结论，即人眼机能可融合物理屏幕后更大的视差范围，且入屏幕显示的立体效果更好，人眼立体视觉更舒适。集装箱起重机司机是透过驾驶室窗体观察装卸操作的(如图1a所示)，因此可将虚拟场景中的零视差面设置在虚拟窗体所在深度处，通过设置合理的双视点距离将驾驶室外整个深度场景限制在固定物理屏幕后的正视差范围内，而驾驶室内的虚拟操作设备可用实物操作设备来替代，避免人眼观察到负视差图像，减轻人眼疲劳,提高模拟器的环境真实感。

虚拟场景中零视差投影面的宽度为

N=2D零tan(θ/2)

(9)

式(9)中:θ为双视点视见体水平视场角。

对式(5)、式(6)及式(9)进行整理,可得到双视点距离为

(10)

可见,双视点距离的确定与虚拟场景的景深、物理屏幕的人眼融合范围、物理屏幕的尺寸及双视点视见体的视场角有关。

4 物理屏幕深度可融合范围的试验确定

立体显示系统配备的硬件众多，最简单的配置既可以是桌面CRT显示器加主动立体眼镜，也可以是双投影机在大屏幕上投影出左右眼图像、人眼佩戴被动立体眼镜。[8]对于不同的立体显示系统及不同的人眼到屏幕的距离，固定物理屏幕的人眼可融合深度范围是不同的，这里采用多次试验取均值的方法获得固定物理屏幕人眼立体视觉临界深度。

试验设备采用边长为2.5 m的正方形投影幕及双投影机(见图6)，采用真实场景的尺度绘制虚拟场景。物理屏幕的主要参数见表(1)，试验步骤如下。

图6 固定物理屏幕

固定物理屏幕参量参数值屏幕物理宽度/m2.5人眼到屏幕距离/m2.5双眼瞳距/m0.065最大正视差/m0.058最小负视差/m0.051最大正视差深度/m23.2最小负视差深度/m1.4γ0.88

1) 人眼双瞳间的距离采用眼科医学试验的通用值0.065 m，人眼在距离物理屏幕2.5 m处观测双眼图像。

2) 设定虚拟场景的双视点距离也为0.065 m, 零视差面所在深度值和宽度都为2.5 m，双视点视见体水平视场角为53.1°,在该深度上绘制一个测量物标，则该物标被人眼立体视觉感知显示在物理屏幕上，其视差为零。

3) 虚拟场景中,在深度方向上平移物标，物标深度从零视差面增加会使物标视差正向增大，物标深度从零视差面减小会使物标视差负向增大。

4) 平移到人眼不能融合该物标在物理屏幕上的双眼图像时，立体视觉建立失败，此时分别测量该物标最大的正视差和最小的负视差。

5) 取10次测量的平均值。最小负视差为0.051 cm，最大正视差为0.058 cm，对应真实场景人眼感知深度值为1.4 m和23.2 m。

5 结果分析

虚拟场景的主要参数见表2,虚拟场景1按集装箱起重机操作环境的特点进行参数设置，集装箱起重机驾驶舱为4 m2左右的透窗操作间，距离水面约50 m;以船长200 m为例绘制虚拟场景，设置驾驶舱窗体所在深度为零视差面，其值为2 m，远裁减面深度值为200 m，则根据式(8)可得近裁减面深度值为1.07 m，根据式(10)可得双视点距离为0.025 m。为进行对比，给出另一组虚拟场景参量。

表2 虚拟场景的主要参数 m

5.1 场景1

场景1中的整个场景深度值为198.93 m，在距离人眼2.5 m且人眼可融立体深度为21.8 m的物理屏幕前后建立立体视觉。由于虚拟场景的深度范围大于物理屏幕人眼深度可融合范围，因此为兼顾近景与远景的图像视差，虚拟场景设置的双视点距离要小于实际人眼双瞳的距离，这是以牺牲物理屏幕上人眼所感知的深度范围(场景深度的层次感)为代价来弥补人眼立体视觉建立的舒适度。在现有的立体显示系统中，该深度上的压缩是不可避免的。本质上,现有的立体显示系统均未体现出与人眼调焦及辐辏相适应的支持设备。

5.2 场景2

场景2中的物体均为远景物体(200 m以上)，对于距离眼2.5 m的物理屏幕而言，200 m以外的景物之间的深度层次感已不明显。为了使200～1 000 m内的景物被立体感知在物理屏幕的前后，并增强远景物体间的深度层次感，虚拟场景的双视点距离设置值要远远大于真实人眼双瞳距离。经计算,虚拟场景深度391.7 m处的景物会被立体视觉感知在物理屏幕上，200～1 000 m的远景物体在物理屏幕可融合深度范围内显示。该情况适于虚拟场景尺度较大的立体显示，如地形漫游、虚拟天体演示等。

6 结束语

岸边集装箱起重机模拟器对保障港口安全生产、提高操作员的业务水平起着不可替代的作用。针对集装箱装卸培训内容及其特点，提出对模拟器采用立体显示方式，有限度地恢复出场景的深度信息，使仿真环境更加真实，从而提高培训质量。在分析人眼立体视觉建立的生理机能的基础上，分析人眼在固定物理屏幕上建立立体视觉与在真实环境中建立立体视觉的区别。固定物理屏幕只能在其前后的一定范围内建立立体视觉，因此对于一定尺度的虚拟场景，所感知的深度值在视线方向上是压缩的。根据不同尺度的虚拟场景及仿真系统，通过推导给出虚拟场景双视点距离的计算方法，使双眼图像视差范围控制在固定物理屏幕上人眼可融合的深度范围内，从而使人眼能建立舒适的立体视觉。经过试验验证，该方法适合于不同尺度的虚拟场景。

[1] 严新平,吴兵,汪洋,等. 海事仿真研究现状与发展综述[J]. 系统仿真学报,2015,27(1):13-28.

[2] 董熙晨,朱泽,王国贤,等.基于开放式系统及COTS技术的起重机操作训练模拟系统的开发[J].武汉理工大学学报,2012,36(4):765-768.

[3] 梁晓波,程文明,易嘉伟,等.集装箱起重机半物理仿真系统的研究与设计[J]. 计算机工程与设计,2014,35(4):1356-1360.

[4] 孙丰鑫.基于虚拟现实的集装箱岸吊仿真培训系统的集成与研究[D].北京:清华大学,2010.

[5] PATRAO B, MENEZES P. An Immersive System for the Training of Tower Crane Operators[C]. IEEE International Conference On Experiment, 2013: 158-159.

[6] 杜浚铭. 岸边集装箱起重机起升高度与集装箱船舶匹配度计算模型[J]. 集装箱化.2012,23(8):30-31.

[7] YOON H J, HWANG Y C, CHA E Y. Real-Time Container Position Estimation Method Using Stereo Vision for Container Auto-Landing System[C]∥International Conference on Control, Automation and Systems, 2010: 872-876.

[8] 张新宇，尹勇， 任鸿翔，等. 航海模拟器配备立体视景系统的方法研究[J]. 中国航海,2010,33(3):10-13.

[9] 赵猛, 金一丞, 尹勇. 立体显示中双目视差模型和深度感知研究[J]. 计算机工程, 2011, 37(17): 271-273.

[10] DI X, LINO E, PANOS N. Quality of Experience for the Horizontal Pixel Parallax Adjustment of Stereoscopic 3D Videos[C]∥IEEE International Conference on Consumer Electronics, 2012:394-395．

[11] KIM J, KIM N, OH S. Depth Budget for Visual Comfort in Stereoscopic Watching Environment[J].International Journal of Computer Science and Network Security, 2013, 13(1):7-12.

Stereo Display of Container Crane Simulator and Stereo Depth

ZHAOMeng1，YINYong2，CUIJianhui1

(1. Maritime College， Tianjin Technology University， Tianjin 300384， China； 2. Key Laboratory of Marine Simulation & Control, Ministry of Transport, Dalian Maritime University, Dalian 116026, China)

1000-4653(2016)03-0097-05

TP391.9;U653.921

A

2016-04-22

天津市高等学校科技发展基金计划项目(20130910);天津市普通高等学校本科教学质量与教学改革研究计划项目(B01-0818)

赵 猛(1978—) ，男，天津人，讲师，博士，主要研究方向为航海仿真技术，视景仿真技术。E-mail:zh52547110@163.com 尹 勇(1969—) ，男，湖北郧县人，教授，博士生导师，主要研究方向为航海仿真技术、实时图形算法、虚拟现实技术、多通道视觉系统等。E-mail:bushyin@163.com