沉浸式水墨荷花立体导航界面设计

李舸溯

哈尔滨工业大学媒体技术与艺术系，黑龙江哈尔滨 150001

0 引言

从人类进入21 世纪以来，计算机技术的不断发展，计算机图形技术与显示技术也在飞速的前进着。1962 年，sutherland 提出“The ultimate Display”[1]的观点，带领人类进入有计算机生成图形模拟真实环境的研究领域。在“The Ultimate Display”中，Sutherland 给出了虚拟现实的一个概念雏形：使人处在由计算机生成的虚拟环境中，并且以自然的方式与虚拟场景进行交互，人如同处在真实环境中，并与虚拟环境中的物体发生相互作用。其研制的头盔显示器HMD[2]做为其观点的具体实现使用户第一次感受到了虚拟场景带给用户的沉浸感。在sutherland 的研究中，通过虚拟现实技术使仿真环境与现实世界联系起来，用户在体验中不但体验到现实环境的感受，还可以体验到现实环境中无法提供的感受。如今，计算机图形技术、交互设备、图形显示技术以及PC 机的图形处理能力都得到了巨大的发展。虚拟现实系统也不局限于HMD技术，大屏幕、多投影机拼接构成的虚拟现实系统逐渐进入人们的生活中，并受到用户的青睐。这类多投影虚拟现实系统给用户提供了大视野、高分辨率、高质量的立体图像[3][4]。通过逼真的模拟人在自然环境中的视觉、听觉、运动等行为来使人产生沉浸感。1992 年，在SIGGRAPH 年会上DeFanti，Sandin以 及Cruz-Neira 提 出 了CAVE（Cave Automatic Virtual Environment）系统[5]，它是一种全新的基于投影的沉浸式虚拟环境。CAVE 系统支持多用户的使用，同时解决了HMD 系统造成的用户眼镜不适感问题。其投影面几乎能覆盖用户的所有视野，给用户带来很强的沉浸感体验。本实验主要针对CAVE系统中的用户界面进行研究，利用CAVE 系统自身具备的大视野、高分辨率、高质量的立体图像显示技术，为用户提供一个较好的沉浸式环境。

1 实现CAVE 中水墨荷花立体导航的设备组成

本系统中采用的CAVE 系统就是基于廉价微型计算机系统为主体进行构建的全方位投影系统。硬件搭建包括5 个正方体投影屏幕，分别是上、下、前、左、右五个方向，一台具备高速3D 图形处理能力的高性能微型计算机系统为主体，进行集中控制。操作系统采用支持OpenGL 和Direct10.1 的Windows 7 专业版32 位操作系统，建模和渲染选择MAYA 和3D Max 软件，图形处理选择Photoshop Cs5 软件，游戏引擎选择Unity 3D 软件。微机系统硬件在CPU 选择上采用Intel（R）Core（TM）i5-2450M 双核心与Intel GMA HD3000 显卡进行搭配，内存为4GB 的DDR3。其3D 图形处理能力已经超过以前高档SGI 图形工作站，可以支持CAVE 系统的整体运行。投影仪选择标称亮度（流明）3000 流明的索尼CX80，对比度450：1，分辨率为1024*768，可以高清晰地将场景投射到屏幕上，系统的照相机参数以每个面试用90 度的视角范围来设定，前方照相机参数为原始参数，左、右、地面和天空四个面的照相机参数由PCCAVE 自动推算。

深度摄像头，采用微软公司推出的KINECT 体感设备，并固定于前视角的幕布上方，对用户的视点及动作信息进行获取。通过游戏引擎获取平面的画面内容，并进行投影变换，并根据KINECT 获取的用户头部信息来调整投影变换中视点的位置。

2 关键技术组成及具体实现

沉浸式水墨荷花导航系统实现的关键技术有三部分模块，分别为：三维美术模型及场景制作模块、交互设计实现模块、以及硬件系统集成技术模块。图2 给出了完整的水墨荷花导航系统的主要制作步骤和流程。首先是为整个导航系统制定整体策划，包括导航内部结构规划，导航呈现在用户眼中的美术视觉设计，规划系统交互功能的实现和硬件系统集成方案。

对于荷花的模型构建，主要使用MAYA 建模软件进行模型构造、动画效果制作以及材质渲染输出，视觉画面定位侧重于水墨风格的表现。本文中，由于场景中还有很多模型需要表现水墨效果，为使整体视觉效果最终保持一直，在unity 3D 中使用shader 进行线描效果的编写，并将其赋值给每个模型。在交互时，荷花产生动画效果，此效果在maya 中完成，通过使用maya 中自带的骨骼绑定来制作荷花的开花效果。

在交互设计上，采用Microsoft 开发的kinect 传感器作为身体动作捕捉设备，通过系统的功能需求设计相应的手势动作，进而通过对kinect for Widows SDK 的开发实现手势交互。

基于人体生理结构和日常行为动作，在设计中以人站立姿态下的身体中轴线为标准中心坐标线，对手势进行定义命名，包括系统开机动作、确定选项动作、缩放视口动作、打击热点动作和退出系统动作。

其他动作与此动作代码类似，在此不一一列举。最后在Unity 3D 中整合输出。

本系统采用CAVE 无缝拼接投影系统，在X86 平台上实现最高图形性能的三维图形处理，实现逻辑矩阵、视音频同步切换功能的视频矩阵切换。利用kinect 传感器获取手势动作，并通过投影仪设备进行输出，实现交互动作的视觉化效果。

3 结论

本文对CAVE 中的导航系统界面进行探索，从文中的导航制作流程可以看出，CAVE 中的导航系统界面不同于Web 或移动平台中的界面显示，Web 等平台由于自身条件受限，目前视觉效果多数停留在二维空间的显示上，即使实现三维图像显示，视觉感上三维效果也不是很明显，且三维出屏效果有限。而基于CAVE 的应用可以很好的实现三维的立体空间显示效果，因此其导航系统界面具有以下几方面特性：1）三维性，通过佩戴液晶立体眼镜能够感受到物体的出镜效果，增强视觉空间感；2）现实与虚拟的完美融合，通过将导航拟物化融入于场景中成为场景中的一部分，使用户在操作中即完成了要实现的任务，还使场景在视觉上发生变化，增加了趣味性；3）交互性增强，通过手势的不同动作，产生不同的交互效果，交互方式沿用移动平台的基本操作方法，使用户在具体操作时易于上手，与日常行为认知保持连贯性；4）沉浸性，基于CAVE 的导航系统，使用户在视觉感受、心理上都形成较好的沉浸性，给用户带来意想不到的体验；5）基于不同的场景中，会增强场景对用户的影响效果，如本文中的水墨荷花，基于CAVE 的水墨场景体验，在用户进入CAVE 时，用户会对水墨效果有新的认识和理解，提高人们印象中对传统水墨画的认知。

[l]Sutherland I.The ultimate display[C].Pro IFIP Congress，1962:506-508.

[2]Sutherland I.A head-mounted three dimensional display[C].Proceedings of Joint Computer Conferenee，1968:755-764.

[3]FP Brooks.What’s real about virtual reality[J].Computer Graphics and Applications，IEEE.1999，19(6):16-27.

[4]Ned Kock.Virtual Reality Technology[J].International Journal of e-Collaboration，2006，2(l):61-64.

[5]Molet T.，Aubel A.，Capin T.，et al.Thalmann.Anyone for Tennis ? Presence，Vol.8，1999，4(2):140-156.