王学松 于文江
(1.北京师范大学虚拟现实应用教育部工程研究中心;2.北京师铎教育科技有限公司)
虚拟现实技术的“前生今世”
1王学松2于文江
(1.北京师范大学虚拟现实应用教育部工程研究中心;2.北京师铎教育科技有限公司)
提到“虚拟现实”,人们脑海里马上会浮现出一幅可能来自30世纪的画面:一袭装备着电缆和跟踪定位器的黑衣、头戴完全封闭的头盔、手上戴着数据手套,面对炫酷的三维立体屏幕,在空气指指点点,与周围世界格格不入。这是一系列美国大片《黑客帝国》、《盗梦空间》、《虚拟偶像》里面描绘的虚拟现实未来场景,也是虚拟现实技术专家在几年前给人们绘制的未来生活前景。
1.1“虚拟现实”是什么
虚拟现实(Virtual Reality)实际是“人类利用计算机合成人工世界”,是一项利用计算机创造出真实世界的三维仿真环境,并提供身临其境感觉的视觉模拟和信息交流技术。虚拟现实与人工智能、互联网技术一起将成为改变人类未来生活、交流、工作的重要技术,虚拟现实技术,为人类提供了跨越时间和空间来观察宏观和微观世界的新方法。
虚拟现实技术是利用计算机图形技术、人工智能技术、人机交互技术、网络技术、传感技术,并经过进一步的集成、融合、发展,形成的一体化计算机辅助的模拟系统。与传统的仿真或模拟技术相比,其主要特征是:操作者能够真正进入一个由计算机生成的可互动数字化三维虚拟环境,通过参与者与虚拟环境的相互作用,并借助人类感知和认知能力,在虚拟空间中获取知识、开展实践、完成工作。
1.2怎么定义“虚拟现实”
虚拟现实技术尚没有一个令各方都满意的明确定义。虚拟现实(Virtual Reality,简称VR)是指采用计算机图形技术,生成逼真的虚拟环境,通过对人类视觉、听觉、触觉等感官的模拟,人们通过特殊输入输出设备利用手势、姿态等自然的方式与虚拟世界的物体进行交互,相互影响,从而产生亲临真实环境的感觉和体验。
按照技术专家的定义,VR利用计算机的软硬件资源实时生成与现实物理世界对应的三维虚拟世界,从视觉、听觉、运动觉、触觉、味觉、嗅觉等多感官通道为用户提供身临其境的真实感觉,提供用户与虚拟世界进行自然交互。
2.1“虚拟现实”概念的产生
虚拟现实技术其实并不能算人类近年来创造出来的全新技术,早在1963年,电子计算机还刚刚开始投入使用不久,就诞生了声音和立体形象结合的虚拟现实技术思路。到1968年,第一套头盔式现代意义的虚拟现实系统产生。20世纪80年代,“虚拟现实”概念正式诞生。在将近半个世纪时间里,科学家不断给我们描绘虚拟现实的美好前景,美国大片里不断出现未来虚拟现实的场景,但在实际应用中,虚拟现实却陷入长期的储备期。
2.2虚拟现实近两年为何发展迅速
虚拟现实技术是多个领域技术的融合与集成,其发展本身受到计算机图形技术、显示技术、交互技术的制约。长期以来,显示技术未形成大的突破,让然停留在小尺寸屏幕阶段,无法形成人类视觉真实模拟;计算机交互技术长期依赖于鼠标和键盘,没有可实用的三维交互技术;虚拟现实技术软件、模型场景开发停留在人工、小作坊阶段,难以形成有影响力的应用场景;计算机计算能力严重不足,只能满足离线场景绘制和渲染,复杂场景需要数小时,甚至几天的绘制才能完成。其次,网络带宽不足,难以支持三维真实场景的快速远程绘制、传递。综合这些技术性制约,虚拟现实技术很难有大的突破,只能是技术人员和研究人员在实验室环境里的高科技玩具。
近年来,一方面虚拟现实技术依赖和集成的基础技术内容不断发展进步,计算能力、现实技术、网络带宽、绘制技术、交互技术都有了长足进步,使得虚拟现实进一步发展成为可能;另一方面,虚拟现实随着几大厂商的专注与加大投入,使虚拟现实迅速成为投资热点,来自产业界的利益驱动,大大推动虚拟现实技术正在飞速走进人们生活。2012年,Google发布谷歌眼镜,奏响虚拟现实新一轮发展的序曲;2014年,Facebook以20亿美元收购虚拟现实设备Oculus Rift,苹果公司收购虚拟现实技术公司,引起信息产业界的巨大震动。随后,三星、索尼、微软一批世界顶级公司加入虚拟现实战团。虚拟现实技术产业蓬勃欲出,蓄势待发。
虚拟现实技术具有三个最典型的特征,即即沉浸感(Immersion)、交 互 性(Interaction) 和 构 想 性(Imagination),称为“3I”特性。
浸沉感指的是人浸沉在虚拟环境中,使参与者有“真实”的体验,这种体验即全身心地进入,理想情况下虚拟环境应该达到使用户难以分辨真假的程度,具有和在真实环境中一样的感觉。
虚拟现实的交互性(interactive),使虚拟环境中体验者不是被动地感受,而是可以通过自己的动作改变所处的环境、感受的内容,大大增加了虚拟现实的应用能力和范围。
虚拟现实的构想性(imaging)指虚拟的环境可以来自真实,也可以是人构想出来的。体现了虚拟显示广阔的可想象空间,可拓展人类感知器官的认知范围,可以再现真实的环境,也可以构想、创造出可观不存在的环境。
虚拟现实的3个基本特性,通过沉浸感、交互性和构想性的虚拟环境,为虚拟现实的领域应用提供了无限的可能。
虚拟现实应用领域广泛,从早期的军事应用,虚拟现实技术被广泛地应用于军事训练、工业设计及制造、教育、医疗、数字娱乐、文化保护等领域。
人们很早就意识到了虚拟现实在军事、工业训练方面的应用可能性,个人感觉让人们最为期待的改变莫过于最贴近日常生活的教育、娱乐、文化领域的应用前景。不妨稍微展开进行介绍:
4.1虚拟现实军事领域应用
军事仿真应用需求是现代化数字战场的重要需求,与机械化战争相比,未来战争必将面临技术环境更为复杂、速度更快、设计的纬度和领域更为广泛。在复杂的战场环境中,如何利用虚拟现实真实性、交互性、沉浸性的特点快速模拟出真实战场环境,进行训练和模拟,增强作战能力,如何将现场的真实场景,快速再现,提供作战辅助和决策支持能力,对虚拟现实提出了重要需求。
目前军事领域的模拟包括战场环境的模拟、自然气象环及国内的模拟、武器装备模拟、动态演练的模拟。世界上,以美国为代表,形成了利用虚拟现实进行战争模拟演练 的SIMNET(1983年 )、STOW (1998)、WARSIM(2000)等技术。近期又开展了一系列新的虚拟现实应用项目例如“红旗军演”、 “全球综合训练环境”计划等。虚拟现实仿真与实战逐步一体化,形成了立体三维战场环境、气象模拟、虚实结合的新型训练、实战应用解决方案。
我国的军事应用大多用于战争演练、战场模拟、训练辅助应用,兵棋推演、指挥模拟、模拟训练等等得到了系列的部署与应用。为推动军队现代化建设,为提升部队战斗力和进一步发展现代军用仿真技术体系储备了人才和技术。
4.2虚拟现实教育领域应用
虚拟现实在教育中的应用将彻底改变传统的教学模式和学习方式,学生可以经历他们从来没有经历过的场景并获得前所未有的体验。物理课堂上学生可以进行所有的实验,控制所有的物体变化、从不同角度观察它们;数学课堂上学生可以观察到方程式的内部过程;在英语课堂上学生可以在莎士比亚世界剧院中畅游。在虚拟现实中,人和环境间的交互将得到更全面、更深入的体现。未来教学中,虚拟现实技术可以融合多种媒体信息以可视化的方式展示不同种类教育资源的多时空状态,先进性不言而喻。
目前虚拟现实技术改进教学方法已经有一些最初的雏形,美国华盛顿大学和美国西屋科学基金会自1994 年11月共同发起了一项流动教学计划,一批装有电脑三维虚拟设备的流动教学车奔驰在华盛顿州,为中小学生提供三维动画虚拟现实教学服务。发起者希望通过虚拟现实新技术,给中小学生们提供更直观、更形象的教学,提高他们的领悟和参与能力。美国自然基金资助的“圆地球计划”,是探索如何通过虚拟现实手段来教中学生学习像“地球是圆的”这样不直观的概念。意大利Catholic University of Sacred Heart认知心理学实验室ALESSANDRO ANTONIETTI,通过虚拟现实系统进行机械工具使用的教学实验探讨虚拟现实技术对教育的影响。实验表明,虚拟现实技术在教育中的应用带来了很多好处,从学生和教师两方面的反映表明,虚拟现实的学习方式极大的提高了学习过程的效率,VR 是一个好的教学媒体。英国在利用VR技术进行教育教学方面,第一个广泛宣传的教育VR工程在Newcastle-Upon-Type中学建立,以Dimension International的技术为基础,初步确定使用Dimension的VR软件包。该校探索用VR进行外语和工业安全培训的方法。同时在教育和学术方面对虚拟技术进行研究和探索还有诺丁汉大学的VIRATR(Virtual Reality Application Research Team)项目,其目标主要在于探索桌面VR的输入设备。此外,VIRATR小组还和学校紧密合作,把桌面VR系统用于学习上有困难和身体严重残疾孩子的教育上。新加坡今年设立了探讨虚拟教师指导虚拟学习的问题的“虚拟世界中的虚拟学习”,我国台湾设立旨在通过虚拟现实技术和远程学习的手段提高基础教育水平的科研计划。甚至在不发达的非洲地区,联合国教科文组织在非洲开展用虚拟现实技术提升当地教育水平的计划。
4.3虚拟现实文化遗产保护领域应用
虚拟现实可以应用于文化遗产的数字化保护、再现展示和虚拟旅游。利用数字化技术和虚拟现实对中华文化遗产进行复原及保护变成了可能。
我国拥有几千年的文明历史,文物资源均极为丰富。但是历经千百年风化侵蚀、战火洗礼,文物中的相当一部分已残缺或成为碎片。怎样将这些文物按原始形状复原出来、传承下去,再现其历史价值?这是考古工作者的心愿和亿万游客的期望。
数字化技术及虚拟现实技术对于中华文化遗产的保护可以从两方面开展。一方面是古遗产的复原与再现,数字化的文化遗产将可永久的存储,随时再现,完成文化遗产实质性的保护;另一方面是运用信息技术手段对现有文化遗产保护的宣传、展示和普及,从而,形成较为完善的现代文化遗产保护体系。利用虚拟现实,进一步挖掘、扩大文化遗产的影响力和潜在应用价值。
4.4虚拟现实文化创意娱乐产业应用
虚拟现实在文化创意产业中的应用,主要包括游戏动漫、影视娱乐,以及书法、舞蹈音乐等方面的应用。
在艺术方面,可以应用于新型的数字绘画、数字书法、数字艺术的创作,形成新的艺术内容和展示形式。在动画方面,可以提供二维/三维动画展示,提供数字动画制作工具,形成具有代表性的动画产品。搭建大型的虚拟数字场景,用于电影、电视的拍摄,提供各种特效效果的模拟,支持后期创作。
舞蹈音乐方面,可以利用Kinect、动作捕捉设备,形成对舞蹈过程的精确记录、分析,用户教学、训练纠正等等环节。还可以形成数字舞美场景,进行现场展演,构建虚拟演员,形成新的演出模式。实现舞蹈动作的三维捕获和展示。系统为计算机技术应用于舞蹈的传播、教学、编排以及文化遗产保护等提供了平台和手段。
4.5虚拟现实的医学应用
虚拟现实在医学领域,可以使得医生更容易理解对人体的结构和功能。同时对于特定器官的恢复和手术指导都具有重要的作用,借助高精度机器人技术,甚至实现远程会诊和远程手术。
改变传统的光学内窥镜技术,构建虚拟内窥镜技术(Virtual Endoscope, VE)是随着计算机技术、计算机图形学、计算机图像处理、尤其是虚拟现实等学科的发展而逐步形成的一种独特的医学图像后处理技术。它通过CT,MRI等设备,获取人体的各种影像数据,使用先进的医学图像处理技术,重建和实现三维图像,形成虚拟人体组织。然后把视点置入虚拟的人体器官中,进行视点漫游,通过变动视距,调整视角,对视点前方组织结构进行动态的实时绘制和显示,从而达到辅助医生在计算机屏幕上完成医疗检查及诊断的功能。
利用虚拟现实场景,进行远程可视化和辅助诊疗,支持远程可视化的交互展示、协同会诊,以及对病灶区的识别、检测与标注,为医生提供支持。改变传统针灸技术,传统中医的经络图谱只是在人体二维图像上进行简单的勾画,不能表现经络腧穴与真实人体在三维空间的立体分布关系,很难帮助学习者记忆和掌握经络腧穴学中取穴配穴的方法,而取穴的精度和配穴的合理性直接关系到针灸治疗的效果和患者的安全,进行虚拟针灸训练。未来远程的虚拟显示环境下的诊疗,远程手术将成为一种主流的医疗模式。
随着虚拟现实技术的进一步发展,它必将对未来的社会生活产生广泛而深远的影响。然而,现有的虚拟现实应用系统开发周期长、难度大、成本高、真实感和体验差,究其原因目前还没有统一规范的虚拟现实应用体系与标准,技术应用还缺乏杀手级应用。
5.1 虚拟现实缺乏认知、伦理和哲学社会学考虑
虚拟现实应用系统,从总体上还缺乏技术伦理、哲学层面的支撑。对于虚拟现实环境下,对人类认知的影响、对人类行为和情绪的影响,尚停留在实验室阶段。虚拟环境和真实环境对人的影响究竟有何差别,缺乏准确认识。对类似网络游戏中暴力因素带来的社会负面影响,还没有考虑虚拟环境中色情、暴力等等负面因素的管控策略。3D模型的数字知识产权管理,缺乏技术手段支持。
同时缺乏对数字艺术审美规律与认知规律的理论支持,缺乏对虚拟环境下人类审美感官及审美心理的了解,未能充分认识虚拟环境与真实环境之间的认知差异,对数字艺术的审美和认知缺乏有效地评价手段;对人类艺术、审美的影响不容忽略。
5.2虚拟现实技术期待工程化规范体系
信息时代的虚拟现实,仍然停留在个体创作者建模、开发的小作坊模式,大规模虚拟现实内容企业缺乏有效的技术管理和控制规范。
虚拟现实应用系统开发缺乏有效的工程化体系方法,VR应用系统包括数字场景构建、人机交互、运动系统、实时绘制、立体显示等多方面功能,是一个集成多种功能的综合应用平台,功能之间互相依赖又相互矛盾,缺乏面向需求质量保障有效指导,导致系统设计开发效率低下,重复量大。造成建设成本高,虚拟现实工程质量缺乏监管,严重制约了其领域和产业化发展。
5.3虚拟现实技术本身急需突破
以真实感著称的虚拟现实,在现阶段缺乏现实世界中最基本的物理属性、化学属性和生命特征、社会特征因素,缺乏对三维模型物理属性建模的考虑,未考虑复杂生命体的生命运动机理,没有社会关系因素,不符合现实世界物体特性和运动规律。这种虚拟现实系统,无法满足虚拟现实进一步实际应用的要求。
虚拟现实应用系统的主要理论、技术、方法需要进一步研究,从模型和场景的绘制、虚拟交互手段、海量模型的参数化表示与检索、海量模型的知识表达发现与挖掘、大规模场景的快速构建方法等一系列问题急待突破解决。虚拟现实集成和融合的关联技术,目前也仅仅是满足基本需要,头盔显示器带来严重的眩晕不适感、交互方式还远远未达到自然方式、人的沉浸感也受到环境制约严重,需要进一步发展。
5.4虚拟现实技术应用缺乏针对性
现有的虚拟现实应用系统缺乏面向普通用户的杀手级应用。即使是企业及应用,也因为缺少需求驱动的有效服务平台,主要面向具备相关专业技术领域的人员,使用门槛高,普通产业界用户尚不能直接方便的应用。虚拟现实如何与行业进一步结合,成为与CAD、CAGD一样产业界不可或缺的工具,为用户提供快速方便的使用途径,已成为制约虚拟现实技术落地的重要问题。
虚拟现实发展到现在,已取得一系列技术、应用的突破,产业界已看到大规模应用的曙光。我国虚拟现实产业应用与世界同行几乎同步启动,虽然在开发引擎、平台设备、应用模式,都还有很大差距,但随着政府和产业界的共同重视,必将迎来中国虚拟现实产业界的春天,成为另一项引领世界潮流风向的新产业。