强伟帆 ,郭艳军 *,周 哲,周勇义
1. 北京大学 地球与空间科学学院,北京 100871;2. 自然资源部 地质信息工程技术创新中心,北京 100037;3. 北京大学 信息科学与技术学院,北京 100871;4. 北京大学 实验室与设备管理部,北京 100871;5. 北京大学 地球科学国家级实验教学示范中心,北京 100871;6. 北京大学 地球科学国家级虚拟仿真实验教学中心,北京 100871
在信息化向智能化转型的时代,互联网、大数据、虚拟现实、人工智能和区块链等信息化技术正在影响着人类学习生活的方方面面。信息传递的加快使得世界越来越扁平化——全球化(Parminder,2007),知识更迭的速度加快,传统的课堂讲授教科书内容已远不能满足教学需求,开放发展虚拟仿真教学研究已经显得尤为重要,例如实时线上远程教学、复杂实验过程模拟、多尺度大数据沉浸式可视化与交互等(郭艳军等,2019)。在全球化的背景下,国际化人才的竞争为中国高等教育带来了机遇和挑战。从国家、高校和教师三个层面来看,主要面临以下三个层面的问题:(1) 国家如何培养社会主义的合格建设者和可靠接班人;(2)高校如何提高教育、教学质量;(3)教师如何帮助学生适应新时代。针对这一系列问题,从党中央到教育部制定了系列的纲要、方案、意见、通知等文件,正在指导教育从信息化向现代化进行转变,并明确指出现代化与教育的结合,建设“在线开放课程”、“虚拟仿真实验教学金课”、线上线下混合金课等五大“金”课。
在教育领域,在线开放课程和虚拟仿真实验教学项目等概念在教学中的应用越来越广泛。然而,综合了科学、技术和工程的地学教育,在使用新的技术方法时,仍然相对滞后。本文对国内外虚拟仿真技术在地质学教学中的应用进行了调研,发现应用情况主要聚焦在数据的采集和分析上,在数据的交互等方面仍需要进一步的拓展。在深入调研不同科教领域中虚拟仿真项目及实验室建设情况的基础上,本文提出建设多学科交叉融合的虚拟仿真交互空间,实现大数据时代下,地质学与其他相关学科的真正贯通融合。
随着信息化技术的不断发展,3D 建模、数据库技术、互联网等技术的发展使虚拟地质实习系统和现场教学辅助信息平台的设计和实施变得更加容易,越来越多的实验室和相关机构也开始研究虚拟仿真地质实习系统的搭建(方坤等,2018;朱宗奎,2016;王宏语等,2019)。
在国外,哈佛大学开发的面向中学科学课堂教学的River City(1995)课程项目对教育虚拟环境是一个很好的诠释。地质实习虚拟仿真研究开始的较早,已经有20余年的研究历史。Stephen(1998)提出了利用计算机视觉以及一些物理设施来模拟地质实习的构想,并实现了对黄石国家公园、夏威夷火山、大洋中脊三个场景的案例研究,用于学习岩石和矿物、地热活动、水文、火山灾害和板块构造等理论知识。Woerner(1999)对虚拟地质实习系统的建设提出了多点设想,例如必须有丰富的内容和细节、导航器的设计、需要有在线的内容库等等,为之后的虚拟地质实习系统的建设提供了指导方针。Jones等(2009)强调了多尺度地质模型,通过数字数据采集、三维可视化和地理空间分析等方法的组合,将大量不同的地质和地球物理数据源组合成一个多尺度数字地质模型,让地质学家更有沉浸和交互感,有利于展示和分析复杂的地质模型(图1)。Whitmeyer等(2012) 结合了虚拟现实技术和成熟的谷歌地球应用来为地质实习的教学提供辅助功能。Harvey等(2017)将数字化岩石和网络设施相结合,通过一个基于Web的地质样品数字化系统,将岩石手标本进行3D扫描与处理,构建超过100个不同岩性的虚拟岩石,并结合宏观地质背景、岩石手标本相关属性进行展示分析。Buckley等(2019)介绍了一种轻量级、高性能的3D软件LIME,用于解释和协同可视化3D模型和相关图像数据。该软件可以在3D场景中进行数字化测量,并对结果进行解释。此外,它还具有与图像源(如日志和解释板、补充波长图像、地球物理数据集、地质参考地图和图像)进行三维地形数据集成和可视化的新功能,可以生成高质量的视觉输出,以帮助研究人员展示其结果。这些成果为地质学家提供了访问全球范围内日益多样化的数字地球资料的机会。
图1 苏格兰西北部剪切带的多尺度数字数据集(据Jones et al., 2009)Fig. 1 Multi-scale digital data set for shear bands in north-west Scotland(modified after Jones et al., 2009)
近年来,国内研究者和研究机构也提出了多种计算机辅助地质实习系统和虚拟仿真地质实习系统。郭巍等(2010)研究了地质实习野外教学的特点,结合了CG(Computer Graphics)技术、数字多媒体技术等模拟了地质实习的教学过程,开发了相应的系统软件,能够进行三维野外地质场景显示和多媒体资料展示,还包括了多项基本野外地质训练内容,如数字化记录本、地质过程模拟展示、地质剖面漫游(基于飞行模式)、GPS(Global Positioning System)定位、模拟罗盘等内容。丰富的数字化教学内容明显提升了地质实习野外教学的效率和质量,对传统地学教学模式的变革有着很大的推动作用。Ke等(2014)通过OpenSimulator 构建了VGFPS(Virtual Geological Field Practice System)系统,针对虎峪地区开发了3D 虚拟仿真地质实习系统。宋璠等(2017)针对山东省新汶地区的野外地质实习教学内容设计并开发了基于Google Map 的移动版辅助教学系统,其功能涵盖地图浏览与GPS 导航、教学点定位记录与资料预览、实习路线的规划与管理、野外教学过程的实时记录等功能。这套系统对于提高野外地质教学效率和质量、优化传统实践教学模式提供了有益的帮助。来自西南石油大学的唐章英等(2017)以野外地质实习基地为研究对象,构建了信息实践教学的辅助平台,运用了成熟的GIS(Geographic Information System)技术与三维激光扫描技术,针对地质实习基地的地质环境进行了信息化建库。田毅等(2017)以北京周口店地区的地质实习为例,建立了三维地质实习互动平台。平台系统中包含了实习区域地质信息的文字、图片、视频和其它的多媒体信息,根据数字高程模型DEM(Digital Elevation Model)和遥感图像进行建模, 并且提供了脚本让师生们能够在场景中自由探索和互相交流。
国内外地质学虚拟仿真系统普遍存在一定的问题。由于多项系统建立的时间较早,受制于当时技术和计算机性能的限制导致建模的精细度不高,画面粗糙,而且往往只实现了基础功能,实习场景中内容不丰富,难以给人形成一种立体的带入感,也很难将一些地质细节显示出来以达到更深层次的教学。更重要的是,之前的系统在交互模式设计、内容设置上还有很大的优化空间。在5G和虚拟仿真技术飞速发展的今天,地质学作为自然科学中的一门综合学科,其虚拟仿真教学不仅需要加入丰富的教学指导内容,综合文字、图片、视频等多媒体信息,更需要借助网络、机器人技术、面部识别等智能化的技术,实现远程交互、多人协同、沉浸式、游戏感等多项仿真效果。本文对虚拟仿真在不同领域的应用进行了调研,以应用到交互感更强、线上线下结合、多维度多信息的地质学虚拟仿真实验室。
近几年,世界不同科研机构、不同领域都开始发展完全基于软件的虚拟仿真实验室,涉及学科包括计算机图形学、增强现实、计算机动力学和虚拟世界等,涉及领域有通识教育、工艺技术、工程建筑、机器人技术和自然科学等。地质学作为一门综合性很强的自然科学学科,其研究方法综合了数学、物理、化学、生物学等多个领域的知识。本文研究了虚拟仿真技术在多个学科教育中的应用(表1),以探寻虚拟仿真在地质学应用的启示。
由荷兰特文特大学牵头的“全球在线科学实验室Go-Lab” 开放了虚拟实验室(仿真)、远程实验室(可远程访问的真实设备)和物理实验室实验(合称为在线实验室)的数据集,以便在教育中大规模使用。这些在线实验室可以被学生、教师和科学家使用,以科学实验拓展规律的学习活动。Go-Lab使科学探究性学习成为可能,并进一步培养对科学职业感兴趣的学生(De et al.,2014)。
表1 虚拟实验室项目列表(据Potkonjak et al., 2016)Table 1 Virtual lab project list(modified after Potkonjak et al., 2016)
俄勒冈州立大学化学工程系创建了虚拟CVD(Chemical Vapor Deposition)学习平台,对化学气相沉积过程进行数值模拟。实验室的设计是为了让学生更充分地参与实验设计过程的各个方面,具体包括实验设计、数据分析和解释,以及重新设计的迭代过程。平台包括3D图形用户界面,带有集成评估工具的指导Web界面和数据库服务器,该学习平台可以起到加强,补充物理实验室的作用(Koretsky et al.,2008)。
虚拟科学教育合作空间平台由来自英国、罗马尼亚、西班牙、希腊、波兰和芬兰的几个机构合作开展,由塔戈维斯特瓦亚希亚大学协调。该平台设计虚拟仪器与物理规律的动态模型相结合,实现了虚拟实验室的虚拟实验,如波义耳定律、盖-吕萨克定律、热传输、直流和交流电路等(Tlaczala et al.,2009)。
机器人虚拟实验室主要用于展示工业机器人的主要特征。其中一个关键的特点是,电动机和其他参数可以很容易地改变。学生可以探究机器人在不同类型的电动机和传动系统下的行为,并探究电动机参数对系统的影响。除过简单修改参数外,学生还可以在控制方案中定义“自定义块”,通过开发这个块,可以定义自己的控制器,然后检查结果。此外学生还能看到一个机器人的内部结构,如传动系统(齿轮箱、传送带、齿轮齿条、主轴等)、电机元件(带磁铁的定子、转子)、编码器内部结构等。机器人虚拟实验室既可以训练未来的机器人操作员,也能帮助学生学习机器人理论(Potkonjak et al.,2013)。
美国斯蒂文斯理工学院倡导一种多人协同、沉浸式、游戏型的虚拟实验项目,向机械工程的学生讲授机械动力学。基于游戏的机械动力学虚拟仿真项目主要介绍运动学和动力学原理,并将远离应用到连杆、凸轮、齿轮、皮带和联轴器等系统。在线虚拟仿真实验室可以使学生像玩多人游戏一样在虚拟环境中交互学习,用户(学生、助教和教授)可以设计自己的化身在虚拟3D环境中进行即时交互(图2)。并且系统可以记录学生的学习过程和成果,从而对其技能进行打分评估(Aziz et al.,2014)。
牛津国际虚拟教育中心(Oxford Hub for International Virtual Education),简称为牛津蜂巢(Oxford HIVE),是英国首次应用虚拟教室这一科技。中心是一个具有高科技会议设施外观的物理空间,由27个55英寸高清屏幕组成,形成一个U型,利用机器人技术、面部识别技术和高清投影技术等,创造了独特的身临其境的教、学体验,功能更加丰富。采用当前最高分辨率的摄像头,与会者在高清视频墙上显示高清质量,从而使演示者可以像在真实教室中一样对观众的视觉提示做出反应。室内摄像机会自动跟随演示者,提供更加自然的体验。
在虚拟教室里,最多可以有84位参与者同时通过Mashmo.io系统加入到课程的学习和讨论中来(图3)。这一科技实现了在线教学的完全互动:授课教师可以直接与个人对话,也可以给学生们分组,进行实时投票;而全部参与者可以像在现场一样看到听到彼此的声音和影像。同时,该软件还能根据每个人的面部表情以及互动程度,判断监督每个人的注意力是否集中。演示者不必学习任何有关虚拟技术的知识。他们只是像在真正的教室或会议室中那样与代表进行交互,只做了一些数字增强。与会人员的进入门槛也非常低,只需几个基本控制元素即可通过讲话,举手,写问题或参加民意测验与演示者进行远程交互。
在2017年底首次使用牛津大学HIVE进行预定课程后,整个2017到2018年度都有大量用户使用。到2018年5月,HIVE已举办了54次试验和25场现场课程,为来自15个国家的544名参与者提供了超过5340小时的在线学习时间。HIVE使得全球各地的人都能接受到牛津大学优质的教育资源,打破了传统校园模式下必须面对面的教学体系。通过在传统的网络研讨会的基础上增加了参与者的互动,减少了旅行,住宿和时间成本,使得世界连同更加紧密,将彻底改变未来举行会议和活动的方式。
图2 机械动力学虚拟仿真项目(据Aziz et al.,2014)Fig. 2 Mechanical dynamic virtual simulation project(modified after Aziz et al., 2014)
建设一个面向地学的综合型、国际化的沉浸式虚拟仿真实验室,将地学与虚拟仿真技术深度融合,是当今地质学教学的迫切需求。笔者所在的北京大学地球科学国家级虚拟仿真教学中心已经初步建设完成了沉浸式虚拟仿真实验教学中心,实现了对地学多尺度数据的耦合与交互。具体包括的技术有:基于三维建模技术,构建了野外实习、矿物和晶体等多尺度的3D模型;基于虚拟仿真技术、增强现实技术、全息技术和3D打印技术,搭建了沉浸式虚拟现实交互平台,实现了多尺度地学数据的沉浸式虚拟现实交互方式(图4)。
图3 Oxford HIVE演示、跟踪式摄像机和分组投票Fig. 3 Oxford HIVE demo,tracking camera and group voting
沉浸式虚拟仿真实验教学中心实现了虚实结合的多场景高耦合交互,主要特色包括:(1)以虚代实,通过虚拟仿真很好的代替地质中的高危极端环境或不可及、不可逆的操作,例如太阳风与地磁层作用模拟了普通人无法到达的外太空环境及其粒子相互作用。学生不仅可以佩戴3D眼镜进行场景体验“在太阳系中漫游”,还可以使用遥控手柄进行交互操作,点击按钮观察太阳风与地磁层的相互作用,地球-太阳-月亮系统运转与白天四季变化的关系等;(2)以虚补实,通过模拟来对地质高成本高消耗或大型综合训练进行补充提高,例如野外实习的虚拟仿真系统可以很好地对真实野外实习进行补充巩固。野外实习系统通过无人机拍摄和高清相机拍摄,结合实习地的文字、图片、手绘图资料,配以地质构造细节过程动画模拟,丰富的场景内容生动形象的展示了实习地的各类地质现象,室内的虚拟仿真地质实习大大节省了时间精力,对学生加强知识的理解和掌握起到了很好的作用;(3)以虚验实,通过虚拟仿真来验证地质中的实验技能操作或基础性实验,例如进行虚拟仿真晶体形态分析和矿物鉴定。虚拟仿真晶体形态分析和矿物鉴定是一个线上系统,学生可以在自己电脑上通过网址进行实验操作,本系统根据线下实际的矿物鉴定方法,配备了虚拟的天平、小刀、放大镜、磁铁、白色瓷板等工具,学生可以轻松的使用这些工具对矿物进行鉴定。晶体形态分析一直是结晶学比较抽象的一部分,设计到空间想象能力,而在此系统中点击晶面可以清晰地展示此晶面所属的单形形态。本系统还有作业打分功能,学生在完成矿物鉴定或形态分析后可以填写实验报告,在线提交报告可以得到相应的分数,教师在后台也可以看到同学们的报告和得分情况,从而更有利于对学生进行定向指导。
实验室目前已经在多个平台实现了多学科应用。在LED高清大屏上实现了3D的太阳风与地球磁层案例和虚拟矿物博物馆案例,采用无人机和高清拍摄的虎域、灰峪、五台山地质实习案例以及显微镜实验室案例等。在AR(Augmented Reality)平台实现了野外地质实习、矿物展厅、和晶体结构等案例。在VR(Virtual Reality)头盔中可以进行实地野外实地实习体验和根据化石恢复出的古海洋环境体验。在线上实现了野外地质实习和晶体形态分析和矿物鉴定等课程。同时学生还可以利用3D打印机打印3D矿物并制作介绍二维码。实验室平台还具有可视化编程,可以方便地制作内容;具有异地多人协同技术,可以实现多人异地互联,同场景交互的功能,支持国际化学教学。通过沉浸式虚拟仿真实验室的建设,有效地增加地质实习教学方法的多样性,培养了学生综合能力。
图4 北京大学沉浸式虚拟仿真实验教学中心Fig. 4 The experimental teaching center of the pervasive virtual simulation of Peking University
该实验室的建设适用于地学科研、教育数据的可视化与交互,为科学的定量评价、分析和教学提供了新思路,是未来的必然发展趋势。
虚拟仿真在地质学教学中的应用既对传统地学教学起到很好的补充和增强作用,也有助于培养新时代全能的地学人才,提高学生对专业知识的学习热情和掌握程度。目前虚拟仿真在地质学中的应用还存在建模精度欠缺、内容不丰富、交互不足等问题。虚拟仿真在通识教育、工艺技术、工程建筑、机器人技术和自然科学等学科的应用情况表明,实现面向地学的综合型、国际化的沉浸式虚拟仿真实验室,采取线上线下结合的方式,是有效增加地质实习教学方法的多样性、培养了学生综合能力的有效手段。在信息化日益普及的时代下,地质学虚拟仿真将是未来地质教学和科研的一个必然发展趋势。