基于虚拟现实全景视频的英语情境教学研究

魏军梅

[关键词]虚拟现实;全景视频;虚拟情境教学

大学英语教学的核心是提高学生的语言运用能力，而语言的运用要在实际的语言环境中才能真正得到锻炼与提高。长期以来，情境學习被公认为是英语教学非常有效的一种学习模式。

最直接的方法是将学生带入真实的现场开展教学，但是受到时间、空间、成本、可行性等现实因素的制约，很难找到适合的可支持教学的现场，即使有此类现场，也只能以观摩教学为主，难以支持学生、特别是多人的现场实践和运用。在这种情况下，利用计算机技术构建教学实践场景的信息化教学手段，成为情境教学的主要技术方式。然而，传统的情境构建以视频、音频剪辑为主，教学形式以学生观看影片后回答问题为主，这类情境构建的技术难度较低，在教学过程中情境内容无法定制，观摩体验的教学手段缺乏交互性，很难真正支持实践任务，无法达到情境教学的目的。

虚拟现实（Virtual Reality，VR）技术通过对客观世界的数字化建模以及人与虚拟环境的自然交互，实时地向用户提供逼真的感知信息，使人类可以不受时空和生理条件的限制，获得复杂环境下的各种真实体验，因而被认为是模拟训练的最有力手段。但是虚拟现实硬件设备的“贵族化”以及建模的复杂性，使其应用长期以来仅集中在航天航空以及军事领域，很难用于普通课堂教学中。近年来，随着计算和显示设备性能的提升，运用虚拟现实技术支持普通情境教学成为可能。本文综合考虑开发成本以及实际教学的可操作性，选择更易于实施的虚拟全景视频教学情境构建方案，设计适合的教学模式，以有效地支持英语虚拟情境教学。

一、英语教学中情境构建的需求分析

情境学习理论认为（李翠白，2006），学习不仅仅是一个个体性的意义建构的心理过程，更是一个社会性的、实践性的、以差异资源为中介的参与过程。知识的意义连同学习者自身的意识与角色都是在学习者和学习情境的互动、学习者与学习者之间的互动过程中生成的，学习情境的创设致力于将学习者的身份和角色意识、完整的生活经验以及认知性任务重新回归到真实的、融合的状态。

情境学习强调两条学习原则：第一，在知识实际应用的真实情境中呈现知识，让学习者能够更好地理解知识运用的条件和环境，设身处地地思考和实践;第二，通过社会性互动和协作来进行学习，即通过在真实情境中与环境、与其他个体的交互，体验完成任务的过程，在实践中强化学习的内容。由此可见，情境的构建是情境学习的基础和关键，情境不仅仅是呈现知识的载体，更重要的是必须支持学习者的实践和运用环节，即能够针对学习者的行为做出相应的反馈。

任何语言的起源和发展都离不开其特定的文化背景，大学英语教学的目的就是培养学生的综合文化素养和跨文化交际意识。由于生活环境的局限性，目前大学英语教学，不管是课堂中的正式学习，还是课堂外的非正式学习都缺乏获得语言的真实社会文化情境。语言学研究成果（Chavez，2005;Ware&Kramsch，2005）表明，应充分将文化教学融入二语课程之中。ACTFL（Ameri-can Council on the Teaching of Foreign Languages）21世纪二语习得标准指出：文化学习在外语教学中应当是必不可少的重要组成部分，包括：1.显式的目标文化习俗，即社会互动模式，例如话语形式、个人空间利用;2.隐式的目标文化理念，即含义、态度、价值观和想法;3.有形的无形的文化产物，例如书、工具、食物、法律、音乐、游戏等。当前，学习一门外语意味着理解并欣赏该语言赖以生存的本土文化。

由此可见，英语教学情境不能简单地通过图片、言语描述等手段依托学习者自身的想象力构建，而应从文化产物、文化习俗和文化理念人手精心设计能够沉浸于其中的虚拟场景，通过恰当的交互手段使其积极主动地参与实践活动，激发其具有主体意识的联想思维，这样才能让其真正去理解和领悟文化背景下语言运用的价值和意义。可见，需要通过虚拟现实设备在普通课堂教学中构建具有沉浸感的虚拟情景。

近年来，虚拟现实技术的发展，特别是高性价比成为可能，有助于克服传统情境教学中无法让学生产生共鸣、无法让学生参与其中的缺陷。

二、虚拟教学情境应用现状与问题分析

虚拟现实技术最大的优点是可以构建一个看上去完全真实的三维虚拟世界，用户可以在这个三维世界中自由漫游与交互，从而为学生提供接近教学内容的真实的语境，更好地开展基于情境的学习与体验。

比较具有代表性的是由林登实验室开发的多用户虚拟游戏Second Life。与一般的网络社交游戏不同，Second Life提供了一套3D建模工具，用户可以在自己的土地上建造虚拟建筑、风景、交通工具、家具、物品等，并且可以利用标准库中的动画和声音，制作各种动作，还可以使用Linden脚本语言，设计实现更多的交互和行为。正是因为其支持用户三维定制以及多用户开放参与的特点，很多教育机构将其作为虚拟课堂、虚拟校园、虚拟图书馆的首选。Second Life中设有专门的语言学习社区（Language Study Groups on sL），鼓励本族语玩家参与外语城中的各类活动，配合学习者进行语言实践。国内外已有许多学校开展了基本Second Life的教学实践。比较有代表性的是郭晓宁等人（2012）在2009年合作5周的语言教学实验，实验对象是中国东部一所省属大学大二英语专业20名本科生和美国一所州立大学不同专业的20名本科生，学习任务包括每天一小时的座谈、个人发言、小组讨论、团体虚拟旅行等交流活动以及博客写作。实验结果表明，Second Life可以作为有趣、有效的语言学习平台，能够使学生对外语学习产生积极的情感，体验到激励、互动和成功，有效解决了国内英语教学缺乏真实的语言学习环境这一问题。

此外，还有欧盟资助的基于3DMAX构造的语言学习虚拟世界VirLan（virtual Reality Language LearningNetwork）。VirLan包括1个中心（CENTRALIA），用户可以从中心提供的欧洲概览图中进入不同的国家学习站点，初期提供了希腊、德国、芬兰和英国4个站点，支持学习者用不同的语言学习。在每个站点可以访问6类应用任务区域，90多间虚拟房间，体验相应语言所在国家的环境风貌和应用场景，并通过2D或3D游戏完成相应的语言学习任务，并与虚拟世界中的其他参与者交互，完成语言练习任务（Mihon&Garbi，2000）。

国内也有部分研究人员靳琰、杨明托（2017）基于Virtools和3ds Max等工具，通过构建虚拟场景和学习者的虚拟化身，创建小规模的虚拟学习空间。

此类语言学习虚拟环境的优点是，一方面可以使学习者置身于异国的街道、小镇或其他虚拟场景中，并采用游戏化的任务机制提高其学习的兴趣。另一方面，依托于母语国家的参与者，使学习者获得与本族语者直接交流的机会，以提高其实际语言交际能力。从理论上来说，此类情境教学是可行的，且对英语教学能够起到较好的辅助作用，但在实际应用中，却存在以下问题。

（一）虚拟环境建模的复杂性带来虚拟学习情境的局限性

由于虚拟世界中的所有对象，从建筑、各种设施、车辆、器具到虚拟角色都需要相应的三维模型，就技术本身而言，目前的计算能力和显示能力已可以支持大规模复杂虚拟场景的实时绘制，构建英语教学情境是完全可行的。但是从实现来看，三维建模工作不仅费时费力并且需要较强的专业背景，所有漫游操作也需要通过三维图形编程实现，必须由专业技术团队开发，因此通用类的虚拟现实教学软件通常只会提供一些通用场景，如大本钟等代表型景点、售票处、超市、医院、银行等，较灵活的系统会提供可定制的模型库，例如电话亭、居民楼、室内家具等，供教师搭建，但是由于模型数目和类型有限，定制出的虚拟场景几乎千篇一律，无法发挥情境教学的情境优势。

（二）虚拟交互的复杂性带来语言学习任务的局限性

虚拟人体建模，特别是逼真的人体运动模拟，所需的计算资源和软硬件成本巨大，三维交互不仅需要特定的硬件设备支撑，而且需要专业技术团队定制开发，英语教师很难参与其中。

由于成本的限制，当学习者加入虚拟场景时，无论是场景中的虚拟角色，还是代表自己的虚拟化身，通常都只用若干个固定的人物形象来表征，其运动与行为则更加简陋，从而造成了即使是教师定制了不同的应用情景，但最后的效果表现也过于相似，难以让学生产生沉浸感，无法激发情境中语言交流的原始动力。

系统开发过程中任务设计由于缺少系统的教学目的的指导，使得学习任务以问路、买东西、借书等简单生活任务为主，任务执行过于流程化、游戏化，交互过于简单和固化，此类学习环境更适合用于中小学语言学习，或者以日常交流为主的语言练习，很难支持深层次的文化交际。

（三）依托于母语国家的参与者的在线交流模式使得学习效果难以掌控

与母语国家的参与者在线交流无疑能获得较好的学习效果，但是否能找到理想的本族语者进行交流、本族语者的文化水平与素质都是教师无法掌控的，这种模式在实际教学中很难实施。一些成功案例是基于固定的交流伙伴，但这种与国外高校协作学习的模式很难成为常态的教学模式。

综上所述，虚拟英语情境教学对英语语言学习有着积极的意义，但是好的教学效果在很大程度上取决于好的教学情境设计与实现。如何避开虚拟现实技术固有的复杂性，使英语教师能够参与或自主完成情境的构建，对于开展情境教学有重要的意义。

三、基于VR全景视频技术的虚拟情境构建

全景视频，又称作可交互视频，它可以根据用户的需求，在水平360度，甚至包括俯仰180度的范围内，自由选择观看的视角。虚拟现实全景视频，简称VR全景视频，是双目显示的全景视频与VR眼镜结合的产物，借助VR眼镜的三维显示和位置跟踪能力，可以让用户看到如同真实拍摄场景的立体场景，通过转身、抬头、低头将视线聚焦于关注的区域，观看不同视点、不同视角的视频，体验来自不同方向的声音，并通过手势、凝视与全景视频进行交互，从而获得身临其境的沉浸感。

基于VR全景视频的虚拟英语情境构建流程如图1所示。首先，使用多相机组合的全景摄像机拍摄实景，然后将多路视频拼接融合成完整的全景视频后进行后期编辑，经过高效的视频压缩传输至互联网视频服务器，最后分发解码到用户。用户通过虚拟现实头盔显示器观看3D全景内容，通过姿态交互控制观看的内容，通过语音、手势参与体验。

与费时费力的三维图形场景制作相比，全景视频拍摄和制作并不需要太多的专业知识，可以使用全景摄像机高效快捷地得到虚拟现实场景内容。

目前，全景摄像机已有成熟的商业产品，可以分为两类。一类是普通消费级设备，例如使用两个鱼眼镜头的Gopro Fusion、Insta360等，其售价仅为几千元人民币，可以达到5K分辨率，能够满足一般视频观看的需求。另一类是使用多个运动摄像头的360全景相机，如诺基亚的OZO（含8个摄像头）以及Facebook的Surround 360（含17个摄像头）等。这类专业360全景相机通常具有更清晰更小畸变的画质，能够获得10K以上分辨率的全景视频，并且含有同步原件，能够保证多摄像头记录画面的一致性，部分还具有实时拼接能力，但是售价较贵，通常为几千至几万美金。

使用全景摄像机拍摄多视角视频后，需要进行拼接校正，把多路视频合成一个完整的全景视频。拼接技术需要处理好多镜头画面的接缝、光照一致性等问题，这直接决定最终视频的质量。目前，已有很多比较成熟的全景拼接软件，如Kolor Autopano，其能夠比较方便地自动完成视频同步、拼接和缝合，对于畸变较大的部分允许手工校正，完成制作后可以选择导出双目立体视频，由软件自动生成左、右眼对应的有视差的全景图，即VR全景视频，通过虚拟现实眼镜观看时，就能够获得立体视觉，产生较强的沉浸感。

与普通全景视频不同，用于教学目的的全景视频，应能支持学习任务、标注信息等虚拟对象及教师讲解视频等实景对象的嵌入，以便于教师有目的地引导学生学习。无缝嵌入的关键是根据多视点图像问的特征匹配获取实景相机的位置参数，并根据实景相机与嵌入对象的相对位置校准调整嵌入视图，保持嵌入视图与实景空间的一致性。为了降低制作的复杂度，保证嵌入效果，教师讲解视频应采用固定位置用固定视点相机定焦拍摄。

VR全景视频制作完成后，可通过媒体平台服务器分发给用户。由于全景视频具有较高的分辨率，在压缩编码方面，目前全景图像通常默认为矩形球面全景图格式，横轴0°～360°，纵轴-90°-90°，图像长宽比为2：1，三维180度全景采用左右眼全景图的左右拼接方式，长宽比为2：1.采用H.264标准，2K/4K的全景视频需要4M以上的码率，这对互联网播放带宽是一个很大的挑战。一方面可以采用多分辨率采集，将用户不太关注的后向画面用低分辨率表示，但当用户快速转头时，数据流无法快速切换到高分辨率。另一方面，H.265压缩技术可以有效降低超高清视频25%～30%的码率，但解码耗时较大。此外，5G信号等先进网络技术，也有望进一步提高网络带宽，保障全景视频传输的速度和流畅性。

用户在观看VR全景视频，需要借助虚拟现实显示设备来产生完全的沉浸感。目前，Oculus Rift、HTCVIVE、等高性价比VR眼镜已日趋成熟，可达到100。以上的水平视角，20ms以内的延迟、2K以上的分辨率、90Hz以上的刷新速度，基本上消除了晕眩、颗粒感等问题，几百美金的售价使得VR应用普及成为可能。特别是以三星Gear VR、暴风魔镜为代表的VR"盒子”，借助智能手机作为显示和处理设备，进一步解决了成本和便携移动问题。在目前大多数学生都拥有智能手机的情况下，此类售价仅为几十至几百元的VR“盒子”，使得开展基于VR全景视频的虚拟情景教学成为可能。

最后，为了让用户能够主动参与到虚拟情境中去，自然的人机交互必不可少。VR眼镜通常都带有位置姿态感知部件，可以实时跟踪头部的运动参数，从而使用户可以自然地通过头部转动和身体移动实现在虚拟场景中的自由漫游，选择观看感兴趣的区域。除了位置姿态外，大多数VR眼镜都提供了手势跟踪和动作捕捉来虚拟场景中的对象进行交互。暴风魔镜5集成了LeapMotion红外手势识别设备，Intel RealSense利用深度摄像头和可见光识别手势，GearVR则提供了控制手柄，允许用户用手指自由触控界面。

综上所述，由于VR全景视频内容来自于实际拍摄的视频，能显示高质量场景，场景处理时间与场景复杂度无关，不需要高性能图形工作站的支持，更适合用于低成本投入的教育领域。目前，大多数互联网视频公司都已开始支持全景视频服务，这不仅丰富了虚拟情境的教学内容，而且更易于实现多用户共享。与传统的虚拟情境构造技术相比，VR全景视频的缺点是只能够构造已经存在的场景，而无法凭空生成实际不存在的场景，但对于以在实际应用情景中体验为主的英语情境教学来说，并不会带来太大的影响。

四、基于vR全景视频的英语情境教学模式

与传统的VR情境教学相比，VR全景视频具有更好的可操作性。根据英语教学的特点，基于VR全景视频的英语情境教学可采用以下三种应用模式。

（一）学生沉浸式自主体验学习模式

由教师根据教学内容，选择推送发生在母语国家某一真实情景下的VR全景视频，并针对场景中事件和情节设置提示信息，布置学习任务和问题，以“公告板”的形式或者链接弹出窗口的形式嵌入显示在全景视频中。学生通过VR盒子和智能手机在线观看，沉浸于场景中，如同实地观摩学习一样。根据学习任务，通过身体转动等自然交互方式选择合适的视角重点观摩学习的内容，并通过手势或手柄交互控制观看学习的进度，选择有标注的对象查看提示信息，完成学习任务。

（二）教师浸入引导式学习

教师针对VR全景视频中的环境、人物、情节等，采用固定视点相机定焦拍摄相应的讲解视频，无缝嵌入全景视频中，并引导学生观看全景视频的不同区域。学生看到的是教师置身于真实场景中，对真实事件进行讲解，获得更好的感观体验，从而更好地理解真实情境中的语言运用。

（三）角色替换式配音学习

通过控制VR全景视频中的音轨，可以弱化或关闭场景中某个人物的语音，让学生通过角色替换，以类似于配音的方式完成该角色在视频中的对话，从而达到练习的目的。也可以关闭所有语音，借助场景视频中的情节，让多个学生同时参与配音，发挥学生的创造力，让学生大胆表达自己的想法，展示多种版本的表达，提高学生的参与度。

以上三种学习模式均具有较好的可操作性，不仅可以让学生能切身体验到文化多元性的环境下多样性的交流方式，丰富性和拓展性的交互学习也有助于激发学生的学习兴趣，同时避免了面对面对流可能带来的心理障碍，提高了学生学习参与的积极性，同时教师对于学习内容、学习进度和学习效果也具有更强的掌控能力。

五、结束语

虚拟现实技术与外语课程的整合创造了一种新型的外语教育环境，有助于解决长期以来困扰我国外语学习者的语境问题。与传统的基于三维建模的虚拟学习情境相比，基于VR全景視频的虚拟情境更易于构建，并且来自于母语国家真实场景的全景视频对于语言教学具有更好的参考价值。本文提出的三种学习模式，能够使学生以虚拟的方式体验、参与到真实的场景活动中，使用所学英语知识在真实的情境活动中发展语言与思维能力，大胆实践，并能在活动中感受成功。对教师而言，VR全景视频制作成本以及学生体验所需硬件成本都相对较低，并且大多数主流视频服务网站都已提供全景视频服务，便于教师选择适合的教学情境，因此具有很好的可操作性。其主要存在的问题是缺乏对学生自由表达结果的自动评判机制，目前尚需依赖于教师评价，下一步可考虑引入语音识别技术和文档自动审校技术，能够对明显的语法和表达错误自动给出提示。