混合现实虚拟智能教室的方案设计

徐菊红

（武汉工程大学艺术设计学院，湖北 武汉 430074）

0 引 言

随着计算机技术和网络技术的发展，有关智能教室的研究也越来越受到人们的重视.在国际上，微软研究院开发的Easy Living、斯坦福大学研究的Interactive Workspace、麻省理工学院人工智能实验室设计研究的Intelligent Room、德国信息技术国家研究中心在研究的I Land、佐治亚技术理工学院研究的Aware Home等，都是对智能教室尝试的成果，而中国也有许多相关机构进行着关于智能教室的设计和研究，例如清华大学计算机学院研制的智能教室.因此，不难看出，从生活到工作，从居家到教学，这些“能交互且具有智能性”的空间技术的应用范围非常广泛.当然，目前我们很难想象它究竟会给我们带来怎样的便利和舒适，但在某些特殊领域，特别是在网络教育方面，已经可以明显地感受到其无可替代的创意想象和快捷便利［1－2］.

本文结合笔者设计和研究的“混合现实智能虚拟教室”来讨论虚拟现实技术以及空间交互技术在网络远程教育方面的应用和开发.

1 目标功能设计

目前，网络教育风靡全球，这种教学方式能将终身学习的理念更好的实践起来，而且能极大地方便学习者的学习，使其不受地域和时间的限制，能够有效地扩大教学规模（特别是对于中国这样人口众多的国家而言），能够使更多的人接受到相同的教育.然而，现阶段的网络教育还存在许许多多技术上的缺陷，使得教学效果难以令人满意，如以下几个方面的问题：其一，在中国，当前基于互联网的远程教育大多数是以网页浏览为主的学习方式，即教学机构在学习行为发生之前先将教学内容进行数字化并进行整理，在网页中以视频、音频、动画、文字、图片等形式呈现给学习者，学习者虽然是主动的学习，但在很多时候没有适当的引导者，没有及时的问题解答者；其二，有少数网络教育机构或以少量的课程进行网络实时授课，但在授课过程中，师生之间没有实时的言语交流，也没有双向的视频交流，造成学习者只能被动的看和听，而不能及时向教师提出问题并获得解答；其三，网络实时授课时，教师画面呆板、单一，仅仅是教师的大头照，教师的课件和一些相关的资料片无法及时传递给学生，无法模拟和展示相关实验，无法给予学习者如同看《Discovery》般的感受和体验；其四，教师在普通多媒体教室给远程学生上课时，往往会因为计算机操作与个人上课习惯等方面的冲突而影响其授课情绪［3］.

基于上述情况，笔者思考了以下几个问题：①网络学习过程中如何通过网络为学生提供实时流畅的教师授课录像视频？②教师的视频以何种形式（如不同的教学场景、展示内容、演示角度）更好地展示给学习者？③教师常用的教学方式中涉及哪些行为方式和具体教具？这些教具有无可能实现相近替代或者直接与计算机网络对接？④要为教师和学习者提供哪些交互方式？如何控制这些交互的发生？⑤如何使学习者能看到自己的学习过程以及教师上课过程的记录，方便对教学内容进行回溯？［4］

基于上述问题的探讨和思索，笔者最终在设计该系统方案时，将系统功能具体定位为以下几个方面：

a.实现教师与虚拟三维场景的同步、跟踪和融合，形成混合现实的教师讲课视频.目的是实现多变化视频画面，实现虚实结合的教学过程视频.要实现的目标功能包括教师活动的自动判别和跟踪，教师现场形象与虚拟三维教学场景实时融合.

b.实现教师与虚拟三维场景、授课课件之间的互动.目的是使教师能够控制三维场景或者是自己的演示课件.目标功能是要实现课件播放控制、屏幕缩放功能、三维场景中三维物件的控制功能.

c.实现教师与网络上的异域学生以及学生与学生之间的互动.目的是使师生之间和学习者之间能够通过网络进行交流和互动.目标功能包括教师讲课录像直播功能，学习者图像教师端显示功能，学习者语音回传功能，语音回传请求及权限控制功能，文本答疑及讨论功能.

d.实现教师教具的多样化和智能化，以及教具与网络环境之间的自动链接.目的是使教师能够运用自己惯常的方式进行教学，不受复杂环境的限制和约束.具体目标功能包括电子白板手写功能、计算机语音控制功能、课件演示功能，实现演示课件视频与教师混合视频之间的智能切换.

e.实现教师授课过程、教学演示（板书或PPT）、学生交流过程的全程自动记录和课件生成.目的是记录教师全部上课过程和学习者个人学习过程，方便学习者回看教师讲课记录和自己学习过程中的疑难问题.具体的目标功能是实现课件的标准化记录及学习者个人学习档案的记录.

2 方案设计

为了实现上述功能和目标，笔者在技术方案上做了如图1所示的设计.

图1 混合现实虚拟智能教室的设计方案Fig.1 Design of virtual and blending－reality intelligent classroom

在此方案中，笔者设计了一间四周墙面和地板都为纯绿色（或蓝色）的演播室型教室，在其中配置相关硬件设备并设计开发相关的软件系统.

具体设计开发的软件系统包括：

a.智能媒体控制系统.用于分析及判别各媒体信号源并进行智能提示或操作.具体完成语音识别、图像动态跟踪、关键动作识别等功能.

b.智能混合现实系统.用于三维场景输出以及实时图像融合，具体功能包括实时三维场景渲染、实时三维场景切换、实时色键混合、抠像控制等功能.

c.网络学习服务系统.用于发布和记录教师授课过程，回传学生实时信息，并记录学生学习过程，主要功能包括：标准化课件生成，实时流媒体发布，实时音影传送，文本在线交流，学习者登陆、分组管理以及学习者档案记录功能［5－6］.

具体硬件包括：数台摄像机，用来捕捉教师上课时的表情和动作；两台投影仪和一台液晶电视，用以展示视频或者计算机屏幕信号；手写式平板电脑，用于教师播放和演示课件，并提供电子版本功能；控制用计算机一台，用于安装智能媒体控制系统；图形工作站一台，用以支撑智能混合现实系统；服务器一台，用于安装网络学习服务系统；拾音设备，以方便对教师的语音进行采样和记录；音响系统，用来回放声音.

3 工作流程

上述方案中，软件系统和硬件设备是相互配合、协同工作的，在此处理过程中融合广播电视技术、计算机技术以及网络技术，具体的工作流程可分为：视频工作流程、音频工作流程和控制流程［2］.

3.1 视频工作流程

当教师和现场学生进入教室上课时，教师可以利用手写式平板电脑进行课件展示和书写，以进行正常的讲课，在讲课的过程中，课件和书写的内容可以通过液晶电视展示给现场的学习者.

现场的数台摄像机会捕捉教师的动态影像（一般设置两台摄像机），并将捕捉到的视频信号传送到智能控制系统；与此同时，平板电脑上的教师课件和手写的演示视频信号也会传送到智能控制系统.

控制系统通过对视频信号的对比分析，判别哪一路视频信号中有重要的信息内容，将其选择并输出到智能混合现实系统.

当视频信号以及相关参数信息传送到混合现实系统之后，混合现实系统会根据相关参数信息及时调整虚拟背景图像的输出，并将传送过来的视频信号与之进行抠像融合，形成虚实结合的教师讲课视频.

而从混合现实系统出来的视频信号，一方面传送到现场教室中的电视机或投影仪，方便教师和现场学生观看；另一方面传送给网络学习服务系统，进行编码压缩和网络发布，以便网络中的学习者进行浏览和观看.

为了能够使师生在网络上进行实时的交互，在视觉方面，网络学习者可以借助于网络学习服务系统的实时视频传输功能将视频回传，并将画面传送给教室现场的投影仪，以便教师看到学生图像.

3.2 音频工作流程

现场的音频通过麦克风同时传送到智能媒体控制系统和智能混合现实系统.

传送给智能媒体控制系统和智能混合现实系统的目的是形成与视频同步的音频信号，并方便学习服务系统压缩和发布，从而使学习者能听到教师现场的声音.

而声音信号传送到智能媒体控制系统的目的在于通过语音识别来控制学生发言权限，例如当教师说“student No1，pleases”，该关键词被检测出来后，转换成控制信号开放对应学生的语音权限，并通过网络回传声音信号，在扬声器上播放出来.同时如果某一学生通过计算机请求发言时，可以通过服务端的语音和图像闪烁来提示教师.

3.3 控制工作流程

在本系统中，控制工作包括了自动控制和人工控制两种.

自动控制的目的包括两个方面：其一，提高媒体的智能型，减轻教师对媒体的操控压力，实现智能化的媒体控制；其二，减少因教师疏忽而导致的情感伤害.具体包括以下几个方面：

a.对不同视频信号的自动判别和选择：当现场摄像机和教师课件演示或手写视频到达控制系统后，控制系统会自动对每路视频进行分析，分析的内容包括两个方面：同一视频时间上前后是否有较大的变化和差异；不同视频之间何者在同一时间段内前后变化最大.控制系统根据这两点判定当前时间点上哪一路视频是最重要的，并据此做出相应的选择，将所选视频信号传输到智能混合现实系统.

b.对摄像机的焦距、方向以及虚拟背景运动的智能控制：控制系统会对每路视频画面进行独立的前后帧检测，以得出教师的运动趋势和方向.此检测所得结果参数，一方面各自独立地传送给对应的摄像机和控制云台，以达到对教师运动行为的自动跟踪功能；另一方面，对于输出到混合现实系统的视频，所得检测结果连同其摄像机对应机位编号一起传送到混合现实系统，混合现实系统选择对应的机位背景输出，并保证背景与对应视频的相应运动［7］.

c.对网络学生请求的自动排队和智能提示：当网络中的学习者要求发言时，其请求命令通过网络传输到学习服务中心，服务系统会根据请求的时间先后，进行队列排序，并通过服务器的屏幕投影进行闪烁提示，当闪烁一段时间后教师仍然没有察觉，此时服务系统会通过扬声器进行语音提示.

d.标准化网络课件自动生成和学习者学习档案自动记录.在学习服务系统上，会将混合现实系统输出的视频、教师的演示课件以及电子白板上的信息进行整合、压缩和记录，将其存储在服务系统上.同时在学习者登录学习服务系统后，记录其发言（包括语音和文本）、学习笔记等内容，形成网络学习者的个人学习档案.

在人工控制方面，主要是为方便教师能够根据习惯、内容重点和难点、进度等方面的需要对课堂进行自我掌控.具体包括以下几个方面：

a.对网络学习者请求响应的控制：当服务系统对网络学习者的请求排队之后，何时响应其请求（开放语音通讯权限），是由教师根据自己的讲课进度来决定何时开放，对哪一位学习者开放，控制方法是通过语音来识别并控制.

b.对白板功能的控制：教师可以通过网络和电子白板直接和学习者进行板书和讨论.

c.演示屏幕局部缩放的控制：当教师在演示课件时，如果需要对课件中的某一局部进行重点讲解，教师可以通过安装在课件演示电脑上的相关软件直接进行屏幕的缩放，也可以直接对演示屏幕进行手写绘画.

4 结 语

本系统是一个依靠交互空间技术和电视演播技术而开发的网络教学环境，该系统最大的特点在于大量参加远程网络学习的学生可以用不同的接入方式通过互联网加入这个课堂，网络学习者看到的不仅仅只是教师的讲课身影，而且可以通过多变的虚拟背景接受到更多的感性认识；学习者也不仅仅是被动地观看教师讲课，而且也可以通过语音、视频和文本与教师进行直接对话，打破了网络学习时学习者情感的缺失［8］.

［1］严冰，方慕真.基于 WEB2.0的数字化教学环境与资源建设的研究与实验［J］.中国远程教育，2009（8）：32－40.

［2］林敏.基于RFID和WSN的智能环境服务组合技术研究与实现［D］.上海：上海交通大学，2008.

［3］杨德生.网络课堂和传统面授课堂的融合——中美师生实时同步互动学习的实证研究［J］.开放教育研究，2010，16（3）：144－150.

［4］Myke Bartlett.教室内外的改革来自澳大利亚维多利亚州的经验［J］.敖琼，译.上海教育，2010（23）：46－47.

［5］竺如生.基于校园网的多媒体教室管理信息系统的设计与实现［J］.中国现代教育装备，2010（23）：66－68.

［6］赵世波.远程多媒体教室设计方案［J］.中国科技信息，2007（22）：127－131.

［7］李明源.交互式多媒体教学系统结构与关键技术分析［J］.科技传播，2010（20）：194，197.

［8］程建钢.数字化学习环境研究［J］.中国教育信息化，2008（21）：20.