网真课堂交互技术研究 *

王伟东，金义富

(1.岭南师范学院 广东高校数字化学习工程技术开发中心 信息与教育技术中心，广东 湛江 524048；2.岭南师范学院 教育技术研究所，广东 湛江 524048)

一、引言

目前，跨越时空和教学对象限制的网络教学模式已逐渐普及应用，其中的MOOC[1](Massive Open Online Courses)，由于有很好地共享优质教学资源等特色，得到不少人推崇，但精品课程、网络课程、慕课等这类远程教学主要是异步的教学模式，且多采用教授传播式教学手段[2]，学习者在学习的过程中，未能进行即时提问、解答等实时交互[3]的教学活动，课后也主要以留言版、论坛等字符交互方式进行师生交流。个别能实现同步在线教学的直播式网络课堂[4]，也存在人物尺寸与实际差异大等显示效果不好而产生明显的距离感，有时会出现画面卡顿等更会降低学生的学习兴致，师生间的表情等反应往往难以顾及，教学互动也会打折扣[5]。多采用教师与学习者一对一的教学方式，很少将以第三者眼光看到的师生一起的课堂情景(以下简称为“第三人称课堂情景”)呈现给学习者，学习者缺乏身临其境的体验，难以感受出类似于传统本地课堂的交互效果，影响了远程直播式网络课堂的教学体验和效果。

二、网真课堂

(一)网真技术

“天涯若比邻”曾经是诗人的美好梦想，但如今的网真[6](Telepresence)技术已能够将“远在天边”立刻展现到“近在眼前”，实现人和环境的尺寸都是一比一真实大小的高清影像，高保真唇音同步的音频，而且是实时交互。自从思科(Cisco)公司成功地推出了网真会议系统之后，宝利通(POLYCOM)、惠普(HP)、腾博(TANDBERG)等多家公司或机构，也相继地进行了深入研究和发展，对网真这种高清逼真现场体验的远程呈现技术，虽然不断有模仿，不同厂商各自提出了多种不同的中文翻译，例如：远真、拟真、电真、智真等，但未能真正超越，还是网真得到最广泛的认可，以下统一称为网真。网真是在结合了统一通信、高清视频、高保真音频、环境系统和人体系统工程学等技术，实现了跨越时空却能真实体验的一种综合性技术体系。目前的网真技术主要用于实现网真会议系统，对网真会议室场景的音响和灯光布置进行专门设计，结合视频处理技术和先进网络技术，实现网真会议远程与本地即时视频无缝融合的逼真呈现。

(二)网真课堂

采用网真技术的网真课堂[7](Telepresence Classroom)可以很好地解决目前异步和同步远程网络教学中交互不及时和体验不真实等问题。相对于网真会议室而言，应用于远程教学的网真课堂要求更高。早几年思科公司曾经有文献讨论了网真技术在教育中的初步应用，近期也有相关报道，例如美国的Georgetown大学与远处的大学用网真技术，使得远在异地的两校实现连接，进行了实时的远程教学交流。近年我国清华大学也研制了一种称作“智能远程教室”的网络教学系统，实现远程课堂有相当于真实课堂的体验。我国华东师范大学也为基于e-Learning的未来教室，加入了在线的即时教学环境。但这些已有的实例还不算是真正的网真课堂。

我们参考了华东师范大学的未来教师空间站和广西师范学院的未来教师空间站，以岭南师范学院为中心建立了未来教育空间站[8]，通过高速同城专网与合作的中小学建立地面站进行互联互通，搭建起以岭南师范学院为中心，服务于湛江市区及附近乡村的中小学，实现了高校课堂与中小学课堂实时互动等功能的公共服务平台，其中的网真教室所开展远程即时教学的网真课堂是最有特色的一个子项目。本地或者远程的其中一方称为一个用户，每个用户需用帐号和密码登录后使用。教师一般是一个用户帐号给教师一人用，学生每个人可以有一个用户帐号，但在同一个地方用的即使是很多学生也只用一个用户帐号登录即可。当硬件设备条件允许时，可同时支持多个网真课堂群组独立开展教学，在同一群组中可实现多个用户同时登录在线使用，进行现场直播式的实时交互网络视频教学。为了兼顾实际开展时的个别特殊情况，例如迟到者、请假者等，允许个别用户在网真课堂开始进行后的中途才登录加入该课堂，甚至结束后进行异步的点播学习。对没专设场景和摄影设备的用户，允许采用三维的虚拟人替身进入网真课堂学习。

三、网真课堂交互技术

网络课堂教学中的课堂交互[9]，是在教学活动中师、生、教学内容以及材料工具之间进行的交流互动[10]，主要有三种基本方式，分别是自我交互、人际交互和人机交互[11]。下面所谈的交互专指网络课堂教学过程中的人机交互，通俗地说是指进行网络教学活动期间，师生用户对网络教学系统的输入与输出控制。

(一)人机交互技术

早期的人机交互主要是通过命令行界面实现的。有了鼠标之后，出现了图形用户界面的人机交互方式。近年又发展了声音交互以及利用了实体传感装置、触控屏、数据手套、可穿戴设备、遥感手势控制设备等进行的体感交互[12]，这种常被称为自然交互技术，用户不需要专门学习即可通过直观自然的日常行为与系统进行人机交互。目前体感交互已在娱乐游戏、教育互动、辅助医疗等方面逐渐得到推广和应用。

(二)远程网络教学交互技术

在远程网络教学环境中，人机交互按响应的时间可以分为离线非实时交互和在线实时交互。按交互对象可以分为人与内容的交互、一对一的人与人交互、一对多的个体与群体交互、多对多的群体成员间交互[13]等。在远程教学的过程中，人机交互是必需的，各种形式的交互都各有优势[14]，在远程教学活动中可以根据实际需要灵活选用。

(三)网真课堂交互技术

网真课堂的开展过程离不开人机交互操作，下面以岭南师范学院未来教育空间站的网真课堂为基础，研究网真课堂交互技术，按功能实现分为八大类，每一类可以单独使用，也可以采用多个设备同时使用各类交互功能。

1.实时字符交互

在网真课堂中实时语音交互是最常见的交互，但为了避免在同一网真课堂中多人同时进行实时语音交互时产生混乱和互相干扰，提供实时字符交互功能。网真课堂中各用户可进行实时的字符聊天式交互，既能与指定用户进行字符交互，也可以面向同一个课堂群组内所有用户进行广播式交互，实现有新内容发出时自动刷新显示。通过该功能可以实现师生在线文字、字符聊天式的讨论交流，还支持表情图的显示。交互的数据保留在服务器中，也允许同一课堂群组中未登录的用户，后来登录可查看登录前课堂群组内的讨论历史记录。可按发言者或时间段等查找历史交互记录。实时字符交互功能采用可选设置的两种方式实现：(1)交互的字符在屏幕上滚动显示，可以用快捷键切换成隐藏，或者立即显示；(2)在主显示屏左侧用一个辅助显示器专门滚动显示交互的字符内容。其中第2种方式可以避免影响网真课堂主显示画面的真实感体验。

2.点播式文件共享异步交互

在网真课堂中师生可以进行音视频、图片或各种格式的教学资源文件传输共享，用户将资源文件上传到共享区后，可分享给指定用户或整个课堂群组，相关的用户可进行点播式文件共享异步交互，可以下载资源文件，还可以对该共享进行评价留言和评分。为了鼓励大家进行公开的资源共享，记录每个用户共享的各类资源文件数，参与评价留言数和参与评分数，还记录每个资源的被下载数、被评价留言数，被评分的总分和平均分，并生成相应的排行榜，动态排名展示。这些可供教师参考，作为学生参与网真课堂教学的部分评价。一般同步实时的课堂教学过程稍纵即逝，如果学生走神错过了，将无法重现上一刻的讲课。为了解决这种问题，可将网真课堂开展的过程实时录制成流媒体保存，让相关用户可进行非实时异步的点播式交互学习，网真课堂的教学资源库[15]、作业、练习、在线考试、评卷和查成绩等都采用这类交互。

3.直播式音视频同步实时交互

网真课堂最普遍的功能是实现多用户的直播式音视频同步实时交互，既能指定整个课堂群组中的某些用户或所有用户，进行一对多或多对多的即时广播式集体讨论交流，又可指定某个用户进行一对一的即时问答式交流。可以一个用户用一个帐号登录，也可以多个人一起用一个帐号登录。教师可随时切换学生用户当地的视频窗口，灵活控制各学生用户的发言权限，以控制学生端来进行分组音视频交互。对同一网真课堂群组中的有同时在线的多个用户，提供可选设置的两种方式实现直播视频同步实时交互：(1)只有一个主显示设备时，同一时刻可以指定某个用户为主讲音视频，在各用户的主屏上直播，其他用户的用快捷键切换成小窗口直播或隐藏显示；(2)采用并排的多个显示设备，分别显示各个用户的直播视频。

4.远程即时操控交互

在网真课堂中，远程场景与本地场景布置一致，高度融合。为了让师生更加有近在眼前的真实感体验，提供远程即时操控交互功能，可以让本地用户在远程的显示屏或电子白板上进行流畅的操作(例如写字操作)，并能在同一课堂群组各个用户的显示屏上同时显示这些写字等操作过程，这为实现网真课堂的师生互动提供了方便，提高了网真课堂的本地化教学的真实感体验。

5.第三人称视频合成控制交互

对开展网真课堂教学的当地实际教室中，除了在前正上方架设主摄影机外，还尽量在后正上方、左侧前上方和右侧前上方架设辅摄影机，进行多角度同步摄录网真课堂的视频，用专线高速网络传输数据。网真课堂的参与者，一般用第一人称显示模式，能清楚地看到远程其他人在课堂中的行为和表情神态。但本地学习者特别是课堂参与者自己在上课过程中的表现，往往是“当局者迷，旁观者才清”，所以网真课堂提供可选设置的三种方式，来实现查看本地的表现状况视频：(1)在本地主显示屏的右下角以小窗口显示本地视频，可用快捷键进行切换成隐藏，或立即小窗口显示，或最大化显示；(2)在主显示屏右方用一个辅助显示器专门显示本地的视频；(3)在本地的主显示屏或者辅助显示屏上，可用快捷键切换成第三人称显示模式，也叫做“路人显示模式”，能够以旁观者的角度，看到包括参与者本人在内的网真课堂中所有参与者在课堂上的表现。

其中第三人称显示模式的关键技术是实现网真课堂的本地视频与远程视频自动合成[16]。针对网真课堂各地环境布局相同的特点，对远程视频和本地视频的图像序列，进行逐帧的模糊匹配，检测出人与背景的边缘特征点，将本地视频中的人与背景分离，进一步将分离出的本地视频中的人合并到远程视频的相应位置，并模糊和羽化人的边缘，增强融入感，形成新的第三人称显示视频。这种处理工作称为润饰(Retouching)或者是修复(Inpainting)，使合并后的第三人称视频，看起来就像是在同一地方的实际课堂场景中拍摄的效果一样，再进一步加工成自由视点视频[17](Free View Video)，让观看者可在一定的视角范围内，通过选择不同的视点或者视向来动态交互式观看。

6.虚拟角色体验控制交互

虚拟角色体验控制交互特别适合没有专设场景和摄影设备的用户。以网真课堂场景为背景，为同一网真课堂群组中的每位成员，提供一个三维的虚拟人[18]角色“替身”。虚拟人的三维模型可自行定制，允许设定性别、身高等参数，还提供多种脸型发型等外观可选择。也可以按要求的标准自行设计好虚拟人三维角色模型后，上传到网真课堂系统中使用。对于没有专设场景和摄影设备的用户，通过实体与虚拟结合[19]技术，让代表自己的虚拟人进入正在进行着的网真课堂视频的空位处，用户可控制自己的替身的手脚动作、头势、唇语、表情等，使虚拟人学习者如同用户亲自身临其境地，参与正开展着的网真课堂，去体验与视频中其他真人一起的网真课堂远程同步实时交互学习。

7.远程虚拟体感交互

远程虚拟体感交互可用于没专设场景和摄影设备的用户，进行课后学习或网络三维游戏化学习。网真课堂结束之后，可多次重复进行虚拟体感交互学习体验，特别是需要动手的实验课、实操课等。按网真课堂的标准，在3D引擎上采用三维建模技术，建立与实际网真课堂一样的，三维虚拟教室教学场景。与第六类的虚拟角色体验控制交互类似，每位网真课堂群组成员都可以有一个三维的虚拟人角色“替身”。进入远程虚拟体感交互模式，调出代表自己的虚拟人，这时操作者所处的真实环境，与虚拟的实验场景和实验仪器，形成高度沉浸式的虚拟实验体验环境，通过体感交互感应器，用户可以运用手势、肢体动作或语音等，实现虚拟场景中的体感交互。支持多用户同时联机操作，实现网络3D游戏式的多用户同时开展远程虚拟体感交互式学习体验，用户在三维虚拟场景中的行为表达可即时地传送至远程各方，类似于第五类交互，可用快捷键切换第一人称显示模式，或第三人称显示模式。结合使用3D显示设备，如裸眼3D显示器，或者3D投影机加3D眼镜等，则能够具有更加逼真震撼的三维沉浸感体验。

8.智能Agent主动式交互

在网真课堂中加入知识库和多个智能Agent[20]，通过应用情境感知计算处理技术，获取网真课堂开展过程中的各种数据信息，分析处理后提供智能化的预警和推送等服务。实现对学生的学习过程进行实时监控跟踪，分析网真课堂教学过程，解决用户使用问题等。例如小动作智能Agent可以对网真课堂视频画面中的各人进行人脸定位，并监控分析发现有学生持续地低头或转头，超过了转头时间阈值时，红色框圈定这些学生的头部区域闪动显示警告，并记录转头视频片段日志。转头时间阈值可以设定。异常声智能Agent可监测上课讲话的学生，学生座位某区域范围有持续声音的强度及时间超过异常声阈值时，蓝色框圈定这些视频的区域进行闪动显示警告，并记录下异常声的视频片段日志。向导智能Agent，能对网真课堂开展过程中出现的常见操作问题，与可维护的知识库中相关记录自动模糊匹配，动态飘出黑色解决的提示字幕或动画，可以控制放大显示或缩小或隐藏。自动提醒智能Agent可以根据预先设定的提醒条件，当满足条件时就弹出红色闪动的提醒信息字幕。状态记录智能Agent可以动态记录网真课堂的开展情况，如哪些帐号在什么时间登录或退出，是否属于迟到或早退，各用户端的显示帧频变化情况等自动存入数据库，可以随时调出显示等。这些交互的结果也用可选设置的两种方式实现：(1)在本地主显示屏的右上角以小窗口显示，可用快捷键切换成隐藏，或小窗口显示，或最大化显示；(2)在主显示屏右侧用一个辅助显示器专门显示智能Agent主动式交互结果。其中第2种方式可避免影响网真课堂主显示画面的真实感体验。

四、网真课堂交互技术使用效果

网真课堂平台采用云架构的集群部署，现主要在岭南师范学院未来教育空间站的网真教室与市区内用高速专网互连的两所中学之间使用，还在继续开发和完善。为了验证现网真课堂交互技术的使用效果，自行设计调查问卷网站，题目如表1所示。

表1 调查问卷题目

安排部分用过网真课堂平台的学生进行作答，共收集到有效提交的答卷51份，其中与教师处于异地为：33人，处于同地的为：18人，回答Q1的统计如下图所示。Q2全部都选了网真课堂，Q3则有3人选了传统课堂，查看发现这些人的Q1都是选异地，其Q12的建议分别回答为：“网真课堂很好但硬件要求高，远程用户多人一起时，使用还不习惯”“如果网络有故障，远程用户就没法与在老师身边的学生比了”“最好能自动提醒老师多关照一下我们远程的用户”。

回答Q1的统计图

从问卷调查网站上导出调查结果数据，整理数据格式，对Q4-Q11选了第一项的值换为5，第二项的值换为4，以此类推第六项的值为0。用SPSS17.0软件进行统计分析，其中Q4-Q11频率统计如表2所示，发现只有Q10有一个最小值3代表“有用要改点”外，其他都是4代表“很有用”和5代表“太有用了”。

表2 Q4-Q11频率统计

续表2

即使是最低认可度的Q10，其频率如表3所示，也有78.4%是选了5分代表“太有用了”的。经查其他21.6%的人有部分提到的相关建议主要是：参与过的网真课堂中体感交互应用的场合还很少，网真课堂平台中的该交互功能还有待完善，实际也是要进一步开发完善该功能。由此可见，这些用过网真课堂平台的学生对八类网真课堂交互技术还是很认可的。

表3 Q10的频率

五、结束语

网真课堂要求各方的本地场景设计一致，可为未登录用户虚位以待，并将当前课堂的场景实时地呈现到各方的本地，还能让远程课堂场景与本地课堂场景融合成为一个能即时互动的网真教学场景，可切换为第三者视角观看体验；对没专设场景和摄像机的用户，允许用三维虚拟人加入正在进行的网真课堂视频中，与真人进行实时同步交互体验，实现了异地多用户远程实时交互式教学。在课堂中的行为举止和神态表情，自己本人往往容易忽视，采用第三人称视频合成控制交互技术，可让参与者本人清楚地自己在网真课堂中的表现情况，形成自由视点视频甚至可进行变换视点或视向的动态交互体验。网真课堂开展过程中的各状态数据等，采用智能Agent主动式交互技术可以提供全面的分析呈现，甚至智能化的预警和信息推送等服务。这些不仅是未来美好愿景的理想描绘，而是面向实际应用的开发实践，通过使用这些交互技术，网真课堂中本地与远程用户在物理上的实际距离虽然很远，但师生们实时交互的体验距离将显得近在咫尺。所述八大类交互技术中提到用快捷键的地方，都还可以通过屏幕左边收缩隐藏的快捷菜单实现。各类交互技术可以单独使用，在输入、显示等设备允许的情况下，这些交互技术几乎也都可以一起同时使用。

[1]韩锡斌,葛文双,周潜等.MOOC平台与典型网络教学平台的比较研究[J].中国电化教育,2014,(1):61-68.

[2]李艳红,赵波,甘健侯等.基于MOOC的学习定制服务模型构建研究[J].中国电化教育,2014,(11):39-43.

[3]蔡敏.网络教学的交互性及其评价指标研究[J].电化教育研究,2007,(11):40-44.

[4]魏雪峰,杨俊锋.同步网络课堂的理念、应用及未来发展[J].中国电化教育,2014,(9):93-99.

[5]容梅,林君芬,王陆.交互技术打造高效互动课堂——新理念、新技术和新实践的三方对话[J].教育信息技术,2013,(3):3-10.

[6]Gary P,Cheryl C B,Bridget R,etc.Telepresence,soundscapes and technological expectation:putting the observer into the equation[J].Virtual Reality,2010,(14):15-25.

[7]金义富,张子石,王伟东.网真课堂体系结构及其教育传播模式研究[J].中国电化教育,2013,(11):132-136.

[8]金义富,王伟东,张子石.未来教育空间站设计与运行模式研究[J].电化教育研究,2012,(9):77-81.

[9]魏雪峰,崔光佐,李莉等.基于学习过程的课堂交互分析研究[J].电化教育研究,2011,(12):91-97.

[10]张超,吴勇刚.现代远程教育中教学交互的研究综述[J].教育信息技术,2013,10(10):158-159.

[11]王志军.中国远程教育交互十年文献综述[J].中国远程教育,2013,(9):25-29.

[12]Ren G.,Li C.,O'neill E.,Willis P.3D freehand gestural navigation for interactive public displays[J].Computer Graphics and Applications,2013,33(2):47-55.

[13]陈丽.远程教学中交互规律的研究现状述评[J].中国远程教育,2004,(1):13-20.

[14]叶新东,夏一飞.信息技术课堂教学交互行为模型与评测指标研究与实践[J].现代教育技术,2011,(8):42-50.

[15]袁松鹤,丁新,邱崇光.远程教学与管理平台的设计研究[J].中国远程教育,2008,(9):69-72.

[16]Dong Liu,Xiaoyan Sun,Feng Wu,Shipeng Li,Ya-Qin Zhang.Image Compression With Edge-Based Inpainting[J].IEEE Transaction on Circuits and Systems for Video Technology,2007,17(10):1273-1287.

[17]刘苏醒,安平,宓桃,张兆杨.自由视点视频系统中虚拟视合成及校正方法[J].光电子·激光,2009,20(9):1234-1237.

[18]王伟东,余华强,赵法信.基于Web的3D虚拟人智能导诊系统设计[J].湛江师范学院学报,2012,33(6):123-126.

[19]王麒,张际平,许亚锋.远程实体与虚拟结合课堂的研究[J].中国电化教育,2012,(12):130-135.

[20]文孟飞,徐铮立,阳春华.基于智能代理技术的远程开放网络教学系统[J].中国电化教育,2006,(1):89-92.