蔡新元陶梦楚张健许艳闰
(1.华中科技大学建筑与城市规划学院,武汉,430074;2.光影交互服务技术文化和旅游部重点实验室,武汉,430074;3.数字光影技术湖北省工程研究中心,武汉,430074;4.武汉大学信息管理学院,武汉,430072)
近年来,随着人工智能、数字孪生等技术的发展,教育领域的发展空间得以从现实世界向虚拟世界拓展。具有独立数字身份的虚拟教师(virtual teacher),成为了人工智能技术在教育领域的主要应用形态之一[1]。当前,虚拟教师主要应用于在线教学课程中,在有效节省教师人力成本的同时,为学习者提供了全新的人智交互体验[2-3]。然而目前绝大多数虚拟教师教学视频的制作高度依赖视频制作者的经验、审美等主观认知,在教学信息和虚拟教师外观的设计上缺少科学化、精细化的构思[4],[5]507-524。这使得目前在线课程的教学信息呈现方式较为单一、虚拟教师视觉外观设计无据可依,带来了课程质量良莠不齐、学习者的学习效果并不理想等问题[6]。
对于在线课程而言,教学信息的呈现方式是视频制作者必须考虑的一个设计决策,与教学效果紧密相关[7-8]。已有研究在信息呈现方式对学习效果的影响上进行了大量探索,然而值得注意的是,这些研究多以真人教师为教学主体,而当人工智能教学代理取代真人教师后,教学信息该以何种方式呈现目前尚不可知。除此之外,虚拟教师的外观同样是一个显著的视觉要素,能够影响学生与虚拟教师的交互体验[9-10]。在虚拟人的众多外观特征中,拟真度是设计者在创建虚拟人形象时必须考虑的一个要素。拟真度有多种分类方式,已有研究主要对二维与三维、高分辨率与低分辨率[11]等对比强烈的表现方式进行了讨论,但相关研究结果并不能为拟人化虚拟教师的设计提供切实可行的指导。
基于此,本研究聚焦于学习者与虚拟教师的教学交互,开展受控实验探索当虚拟教师作为教学代理时,教学信息呈现方式对学习者学习效果的影响。此外,本研究进一步探讨了当虚拟教师外观的拟真度不同时,信息呈现方式对学习效果的影响是否会发生显著变化。本研究通过受控实验精准度量用户学习效果,为教学信息呈现方式和虚拟教师拟真度的设计提供了客观科学的依据,以期提升人智教学交互体验和效果。
目前,国内外已有许多学者研究了信息的不同呈现方式及其组合对学习效果的影响。一部分研究将文字与图片所带来的学习效果进行对比,发现图片会带来更好的学习成绩。例如,Marcus等人[12]在指导参与者完成连接电阻器的任务时,向两组学生分别提供了文字说明和图示说明,结果图示组完成任务的时间比文本组要短,并且文字组的参与者在主观上感觉任务更难。Carlson等人[13]将参与者分为两组,分别学习图示形式和文字形式的碳化合物命名规则,研究发现,在学习较为简单的前缀命名规则时,文字与图片形式的教学效果无明显差异;但在学习更为复杂的后缀命名规则时,图片的方式呈现可以让参与者在记忆时使用更少的元素来处理信息,能够有效减轻其认知负荷。
还有研究将文字、图片等静态呈现方式与动图、视频等动态呈现方式进行对比[14-15]。但在动态呈现方式是否能促进学习效果上,学者们存在不一样的看法。一些学者基于交叉学习理论和多媒体学习认知理论提出,视频的信息呈现方式会带来与学习内容无关的冗余信息,增加学习者的认知负荷,导致学习效果不理想[16]。Mohd等人[17]通过对比静态视觉、二维动画视觉和三维动画视觉三种不同信息呈现方式的学习效果,发现静态图文呈现方式的学习效果要优于二维和三维动画;卢婷、杨现民[18]指出在移动学习环境下,图文的呈现方式最有利于学习者的学习,文本次之,视频效果最差。但部分学者对此持相反意见,他们认为视频、动画等动态立体的信息呈现方式可以更清晰地表征学习内容,能够提高学生在学习高难度学习材料上的效率和有效性,比静态图文对学生的帮助更大[19-20]。Kriz 和Hegarty[21]分别使用动画和静态图片来教授参与者有关冲水箱的知识,发现与学习静态图片的参与者相比,学习动画的参与者对知识的理解明显更好。闫志明等人[22]通过实验发现,相较于图文版(静态图片+文字解说),动画版(动态画面+语音解说)的学习材料能有效减轻参与者的认知负荷,提升学习效率与效果。Lin等人[23]的实验得出了类似的结论,即观看动画的参与者比观看静态图片的参与者记住了更多的知识点。
既有研究发现,拟人化是影响用户对人工智能的体验感、接受度和使用意愿的重要因素[24]。当人工智能视觉特征的拟真度越高时,其能够带来的社会感知越积极,如更高的信任度与喜爱度等[25-27]。当这种对高拟真度人工智能产生喜爱感、信任感的现象映射至教育领域时,就可被“角色效应”(persona effect)解释,即栩栩如生的人工智能教育代理会对学生的学习体验产生强烈的积极影响[28-30]。因此,学者们开始广泛关注人工智能教学代理的视觉体验设计。研究的视觉要素主要包含四个方面:教学代理是否具有具象形象;虚拟教师的物种形态,如人类、动物、机器人、无生命体等;虚拟教师的个性特征,如人种、性别、年龄等;虚拟教师的拟真度,如二维或三维、抽象或写实、漫画风格或写实风格等。
在拟真度的相关研究中,一部分学者发现虚拟教师的拟真度并不会使学生的学习效果产生显著差异。Moreno等人[31]将参与者分为两组,分别接受真人教师与人工智能教学代理的教学,实验结果显示,两组参与者的成绩分数没有表现出显著差异;Sahimi等人[32]设计了三种不同拟真程度的虚拟教师(卡通、中度写实和超写实),并通过实验发现虚拟教师拟真度对参与者成绩无显著影响。另一部分研究虽然观察到了拟真度对学习效果存在影响,但在具体的影响方向上尚未达成一致结论。Baylor等人[33]通过对比卡通教学代理和写实教学代理,发现当虚拟教师拥有更真实的动画时,更有助于增强学习迁移的效果;Dehn等人[34]认为具有更真实视觉外观的教学代理的暗示误导性行为,可能会阻碍学习者的学习效率;Li等人[35]进行了一项2(人类、机器人)×2(实拍视频、虚拟动画)的析因实验,发现与动画-真人组和实拍-机器人组相比,实拍-真人组和动画-机器人组的参与者在知识记忆测试中的表现较好。
在对相关研究进行梳理后可以发现,人智教学交互中的信息呈现方式主要分为文字、图片、视频三种类型,但在信息呈现方式对学习效果的影响上尚未形成一致的结论。虚拟教师拟真度在已有研究中已初步被发现能够影响人智教学交互的学习效果,但在具体的表现方式和影响方向上仍有待讨论。为填补上述研究空白,本研究拟对以下研究问题进行探索:
RQ1:为了提高学生对在线课程的学习效果,人智教学交互中应该使用何种教学信息呈现方式?
RQ2:人智教学交互中虚拟教师的拟真度是否会调节教学信息呈现方式对学习效果的影响?
本研究探索了人智教学交互中教学信息呈现方式对学习者学习效果的影响,并进一步检验虚拟教师拟真度的调节作用。本研究采用3×2的被试间实验设计,信息呈现方式(文字/图片/视频)和虚拟教师拟真度(超写实/卡通)均为被试间因素。本研究经大学研究伦理委员会批准,严格遵循一般伦理准则。
本实验以在某高校校园社交媒体平台上发布广告的形式来招募实验参与者,要求如下:(1)受教育程度为本科及以上;(2)视力与矫正视力正常;(3)没有学习引力波相关课程的经历。实验共招募到54名参与者,其中男生18人、女生36人。为避免学习能力的差异对研究结果产生影响,在征得参与者同意的情况下,研究人员计算了他们近一学年所有课程的加权成绩,并将其分为平均加权成绩相近的6组。本研究在数据分析前剔除了操作检验异常的9位参与者的数据,最终得到45个有效样本。参与者年龄分布在18至27岁之间(M=21.91;SD=2.710)。所有参与者在实验开始前均自愿签署了知情同意书,并在实验结束后被给予了相应的报酬。
本研究的实验材料为6个教学视频。为制作教学视频,研究人员首先需要确定视频的教学内容、信息呈现方式和虚拟教师动画。
在教学内容的设计上,选择了“引力波”这一物理学和天文学的交叉领域。为保证课程的难易程度适中,教学内容主要围绕引力波的定义、探测方法、研究历程与探测现状这四个知识点进行讲解。学习材料的内容均通过了物理专业教师的审阅修改,具有较高的科学性和准确性。
在信息呈现方式的设计上,文本组教学课件中,教师PPT仅出现文字内容对知识进行讲解;图片组教学课件运用图示对知识点进行讲解,文字仅作为标题或图示注解出现;视频组则是在相同的知识点上采用了视频动画进行讲解。在正式实验前,邀请了6位教学专家对各组教学视频的信息承载量进行了判断,确保各组学习材料的信息承载量基本相同。
在虚拟教师动画设计上,本研究参考Baylor的实验[33],将虚拟教师的拟真度分为卡通版和超写实版。两种不同拟真度的虚拟教师动画均依照“建模—动作捕捉—渲染”的流程进行制作。在建模环节,使用MetaHuman软件进行虚拟教师三维立体建模,将其作为超写实虚拟教师形象;在超写实版的基础上,通过调整面部比例、五官造型、头身比例等,创作出卡通版虚拟教师。在动作捕捉环节,邀请高校教师作为动作捕捉主体讲授引力波课程,并运用人工智能软件对其授课时的身体动作、面部表情、眼部动作进行精准捕捉,运用人工智能技术生成相对应的虚拟教师授课动画。在渲染环节,为控制无关变量,两种不同拟真度的虚拟教师采用了相同的纹理、材质、色彩、灯光等参数。设计确保在现有技术范围内,最大程度地实现不同拟真度虚拟教师除人物形象外,其他视觉要素的统一。不同拟真度虚拟教师的设计流程与虚拟教师视觉外观,如图1所示。
图1 虚拟教师制作流程与最终效果Fig.1 The Production Process and Final Effect of Virtual Teachers
研究人员最终制作出6个教学视频,时长均为4分12秒。视频中出现的标题、字体、字号、颜色等均一致,两种拟真度的虚拟教师在授课过程中保持相同的语速、语调、音量和姿态。6组课程截图如图2所示。
图2 虚拟教师教学视频示例Fig.2 Examples of Virtual Teachers' Teaching Videos
(1)前测问卷
先验知识水平。问卷题目均出自高等院校天体物理学教材中与引力波相关的基础知识[36]3-41,如“关于时空和引力的基本理论是?”“最早预言引力波的科学家是谁?”等。问卷共6题,其中4个单选题,每题5分;2个多选题,每题10分,总分40分。
(2)操作检验
信息呈现方式。参与者被要求回答“在刚刚的教学视频中,课程信息主要是以(‘文字 /图片 / 视频’)的方式呈现的”。问卷采用5分李克特评价法进行测量(1=完全不同意,5=完全同意)。
虚拟教师拟真度。量表采用Powers和Kiesler设计的拟真度量表[37],从虚拟教师的类人性、动作、自我意识等多个维度对虚拟代理的拟真度进行打分,例如“虚拟教师看起来很像真人教师”“虚拟教师看起来是行动自如的”等。采用5分李克特评价法进行测量(1=非常不同意,5=非常认同)。
(3)后测问卷
后验知识水平。本研究设计了8道题目来检验参与者观看完视频后对引力波相关知识的了解程度,用该分数减去先验知识水平的分数来作为学习效果。8道题目分别对应课程内容中的4个知识点,每个知识点考查一道单选题和一道填空题,每题5分,共40分。其中,填空题的答案与标准答案完全一致得5分,若仅填写出关键词得2分,答错不得分。
所有参与者在同一间安静的实验室中完成整个实验,除实验开始前研究人员进行实验说明外,参与者全程不会受到任何干扰。本实验的顺序分为三步:首先,了解参与者的基本情况,包括姓名、性别、年龄、专业等,以及此前是否了解虚拟教师、是否接受过虚拟教师授课等,时间约为5 分钟。然后,填写前测问卷,测试参与者对于引力波的先验知识水平,时间约10 分钟。接着,进行课程学习。参与者依据分组情况观看相应的教学视频,时间约5 分钟。最后,填写后测问卷,包括操纵检验与学习效果测试,时间约15—20 分钟。
信息呈现方式的操纵有效性检验结果显示,在54位参与者中,有45人报告的信息呈现方式与实际操纵一致,其余有9人报告的不一致,故剔除其数据。
虚拟教师拟真度的操纵有效性检验结果显示,参与者对超写实版虚拟教师拟真度的评分显著高于对卡通版拟真度的评分(M超写实=10.65>M卡通版=9.77,p=0.020<0.05),故本研究对虚拟教师拟真度的操纵是成功的。
三组不同信息呈现方式下学习效果的描述性统计如图3所示,视频呈现方式下的学习效果最好(M=16.69),其次为文字呈现方式(M=9.07)和图片呈现方式(M=7.36)。单因素方差分析进一步表明,这三种信息呈现方式下参与者的学习效果存在显著差异(F(2, 43)= 3.462,p=0.041<0.05)。由此说明,对人智教学交互而言,教学信息呈现方式是十分重要的,当教学信息以视频呈现时能够带来最优的学习效果。
图3 三种信息呈现方式下学习效果的描述性统计Fig.3 Descriptive Statistics of Learning Effect Under Three Modes of Knowledge Presentation
为了进一步检验三种信息呈现方式中两两之间的差异性,本研究进行了LSD 事后多重检验(表1)。结果显示:①视频组与图片组的学习效果差异显著(p=0.019 <0.05),视频组优于图片组;②视频组与文字组的学习效果差异显著(p=0.049 <0.05),视频组同样优于文字组;③文字组与图片组的学习效果差异并不显著(p=0.662 >0.05),文字组略微高于图片组。
表1 三组数据之间显著性比较Table 1 Comparison of Significance Between Three Sets of Data
由于信息呈现方式和虚拟教师拟真度均为分类变量,故本研究采用多因素方差分析来检验拟真度的调节作用。结果显示,信息呈现方式与虚拟教师拟真度存在显著的交互作用(p=0.039 <0.05),由此说明拟真度能够显著调节信息呈现方式与学习效果间的关联(图4)。本研究接着进行了单因素方差分析来检验拟真度如何调节信息呈现方式与学习效果间的关联。数据分析结果显示,在虚拟教师为超写实版的条件下,信息呈现方式对学习效果的影响具有显著性(F(2,20)=4.408,p=0.027 <0.05);在虚拟教师为卡通版的条件下,信息呈现方式对学习效果的影响并不显著(F(2,21)=3.028,p=0.071 >0.05)。这一结果说明,信息呈现方式对学习效果的影响是有条件的,只有当虚拟教师拟真度为超写实时,不同的信息呈现方式才会产生显著不同的学习效果。
图4 拟真度在信息呈现方式与学习效果间的调节作用Fig.4 The Moderating Effect of Simulation Fidelity on Knowledge Presentation and Learning Effects
对于RQ1,从实验结果来看,在人智教学交互中,信息的不同呈现方式会使学习者产生显著不同的学习效果。与闫志明等人[22]、Lin等人[23]的研究结论基本相似,本研究发现,视频信息呈现方式带来的学习效果要优于文字和图片。根据Bétrancourt和Tversky[38]的研究,动态的信息呈现方式能够帮助学习者在脑海中构建事物的形态变化与运动规则,使学习者可以将更多的认知资源用于学习信息的深度处理。而静态文字与图片则需要学习者一边观看,一边快速地对接收到的信息进行解码与理解,会给学习者带来更多的心理负担[23]。在本研究中,参与者需要付出一定的认知努力来学习引力波随时间不断变化的表征及其成因,视频这种呈现方式简化了这一学习过程,使学习者有更多的认知资源学习引力波的产生机制与探测方法,进而提升了对信息的深度加工和存储。
在本研究中,对于同属静态信息呈现方式的图片和文字而言,当教学信息以文字呈现时,参与者的学习效果更好,但二者之间并无显著差异。这一结果与陈静等人[39]的研究基本一致,可能的原因在于:Allan Paivio的双编码理论认为,词语可以直接进行言语编码,而图片只能通过意象表征才能接近言语编码。图片虽然比文本更加形象,更有利于学生对知识进行深层次的加工,但与此同时,却需要以花费更多的信息加工时间作为代价[40]259。因此,在时间不允许的条件下,文字能给予学生最直接的信息,比图片更有利于学生对信息进行直接加工。在本研究中,教学视频的播放是由实验人员操控的,参与者不可以随意暂停或重复观看教学视频。这就导致在有限的时间内,文字比图片传达的教学信息更为直观,更有利于参与者对信息的加工,带来的学习效果也更好。此外,图片中或多或少存在抽象的信息提示,如箭头或突出显示等。这些提示必须与图片中的其余信息进行整合才能够被理解,这就可能导致参与者承受更大的认知负荷,更有可能出现理解偏差,从而导致图片的学习效果不如视频[41]。
对于RQ2,当虚拟教师拟真度作为调节变量被引入分析后,结果显示,在人工智能外观为超写实的条件下,信息呈现方式能够显著影响学习者的学习效果;而降低人工智能外观的拟真度后,不同信息呈现方式带来的学习效果并无显著差异。这一结果与Li的结果一致,可能的原因在于:拟真度更高的超写实虚拟教师更接近于真人教师,因此相比之下,卡通虚拟教师更为新颖,更有可能分散学生对于教学信息的注意力,从而弱化了信息呈现方式对学习效果的影响[24]。依据注意分离效应(split-attention effect)和干扰理论(interference theories of social agency),虚 拟教师作为在线学习中用来提升学习兴趣的惑性细节(seductive details),会在学习者进行信息选择时分散其注意力,导致其对主要学习内容的关注度下降,从而产生注意分离效应[42]。当信息呈现方式与教学代理动画通过同一视觉通道传送到学习者大脑中时,这两个冗余的信息源就会导致学习者的注意力分散,而学习者的认知资源是有限的,当人工智能教学代理的视觉特征的吸引力过大时,学习者投入到教学信息上的认知资源就会相对应地减少[43-44]。Pi同样通过眼动实验探究了人工智能教学代理的视觉特征对学习者注意力的影响,发现相较于普通外观的虚拟教师,学习者的视线在外观可爱的虚拟教师身上停留的时间更长,相应地在学习材料区域停留的时间更短[45]。因此在本实验中可能存在,学生注意力在卡通教师的可爱外观上停留时间更长的情况。
本研究为现有研究提供了如下两方面理论启示。首先,本研究丰富了人智教学交互中信息呈现方式的相关研究成果。已有关于在线课程信息呈现方式的研究多以真人教师为教学主体,本研究则聚焦于虚拟教师这一新兴的人工智能教学代理,对其人智教学交互过程中的信息呈现方式进行了探索。其次,本研究充分挖掘了受控实验在解决设计决策问题中的潜力。本研究着眼于现实生活中真实存在的设计决策问题,从多学科融合的视角出发,开展受控实验来精准度量人智教学交互中参与者的学习体验,有效克服了设计中经验主义在提升人智交互体验中的局限,为虚拟人在教学领域的应用提供了科学可行的建议。
本研究为虚拟教师在线课程的设计提供了如下实践启示。首先,明确了动态视频是最适合人智教学交互的信息呈现方式;其次,当虚拟教师的拟真度处于较高水平时,更要注重对信息呈现方式的选择。根据本研究结果,在线教育从业者与人工智能教学代理的设计者可对其课程信息的呈现方式与虚拟教师的视觉外观进行优化,为学习者提供更加高质量的在线课程。
本研究也具有一定的局限性。①实验对象的局限性。实验对象数量较小,教育水平和专业背景等特征的分布并不广泛,这可能降低了本研究结果在不同特征人群中的普适性和推广性。②实验材料和环境的局限性。本研究制作的教学视频时长较短,整个实验均在实验室环境中进行,并未构建真实的云平台或网络学习环境,使得实验的生态效度不高。未来研究可以尝试实现真正的虚拟教师教学环境。③测量工具的局限性。本实验对学习效果的衡量不够全面,仅依靠前后测问卷的差值来测量。未来研究可在实验过程中加入眼动仪等生理测量工具,记录学习者在虚拟教师与教学信息之间的停留时间等,更为客观地检验信息呈现方式、拟真度等因素如何发挥作用。
作者贡献说明
蔡新元:提出整体研究思路与框架;
陶梦楚:数据调研,论文起草与修改;
张健:提出整体研究思路,论文最终版本修订;
许艳闰:数据清洗和分析,修改论文。
支撑数据
支撑数据由作者自存储,E-mail:taomc@hust.edu.cn。
1.陶梦楚.Measurement data of variables.xlsx.变量测量数据.
2.陶梦楚.Data of operation test.xlsx.实验操作检验数据.