杨九民 陈辉 杨文蝶 李妍 喻邱晨 皮忠玲
[摘 要] 教学视频是否需要添加字幕是许多教学实践者在视频制作后期考虑的重要问题。从目前的实证研究来看,在教学视频中呈现字幕能否促进视频学习效果,字幕对学习效果的影响存在哪些边界条件?已有研究尚未得出一致的结论。为解决上述问题,文章采用元分析方法,对44篇国内外实验和准实验研究文献进行分析。主效应检验发现:在教学视频中呈现字幕能够提升学习者的保持成绩(g=0.283);然而,字幕对迁移成绩(g=0.069)的促进效果不显著。调节效应检验发现:在保持成绩上,教学视频中字幕的效果受到字幕类型、字幕语言类型、视频类型和视频时长的调节影响。具体而言,关键词字幕、关键词凸显字幕显著优于全字幕,汉语字幕显著优于英语字幕,教师与PPT结合式视频和课堂实录式视频的字幕效果显著优于动画式视频,中等时长视频的字幕效果显著优于长时长视频。在迁移成绩上,字幕的效果受到字幕语言类型、视频类型、知识类型和视频时长的调节影响。具体而言,汉语字幕、课堂实录式视频、陈述性知识、中等时长视频条件下的字幕效果显著优于英语字幕、动画式视频、程序性知识、短时长视频。研究对教学实践有如下启示:教师在设计教学视频时,需综合考虑视频类型、知识类型、视频时长等因素,建议添加关键词字幕或关键词凸显字幕,以提升视频教学质量。
[关键词] 教学视频; 字幕; 字幕类型; 学习效果; 元分析
[中图分类号] G434 [文献标志码] A
[作者简介] 杨九民(1969—),男,湖北枣阳人。教授,博士,主要从事教学设计、教师教育研究。E-mail:yjm@ccnu.edu.cn。
一、引 言
《中国教育现代化2035》指出,“建立数字教育资源共建共享机制是加快信息化时代教育变革的重要途经”[1]。由此可见,优质数字教育资源的建设与共享,是推进教育公平、实现全民教育和个性化学习的重要环节。近年来,随着在线教育的飞速发展,精品视频公开课、MOOC、微课等数字教育资源吸引了大量学习者,因其多通道的信息呈现形式,逐渐成为广大学习者首选的学习资源[2]。而这些数字教育资源的核心是教学视频。
教学视频是指通过教学设计与技术制作的,能传递知识、供学习者学习的视频资源[3]。作为一种多媒体教学资源,教学视频通过呈现视觉画面与教师解说语音来促进学习[4]。杨九民等对国内外知名开放课程平台中的218门课程样本的教学视频进行系统分析,总结出录屏式、交互式、教师与PPT结合式、课堂实录式、研讨式和动画式六种呈现形式的教学视频[5]。并且,绝大多数的教学视频都在视频画面的底端呈现了字幕。
字幕是指影视作品中语音的文本形式,一般出现在视频下方[6]。教学视频中的字幕按照其呈现形式大致可分为三种类型:全字幕、关键词字幕(概要字幕)和关键词凸显字幕[7]。全字幕是指与教师解说语音同步出现的、内容上完全一致的文本[8]。关键词字幕是指从教师解说语音中选取的、具有引导作用的关键词语[8]。例如:假设教師的解说语音为“凉爽潮湿的空气从暖流层经过,最终变热”,那么此时的关键词字幕可以是“潮湿的空气变热”[9]。关键词凸显字幕是全字幕与关键词字幕的结合形式,是指在全字幕的基础上,将其中的关键词语通过加粗、高亮等线索形式凸显出来[7]。教育部下发的《精品视频公开课拍摄制作技术标准》中规定,交付视频文件时需要附上与教师解说语音同步的全字幕[10]。因此,字幕是教学视频的重要组成部分。然而,为视频添加字幕需要耗费较高的时间成本,制作字幕耗费的时间一般是视频时长的4.5~6倍[6]。所以,许多教学实践者在开发视频资源时,都会对“教学视频是否需要添加字幕”存在疑虑。
为解决这一疑虑,许多实证研究致力于探究“在教学视频中呈现字幕能否促进学习者的视频学习效果?”等问题。然而,以往研究在“呈现字幕能否促进视频学习效果”这一问题上并未取得一致的研究结果[11-15]。部分研究者认为教学视频中的字幕能够促进学习[8,13,15]。例如:一项眼动研究发现,相比无字幕的视频,全字幕视频促进了学习者对学习内容的关注与信息加工,从而提升了学习效果,表现出更高的保持成绩和迁移成绩[15]。但是,也有研究发现在教学视频中添加字幕不利于学习[12,14,16]。例如:Mayer等的研究发现,在动画式教学视频中添加全字幕阻碍了学习效果的提升[14]。基于此,提出了多媒体学习的“冗余原则”,认为教学视频采用“动画+解说语音+字幕”形式呈现给学习者时,由于解说语音与字幕在内容上冗余重复,相比“动画+解说语音”形式,将弱化学习效果[17]。
因此,教学视频中的字幕能够促进学习效果存在一定的边界条件,即只有在特定的条件下,呈现字幕才能有效地促进视频学习。基于此,本研究采用元分析方法,系统性地分析教学视频中的字幕对学习效果的影响,并探究字幕发挥作用的边界条件,以期为未来教学视频的设计与开发实践提供参考建议。
二、文献综述及问题的提出
(一)文献综述
关于字幕影响视频学习效果的内在机制,不同理论的解释各不相同。有的理论认为字幕会抑制学习效果,而有的理论认为字幕会促进学习效果。为梳理各理论之间的关系,本研究尝试构建字幕影响视频学习效果的理论结构图进行说明,如图1所示。
根据双编码理论,人的工作记忆由听觉通道和视觉通道这两个信息加工通道组成,分别用于处理和存储言语信息和视觉信息,这两个通道的存储容量都是有限度的[18]。在观看教学视频时,学习者需要同时处理视频的画面信息和解说语音信息,前者进入视觉通道,后者进入听觉通道。若添加字幕,字幕将影响学习者视觉通道与听觉通道的认知负荷。一方面,字幕信息进入视觉通道后,将分散学习者对视频的画面信息的注意力,与其竞争视觉通道的认知资源,加重视觉通道的认知负荷,即出现“冗余效应”,从而抑制学习效果[9]。另一方面,字幕作为视觉信息可以和解说语音信息互为补充,提升学习者对语音信息的认知加工速度,从而减轻听觉通道的认知负荷,即出现“冗余反转效应”,从而促进学习效果[19]。因此,字幕能否促进视频学习效果,需要综合考虑字幕对学习者视觉通道与听觉通道认知负荷的影响,其关键在于添加、呈现字幕是否会导致学习者的认知负荷超载。
添加字幕是否会导致学习者的认知负荷超载,进而对学习效果造成不同的影响,这与一些边界条件有关。已有研究从字幕类型[20-21]、字幕是否为母语字幕[14,17,22]、视频类型[12,23]、知识类型[24-25]、学习步调[26-27]等角度开展比较研究,试图探究字幕促进学习效果的边界条件。基于此,本研究将上述五个变量纳入调节变量。
由于本研究纳入了中文与英文文献,因此,将字幕语言类型作为调节变量,探究在不同的语言情境下字幕对学习效果的影响是否存在差异。此外,在视频学习时,教学视频的时长对学习者的认知负荷具有重要影响[28]。值得注意的是,目前大部分字幕实证研究在实验室环境中开展,少部分在教室环境中开展。实验室环境下的研究结论能否推广到真实的学习环境,也是研究者关注的重要问题。因此,视频时长、学习环境也被纳入调节变量。
(二)问题的提出
基于文献综述,提出以下两个研究问题:(1)在教学视频中呈现字幕能否促进学习者的学习效果?(2)字幕对视频学习效果的影响存在哪些边界条件?基于上述对以往字幕研究的探讨,本研究以字幕为自变量,以学习效果(保持成绩和迁移成绩)为因变量,以字幕特征(字幕类型、字幕语言类型、字幕是否为母语字幕)、教学视频特征(视频类型、知识类型、视频时长)和学习情境特征(学习步调、学习环境)为调节变量,探究字幕对学习效果的影响及其边界条件,研究变量的关系如图2所示。
根据研究变量的关系和两个研究问题,本研究的假设为:
H1:相比无字幕,呈现字幕的教学视频能够提升学习者的学习效果,即呈现字幕能够提升学习者的保持成绩(H1a)和迁移成绩(H1b)。
H2:字幕对学习效果的影响受到字幕类型、字幕语言类型、字幕是否为母语字幕、视频类型、知识类型、视频时长、学习步调、学习环境的调节影响。
三、研究方法与过程
(一)文献检索与筛选
研究采用中文和英文檢索方式,采用关键词组合(字幕+冗余)×(视频+多媒体学习)搜索中文数据库;采用关键词组合(subtitle OR caption OR on-screen text OR redundan*)AND(video OR multimedia learning OR multimedia presentation)搜索英文数据库。其中,英文数据库采用Web of Science、EBSCO host、Science Direct等,中文数据库采用中国知网。同时,通过文献回溯法进行补查。文献检索时间范围为2001年1月至2021年8月。
在本元分析中,文献筛选采用如下的标准:(1)文献必须是与字幕、视频学习相关的实验或准实验研究;(2)文献采用的学习材料为视频材料,剔除未采用视频作为学习材料的文献;(3)文献需要设置字幕实验组和无字幕对照组,剔除未设置无字幕对照组的文献;(4)文献中需要报告样本量、均值、标准差等可以计算效应量的必要数据;(5)文献需要将学习者在视频学习后的保持成绩(Retention)或迁移成绩(Transfer)作为结果变量;(6)排除会议、书籍等来源的文献,仅纳入经过同行评审的期刊文献和硕博士论文。值得注意的是,一部分字幕研究聚焦于外语影视材料或影视剪辑片段中的字幕对二语学习者的词汇附带习得和听力内容理解的影响,由于此类研究中的视频材料不属于本研究中“教学视频”的范畴,因此,通过阅读全文后将此类研究排除在外。文献筛选流程如图3所示。根据上述六项筛选标准,最终获得44篇文献(中文10篇,英文34篇)进行元分析。
(二)文献编码
对纳入元分析的文献编码条目如下:文献作者及出版年份、样本量、字幕类型、视频类型等。字幕类型编码方面,分为全字幕、关键词字幕和关键词凸显字幕。字幕语言类型编码方面,分为汉语字幕和英语字幕。视频类型编码方面,由于纳入的字幕研究并未涉及研讨式和交互式的教学视频,故分为教师与PPT结合式、录屏式、动画式和课堂实录式四种类别[5]。此外,由于少量研究采取了教育纪录片作为学习材料,所以在本研究中增加纪录片式的视频类型。对于知识类型,编码为陈述性知识和程序性知识。陈述性知识是指事实类知识,主要说明事物的特征、规律、原理等;程序性知识是指如何完成某一任务的知识,常带有先后顺序和操作步骤[24]。视频时长编码方面,参考王福兴等元分析中的编码方式[29],分为短时长(时长小于5分钟)、中等时长(5~10分钟)和长时长(大于10分钟)。学习步调编码方面,分为自定步调和系统步调。自定步调是指在视频学习时,学习者能够自主操控视频的暂停、回放等;系统步调是指视频由多媒体播放系统控制[26]。学习环境编码方面,分为实验室环境和教室环境。为保证编码的有效性,两位研究人员背对背独立对44篇文献进行编码后对比,发现二者的编码结果并无明显差异。
(三)效应量生成
元分析采用R.4.0.4统计软件进行效应量的计算与数据可视化。由于元分析纳入的研究数量较少,因此,采用Hedges's g作为标准化的效应量。用于生成每个研究的效应量的数据包括字幕实验组和无字幕对照组的样本量、后测成绩(保持成绩或迁移成绩)的均值和标准差。在效应量的计算过程中,若纳入的文献中涉及本元分析的调节变量,则该文献将生成多个效应量[30]。例如:一篇文献报告了全字幕和关键词字幕两种字幕类型与无字幕组的对比数据,则生成两个效应量。对于保持成绩和迁移成绩,分别生成了64个和43个独立效应量。
四、研究结果
(一)主效应检验
鉴于元分析纳入的文献在研究情境、教学视频等诸多方面有差别,所以采用随机效应模型进行主效应检验更为合适。主效应检验结果显示,字幕对保持成绩和迁移成绩的促进效果存在差异。对于保持成绩,字幕的平均效应量显著(g=0.283,p<0.05),即在教学视频中呈现字幕能显著提升学习者的保持成绩。而字幕对迁移成绩的提升效果不显著。结果见表1。
(二)异质性检验
依次对保持成绩和迁移成绩进行异质性检验,见表2。Q检验结果显示,保持成绩和迁移成绩的效应量均显著异质(ps<0.001)。根据异质性检验的I2值,表示对于保持成绩和迁移成绩,总变异中86.562%和75.512%的变异是由效应量的真实差异造成的。Higgins认为,异质性检验的I2值大于75%为高异质性,因此,本元分析的保持成绩和迁移成绩的效应量均达到高异质性,说明本研究采用随机效应模型是合理的[30]。进一步说明有必要对保持成绩和迁移成绩开展调节效应检验,以探究字幕对学习效果影响中存在哪些调节变量[31]。
(三)调节效应检验
为了探究字幕对学习效果(保持成绩、迁移成绩)的影响存在哪些边界条件,本研究对字幕类型、视频类型、学习步调等八个调节变量进行调节效应检验。
在保持成绩上,字幕类型具有显著的调节作用[Q(2)=8.179,p<0.05],关键词凸显字幕(g=0.797,p<0.01)和关键词字幕(g=0.435,p<0.001)显著优于全字幕(g=0.106,p>0.05);字幕语言类型具有显著的调节作用[Q(2)=6.839,p<0.05],汉语字幕(g=0.484,p<0.001)显著优于英语字幕(g=0.028,p>0.05);视频时长具有显著的调节作用[Q(2)=10.470,p<0.01],中等时长视频(g=0.445,p<0.001)显著优于长时长视频(g=-0.121,p>0.05)。值得注意的是,视频类型的组间异质性虽未达到显著水平,但进行两两比较后发现,教师与PPT结合式(g=0.529,p<0.01)和课堂实录式视频(g=0.566,p<0.001)显著优于动画式视频(g=0.128,p>0.05),因此,视频类型也具有显著的调节作用。其他变量(是否为母语字幕、知识类型、学习步调、学习环境)的调节作用均不显著。
在迁移成绩上,字幕類型的组间异质性虽然显著[Q(2)=9.687,p<0.01],但全字幕和关键词字幕之间差异不显著[Q(1)=0.006,p>0.05],因此,组间异质性主要来源于关键词凸显字幕与其他两种字幕类型的差异,但考虑到关键词凸显字幕仅有两个独立效应量,存在一定的偶然性,不足以证明字幕类型具有显著的调节作用;字幕语言类型具有显著的调节作用[Q(2)=23.850,p<0.001],汉语字幕(g=0.411,p<0.001)显著优于英语字幕(g=-0.223,p>0.05);视频时长具有显著的调节作用[Q(2)=7.326,p<0.01],中等时长视频(g=0.334,p<0.01)显著优于短时长视频(g=-0.100,p>0.05);知识类型具有显著的调节作用[Q(1)=4.11,p<0.05],陈述性知识(g=0.206,p<0.01)显著优于程序性知识(g=-0.103,p>0.05);视频类型具有显著的调节作用[Q(4)=11.835,p<0.05],课堂实录式视频(g=0.576,p<0.001)显著优于动画式视频(g=-0.074,p>0.05)。其他变量(是否为母语字幕、学习步调、学习环境)的调节作用均不显著。
(四)发表偏差检验
本研究采用三种方法,即漏斗图、Egger线性回归检验、剪补法来检测发表偏差。
如图4所示,剪补后的保持成绩的漏斗图存在一定的不对称,但是绝大部分缺失的研究都分布在统计学显著性区域(即图中的深灰色、灰色和浅灰色区域),说明这部分不对称是由其他原因而非发表偏差所导致;Egger线性回归检验结果显示,p=0.392>0.05,说明发表偏差不明显;采用剪补法之后,保持成绩的合成效应量依旧显著。综合来看,保持成绩存在发表偏差的可能性较小。
如图5所示,剪补后的迁移成绩的漏斗图基本对称,初步说明发表偏差低;Egger线性回归检验结果显示,p=0.356>0.05,说明发表偏差不明显;采用剪补法进行剪补后,迁移成绩的合成效应量依旧不显著。综合来看,迁移测验存在发表偏差的可能性较小。
五、讨 论
本研究使用元分析方法对44篇相关文献进行了定量分析。首先,分析了教学视频中呈现字幕对学习效果的总体效应;其次,探究了字幕对学习效果的影响存在哪些调节变量。具体分析与讨论如下:
(一)字幕对学习效果的影响
根据主效应检验结果,字幕对保持成绩的促进作用达到显著水平(g=0.283),支持假设H1a;然而,字幕对迁移成绩的促进作用不显著(g=0.069),不支持假设H1b。即相较无字幕,呈现字幕能促进学习者对知识的浅层记忆,但不能促进对知识的深层理解与迁移应用,这与以往部分研究结果一致[6,8,12]。
字幕在保持成绩上的积极效应可以从自动化加工和线索效应进行解释。第一,当字幕为母语字幕时,学习者能对字幕进行自动化加工[6]。图式理论认为,自动化加工不会增加工作记忆中的认知负荷[32],避免了认知负荷超载。第二,字幕可以充当视频的“线索”。首先,字幕是对画面内容的文本解释。在线学习中,学习者的注意力容易分散,字幕能引导学习者及时把握讲解进度[7]。其次,关键词字幕能够暗示关键的学习内容,降低学习者筛选视、听觉信息的认知负荷。Wang等人的眼动研究印证了这一解释,相较无字幕组,关键词字幕组的学习者搜索信息的时间更短,在关键学习内容区域投入更多时间,从而促进了知识记忆[33]。
字幕对迁移成绩的促进作用不显著,可能原因如下:根据生成性学习的SOI模型,有意义的学习主要涉及三个认知阶段,包括选择相关的传入感觉信息,在工作记忆中组织成连贯的心理表征,将其与长时记忆中的先验知识整合起来[34];教学视频中的字幕能引导学习者选择相关信息,但并不能促进学习者将学习内容组织成连贯的心理表征并将其与先验知识整合起来,而迁移测验主要反映信息组织与整合阶段的好坏。因此,字幕未能促进学习者的知识迁移[8]。
(二)字幕效果的边界条件
根据调节效应检验结果,字幕效果存在一定的边界条件。具体而言,与字幕和教学视频相关的调节变量显著调节字幕对学习效果的影响;而与学习情境相关的调节变量的调节作用不显著。其中,字幕类型、字幕语言类型、视频类型和视频时长对保持成绩具有显著的调节作用;字幕语言类型、视频类型、知识类型和视频时长对迁移成绩具有显著的调节作用,部分支持假设H2。
1. 教学视频中采用哪种类型的字幕更好?
关键词凸显字幕与关键词字幕对保持成绩的促进效果显著优于全字幕。这与以往部分研究结果一致[7,8,20]。可能有两点原因:第一,根据线索效应[26],关键词凸显字幕与关键词字幕通过提示关键词的线索形式,引导学习者关注重点学习内容,帮助其更高效地选择和组织学习内容,从而促进知识记忆。第二,根据认知负荷理论,由于全字幕与教师解说语音的内容完全相同,学习者在视频学习时倾向于进行文字级别的比较,以确保语音内容与字幕相匹配[20]。而这种浅层的逐字比较不能促进学习者的图式建构,反而增加了外在认知负荷。而关键词字幕与解说语音并不完全相同,当学习者意识到他们正在观看的内容与所听到的内容不一致时,会激发他们的动机,在更深层次上比较这两种信息来源,进行概念匹配[8]。这一过程促进了学习者的关联认知负荷,有利于形成更牢固的记忆图式。
2. 在哪种语言情境下字幕对视频学习更有效?
汉语字幕对学习效果的促进作用显著优于英语字幕。由于还没有实证研究单独比较字幕在汉语情境与英语情境下对学习效果的影响差异,本研究尝试从句法学的角度进行解释。汉语句子以短句和小句居多,具有块状性和离散性;而英语句子以复杂句和长句居多,具有勾连性和延展性[35]。由于字幕往往是以句子为单位呈现的。对于英语复杂句子来说,其主句和从句往往分散在前后相邻的字幕段中,学习者需要综合分析前后相继出现的字幕才能理解整个句子意思。而汉语字幕往往是独立的句子,学习者通过单个字幕便能理解句子意思,即汉语字幕在传递意思上更高效。
3. 呈现字幕对于非母语学习者的积极效果更好吗?
呈现字幕对于非母语学习者的积极效果并未显著优于母语学习者,这与以往研究结果不一致[22,36]。由于本研究纳入元分析的文献中,非母语字幕的研究数目偏少,这可能影响调节效应结果的真实性。但从效应量大小来看,非母语字幕的效应量大于母语字幕,虽未达到统计学的显著水平。这一结果暗示:当教学视频面向非母语学习者时,呈现字幕更好。由于视频的解说语音是转瞬即逝的,所以对于非母语学习者来说,感知与识别语音是较为困难的,容易产生瞬时信息效应[37],不利于学习。在这种情况下,添加字幕对于非母语学习者是有帮助的,因为字幕的呈现时间比语音更长,能促进对语音的识别和加工[38]。而母语学习者对解说语音的认知加工较为容易,因此,字幕的效果变差了。
4. 在哪些类型的教学视频中更需要呈现字幕?
课堂实录式、教师与PPT结合式视频的字幕对保持测验成绩的促进效果显著优于动画式视频,这与以往部分研究结果一致[6,15,39,40]。不同类型教学视频画面传递信息量的大小能解释这一结果。动画式视频的画面传递的信息量较大,通过动画来演示知识之间的关系[12]。如果再添加字幕,会导致动画与字幕竞争认知资源,导致学习者视觉通道的认知负荷过载。而课堂实录式和教师与PPT结合式的视频中单个画面能够传递的教学内容信息十分有限。具体而言,在教师与PPT结合式视频中,画面大部分呈现的是教师形象,包括教师手势、表情等[6]。在课堂实录式视频中,教学内容、教师、学生与教室环境轮流呈现[15]。因此,添加字幕并未超出学习者的总认知负荷容量。
5. 字幕对学习哪种知识类型更有效?
字幕对促进陈述性知识视频的学习更有效,这与王雪等人[25]的研究结果一致。由于陈述性知识以概念、事实为主,元素间交互性低[26],学习者倾向于从字幕中获取信息,此时字幕与画面内容互为补充,能够促进学习;而程序性知识以操作为主,元素间交互性高,学习者倾向于关注画面中知识之间的连贯性与交互关系,而非字幕。由于分散注意力效应,字幕会干扰学习者对画面的注意,可能导致其错过关键的程序步骤演示,无法形成连贯的心理表征,从而不利于学习[25]。
6. 字幕對哪种时长的教学视频的学习更有效?
字幕对中等时长(5~10分钟)视频的学习最有效。当视频时长在10分钟以内时,随着时长的增加,学习者的认知负荷逐渐增加,但加工视频产生的总认知负荷还未超过学习者的最大认知负荷。此时学习者有空余的认知资源用于精细化加工字幕。字幕可以减轻学习者听觉通道的认知负荷,从而促进学习。当视频时长大于10分钟时,加工视频的总认知负荷已经达到学习者的最大认知负荷。此时学习者没有多余的认知资源用于精细化加工字幕。由于字幕与语音信息在内容上是冗余重复的,将导致学习者的认知负荷超载,进而不利于学习[17]。
7. 不同的学习步调下字幕的效果相同吗?
学习步调对字幕效果的调节作用不显著。但从效应量大小来看,在自定步调下字幕对视频学习效果的促进作用更大,虽未达到统计学的显著水平,这与Schüler等人[27]的研究结果一致。研究指出,采用系统步调进行多媒体学习将使学习者处于较高的认知负荷[41],此时,呈现字幕会进一步增加视觉通道的认知负荷,从而不利于学习。而当学习者处于自定步调时,可以暂停、回放视频,此时学习者的认知负荷较小,呈现字幕不会使学习者认知负荷超载。从实际学习来看,学习者利用教学视频进行学习时以自定步调居多,所以建议在视频中适当呈现字幕,更有利于学习者的自主学习。
8. 不同的学习环境下字幕的效果相同吗?
学习环境对字幕效果的调节作用不显著。但从效应量大小来看,对于保持成绩,实验室环境下字幕的效果更好;而对于迁移成绩,教室环境下字幕的效果更好。可能的原因是,在实验室环境下学习者的焦虑程度更高,注意力更加集中,字幕对知识的短时记忆效果更好;而在教室环境下学习者的焦虑程度偏低,字幕更好地促进了知识迁移。因此,在不同的学习环境下,如果学习者能够根据当前的学习状态,自行调整字幕是否呈现,将更有利于字幕发挥其学习效益。
六、总结与展望
研究得出如下结论:(1)在教学视频中呈现字幕促进了学习者对知识的记忆效果,即呈现字幕提升了学习者的保持成绩。(2)字幕对迁移成绩的影响不显著。(3)字幕对学习效果的促进作用受到字幕类型、字幕语言类型、视频类型、知识类型和视频时长等因素的調节影响。
基于研究结论,本研究提出以下六条教学视频的字幕设计建议:(1)为教学视频添加字幕时,建议采用关键词字幕或关键词凸显字幕。(2)相较于英语字幕,更建议在教学视频中添加汉语字幕。(3)若教学视频的受众为非母语的学习者,建议添加字幕帮助学习者更好地理解视频的解说语音。(4)对于教师与PPT结合式教学视频和课堂实录式教学视频,建议添加字幕;而对于动画式教学视频,不建议添加字幕。(5)对于陈述性知识的教学视频,建议添加字幕。(6)对于5~10分钟的教学视频,建议添加字幕。
本研究的局限如下:(1)调节效应检验中部分变量(如关键词凸显字幕)的独立效应量偏少,可能影响调节效应结果的真实性;(2)鉴于少有字幕研究关注到字幕的属性(如字幕大小、位置、长短、是否与解说语音同步等),以及学习者的先验知识水平、字幕偏好等个体特征,因此,本研究未能将这些变量纳入元分析的调节变量,探讨它们是否会对字幕之于视频学习效果的影响产生调节作用。
后续的字幕研究可以考虑从以下几个方面深入开展:(1)目前字幕的实证研究的对象集中于大学生,对于K-12及中老年学习者的影响的研究很少。随着教学视频在各个学段、年龄的普及,未来可以针对以上群体开展字幕设计的实证研究。(2)丰富教学视频中字幕的交互形式。目前研究中的字幕大多以静态形式呈现在视频画面的底部,学习者无法控制字幕是否呈现、如何呈现。未来可以考虑线索型字幕、学习者自主控制字幕等多种交互形式,甚至可以考虑让学习者采用想象生成字幕、补全字幕关键词等学习策略,充分发挥字幕对学习效果的潜在优势。(3)采用眼动技术考察不同类型字幕在不同视频材料中的注意机制,探究字幕对视频学习的认知神经证据。(4)尽管本研究未发现字幕是否为母语字幕、学习步调、学习环境对字幕效果的显著调节作用,未来研究可以从其他角度改进实验,对这些变量进行深入挖掘。(5)推广字幕的教育应用场景。随着新兴技术的普及,在虚拟学习环境、游戏化学习环境中,字幕等屏幕文本应该如何设计与呈现以充分发挥其教学作用,值得深入研究。
[参考文献]
[1] 教育部.中共中央、国务院印发《中国教育现代化2035》[EB/OL].(2019-02-23)[2022-03-10].http://www.gov.cn/zhengce/2019-02/23/content_5367987.htm.
[2] 杨九民,章仪,徐珂,皮忠玲.学习策略对视频学习的影响:想象、绘图和自我解释策略[J].电化教育研究,2021,42(10):40-47.
[3] 汪存友,罗慧敏.两种不同类型教学视频的学习效果比较研究——视频制作成本的视角[J].电化教育研究,2017,38(10):68-73.
[4] MAYER R E. Evidence-based principles for how to design effective instructional videos[J]. Journal of applied research in memory and cognition, 2021, 10(2): 229-240.
[5] 杨九民,陶彦,罗丽君.在线开放课程教学视频中的教师图像分析:现实状况与未来课题[J].中国电化教育,2015(6):59-63.
[6] 汪存友.在线教学视频呈现讲解字幕有必要吗?——兼论对冗余效应边界条件的修正[J].电化教育研究,2016,37(3):59-65,85.
[7] 赵鑫硕,杨现民,李小杰.移动课件字幕呈现形式对注意力影响的脑波实验研究[J].现代远程教育研究,2017(1):95-104.
[8] MAYER R E, JOHNSON C I. Revising the redundancy principle in multimedia learning[J]. Journal of educational psychology, 2008, 100(2): 380-386.
[9] CHAN K Y, LYONS C, KON L L, et al. Effect of on-screen text on multimedia learning with native and foreign-accented narration[J]. Learning and instruction, 2020, 67: 101305.
[10] 教育部高教司.拍摄制作技术标准(2013年版)[EB/OL].(2013-02-21)[2022-03-10].http://www.moe.gov.cn/ewebeditor/ uploadfile/2013/02/21/20130221093755413.doc.
[11] TARCHI C, ZACCOLETTI S, MASON L. Learning from text, video, or subtitles: a comparative analysis[J]. Computers & education, 2021, 160: 104034.
[12] 孟祥栋,徐恩芹.动画式在线教学视频需要呈现字幕吗?——基于大学生学习成绩对比的实验分析[J].现代教育技术,2020,30(9):42-48.
[13] DE KONING B B, VAN HOOIJDONK C M J, LAGERWERF L. Verbal redundancy in a procedural animation: on-screen labels improve retention but not behavioral performance[J]. Computers & education, 2017, 107: 45-53.
[14] MORENO R, MAYER R E. Verbal redundancy in multimedia learning: when reading helps listening[J]. Journal of educational psychology, 2002, 94(1): 156-163.
[15] 刁永鋒,刘明春,杨海茹.网络视频公开课程学习行为眼动实验研究[J].现代教育技术,2014,24(11):81-87.
[16] CHEAH C S, LEONG L M. Investigating the redundancy effect in the learning of C++ computer programming using screencasting[J]. International journal of modern education & computer science, 2019, 11(6):19-25.
[17] MAYER R E, HEISER J, LONN S. Cognitive constraints on multimedia learning: when presenting more material results in less understanding[J]. Journal of educational psychology, 2001, 93(1): 187-198.
[18] PAIVIO A. Mental representations: a dual coding approach[M]. New York: Oxford University Press, 1990.
[19] ARI F, FLORES R, INAN F A, et al. The effects of verbally redundant information on student learning: an instance of reverse redundancy[J]. Computers & education, 2014, 76: 199-204.
[20] YUE C L, BJORK E L, BJORK R A. Reducing verbal redundancy in multimedia learning: an undesired desirable difficulty?[J]. Journal of educational psychology, 2013, 105(2): 266-277.
[21] 庞丽.教学视频中字幕呈现方式对学习效果的影响研究[D].天津:天津师范大学,2019.
[22] LEE H, MAYER R E. Fostering learning from instructional video in a second language[J]. Applied cognitive psychology, 2018, 32(5): 648-654.
[23] 王健,郝银华,卢吉龙.教学视频呈现方式对自主学习效果的实验研究[J].电化教育研究,2014,35(3):93-99,105.
[24] ANDERSON J R. Cognitive psychology and its implications[M]. San Francisco: W. H. Freeman, 1980.
[25] 王雪,王志军,候岸泽.网络教学视频字幕设计的眼动实验研究[J].现代教育技术,2016,26(2):45-51.
[26] 谢和平,王福兴,周宗奎,吴鹏.多媒体学习中线索效应的元分析[J].心理学报,2016,48(5):540-555.
[27] SCH?譈LER A, SCHEITER K, GERJETS P. Is spoken text always better? Investigating the modality and redundancy effect with longer text presentation[J]. Computers in human behavior, 2013, 29(4): 1590-1601.
[28] SWELLER J, VAN MERRIENBOER J J G, PASS F. Cognitive architecture and instructional design: 20 years later[J]. Educational psychology review, 2019, 31(2): 261-292.
[29] 王福兴,谢和平,李卉.视觉单通道还是视听双通道?——通道效应的元分析[J].心理科学进展,2016,24(3):335-350.
[30] 杨九民,杨文蝶,陈辉,吴长城,皮忠玲.教学视频中的教师手势起作用了吗?——基于2000—2021年40篇实验和准实验研究的元分析[J].现代远程教育研究,2022,34(1):92-103.
[31] 杨九民,吴长城,皮忠玲,谢和平.促进学习还是干扰学习——弹幕对学习影响的元分析[J].电化教育研究,2019,40(6):84-90,120.
[32] SWELLER J, VAN MERRIENBOER J J G, PASS F. Cognitive architecture and instructional design[J]. Educational psychology review, 1998, 10(3): 251-296.
[33] WANG X, LIN L, HAN M, et al. Impacts of cues on learning: using eye-tracking technologies to examine the functions and designs of added cues in short instructional videos[J]. Computers in human behavior, 2020, 107: 106279.
[34] FIORELLA L, MAYER R E. Eight ways to promote generative learning[J]. Educational psychology review, 2016, 28 (4): 717-741.
[35] 赵朝永,王文斌.汉语流水句与英语复杂句结构特性对比:英汉时空特质差异视角[J].外语教学,2020,41(5):27-32.
[36] MAYER R E, LEE H, PEEBLES A. Multimedia learning in a second language: a cognitive load perspective[J]. Applied cognitive psychology, 2014, 28(5): 653-660.
[37] WONG A, LEAHY W, MARCUS N, et al. Cognitive load theory, the transient information effect and e-learning[J]. Learning and instruction, 2012, 22(6): 449-457.
[38] MAYER R E, FIORELLA L, STULL A. Five ways to increase the effectiveness of instructional video[J]. Educational technology research and development, 2020, 68(3): 837-852.
[39] 赵欢欢.程序性知识视频中线索与字幕呈现对大学生学习效果的影响[D].金华:浙江师范大学,2020.
[40] LIU T C, LIN Y C, GAO Y, et al. Does the redundancy effect exist in electronic slideshow assisted lecturing?[J]. Computers & education, 2015, 88: 303-314.
[41] SCHWEPPE J, RUMMER R. Attention, working memory, and long-term memory in multimedia learning: an integrated perspective based on process models of working memory[J]. Educational psychology review, 2014, 26(2): 285-306.
How to Design Subtitles in Instructional Videos?—A Meta-analysis Based on 44 Experimental and Quasi-experimental Research Literatures from 2000 to 2021
YANG Jiumin1, CHEN Hui1, YANG Wendie1, LI Yan1, YU Qiuchen1, PI Zhongling2
(1.Faculty of Artificial Intelligence in Education, Central China Normal University, Wuhan Hubei 430079;
2.Ministry of Education Key Laboratory of Modern Teaching Technology, Shaanxi Normal University,
Xi'an Shaanxi 710062)
[Abstract] Whether to add subtitles to instructional videos has always been an important issue for many teachers when designing and producing instructional videos. From the current empirical studies, can subtitles in instructional videos promote video learning performance? What are the boundary conditions for the effect of subtitles on learning effectiveness? No consistent conclusions have been drawn from the existing studies. To address these questions, this paper uses a meta-analytic approach to analyze 44 domestic and international experimental and quasi-experimental research literatures. The main effect test finds that presenting subtitles in instructional videos could enhance learners' retention performance (g=0.283). However, subtitles have no significant effect on promoting transfer performance (g=0.069). The moderating effect test finds that the effect of subtitles in instructional videos is moderated by subtitle type, subtitle language type, video type and video duration in terms of retention performance. Specifically, keyword subtitles and keyword highlighting subtitles are significantly better than full subtitles, Chinese subtitles are significantly better than English subtitles. The subtitle effect of teacher-PPT combined videos and classroom recording videos is significantly better than that of animation videos. The subtitle effect of medium duration video is significantly better than that of long duration video. In terms of transfer performance, the effect of subtitling is moderated by subtitle language type, video type, knowledge type, and video duration. Specifically, the effect of Chinese subtitles, classroom-recorded video, declarative knowledge, medium-length video is significantly better than English subtitles, animation video, procedural knowledge, and short-length video. The study has the following implications for teaching practice: when designing instructional videos, teachers need to consider video type, knowledge type, and video duration, and suggest adding keyword subtitles or keyword highlighting subtitles to improve video teaching quality.
[Keywords] Instructional Video; Subtitle; Subtitle Type; Learning Performance; Meta-analysis
基金項目:2018年度国家自然科学基金面上项目“社会性交互对视频课程教与学影响的认知神经机制与应用研究”(项目编号:61877024);2021年度教育部产学合作协同育人项目“智慧教学环境下的师范生教学能力培养实验教学体系研究”(项目编号:202101202009)