网络教学视频字幕设计的眼动实验研究*

王 雪 王志军 候岸泽

（天津师范大学 教育科学学院，天津 300387）

网络教学视频字幕设计的眼动实验研究*

王 雪 王志军 候岸泽

（天津师范大学 教育科学学院，天津 300387）

网络教学视频常见的字幕设计方式包括无字幕、全字幕和概要字幕三种形式。文章将45名大学生随机分为三组，分别使用三种字幕设计的两种知识类型（陈述性、程序性）的网络教学视频进行学习，使用眼动仪实时记录学习者的视觉认知过程，并对学习者的学习效果进行测试。结果表明：陈述性知识视频的全字幕能帮助学习者获得最多的学习数量，学习数量与字幕区的眼动指标正向相关，概要字幕则会帮助学习者取得最好的学习质量；程序性知识视频的概要字幕能够帮助学习者取得最多的学习数量和最好的学习质量，其余两字幕组的学习效果与视频区眼动指标正向相关。

教学视频；字幕；眼动；知识类型；学习效果

前言

随着网络技术的不断发展，精品视频公开课、爱课程、MOOC等新型网络学习资源不断涌现，吸引了大批学习者，同时也成为教育技术研究者关注的焦点[1]。与传统网络学习资源中以文本为教学内容的主要呈现形式不同，新型网络学习资源以视频作为核心的呈现形式。这种转变并非偶然，原因在于视觉是人的各感觉系统中最占优势的信息来源渠道，因此视频就成了各类开放性课程资源最主要的教学表现形式[2]。“多媒体画面语言学”理论认为多媒体学习资源的基本组成单位是“多媒体画面”，这种画面融合了文字、图片、声音、动画和视频等多种媒体呈现形式[3]。而网络教学视频通常使用视频、作为解说的声音和作为字幕的文字三种媒体呈现形式。相关研究表明，视频中不同的字幕设计方式对学习者自主学习的效果会产生影响[4]。本文拟通过眼动实验法，探究适合于陈述性知识和程序性知识两种知识类型网络教学视频的字幕设计方法。

一 陈述性知识与程序性知识

现代认知心理学家安德森（Anderson J R）将知识划分为陈述性知识和程序性知识。陈述性知识是指关于事实“是什么”的知识，主要说明事物、情况是怎样的，是对事实、规则、定义、原理等的描述；程序性知识则是关于怎样完成某项活动的知识，比如怎样进行推理、决策或解决某项问题等[5]。陈述性知识的学习可以分为三个环节：①新信息进入短时记忆，并激活长时记忆中的相关知识；②新知识与长时记忆中的旧知识建立各种联系，形成新的意义建构；③对所学的知识进行组织、形成组块，进行意义的提取和运用。程序性知识的学习也可分为三个环节：①与陈述性知识的学习的第一个环节相同；②通过应用变式练习，使规则的陈述性形式向程序性形式转化；③规则支配人的行为，技能开始达到相对自动化[6]。

二 网络教学视频的信息加工方式

根据双通道理论和认知负荷理论，当语词和画面材料都以视觉形式呈现（如字幕和动画/视频）时，就会造成听觉/言语通道闲置，而视觉/图像通道则会过度负荷；当语词以听觉形式（如解说）呈现时，学习者就可以通过听觉/言语通道加工它们，视觉/图像通道则只用来加工画面，这样两条通道得以平衡，就不会造成其中一条通道的过度负荷，影响学习效果[7]。梅耶教授通过四组实验证实了“接受动画+解说”的多媒体呈现的学习者要比“接受动画+文本呈现”的学习者的保持测试成绩和迁移测试成绩都好，据此提出了通道原则（Modality Principle）[8]。

在各类网络视频学习资源中，作为视频解说的声音一般是必备的媒体呈现形式，常见的设计方式有三种：视频+解说、视频+解说+字幕、视频+解说+概要字幕。其中，“视频+解说”的呈现方式与梅耶教授提出的通道原则一致；“视频+解说+字幕”的呈现方式为教师的讲解配上字幕，学习者通过视觉/图像通道加工视频和字幕，通过听觉/言语通道加工解说；“视频+解说+概要字幕”的呈现方式同样是为教师的讲解添加字幕，区别在于仅在教师讲解到重点或难点内容时，以精炼的文字呈现知识内容的精髓，帮助学习者对重点和难点内容进行深度加工[9]。故“视频+解说+概要字幕”的呈现方式文本量要少得多，但信息加工方式与“视频+解说+字幕”一致。

三 方法

1 实验目的

探究不同知识类型的网络教学视频中不同的字幕设计对学习者视觉认知过程和学习效果的影响，从而总结出适合于不同知识类型的网络教学视频的字幕设计规则。

2 被试

从天津师范大学教育科学学院的本科生中随机抽取45名（男生18名，女生27名），并随机分为3组，每组15人。

3 实验仪器

眼动仪一台，用于记录被试的眼动数据，型号为Tobii X120，采样率为120HZ；工作站一台，用于运行实验所用的软件系统，型号为惠普Z620型工作站；效果测试用计算机一台，用于被试完成程序性知识视频测试题中的上机操作题。

4 实验设计

本实验采用3（字幕设计，被试间变量）×2（知识类型，被试内变量）的两因素混合实验设计：（1）自变量包括字幕设计（无字幕、全字幕、概要字幕）和知识类型（陈述性知识、程序性知识）；（2）因变量包括眼动指标（总注视次数、平均注视点持续时间、总注视时间、注视热点）和学习效果（保持测试成绩、迁移测试成绩）[10]；（3）无关变量为被试的先前知识水平。

5 实验材料

（1）被试基本信息问卷，用于获取被试的性别、年龄、专业等基本信息；（2）先前知识测试题2份，分别用于测量与程序性知识视频和陈述性知识视频中学习内容相关的被试先前的知识水平；（3）视频学习材料6份，陈述性知识视频3份（无字幕、全字幕和概要字幕），主题为“行星的旅行”，程序性知识视频也为3份，主题为“Excel软件的高级操作技巧”；（4）学习效果测试材料2份，分别用于测试学习者学习两种知识类型视频的学习数量和学习质量。

6 实验过程

（1）被试填写基本信息问卷，测试先前知识；（2）主试引导被试坐在距离眼动仪60cm的椅子上，引导被试放松心情；（3）进行眼动定标，呈现实验指导语，被试开始学习第一份视频学习材料；（4）被试完成第一份学习效果测试题目；（5）被试开始学习第二份视频学习材料，视频播放完毕将自动退出实验程序；（6）被试完成第二份学习效果测试题目。

四 数据分析

1 学习效果分析

对被试的学习效果进行统计（两种知识类型测试的总分均为60分），分别记录每个被试两项测试的保持测试成绩和迁移测试成绩，如表1所示。

表1 不同实验组的得分情况（M±SD）

（1）主效应和交互作用分析

表1表明，不同的字幕设计方式在不同的知识类型下，保持测试成绩和迁移测试成绩的差异也不尽相同。对各组的保持测试成绩和迁移测试成绩进行重复测量多因素方差分析（GLM重复度量），结果显示：对于保持测试成绩两因素的交互作用显著（F=4.351，p=0.019<0.05），而对于迁移测试成绩则是知识类型的主效应显著（F=9.387，p=0.004<0.05）。

（2）组间差异分析

为确定相同知识类型下不同字幕设计方式对学习者学习效果的影响是否显著，分别对两种知识类型视频三组的保持测试成绩和迁移测试成绩进行Oneway方差分析，结果如表2所示。

表2 两种知识类型的学习效果组间差异分析结果

使用LSD法对组间差异显著的陈述性知识视频的两项成绩进行事后多重比较发现：保持测试成绩中，无字幕组和全字幕组之间差异显著（p=0.011<0.05），无字幕组和概要字幕组之间差异不显著（p=0.302>0.05），全字幕组和概要字幕组之间差异也不显著（p=0.112>0.05）；迁移测试成绩中，无字幕组和概要字幕组之间差异显著（p=0.020<0.05），无字幕组和全字幕组之间差异不显著（p=0.474>0.05），概要字幕组和全字幕组之间差异也不显著（p=0.099>0.05）。

2 眼动指标分析

为更好地分析学习者对字幕和视频的注视情况，将各组所用的6份视频实验材料分别划分成两个兴趣区[11]：视频区和字幕区。之后，分别将各组视频区和字幕区的总注视次数、总注视时间和平均注视点持续时间等三项眼动指标导出，如表3所示[12]。

表3 各组视频区和字幕区的眼动指标（M±SD）

（1）主效应和交互作用分析

各项眼动指标的重复测量多因素方差分析的结果表明，对于字幕区的总注视次数、总注视时间和平均注视点持续时间均是字幕设计的主效应显著（F=15.826，p=0.000<0.01；F=6.028，p=0.005<0.01；F=6.136，p=0.005<0.01），对于视频区的总注视次数则是知识类型主效应显著（F=5.386，p=0.025<0.05），对于两区的各项眼动指标两因素的交互作用均不显著。

（2）组间差异分析

分别对陈述性知识视频和程序性知识视频三组的各项眼动指标进行Oneway方差分析，确定相同知识类型下的不同字幕设计对学习者的各项眼动指标影响是否显著，结果如表4所示。

表4 两种知识类型的各项眼动指标组间差异分析结果

对差异显著的各项眼动指标进行事后多重比较，进一步了解三组之间的差异情况：

①字幕区的总注视次数：陈述性知识视频、程序性知识视频的无字幕组和全字幕组之间差异都极其显著（p=0.000<0.01，p=0.000<0.01），无字幕组与概要字幕组之间差异都不显著（p=0.058>0.05，p=0.252>0.05），陈述性知识视频的概要字幕组与全字幕组之间差异不显著（p=0.071>0.05），程序性知识视频的概要字幕组与全字幕组之间差异极其显著（p=0.001<0.01）。

②字幕区的平均注视点持续时间：两种知识类型视频的规律一致，均是无字幕组和全字幕组之间差异显著（p=0.048<0.05，p=0.004<0.01），概要字幕组与全字幕组之间差异不显著（p=0.519>0.05，p=0.163>0.05），无字幕组与概要字幕组之间差异不显著（p=0.172>0.05，p=0.112>0.05）。

③字幕区的总注视时间：两种知识类型视频的规律也一致，均是无字幕组和全字幕组之间差异显著（p=0.008<0.01，p=0.014<0.05），无字幕组与概要字幕组之间差异不显著（p=0.193>0.05， p=0.552>0.05），全字幕组与概要字幕组之间差异不显著（p=0.154>0.05，p=0.057>0.05）；陈述性知识视频的视频区平均注视点持续时间：无字幕组和全字幕组之间差异显著（p=0.013<0.05），概要字幕组与全字幕组之间差异不显著（p=0.361>0.05），无字幕组与概要字幕组之间差异不显著（p=0.103>0.05）；陈述性知识视频的视频区总注视时间：无字幕组和全字幕组之间差异极其显著（p=0.002<0.01），无字幕组与概要字幕组之间差异显著（p=0.043<0.05），全字幕组与概要字幕组之间差异不显著（p=0.200>0.05）。

3 注视热点

陈述性知识类型下不同字幕设计组学习者的注视热点存在明显不同，如图1所示。图1表明，无字幕组的学习者的注视热点集中于视频区，以视频信息加工为主；全字幕组的学习者的注视热点分布于字幕区和视频区，甚至字幕区吸引了学习者更多的注意力；概要字幕组的学习者的注视热点仍主要集中于视频区，字幕区同样也吸引了学习者的注意力；学习者以视频信息加工为主、文字信息加工为辅，进行陈述性的学习。

图1 陈述性知识视频注视热点（从左至右依次为无字幕、全字幕、概要字幕）

程序性知识类型下不同字幕设计组学习者的注视热点也存在明显不同，如图2所示。图2表明，无字幕组的学习者的注视热点集中于视频区，以视频信息加工为主；全字幕组的学习者的视频区注视热点减少，字幕区注视热点增加，字幕区分散了学习者对视频区的注意力；概要字幕组的学习者的视频区注视热点最为集中，字幕区也适当地吸引了学习者的注意力；学习者以视频信息加工为主、文本信息加工为辅，进行程序性知识的学习。

图2 程序性知识视频注视热点（从左至右依次为无字幕、全字幕、概要字幕）

五 讨论

1 字幕设计对学习者学习效果的影响

不同的字幕设计在不同的知识类型之下对学习者保持测试成绩的影响是不同的——当知识类型为陈述性知识时，学习者更倾向于从字幕获取知识，与解说词一致的全字幕帮助学习者记住了最多的学习内容；而当知识类型为程序性知识时，过多的字幕对学习者的知识识记起到了干扰作用，全字幕组取得了最差的保持测试成绩。

不同的字幕设计在不同的知识类型之下对学习者迁移测试成绩的影响也是不同的，两种知识类型视频均是概要字幕组的学习者的学习质量最好。对于陈述性知识来讲，学习者通过全字幕的视频进行学习，取得了更好的学习质量。而对于程序性知识来讲，视频中过多的字幕对学习者的学习产生了干扰和阻碍，文本量最多的全字幕组学习者的学习质量最差。

2 字幕设计对学习者眼动指标的影响

两种知识类型的视频区和字幕区的总注视时间与总注视次数的变化趋势是一致的。视频区和字幕区总注视时间与总注视次数的差异情况证实了视频中的字幕文本有效吸引了学习者的注意力，增加了学习者对文本信息的加工时间，同时也减少了学习者对视频信息的加工时间。

两种知识类型的视频区和字幕区平均注视点持续时间均是从无字幕组、概要字幕组至全字幕组依次减少。从实验结果可以看出，随着视频中文本量的不断增加，学习者的注意力需要在视频和文本之间不断切换，因此无论是视频区还是字幕区的平均注视点持续时间都在减少。

3 学习效果和眼动指标的联系

陈述性知识视频中，三组学习者的学习数量与字幕区的眼动指标正向相关，即视频中字幕的文本量越多，学习者对字幕区的总注视次数越多，总的注视时间越长，其保持测试成绩越高。概要字幕组的学习质量最高，另外两组的学习质量与字幕区的眼动指标正向相关。

程序性知识视频中，概要字幕组学习者的视觉注意力分配得更为均衡，这种视频和字幕恰当结合的方式帮助学习者取得了更多的学习数量和更好的学习质量。另外两组学习者的学习效果与视频区眼动指标正向相关。

六 结论与展望

对于陈述性知识来讲，应该为视频配上字幕，与解说词一致的全字幕能帮助学习者获得更多的学习数量，当讲解到重难点知识时才出现的概要性字幕则会帮助学习者取得更好的学习质量；对于程序性知识来讲，应该为视频配上概要性字幕，概要性字幕能帮助学习者取得更多的学习数量和更好的学习质量，同时应该避免添加全字幕，因为会对学习者的学习产生干扰作用。

通过眼动实验结论总结出的网络教学视频字幕的设计规则在不同的知识类型下也是不同的，这也更有力地证明了网络多媒体情境下的学习会受到多种因素的综合交互影响。需要说明的是，由于时间、人力和物力所限，实验中的被试仅限于本校随机抽取的45名在校大学生。因此，在后续研究中要充分考虑实验被试对研究结论的影响，选取不同性别、多年龄层次、不同认知风格等多类型的被试，提高研究结论的可推广性。另外，实验结论还需通过大规模的教学实践予以进一步的检验。

[1]Siemens G.Massive open online courses:Innovation in education[M].Athabasca:Athabasca University Press,2013:22-36.

[2]沈夏林.周跃良.论开放课程视频的学习交互设计[J].电化教育研究,2012,(2):84-87.

[3]王志军,王雪.多媒体画面语言学理论体系的构建研究[J].中国电化教育,2015,(7):42-48.

[4]王健,郝银华,卢吉龙.教学视频呈现方式对自主学习效果的实验研究[J].电化教育研究,2014,(3):93-99.

[5]韦洪涛.学习心理学[M].北京:化学工业出版社,2011:47-48.

[6]杨玉东.陈述性知识与程序性知识的教学策略[J].天津师范大学学报(基础教育版),2010,(3):18-21.

[7](美)迈耶著.牛勇,丘香译.多媒体学习[M].北京:商务印书馆,2006:172-181.

[8]Mayer R E,Jaekson J.The case for coherence in scientific explanations:Quantitative details can hurt qualitative understanding[J].Journal of Experimental Psychology:Applied,2005,(1):13-18.

[9]康诚,周爱保.信息呈现方式与学习者的个性特征对多媒体学习环境下学习效果的影响[J].心理发展与教育,2009,(1):83-91.

[10]Hyona J.The use of eye movements in the study of multimedia learning[J].Learning and Instruction,2010,(2):172-176.

[11]闫国利,熊建萍,臧传丽,等.阅读研究中的主要眼动指标评述[J].心理科学进展,2013,(4):589-605.

[12]段朝辉,颜志强,王福兴,等.动画呈现速度对多媒体学习效果影响的眼动研究[J].心理发展与教育,2013,(1):46-53.

The Eye Movement Study on the Design of Subtitles in Network Teaching Videos

WANG Xue WANG Zhi-jun HOU An-zhe
（School of Education,Tianjin Normal University,Tianjin,China 300387)

There are three forms of subtitles in the network teaching videos,which are no subtitles,complete subtitles and summary subtitles.During the study process of two knowledge types of,that were declarative and procedural,network teaching video which employed three forms of subtitles,the visual cognation of 45 college students involved in this study,who were randomly divided into 3 groups,was instantaneously recorded by eye tracker and their learning effects were measured.The results shown that:(1) For the declarative knowledge video,the complete subtitles can help learners obtain the most learning quantity which was positively related to the eye movement index of subtitle region,the summary subtitles could help learners obtain the best learning quality.(2) For the procedural knowledge video,the summary subtitles could help learners acquire the most learning quantity and the best learning quality,the learning effects of the other two subtitle groups were positively related to the eye movement index of video region.

teaching videos; subtitle; eye movements; knowledge type; learning effects

小西

G40-057

A 【论文编号】1009—8097（2016）02—0045—07

10.3969/j.issn.1009-8097.2016.02.007

本文为天津市哲学社会科学规划项目“多媒体画面语言学促进优质信息化教育资源发展和应用研究”（项目编号：TJJX15-022）的阶段性研究成果。

王雪，实验师，博士，研究方向为多媒体学习、数字教育媒体、网络教育、实验技术，邮箱为9241938@qq.com。

2015年8月2日