多媒体学习研究中眼动指标述评*

闫志明 郭喜莲 王 睿

（鲁东大学 教育科学学院，山东烟台 264025）

在《多媒体学习》一书中，Mayer[1]从认知心理学的视角将“多媒体”界定为用词语（Word）与画面（Picture）来共同呈现材料，其中词语既包括印刷形式的文字，也包括声音形式的语言；画面既包括静态的图形、图像，也包括动态的视频、动画等，而从词语与画面中学习就是“多媒体学习”。多媒体学习是一个根据已有的知识经验对多媒体信息进行筛选、验证、加工和组合的过程，而眼动技术能够为多媒体学习这一复杂的、主动思维的过程提供诸多细节信息。通过眼动记录技术，可以在较为自然的条件下获得学习者在多媒体信息加工过程中的眼动数据。2018年 1月，本研究将“眼动”与“多媒体”、“视频”、“动画”、“声音”、“图”、“游戏”等与多媒体学习相关的关键词进行搭配，在中国知网检索出中文文献568篇，在Web of Science检索出英文文献679篇。通过对这些中英文文献的题目和摘要进行阅读、筛选，最终得到与多媒体学习眼动研究相关的中文文献69篇、英文文献42篇。本研究对这111篇文献中涉及的眼动指标进行了分析与统计，发现目前多媒体学习眼动研究采用的眼动指标可以划分为注视、眼跳和瞳孔直径三大类。

一 注视类指标

学习者主要通过注视来获得多媒体学习材料中的信息。注视是指眼睛保持相对静止的眼动行为，一般持续200～300ms。与注视相关的眼动指标主要包括注视点持续时间、首次注视时间、注视次数和较为直观的注视热点，各指标的内涵与研究价值分别如下：

1 注视点持续时间

注视点持续时间（Average Fixation Duration）是指对一个注视点的平均注视停留时间。

①注视点持续时间能反映学习者在多媒体学习材料上的认知资源投入和加工程度——注视点持续时间越长，说明学习者的认知资源投入越多、加工程度越深。如皮忠玲[2]使用注视点持续时间长短来考察学习者对视频播客上不同媒体要素的加工程度，发现学习者在教师形象上的注视点持续时间显著低于PPT内容；李娜[3]使用注视点持续时间这一指标来研究中学生浏览不同界面结构的认知资源投入和加工程度，结果表明学生在浏览左文右图结构时，在文字区注视点持续时间长于图片区，而在浏览左图右文结构时与此相反。

②注视点持续时间可反映学习者在学习多媒体材料时的认知负荷——认知负荷越大，平均注视时间越长。如王雪等[4]使用注视点持续时间来衡量不同线索类型对学习者认知负荷的影响，发现注视点持续时间从内在线索组、“内在+外在”线索组至外在线索组依次降低，但三组之间的差异不显著。这表明，多媒体学习材料中不同的文本内容线索没有对学习者造成额外的认知负荷，只是有效地引导了学习者的注意力。

2 首次注视时间

在兴趣区内，学习者首次观看多媒体材料所产生的第一个点被称为首次注视点[5]，在首次注视点上的持续时间被称为首次注视时间（First Fixation Duration）。

首次注视时间体现了学习者对多媒体学习内容的早期加工和注意——首次注视时间越长，说明学习内容更能吸引学习者的注意，学习者也会进行更多的早期加工。如 Jian等[6]使用首次注视时间这一指标来研究在物理结构图中增加箭头能否促进个体的早期认知加工和阅读理解这一问题，结果显示：增加箭头组的首次注视时间显著大于没有增加箭头组的数据，这说明箭头的增加有利于个体对箭头指向信息的早期加工，也就是说，箭头具有引导个体注意力的作用。

3 注视次数

一次注视称为一个注视点，注视点的数量被称为注视次数（Fixation Count）。

①注视次数可以体现学习者对多媒体信息的辨识度——如果兴趣区的信息辨识度低，那么就需要多次提取，注视次数也就较多[7]。如代鑫[8]使用注视次数这一指标来衡量学习者在儿童教育游戏界面中对不同字体知识内容的辨识度，结果发现：学习者对黑体文字的注视次数显著少于娃娃体文字，说明学习者更容易对黑体文字进行信息提取。

②注视次数可以体现学习者对多媒体学习内容的注意与认知资源的分配。如陈曦[9]用注视次数这一指标来衡量多媒体课件中注释的不同位置对学习者认知资源分配的影响，发现当注释处于图中时，学习者的注视次数较少，而且学习效果较好，由此得出结论：空间位置对于学习者认知资源的分配和学习的效果有很大影响。此外，赵乃迪[10]使用注视次数这一指标来研究不同密度网页布局对视觉搜索的注意的认知分配，结果发现：学习者在低密度页面中的注视次数显著少于高密度页面。

③注视次数可以体现学习者对多媒体学习材料的熟练程度。如王福兴等[11]使用注视次数这一指标来研究文字熟悉度对电影字幕偏好性的影响，结果发现：随着字幕文字熟悉度的下降，学习者对电影字幕的注视次数也逐渐下降，说明学习者偏好较为熟悉的字幕文字。

4 注视热点

在多媒体学习的眼动分析中，注视热点常用注视热点图（Heat Map）来呈现。

①注视热点图能直观地显示学习者感兴趣的区域和不感兴趣的区域，通过颜色深浅变化形象地反映学习者对不同多媒体目标材料的关注程度[12]。如赖文华等[13]在表现大学生对网络视频各内容的关注程度和感兴趣的区域时就用到了注视热点图，发现多数大学生在进行网络视频学习时都具有同样的特点，即关注最多的是文字，其次是教师，最后是背景。安璐[14]在关于教学PPT中插图效果的研究中，也用注视热点图来反映学习者在进行无指引性符号材料与指引性符号材料阅读时关注程度的差异，并发现在无指引性符号图的实验组视线轨迹中，有少许视线出现游离；有指引性符号图的实验组视线轨迹以指引性符号为路线进行多媒体学习，关注的部分主要是文字，视线呈现规律的行进特征，游离视线很少。此外，刁永锋等[15]用注视热点图来分析网络视频公开课程中三种不同媒体构成对学习者关注区域和感兴趣区域的影响，发现学习者在学习纯文本材料时，视线覆盖了全部文字区域，但对定义和概念更为关注，形成了红色的热点区；但学习视频材料时与此不同，学习者对视频区域更为关注；对于有字幕的视频页面，学习者更关注人物面部和字幕区，而对于无字幕的视频页面，学习者更关注人物的面部。

②注视热点图能够直观地显示不同学习者在多媒体学习材料关注区域的差异——当把这种差异与学习者的成绩联系起来时，就会产生有意义的研究结果。如Tsai等[16]要求学习者选择四幅图中最容易形成泥石流灾难的一组，对比正确组和不正确组的热点图发现：正确组的学习者更加关注降水和碎片这两个泥石流的主要影响因素，同时更加关注最佳选项和次佳选项；但是不正确组的学习者更加关注温度这一个非主要影响因素，同时关注较多的是非正确选项。

二 眼跳类指标

眼跳是指眼睛从一个注视点到另一个注视点的运动，其中包括眼睛退回已注视过的内容的回视型眼跳。在多媒体学习中，与眼跳相关的眼动指标主要包括眼跳距离、眼跳次数、回视次数和较为直观的眼动轨迹。

1 眼跳距离

眼跳距离（Saccade Distance）是指学习者完成一次注视后，从一个注视点转移到下一个注视点之间的距离，其单位是度[17]。

①眼跳距离是反映阅读知觉广度的一个重要指标——眼跳距离大，说明学习者一次注视所提取的信息量大，加工理解的内容多[18]。如王超[19]用眼跳距离这一指标来衡量高中生在解答问题时有无物理图对获取信息量的影响，发现学生在解答有图物理问题时的眼跳距离显著大于无图组，说明有图组一次注视能获取更多的信息，通过采用增加眼跳幅度的策略来更好地完成物理问题的表征建构；关尔群[20]用眼跳距离来衡量学习者对不同颜色文字信息的提取，发现对不同颜色文字进行加工时黄色文字的眼跳距离最长，而黑色、红色文字的眼跳距离最小。

需要注意的是，在眼跳过程中会产生视觉抑制现象，从而使学习者知觉信息的能力减弱[21]。为了应对这种视觉抑制现象，学习者会缩小眼跳距离。如程利等[22]使用眼跳距离这一指标研究插图对大学生信息知觉的影响，发现在呈现方式不同的文章中，彩色插图组的眼跳距离明显小于无插图组，这是因为学习者在彩色插图材料中得到了相关提示，当阅读相关文字的时候会主动注意重要的信息，减少视觉抑制，细化已经形成的整体轮廓，使得眼跳距离缩小。

②眼跳距离在一定程度上反映了多媒体学习内容自身的性质。如任桂琴[23]用眼跳距离这一指标来反映小学一年级数学新课本中难度不同、背景不同的应用题自身的性质，发现学生在解答难应用题时眼跳距离显著小于易应用题，解答无背景和简单背景应用题的眼跳距离均显著大于复杂背景，这说明眼跳距离可以在一定程度上反映多媒体学习内容自身的性质。

2 眼跳次数

眼跳次数（Saccade Count）指注视点之间的转换次数，它体现了多媒体学习内容对学习者注意分配的引导[24]。学习者在不同类型学习材料之间的注意转换，反映了学习者尝试在语义上连接不同类型多媒体材料形成整合性理解的程度[25]。如龚少英等[26]用眼跳次数这一指标来反映装饰图片对学习者整合加工的影响，发现在文本区与认知兴趣图之间，有装饰图片组的眼跳次数显著少于无装饰图片组，表明在无装饰图片的情况下，学习者在文本与认知兴趣图上进行了更多的组织和加工；Eitel等[27]则使用眼跳次数这一指标来反映图文材料的呈现方式对学习者认知加工的影响，发现呈现文本和简单图表组的眼跳次数显著高于仅仅呈现文本材料组的眼跳次数，这说明同时呈现文本和简单图表有利于学习者在认知加工过程中对图文材料信息进行更深度的整合，并可从简单的图表中对整体的初始结构形成更加合理的认知。

3 回视次数

眼球从右向左退回到已注视过的内容上的眼动行为（不包括从每行行尾到每行行首的眼动）称为回视。回视的数量被称为回视次数（Regression Count）[28]。

①回视次数可以体现学习者进行多媒体学习时的注意分配。如李萍[29]用回视次数这一指标来研究不同字体与颜色搭配的网络课件对学习者视觉分配的影响，发现红色宋体的回视次数最多，黑色宋体最少，这说明红色宋体更容易吸引学习者的视觉分配，并在注视红色时投入较大的精力。

②回视次数可以体现学习者进行多媒体学习时的认知连贯性和信息再加工程度。如陶云[30]用回视次数这一指标来研究有无配图的课文对学习者认知连贯性的影响，发现学生阅读配图课文的回视次数显著少于无图课文，这是由于在配图的辅助下学生可以通过减少回视次数来综合连贯课文信息；费广洪等[31]用回视次数这一指标来反映拥有不同认知方式的大学生在进行学习时的认知连贯性和再加工程度，发现场依存型读者在图文之间的回视次数显著多于场独立型读者。此外，Liu[32]在英语文章阅读理解能力测试的实验中同样使用回视次数这一指标来衡量学习者的认知加工，发现有图式组的回视次数显著少于无图式组，这说明符合材料信息的图式的增加，可以促进个体的阅读理解和认知加工。

4 眼动轨迹

眼动轨迹（Eye Movement Trajectories）常用眼动轨迹图来呈现。眼动轨迹图是将眼动信息用数据和图形的方式呈现出的轨迹视图，能具体、直观、全面地反映学习者进行多媒体学习时眼动的时空特征[33]。如赖文华等[34]用眼动轨迹图对大学生网络视频学习过程中眼动轨迹的特征进行研究，发现在认知负荷较高的情况下，大部分学习者的眼动轨迹为逆时针三角形，即从左向右的轨迹为字幕、教师的面部，然后回到字幕；刘伟等[35]用眼动轨迹图来研究不同图片分享网站布局的视觉行为，结果发现：与瀑布式页面相比，在矩阵式页面上学习者的视觉路径较为流畅与规整。另外，Liu[36]在研究阅读图式时也用眼动轨迹图分析学习者的眼动信息来反映学习效果，两组学习者都要求阅读一篇文章并回答问题，不同的是其中一组阅读材料中增加了文章结构图式——通过眼动轨迹分析，发现阅读材料中增加图式可以促进学习者的理解效果。

三 瞳孔直径

瞳孔大小的变化反映了学习者的大脑正在进行的活动，故瞳孔的大小可以作为高级心理活动的较为敏感的定量化指标[37]。瞳孔直径（Pupil Diameter）即瞳孔的大小，它反映了学习者进行认知加工时的心理负荷情况，即单位时间内人体承受的心理活动工作量大小[38]。如周强等[39]用瞳孔直径这一指标来衡量学习者在学习不同插图材料时的认知负荷，发现学习者学习彩色插图组材料和黑白插图组材料时的瞳孔直径都明显小于无图组，这说明学习者在学习无图材料时将会产生更大的心理负荷。曹卫真等[40]在教学网页图文搭配方式的研究中，也用瞳孔直径这一指标来反映该阅读材料能否引起学习者的思考——瞳孔越大说明提取信息越难、心理负荷越大，结果发现：不同专业的大学生在阅读材料时，理工类大学生的平均瞳孔直径明显小于文史类大学生的平均瞳孔直径；对于图文搭配方式，理工类大学生在学习图下文上搭配方式的材料时瞳孔直径更小，对材料信息的提取更为容易，而文史类大学生对图右文左搭配方式材料的信息提取更为容易。许晓丽[41]在研究阅读中多媒体材料及其呈现方式的眼动时发现，学习文字信息的瞳孔直径小于学习图形信息的瞳孔直径，说明学生对材料中图形信息的学习心理努力程度高、心理负荷大。

值得注意的是，瞳孔变化与高级心理活动之间的关系尚有待进一步探讨。除了认知负荷，影响瞳孔直径变化的因素还有动机、态度、情绪、疲劳程度等，因此对瞳孔直径变化的解释要慎之又慎，单纯地通过瞳孔直径无法测量学习者对待非视觉任务时的心理负荷。

四 眼动指标的对比分析与应用建议

1 三类眼动指标的对比分析

综上所述，目前，多媒体学习眼动研究采用的眼动指标主要包括注视类指标、眼跳类指标和瞳孔直径类指标三大类，而每一类指标既有自己的优点，同时也存在不足，如表1所示。

表1 三类眼动指标的优缺点比较

2 眼动指标在多媒体学习研究中的应用建议

虽然眼动技术是多媒体学习研究中不可或缺的工具，但它仍然仅仅只是揭示多媒体学习这一个复杂思维过程的手段之一。为了获得全面而深刻的认识，形成科学的理解，拓展研究的领域，本研究针对眼动指标在多媒体学习研究中的应用给出了如下建议：

①在开展多媒体学习的眼动研究时，应综合使用多个眼动指标。每一个眼动指标都有其适用的范围和优缺点，因此在多媒体学习研究中只使用某一个指标会存在不足，而应该合理地综合使用多个眼动指标，以从多个维度对眼动数据进行详细的分析[42]。比如，对多媒体学习内容的认知加工情况进行研究时，宜多选用注视类指标，同时也可考虑眼跳距离、眼跳次数等眼跳类指标；对注视点之间的认知连贯性和信息再加工进行研究时，宜考虑回视次数和眼动轨迹等眼跳类指标；对学习者的心理负荷情况进行研究时，则宜采用瞳孔直径类指标。

②在开展多媒体学习的眼动研究时，应将眼动技术和其它研究技术结合起来使用。眼动指标反映的是学习者视知觉层面的状况，但仅靠眼动技术进行分析，不能全面地反映学习者的认知加工过程，而眼动技术与其它研究技术结合起来使用，可以为研究提供全新的思路[43]。比如，将眼动技术和脑电技术相结合，可以实现研究方法上的突破，取得更丰富的研究成果[44]。

③在开展多媒体学习的眼动研究时，应重点关注具有前沿性的媒体形式。在已有的多媒体学习研究中，使用眼动技术分析的学习材料主要集中在文字、图片、动画等传统的多媒体材料。随着科学技术的不断发展和教学形式的多样化，人工智能、虚拟现实等富有个性化和前沿性的新型媒体形式正逐渐得到了广泛的应用。如王福兴等[45]采用眼动技术，探究了虚拟人物（即教学代理）的手势动作等对认知加工过程的影响。应用眼动技术开展新兴媒体支持下的学习研究，必将是今后学习科学领域的一个热点。

[1]Mayer R E. Multimeda learning[M]. New York: Cambridge University, 2009:3.

[2]皮忠玲.视频播客呈现方式对学习效果的影响及其机制的眼动研究[D].上海:华中师范大学,2014:32-39.

[3]李娜.中学生多媒体浏览行为的眼动实验研究[D].宁波:宁波大学,2015:20-24

[4]王雪,王志军,付婷婷,等.多媒体课件中文本内容线索设计规则的眼动实验研究[J].中国电化教育,2015,(5):99-104、117.

[5]王佑镁.电子课本不同版面要素的眼动行为分析[J].编辑之友,2014,(5):89-91、98.

[6]Jian Y C, Wu C J. The function of diagram with numbered arrows and text in helping readers construct kinematic representations: Evidenced from eye movements and reading tests[J]. Computers in Human Behavior, 2016,61:622-632.

[7][8]代鑫.儿童教育游戏界面知识内容呈现区设计的实验研究[D].南京:南京师范大学,2013:26-28、38.

[9]陈曦.颜色编码对多媒体课件中图文信息加工的影响研究[D].天津:天津师范大学,2013:26.

[10]赵乃迪.网页布局对视觉搜索影响的眼动研究[D].上海:复旦大学,2012:37-38

[11]王福兴,周宗奎,赵显,等.文字熟悉度对电影字幕偏好性影响的眼动研究[J].心理与行为研究,2012,(1):50-57.

[12][14]安璐.教学PPT中插图效果的眼动实验研究[D].徐州:江苏师范大学,2013:22、65.

[13]赖文华,单春波.大学生在网络视频学习过程中的眼动行为研究[J].软件导刊·教育技术,2015,(6):76-79.

[15]刁永锋,刘明春,杨海茹.网络视频公开课程学习行为眼动实验研究[J].现代教育技术,2014,(11):81-87.

[16]Tsai M J, Hou H T, Lai M L, et al. Visual attention for solving multiple-choice science problem: An eye-tracking analysis[J]. Computers & Education, 2012,(1):375-385.

[17][33]安璐,李子运.教学PPT背景颜色的眼动实验研究[J].电化教育研究,2012,(1):75-80.

[18][28]沈德立,陶云.初中生有无插图课文的眼动过程研究[J].心理科学,2001,(4):385-388、508.

[19][21]王超.高中生解答有无物理图力学问题过程的眼动研究[D].长沙:湖南师范大学,2008:23-25、32-33.

[20]关尔群.多媒体课件中不同色彩文字材料对阅读影响的眼动研究[D].大连:辽宁师范大学,2003:22.

[22]程利,杨治良.大学生阅读插图文章的眼动研究[J].心理科学,2006,(3):593-596、562.

[23]任桂琴.小学一年级数学新课本插图效果研究[D].大连:辽宁师范大学,2003:18.

[24]王雪.多媒体学习研究中眼动跟踪实验法的应用[J].实验室研究与探索,2015,(3):190-193、201.

[25]Holsanova J, Holmberg N, Holmqvist K. Reading information graphics: The role of spatial contiguity and dual attentional guidance[J]. Applied Cognitive Psychology, 2009,(9):1215-1226.

[26]龚少英,段婷,王福兴,等.装饰图片影响多媒体学习的眼动研究[J].心理发展与教育,2014,(4):403-410.

[27]Eitel A, Scheiter K, Schüler A, et al. How a picture facilitates the process of learning from text: Evidence for scaffolding[J]. Learning & Instruction, 2013,28:48-63.

[29]李萍.浏览网络课件不同字体字号与颜色搭配的眼动研究[D].上海:华东师范大学,2008:19.

[30]陶云.不同年级学生阅读有或无配图课文的眼动实验研究[D].天津:天津师范大学,2001:93.

[31]费广洪,王细英,龚桂红.图文相关性对不同认知方式大学生阅读影响的眼动研究[J].心理学报,2013,(7):783-789.

[32][36]Liu P L. Using eye tracking to understand learners’ reading process through the concept-mapping learning strategy[J]. Computers & Education, 2014,(9):237-249.

[34]赖文华,单春波.大学生在网络视频学习过程中的眼动行为研究[J].软件导刊·教育技术,2015,(6):76-79.

[35]刘伟,赵月芳,李久洲.图片分享网站布局与视觉行为的眼动研究[J].北京邮电大学学报(社会科学版),2014,(1):18-24.

[37][41]许晓丽.阅读中多媒体材料及其呈现方式的眼动研究[D].大连:辽宁师范大学,2001:22、23.

[38]陶云,申继亮.高二学生阅读插图课文的即时加工研究[J].心理发展与教育,2003,(2):43-46.

[39]周强,陆翔.插图影响学习成效的眼动线索研究[J].心理研究,2011,(3):43-47.

[40]曹卫真,殷婷如,邢强,等.常见教学网页图文搭配方式对记忆效果影响的研究[J].电化教育研究,2012,(2):93-100.

[42]闫国利,熊建萍,臧传丽,等.阅读研究中的主要眼动指标评述[J].心理科学进展,2013,(4):589-605.

[43]卞迁,齐薇,刘志方,等.当代眼动记录技术述评[J].心理研究,2009,(1):34-37.

[44]高晓卿,王永跃,葛列众.眼动技术与脑电技术的结合——一种认知研究新方法[J].人类工效学,2005,(1):36-37、44.

[45]王福兴,李文静,谢和平,等.多媒体学习中教学代理有利于学习吗?——一项元分析研究[J].心理科学进展,2017,(1):12-28.