学龄儿童在线解题行为数据可视化系统设计与评估

文／魏 爽,陈英杰（.江南大学 设计学院；.普度大学 理工学院）

随着计算机的普及和网络技术的进步，在线教育软件蓬勃发展，种类繁多。例如大规模在线开放课程为学生提供在线课程、习题、测试等教育资源。学习管理系统则提供了学生交流合作、互动学习的平台与工具。智能教学系统则根据学生知识水平智能调整学习进度和习题难度以满足不同学生的个性化需求。如今基于互联网的学习软件及平台往往汇集多种教学手段，提供丰富的学习资源。同时这些在线教学软件能够实时记录学生的学习行为数据，如登录时间、登录时长、做题数目、正确与否、鼠标操作，甚至眼睛移动，并作为日志数据存档。大部分软件都会基于日志数据提供学生学习报告来展现学生学习进度和解题正确率。但复杂学习行为数据例如鼠标移动及眼动往往因为数据难以被分析、展现和理解而被舍弃。这就造成了老师知道学生做错了某道题，但不知道学生是如何做错的。

本文采用可视化分析手段来分析展现学龄儿童的解题行为数据包括做题时长、眼动及鼠标操作等，帮助教育工作者理解学生的解题过程、解题策略与困难。

一、学习数据分析与可视化

1.1 眼动数据分析与可视化

眼动追踪技术被广泛应用于神经科学、心理学、教育学和人机交互相关的研究中[1-3]。在教育研究中，眼动追踪技术研究的主题包括信息处理、解题策略、决策制定、个体差异等[4，5]。研究方法包括用注视轨迹图（Gaze Plot）[6]和热图（Heatmap）[7]来展示学生的注意力分布，定性地揭示学生是否对特定信息长时间关注。学生在兴趣区（Areas of Interest,AOI）内 的 注 视（Eye Fixation）次数和注视时长也被统计出来，以定量的方式揭示学生的注意力分布。另外一些研究还将眼动与定性研究方式如Think Aloud观察法、访谈相结合来探索学生的学习行为、认知过程，或识别学生之间的学习行为差异。

眼动数据可视化方式根据需要展示的眼动数据维度而变化。对于单一维度的眼动数据如注视次数、注视时长，简单的柱状图、热图就可以清晰展示。而针对多维眼动数据，可视化设计需要展现数据的时空属性。设计者提出了“兴趣区河流”(AOI rivers)[8]、时间轴可视化(Timeline Visualization)[9]等可视化设计。即将交互界面划分为若干兴趣区，在时间轴上以兴趣区为单位，展现不同时间点用户对各兴趣区的关注程度。但需要注意的是，这些设计并没有作为可视化分析手段被用于教育相关的眼动数据研究中。目前眼动可视化设计还局限于单一数据展示功能。

1.2 鼠标移动数据分析与可视化

鼠标移动数据包括鼠标点击次数、点击位置、移动速度和移动路径等。教育研究中，鼠标点击被用以描绘学生学习进度，尤其是在需要点击的学习场景中。ANTONENKO等[10]采用聚类分析法（一种群体数据分类方法）分析来自在线学习环境的点击流数据。经分析和汇总后，点击流数据提供了有关访问任务的顺序和学习者在学习环境中前进的速度以及花费在任务上的时间等信息。而鼠标移动路径分析较为复杂，在教育中采用较少。近年来被作为一种行为心理学的研究方法来揭示人们的情绪、认知和心理。

目前针对鼠标移动数据的可视化非常有限，多数采用传统图表和轨迹图，更多的研究侧重于分析数据得出结论而不是数据可视化。但鼠标移动数据是学生在线学习行为的一部分，特别是在需要鼠标操作的学习场景中，鼠标移动数据能够直接展现学生的学习过程。因此在学习行为数据可视化设计中鼠标移动数据是不可或缺的一部分。

不同于单一数据可视化，学习行为数据可视化要展现多种数据。不仅展现数据本身还要描述数据产生的环境信息，如学习材料、题目内容等，从而使可视化系统用户充分了解学生解题行为。

二、解题行为数据可视化系统设计

作者收集了二三年级小学生在线解数学应用题的解题行为数据。数学应用题题目来源于基于概念模型的问题解决学习软件COMPS-A（Conceptual model-based problem©）[11]。该软件旨在增强学生对现实世界问题的理解，并提高他们创建代数方程式的能力。图1是其中的一道题目。首先，题目信息被语音朗读出来，然后语音要求学生 用 鼠 标 拖 拽 标 签 （total，gave，left）到方程中，使方程式成立。如果答错，会有一次重试的机会，再次错误之后，程序会给出正确答案并解释。学生解题过程中，后台会实时记录学生解题数据包括学生答案、解题花费的时间、眼动数据、鼠标点击和移动数据。作者收集了20个二三年级小学生的解题数据。

图1 在线解题题目示例

可视化系统设计应考虑数据、用户需求以及目标任务。在设计的初期，考虑到可视化系统的目标用户是缺少可视化阅读经验的老师和教育研究人员。简单易懂的眼动热图和鼠标运动轨迹图被用来展示学生解题行为数据。但随后作者发现相对独立的热图和鼠标运动轨迹图无法展现不同种类数据之间的关联性，不能完整描述学生解题行为。用户需要从不同的图表中提取信息，建立数据联系，构建模型。这样的可视化图表加大了用户数据理解的难度，无法有效展示学生的解题过程。因此不同类型的数据应在同一图表中被可视化，同一时间的学生行为数据应被同时展示。

但可视化界面空间有限，为展示所有数据，作者尝试抛弃原有题目界面，用简单的文字描述题目信息，并用抽象图形展现解题行为数据。结果证明完全抛弃题目界面虽然能够给予数据可视化更大的空间和灵活度，但增加了用户理解学生解题行为的难度，因为用户无法了解学生看到的题目是什么样子的。因此在最终设计里，作者保留但简化了原有题目设计。

最终解题行为数据可视化界面如图2所示。界面包含4个部分：顶部的学生表现柱状图，中间的题目和眼动图，左下角的公式和鼠标拖拽信息图，以及右下角的指标比较雷达图。顶部柱状图描述了学生解题用时及正确率。在图表中，有6个学生（P1～P6)，每个学生做了2道应用题（B3.5,B7.1），每道题有2次机会。在柱状图中，柱的长度代表学生在解题上花费的时间，而颜色代表解题正确与否（蓝色正确，红色错误）。同时用户可以点击柱状图查看对应学生的解题数据可视化图表。

图2 展示了学生P5在解题目B3.5过程中的眼动、鼠标操作及指标雷达图。可视化中应用题题干按照语义被划分为若干词组。这些词组被分为3类，分别是关键词(如a total of,gave,left)、数字和其他。以词组为单位，词组下方的横线代表学生的注视点，线的长度代表注视时长，线的纵坐标代表注视发生的先后顺序。从上到下纵坐标越大则注视发生得越晚。线条颜色则对应学生答案的对错。通过注视线的先后排列顺序及颜色，用户可以直观地看到学生的注视顺序、关注重点，从而了解学生是如何阅读题目、选择关键信息的。背景中的虚线将解题过程分为2个阶段——题目阅读阶段和鼠标操作阶段。更好地帮助用户了解在不同的解题阶段学生的关注重点以及学生在不同的解题阶段花费的时间。实线则标示了解题的开始与结束时间点。

在这道题中，学生被要求用鼠标把3个标签total,gave,left拖拽到下方的公式中使公式“部分+部分=整体”成立。可视化中的小手图标表示学生在对应纵坐标的注视时间点点击了对应横坐标上的标签并拖拽到公式中。例如图2中，学生首先拖拽了total到公式中并放在了“部分”空格中，然后拖拽了gave到公式另外一个“部分”空格，最后拖拽left到“整体”空格中。可视化界面右下角的指标比较雷达图将当前学生的表现指标如解题时间、注视次数、回视次数、鼠标拖拽速度等与其他学生的指标进行对比，帮助用户横向评估学生解题表现。

图2 解题行为数据可视化系统

三、解题行为数据可视化系统评估

在可视化系统评估中，作者采用了实验评估，任务负荷指数量表（NASA-TLX）及访谈的方法来评估可视化分析系统的可用性、准确度及用户体验。

解题行为数据可视化系统的首要目的是帮助教育研究人员理解学生解决问题的过程，包括迅速而准确地判定学生的解题策略与解题困难。在无法直接与学生交流的情况下（线上学习），教育研究人员通常用分析学生解题视频的方式了解学生解题过程。因此在评估实验中，视频分析方法作为对照组与可视化系统就数据分析效率、数据分析结果的准确性（一致性）进行对比。作者在收集学生在解题行为数据的同时也用眼动仪录制了学生解题视频。并且为了保证对照组与实验组的数据一致性，学生解题视频中也包含学生的眼动与鼠标移动信息。

可视化系统评估要回答的4个研究问题包括：(1)与视频分析相比，可视化系统是否能帮助教育研究人员更快地判断学生的解题策略与解题困难？(2)与视频分析相比，可视化系统是否能够帮助教育研究人员更准确地判断学生的解题策略与解题困难？(3)视频和可视化系统哪个给评估者带来了较高的任务负荷？(4)评估人员更喜欢用哪种方式来分析学生的应用题解题过程？

7名数学教育研究工作者被招募为评估员。他们拥有数学教学经验，熟悉数学在线教学软件，且拥有教育学硕士以上学历。他们是可视化系统的目标用户。这7名研究员被要求用视频或可视化的方式分析9名学龄儿童，每名儿童2道应用题（应用题一和应用题二）的解题过程。因为分析任务耗时较长，该实验被分成2天完成。在第1天评估之前评估者需要接受半小时的可视化阅读训练，来了解数据在可视化系统里是如何被表达的，在达到一定的可视化阅读熟练度之后，评估者正式开始评估实验。每个评估者每天需要分析9个应用题解题过程并回答问题。为确保实验设计的平衡性与随机性原则，18道题被分为2组（题目组一和题目组二），每组包含一半的应用题一和一半的应用题二。而在每组题目里，应用题的顺序是随机的。4名评估员被随机挑选在第1天完成题目组一的分析，剩余的评估员在第1天完成题目组二的分析。第2天则相反。此外要确保每个应用题解题过程被一半的评估员用视频的方式分析，被另外一半评估员用数据可视化的方式分析。

评估员每分析完一个应用题解题过程需要回答以下4个问题：

1)学生解题时视觉注意力的分布特点是什么？

(1)关注题目中的大部分信息；

(2)只关注关键词或数字；

(3)很少关注题目信息；

(4)其他-请描述；

(5)不确定。

2)学生解题时鼠标拖拽的模式是什么？

(1)每个标签只拖拽一次即提交，不更改答案；

(2)标签被多次拖拽交换位置，即提交答案前会更改答案；

(3)忘记拖拽标签，即没完成公式就提交了答案。

3)你认为在本题中，学生采用了哪种解题策略？（可多选）

(1)充分阅读问题，构建问题模型的策略；

(2)关键词策略；

(3)按顺序拖拽的策略；

(4)猜测后验证策略；

(5)其他-请描述；

(6)不确定。

4)你认为该学生在解题中遇到了什么困难？（可多选）

(1)没有困难；

(2)不能够理解题目的字面意思；

(3)不理解公式；

(4)注意力没有在题目上；

(5)拖拽错误；

(6)其他-请描述；

(7)不确定。

在评估员完成当天9道应用题解题过程分析，并针对每一个应用题解题过程回答以上4个问题之后，评估员会填写任务负荷指数量表（见图3）来自主评估不同的分析方法带来的任务负荷；最后评估员将接受访谈来描述任务负荷的来源，并对可视化系统设计提出他们的意见。

图3 任务负荷指数量表

在解题行为数据可视化系统评估中，作者收集的数据包括评估员的分析时间、答案、任务负荷指数量表评分，以及访谈获取的定性数据，它们被用来回答可视化系统评估的4个研究问题。

四、解题行为数据可视化系统评估结果

4.1 与视频分析相比，可视化分析是否能够使教育研究人员更快地判断学生的解题策略与解题困难？

图4 展示了评估者完成分析任务所花费的时间。蓝色线条为可视化分析方法，橙色线条为视频分析方法。可以看出，绝大多数情况下使用可视化分析方法比使用视频分析方法花费的时间少。此外无论是可视化分析方法还是视频分析方法，随着分析题目的增多，分析经验的积累，分析时间在减少。而统计学混合线性模型分析结果也支持这一结论，即实验中，利用可视化方法进行分析所需要的时间显著少于利用视频方法（P＜0.001）。评估者利用数据可视化方法平均需要198.54 s完成分析任务。而利用视频分析方法完成分析任务平均需要308.64 s。不同分析方法在2天里的平均分析时长也被分别统计出来：利用可视化分析方法在第1天的平均分析用时为227.09 s，第2天的平均用时为169.99 s。分析时间大幅减少，但并不显著（P=0.16）。利用视频分析方法在第1天的平均分析用时为339.29 s，在第2天的平均用时为277.98 s，分析时间也减少了，但减少量同样不显著（P=0.11）。同时在第2轮中用可视化分析方法的分析时长仍显著少于用视频分析方法的分析时长 （时间差为107.99 s，P＜0.001）。

因此与视频分析相比，可视化系统确实能够帮助教育工作者更快速理解、分析学生解题过程。

4.2 与视频分析相比，可视化系统是否能够帮助教育研究人员更准确地判断学生的解题策略与解题困难？

评估者被要求判断学生的注意力分布模式、鼠标拖拽模式、解题策略以及解题困难。这些问题除鼠标拖拽模式是有明确的答案之外，其他问题的回答都基于评估者的主观判断，因此没有明确的答案。作者采取的方法是：如果有一半以上的评估员都做出了相同的判断，那么这个判断被认为是题目的正确答案。这是基于评估员都有丰富的数学教学与研究经验，他们的判断是基于其专业知识与经验的。如果半数以上的评估员做出了同样的判断，那么这个判断被认为是有其充分性的。如果一道题目没有超过半数评估员同意的一致性答案，作者会在评估实验后召集所有评估员共同讨论，决定一致性答案。每道题目都有正确答案后，评估员用不同的分析方法得出答案的正确率就可以被计算出来，从而判断哪种分析方法能够带来更高的正确率。

注：vis-可视化，vid-视频

评估员分析答案统计结果显示：第1题学生的注意力分布模式，用可视化分析方法，正确率为73%，使用视频分析方法，正确率为58%。混合线性模型证明2种分析方法的正确率有显著差异（P=0.02）。其他变量如应用题题目、评估者以及做题顺序对分析答案的正确率没有显著影响。第2题学生的鼠标拖拽模式，可视化分析的正确率为89%，视频分析的正确率为85%，两者差异不显著（P=0.33）。第3题学生的解题策略判断，可视化分析的正确率为81%，视频分析的正确率为67%，可视化分析的正确率高于视频分析的正确率（P=0.08）。第4题学生的解题困难判断，可视化分析的正确率为76%，视频分析的正确率为62%，可视化分析的正确率高于视频分析的正确率（P=0.07）。

数据分析结果表明，可视化分析方法能够帮助研究人员更准确地判断学生的注意力分布模式。而在鼠标拖拽模式、解题策略判断和解题困难判断方面，可视化分析的正确率高于视频分析。

4.3 视频和可视化系统哪个给评估者带来了较高的任务负荷？

从表1中任务负荷指数量表评分的分析结果可以发现，采用可视化分析手段完成分析任务对于评估员的身体负荷和时间需求要显著低于使用视频分析手段。而不管使用哪种分析手段，评估者都需要付出相当的脑力及努力。另外评估员对于分析结果的准确度并不自信，有一定程度的挫败感。相较于视频分析来说，评估员认为通过可视化分析手段得到的分析结果相对准确，挫败感略低。

表1 任务负荷指数量表数据的分析结果

考虑到分析任务本身的难度，以上结果并不意外。评估员在无法跟学生直接交流的情况下，根据学生行为判断其认知和心理并不容易，需要投入大量精力。除任务本身难度之外，不同分析方法也对评估者提出了不同的要求。根据评估员在访谈中的反馈，使用可视化分析方法时，评估者需要充分理解数据在可视化中是怎样表达的，从而获取正确的信息。此外评估者要考虑数据之间的关系，综合不同类型的数据还原学生解题过程。而使用视频分析方法的时候，虽然实验中视频可以被暂停，回放，快放，慢放，但因为视频是动态的，评估者需要不断地记忆信息并对信息进行比较，做出判断。这极大增加了评估者的认知负荷。部分评估员反映他们在使用视频分析的过程中出现信息模糊遗忘的情况，他们或选择重新查看视频，或选择继续分析。对于重新查看的人来说，身体负荷和时间负荷都会增大。而对于坚持继续分析的人来说，他们的不自信和挫败感会增加。但视频分析也有其优点，首先视频能够自然流畅地展现学生解题过程，所有数据以人们最熟悉的方式被呈现。其次视频能够展现全部的数据，虽然这些大量的动态数据会增加评估者的负荷，但某些时候细节信息能够帮助评估者做出更准确的判断。

整体来说，视频分析方法给评估员带来了相对较高的任务负荷。

4.4 评估人员更喜欢用哪种分析方法来分析理解学生的解题过程？

有2位评估员更喜欢可视化分析系统，一位更喜欢视频分析方法，3位评估员表示希望能够结合可视化系统与视频共同帮助分析，或者在不同的情境中使用不同的分析方法。如在需要分析大量数据时采用可视化分析在只需要分析少量数据且时间充裕的情况下用视频分析。以下是在访谈中评估员提及的解题行为数据可视化系统优缺点。

1）优点：

(1)以静态图像结合交互手段展现数据，用户能够充分灵活控制时间且无需记忆数据信息只需要查找数据信息；

(2)可视化系统的数据扁平化设计简化了题目界面，去除冗余数据，凸显了重要信息；

(3)可视化系统能够传达准确数值，例如注视点数目，拖拽速度等；

(4)可视化系统能够帮助用户比较同学之间、题目之间的解题差异。

2）缺点：

(1)可视化系统较复杂，没有可视化阅读经验的用户需要一段时间熟悉过程；

(2)受界面空间限制，在可视化系统中部分“低价值”数据会被舍弃；这就要求系统设计者充分理解用户需求、目标任务，从而保留最具价值的数据。

五、结 语

在科学技术快速发展的今天，大量数据被产生。数据是珍贵的，但是如果不能从中获取信息，转化为知识，数据对我们毫无意义。数据可视化借助图形手段，能够清晰有效地传达信息帮助人们分析理解数据获取知识。针对目前大量在线学习行为数据被记录却无法被有效利用的情况，作者提出用数据可视化的方式来展现学生学习过程，帮助教育工作者理解学生学习行为和认知过程。本文以学龄儿童解数学应用题为例，设计开发解题行为可视化系统，帮助教育工作者判断学生解题策略和困难，并对系统的可靠性可用性进行了评估。从评估实验、任务负荷指数测量结果及访谈来看，数据可视化系统在数据的传达、表现、分析方面都有其优势。未来作者将进一步提高可视化系统界面设计来展现更多的数据、更清晰的数据关系，从而减少用户的认知负荷及脑力需求。