国际在线学习投入评价工具综述

董安美

北京市正泽学校 北京 100033

0 引言

从2020年开始，为了应对新冠疫情，各级各类学校按照教育部的部署，利用信息技术实现“停课不停学”。在线学习是广大师生使用的主要方式，例如，同步在线课程，异步在线课程。在这种学习方式下，教师不能像在面对面的课堂教学中一样，通过学生的眼神、表情等状态了解学生的课堂学习投入情况。因此，学生的在线学习投入成为广大教师实施在线教学时最为关注的问题之一。

通过梳理研究文献可以看出，在线学习投入的研究起源于学校教育中的学习投入。学习投入的内涵从行为投入、心理投入、认知投入逐步扩展与演进，不断深入探究学习的本质。对于在线学习来说，学习投入更具有重要意义。以国家开放大学、各大高校的网络教育学院（或远程教育学院）以及慕课平台（MOOC）为代表的在线学习机构和研究人员已经从教学管理、学习质量、学生发展方面，对在线学习投入进行了研究。技术的快速发展，拓展了测量投入的方法。研究者除了使用自我报告的问卷测量学习投入以外，还可以利用机器识别信号或行为，例如，脑电信号、皮肤电活动、面部表情、眼神、键盘输入、鼠标移动，对在线学习投入进行分析。但是在研究文献中还未对在线学习投入的内涵达成共识，在教学实践中，在线学习投入的评价指标差异较大，在线学习投入的评价结果所导向的实践应用也有所不同。因此，有必要对在线学习投入评价工具进行分析，帮助教师利用在线学习投入的数据有针对性地实施在线教学干预，促进学习者深层次的学习，提高学生的在线学习质量。

鉴于在线学习投入的研究建立在学校教育中学习投入的基础之上，笔者先溯源学习投入的内涵演变。早期，Tyler（1930）观察到学习时间对学习结果有积极的影响，Pace（1980）发现努力质量高的学生会有更多收获，并使用“努力的质量”衡量学生在有学习意义的学习活动中付出的时间和努力。Astin（1984）在努力质量的基础上提出参与理论（theory of involvement），并指出参与对学习成绩的重要性。后来的研究从行为、认知和情感等不同维度分析学生在学习活动中付出的时间和努力，在此背景下，用学习投入（learning engagement）作为术语来表达这一含义。

随着慕课的广泛应用与推广，在线学习的辍学率、学习质量成为在线教育特别关注的问题。提高在线学习投入成为解决这些问题的途径之一。大部分研究沿用了学校与课堂中学习投入的内涵。但是实证研究发现学校课堂教学情境和在线学习情境中的学习投入的互相替代性低，需要对二者分别加以研究。有的学者认为在线学习投入是指学习者在在线学习环境中访问学习资源、在线提问、评论和反思的学习过程。有的学者认为在线学习投入不能仅仅注重在线行为投入，还需要从认知和情感维度分析在线学习的深层次学习。从在线学习的基本要素，即学习内容、学习活动、学习支持出发，笔者认为在线学习投入是指学习者通过在线学习平台与学习内容、同伴和教师的互动过程，置身于学习活动中理解、思考与讨论，根据自身的学习需要选择恰当的学习支持，为了达到知识、技能和情感等学习目标而付出的努力与精力。

1 文献筛选与分析

1.1 研究问题

在理解了在线学习投入的内涵和应用价值之后，如何测量在线学习情景中的学习投入就成为关键问题。笔者提出的具体研究问题如下。

1）在线学习投入的研究中，使用频率高的研究工具有哪些？

2）不同的研究工具获取的数据内容是什么？

3）每一种研究工具的优缺点是什么？

1.2 文献检索与筛选

笔者在Web of Science （WOS）数据库的核心合集中，设置检索标题为（engag*） AND （student*OR learning OR learner* OR undergraduate*OR k12 OR education） AND （online OR MOOC OR e-learning OR distance OR networked OR internet OR computer OR technology OR ICT OR digital learning），在2022年2月17日对1900—2022 期间的文献进行检索，共得到843 篇文献，去除79 篇没有全文的论文（评论、会议摘要、书评），对764 篇论文进行文献计量分析。

1.3 分析程序

采用文献引文分析和内容分析法，对WOS 数据库中搜集到的文献进行分析。使用引文分析软件（HistCite）查找使用频率高的在线学习投入评价工具，然后阅读所收集的文献，辨别评价工具的类型，分析每一种工具的优缺点。

HistCite 软件可以对被分析的文献生成引文关系图，表示重要文献之间的关系。根据HistCite对文献的本地数据库引用次数（Local Citation Score，LCS）的分析结果，按照引用频率的高低，依次阅读每篇论文。新出版的文献被引用的次数较少，例如，2020年和2021年。因此，对引用次数少的新文献也要进行内容分析。在被分析的文献中有一些是理论探讨和文献综述，这两种论文没有介绍研究工具。质性研究的研究工具通常是访谈和观察。笔者将这几类论文排除在外，主要分析并量化研究论文中使用的研究工具。

通过内容分析发现，在线学习投入的评价工具有三种类型：问卷、计算机外设与传感器、在线学习平台。通过论文的引用次数筛选出高频率使用的研究工具，借助内容分析发现不同类型的研究工具。

2 在线学习投入的评价工具

本小节介绍在线学习投入的三种类型的研究工具：自我报告的问卷、计算机外设与传感器、基于在线学习平台的统计和学习日志的数据挖掘。先分别介绍三种研究工具的具体评价维度和指标，再对比三种评价工具的优势与不足。

2.1 利用自我报告的问卷评价在线学习投入

2.1.1 使用学校与课堂中学习投入的问卷

Chen 等学者的研究是在线学习投入中被引用次数最高的[1]，他们采用了学校情景中美国全国大学生投入调查问卷（National Survey of Student Engagement,NSSE）。该问卷的目的是调查学生在学习和学校活动中投入的时间和努力，希望评价学校如何部署资源、组织课程和其他学习机会、学生参与有关的活动的情况。该问卷的评价维度包括学术挑战、同伴学习、教师支持、校园环境。

自我报告的问卷应用于在线学习投入时，需要考虑研究目的和应用情景。研究学习投入的目的不同，采用的操作性定义不同，评价的维度就不相同。在学校教育情境中，学习投入在学校层次和课堂层次的评价指标是不同的。两个研究的问卷都包括行为投入、认知投入和情感投入三个维度，但是具体的评价指标不同。例如，在学校层次，师生互动和归属感是情感投入的评价指标[2]；但是在课堂层次，情感投入的评价是指兴趣和焦虑，师生互动和归属感则是影响因素[3]。学习投入的评价指标是其包含的内容，而影响因素是影响学习投入的外部因素。

在学校层次的学习投入问卷中，NSSE 在大学使用较为广泛。在课堂层次学习投入的问卷中，Kong 等学者的问卷是在中国小学五年级数学课堂情景下编制的[3]。Skinner 等学者和Schaufeli 等学者编制的问卷是研究者使用较多的评价工具。大多数研究者只使用Skinner 的问卷中行为投入和情感投入维度的题目[4]。Schaufeli 的问卷中学习投入的维度与其他研究明显不同[5]，这是由于研究者编制问卷的研究假设是将投入与倦怠进行对照，从活力、奉献、专注三个维度，评价学习和工作场景中的投入。

2.1.2 基于在线学习特征开发的在线学习投入的问卷

一些研究者基于在线学习特征开发了在线学习投入问卷。这一类的在线学习投入问卷有三个特点。

第一，采用学校教育情境中学习投入的维度与指标，使用在线学习的学习活动和情景编制问卷的题目。例如，Sun and Rueda 将在线学习投入分为行为投入、认知投入和情感投入三个维度[6]，行为投入维度的问卷题目是“我遵守在线课程的学习规则”，这个题目与学校层次学习投入问卷中Wang的问卷中的行为投入的题目类似，只是增加了“在线”这个学习情景。

第二，在现有维度的基础上，增加新的维度和指标。例如，Redmond 等人的研究中除了将在线学习投入分为行为投入、认知投入和情感投入之外[7]，还增加了社交投入与合作投入。在线学习投入并没有像学校教育中的学习投入问卷一样区分学校层次和课堂层次，但是在分析在线学习投入与影响因素之间的关系时，需要根据研究问题选择对应的问卷，才能分析影响因素与在线学习投入之间的关系。在Redmond 等人的研究中，社交投入与合作投入是在线学习投入包含的内容。然而对于使用Sun and Rueda 问卷的研究来说，社交投入与合作投入却是在线学习投入的影响因素。

第三，依据在线学习的特征，重新设计在线学习投入的评价维度与指标。例如，Dixson 从技能、情感、参加、绩效四个维度评价在线学习投入，反映学习者个人的行为，付出的努力，与教师、同伴和学习内容的互动，学习结果[8]。其中，技能和参加两个维度的评价指标与在线学习平台的学习活动密切相关，情感和绩效两个维度的指标与在线学习的体验和学习结果有关。

Martin and Bolliger 提出在线学习的三种互动类型：同伴互动、师生互动、学生与内容的互动，开发了在线学习投入的量表，每一个互动类型都是一个评价维度，共29 题[9]，用于评价成年学习者的在线学习投入。Sun，Rueda 和Dixson 编制的问卷在已有研究中使用较为广泛。Redmond 借鉴了NSSE 的评价指标，用于评价高等教育的在线学习投入。

2.2 获取计算机外设与传感器的信号评价在线学习投入

使用计算机外部设备或者穿戴式设备获取学习活动中学习投入的数据，能够较为客观地获取学生在学习过程中的数据，并且能够记录每一个活动的数据，更加精确地记录学生在学习具体内容时的学习投入。穿戴式设备主要是头戴式或手腕式的眼动仪、皮电设备等，电脑外部设备主要是电脑内置或外置的摄像头、鼠标。以下用五个具有代表性的研究介绍如何使用这些设备获取数据，以及评价在线学习投入。

Booth 等人利用摄像头记录的视频，每10 秒钟利用标签视频画面进行注释，对眼睛注视、人脸特征、面部编码、光流大小和方向的均值、面部的几何特征、头部姿势等进行编码，采用K 最邻近算法，将在线学习投入分为三种类型：高投入、投入、不投入[10]。

Zhang 等人在视频中每2 秒选取一张静态图片，通过头部姿势、面部表情、眼睛注视的位置，使用1 ～5 之间的数字设置标签的内容，1 表示最低程度的投入，5 表示最高程度的投入[12]。在获取摄像头数据的同时收集鼠标移动的数据。分析鼠标移动的数据，用于改进标签的准确性。采用自适应加权LGCP 与快速稀疏表示的面部表情识别方法分析标签数据。根据标签的分析结果将数据分成投入和不投入两类。

Miller 利用眼动仪获取学生阅读过程中停留的时间评价学习投入[13]。通过阅读时间，预测是否发生注意，用于评价学习投入的初始水平，将其看作行为投入；通过眼睛在一个单词或对象上停留的时间，预测认知努力的数量和质量，评价认知投入的程度；眼睛在一个单词或对象上停留的时间，是一种情感反应，停留的时间越长，表明越喜欢，用于评价情感投入。与在线学习投入问卷的评价有所不同的是，该评价工具的三个维度不是互斥的，而是一个维度建立在另一个维度的基础上。Miller的研究是在行为投入的指标基础上测量认知投入，在行为投入和认知投入的指标基础上测量情感投入。也就是说，先根据学生阅读内容的时间判断是否发生行为投入，如果发生了行为投入，将其作为认知投入的初始状态，在此基础上，通过眼睛在阅读文本时停留时间的长短判断认知投入的程度，然后根据在词语上停留的时间判断是否发生情感投入。

2.3 获取在线学习平台的数据评价学习投入

在线学习平台是在线学习发生的载体。在线学习平台的数据库包括日志数据，观看视频和学习资料，提交测验题、练习题与作业，讨论区发帖与回帖等数据。研究者将自动记录的数据进行识别与编码等处理，形成具有在线学习特点的评价维度与指标，用于评价学习者的在线学习投入。例如，Wong等人根据学习者在学习平台中的日志数据，通过响应时间、频率、持续时间三个维度评价在线学习投入[14]。该研究认为，在在线学习环境中，只有学习者登录学习平台以后，与学习内容、同伴和教师互动时，学习才会发生。因此，在线学习投入要评价学习者的主动性、学习频率、专注程度。具体的指标是通过学生的响应时间预测学习者的学习主动性；通过学习者访问学习资源的频率，推测学习频率；通过学习者的在线持续时间推测专注程度。

除了对学习平台中的日志数据进行量化分析外，还要对学习平台中讨论区的发帖情况进行分析。学习平台中的学习视频、测验等学习任务是教师提前设计好的，是相对稳定的内容。讨论区的内容是学习者、同伴与教师共同生成的内容，处于不断更新的状态。对学习平台论坛中帖子的内容进行编码。编码的维度是问题解决从开始到结束的过程，包括关注、探究、整合、解决。

有研究针对高校学习平台中的900 门课程，在学习平台中收集一年的数据，从查看次数、学习互动、学习任务三个维度评价在线学习投入。还有研究针对高校学习平台中的10 门课程，收集五年学习平台中日志的数据，主要包括自我反思、学习、互动、作业、形成性评价、成绩五个维度。也有研究使用课程平台中的学习活动、论坛互动、作业三个维度测量在线学习投入。这三个研究以及其他研究在使用课程数据作为学习投入的分析来源时，评价学习投入主要是从查看学习资源、论坛互动、作业这三个维度进行评价。

2.4 在线学习投入研究工具的比较

通过分析在线学习投入评价工具的维度和指标可以看出，获取在线学习投入的数据有三种方式。第一种，手动获取数据。无论是使用学校和课堂中的学习投入问卷，还是使用在线学习投入的问卷，都是研究者发放问卷，学生以自我报告的形式填写问卷，研究者再对问卷数据进行统计分析。自我报告的问卷可以测量行为投入、认知投入和情感投入三个维度，能够较为全面地收集到学生学习投入的数据，并且问卷易于实施，是大部分研究者采用的方式。但是学生报告的数据较为主观，易受社会期许效应的影响，这有可能干扰数据的准确性。

第二种是半自动获取数据，主要通过计算机外设和传感器获取。通过摄像头获取面部表情、手势和姿势；采用心理和神经传感器获取的数据包括心率、EEG、血压、皮肤电反应等。半自动获取的方式能够获取具体学习活动中学习投入的数据，不占用学习者的额外时间，获取的数据较为客观。但是通过摄像头获取数据时，有些学习者可能会有心理负担，穿戴式设备会在一定程度上对学习者造成干扰。在在线学习研究中大规模使用传感器也会受到研究设施和研究经费的限制。另外，半自动获取数据的方式收集了在线学习投入的个别维度，没有像问卷一样收集在线学习投入行为、认知和情感三个维度的数据。

第三种是自动获取在线学习平台中的数据。在线学习平台中的数据包括系统自动记录的登录日志；还包括学生与学习平台互动的数据，学习者参与学习活动时，由平台记录了这些数据。例如，学生在参与教师设计的练习题时，平台会记录学生完成练习题所需要的时间、做练习的次数、练习题的正确率。虽然是平台自动记录的，但是这些数据需要教师提前设计，学生参与之后才会被记录下来。自动获取在线学习平台中的数据比问卷获取学习者自我报告的数据更为客观，可以收集跟踪性数据，并且不干扰学习者，但是不能直接收集情感投入方面的数据，需要与其他方法联合使用。

综上所述，每一种获取数据的方式都不是完美的。自我报告的问卷可以收集学习投入各个维度的指标并且易于实施，但是学生报告的数据较为主观，易受社会期许效应的影响，数据的准确性容易受到干扰。通过鼠标、摄像头、传感器等设备采集的数据较为客观，并且能够获得学习者在具体学习活动中的数据，但是不能测量所有学习投入的指标，需要联合多种方式来判断一个维度的学习投入。系统日志中的数据获取较为方便，但是数据量大，需要较多的分析时间。

3 结束语

从国内外在线学习的发展来看，国外是从开放教育资源到远程教育，再到慕课推行；我国是从现代远程教育试点项目到网络精品课程建设，再到慕课的广泛应用。国内外不同发展阶段的在线学习投入的研究主题呈现出较为相似的趋势，最初都是较为关注在线学习者的辍学率，之后是关注学习资源和学习内容，再到学习满意度，现在则从主动学习和深层次学习的视角关注在线学习投入。在未来的研究中，将更加重视在线学习投入的科学性和可靠性，可以采用多种研究工具相结合的方式测量在线学习投入。将自我报告的问卷、计算机设备和传感器、在线学习平台自动获取的数据结合起来共同评价在线学习投入，既能全面地测量学习投入的维度，又可以相互验证数据的准确性。

对于在线学习投入的理论研究方面，可以从微观、中观和宏观角度进行不同层次的研究。在微观层次，从学习活动、学习内容、学习支持的设计提升在线学习投入。在中观层面，分析一门在线课程的设计、策略、评价如何影响在线学习投入。在宏观层面，对于全体课程、连续多年的跟踪，分析教学管理、教师、学生之间关系变化的趋势。

在教育教学的实践方面，在线学习投入既是评价学生的学习过程和学习结果的指标，也是评价教师的教学过程和教学质量的指标，同时也反映出教学管理人员如何部署资源、组织课程和其他学习机会。在未来的在线学习中，在线学习投入可以作为干预学习、改进教学和改善管理的评价指标，用于提高学习质量和教学质量。