测评数据环境下基于知识空间理论的学习预警工具设计研究

牟智佳 陈炳全 李兴悦

摘   要：我国教育大数据和学习分析技术的深入发展及数字化教学环境的大力建设，使学校教育场景中以及时发现问题、提高教学效率为目标的学习预警研究得到重视。文章对基于知识空间理论诊断测试算法进行了阐释，验证了测评数据环境下快速诊断学生问题的可能性;之后以诊断测评数据为基础，按数据采集、数据分析、预警信息呈现、提供干预四个步骤设计针对学生及教师的双向预警模型;最后面向中学教学场景设计基于移动终端的学习预警工具，通过常态化的课堂诊断测试及时发现学习问题，实现师生双向预警。

关键词：测评数据;知识空间理论;学习预警;学习仪表盘

中图分类号：G40-058.1 文献标志码：A 文章编号：1673-8454（2019）15-0060-05

一、引言

教育测量与评价是教育领域的热点研究问题，目前学校教育场景中对学生知识掌握情况的评价大多仍采用纸笔考试的形式，但纸笔考试的形式存在着诸多问题，比如相同的试卷测试所有的学生，导致对部分学生来说过于简单，对部分学生又太难，无法满足不同水平学生的测评需求;测评结果集中在成就性测评，多以得分情况、成绩排名的形式为主，无法体现出受测者在知识掌握方面存在的根本问题，进而导致学习过程中出现的问题不能及时被发现。教育部于2018年印发《教育信息化2.0行动计划》，标志着我国教育信息化由1.0时代进入到2.0时代，其中教育大数据的提出及运用是教育信息化2.0的重要特征。本研究为中学课堂教育场景下的学生及教师设计了基于知识空间理论的学习预警工具，通过对学生常态化测试数据的收集与分析，及时发现学生学习方面及教师教学方面存在的问题，以实现对学生及教师的双向预警，为后期采取补救措施提供教学依据。

二、基于知识空间理论的诊断测试

计算机自适应测试中经常使用知识空间理论作为理论基础。知识空间理论（KST）由Falmagne和Dnignon提出，认为受测者在某领域的知识掌握情况可以用其能够解决的问题集合来表示，同时若受测者正确解决了相对高阶的问题，即认为其一定能解决对应的低阶问题。[1]知识空间理论包含知识结构、知识空间、知识状态和试题间前提关系这四个重要概念。

在传统的基于知识空间理论的自适应诊断测试研究中有两个主要弊端：其一，认为每道试题只包含一个知识点，但在实际情况下，一道试题的解答往往需要用到由多个知识点组成的知识点组合，同时可能有多种不同的解题途径，即一道试题的解决可以考察一组或多组知识点组合;其二，在进行诊断测试前必须先获得知识空间，同时需要通过复杂的计算来获取下一道需要测试的试题，系统开销较大。[2]由此，需要对知识空间理论指导下的自适应诊断算法重新进行构思，以含有a、b、c、d、e五个知识点的知识领域Q为例，为该知识领域设计5道试题，根据试题对应的知识点结构及试题间的前提关系得到最简试题关系树，如图1所示。

试题间的前提关系包含与关系、或关系和独立关系。其中，与关系可理解为若答对试题q5，则一定能答对q3和q4，即q3和q4中所有的知识点组合都被q5所包含;或关系可理解为若答对q3，则有可能会答对q1，即q1中的所有知识点组合都被q3中的某个知识点组合所包含，且q3中的某些知识点组合不包含q1中的任何知识点组合，这种或关系不能根据两道试题推测出有用的结论，但是在考虑多道试题间的或关系时，会出现有用的前提关系，如q3与q1、q2，若受测者答对了q3同时答错了q1，那么就可以推测受测者一定能够答对q2;q1和q2之间既不是与关系又不是或关系，则认为它们是独立关系。

为减少测试题目的数量同时减少系统消耗，本研究采用一种基于试题关系树的诊断算法。即从关系树的根节点开始，按照广度优先顺序选题，根据父节点试题的作答情况推测其子节点试题的作答情况，对能推测出作答结果的试题不再进行测试，并在测试前根据所有可能的答题情况及相应的诊断结果建立一颗诊断决策树[3]，诊断决策树如图2所示。其中，0代表作答错误，1代表作答正确，在进行诊断测试的过程中，受测者先作答诊断决策树的根节点试题，然后根据答题正误来选择相应的测试路径，即可得到受测者最后的知识状态。从图2中可以看出，对该领域5道题目的诊断测试共有17种不同的测试路径，且不同测试路径可诊断出相同的知识状态，在测试过程中，受测者最多需要做5道试题，最少仅需要做2道试题。利用这种自适应诊断算法对受测者进行诊断测试的系统工作流程如图3所示。

试题库中的试题全部由该知识领域的专家设计，系统需要根据题库中试题的知识点结构和试题间的关系构建试题关系树，并根据所有可能出现的答题情况及诊断结果构建诊断决策树，将其存储到试题库中。学生测试时，完成选择知识领域的操作后，系统会自动提取对应的诊断决策树信息，根据受测者的答题情况选择后续试题，测试完成后即可得到相应的诊断结果。

利用这种方法对受测者的知识掌握情况进行诊断测试有如下优点：首先，诊断测试的结果直接反映受测者的知识点掌握情况，通过基于知识空间理论的自适应诊断测试可以诊断出受测者已掌握及尚未掌握的知识点，方便后期采取有针对性的补救措施;其次，节省测试时间，根据受测者作答情况的不同，其需要作答的试题总量也不同，以图2的诊断决策树为例，平均测试路径的长度为4.4，节省下来的时间可以用来补习未掌握的知识点或学习新的知识，使学习过程更加高效;最后，该方式适用于课后的及时诊断，教师可根据班级整体的测试结果及时调整教学策略，开展后期的差异化教学。

三、基于诊断测评数据的学习预警模型设计

学习预警 （early-warning for learning） 指按照一定的标准综合评估学生的背景信息、学习行为、考试成绩等因素，按照評估结果向学生、教师等发出提示信号，并及时提供有效且针对性强的干预建议。[4]根据预警对象的不同，可以将学习预警分为三类：第一类是针对学生进行的预警，第二类是针对教室提供的预警，第三类是针对教师和学习者同时提供的双向预警，本文提出的学习预警模型属于第三类，以学生为中心、教师为辅助，以实现及时发现课堂教学中的问题，及时预警并采取措施。[5]

中学教育阶段会涉及多个学科知识内容的学习，基于知识空间理论的诊断测试能够高效、准确地诊断出学生在某知识领域的知识掌握情况，为学生的学习预警提供理论依据。本部分内容旨在构建一个以基于知识空间理论的诊断测试为基础，对学生的学习特征数据及测评数据进行采集、分析及应用，同时利用可视化分析技术为学生及教师提供反馈的学习预警模型，以实现对学生和教师的双向学习预警，为后期学习预警工具的设计和实现提供依据，学习预警模型如图4所示。主要环节包括：

（1）学习特征数据的采集。学生首次登入系统时，需要填写个性化调查问卷，以分析其学习特点，该问卷涉及学生学习习惯、兴趣爱好、学习困难、日常学习安排等多方面情况，多维度地对被试学生的学习特点进行调查。完成问卷后，该生的个性特征、学习注意力、学习偏好，以及学习情感等数据被录入系统。由于学生的学习特点变化周期较长，所以只需要采用阶段性调查的方式观察学生的变化。

（2）测评数据的采集。学生开始做基于知识空间理论的诊断测试，首先根据实际的课堂教学进度选择需要测试的科目及单元，系统根据选择的科目及单元从试题库中提取相应的诊断决策树信息，学生在测试过程中，决策树根据其答题结果选择下一道测试题目，完成测试后，该生最终的知识状态数据被录入系统。

（3）预警数据的分析。主要包括两个方面：一是学习者特征数据的分析，由于学习者特征数据涉及的内容较多，其特征既有积极的又有消极的，有些负面消极的学习特征若直接反馈给学生可能会对其造成不良的影响，所以需要系统对这些数据进行分析，决定哪些反馈给学生、哪些反馈给教师;二是测评数据的分析，由于单个学生的测评数据结果只包含其知识状态，对实际教学的帮助作用较小，所以需要对班级所有学生的测试数据进行整合分析。

（4）根據数据分析的结果推送预警信息。推送对象包括三个方面：一是推送给学生的个人学习预警报告，内容包括学习者特征、红绿灯预警（绿灯代表学生知识点掌握情况优秀，掌握率在80%以上;黄灯代表良好，掌握率在60%～80%之间;红灯代表不合格，掌握率在60%以下）、知识点掌握情况（包含已掌握的知识点和未掌握的知识点）、学习竞争力分析（知识点掌握情况在本班级的排名）。二是推送给教师的班级学习预警报告，内容包括学生学习特征预警（有消极学习特征的学生）、班级学生红绿灯预警详情、班级知识点掌握仪表盘（班级整体各个知识点的掌握率）。三是推送给系统的预警信息，系统根据学习特征及知识掌握情况的预警信息，结合自适应引擎，自动生成适用于学生的个性化学习资源和适用于教师的个性化教学资源。

（5）系统干预。系统将个性化学习资源推送给学生，帮助学生进行自主学习，同时将个性化教学资源推送给教师，为教师改进教学策略和开展差异化教学提供依据。

（6）人工干预。人工干预主要针对两个方面：一是学习特征方面体现出的问题，对于大部分学生都存在的整体性学习问题，教师可采取主题班会等形式对学生进行整体教育，对个别学生反映出的学习问题，教师需要对其单独进行适当的心理干预;二是知识掌握方面体现出的问题，对于大部分学生都未掌握的知识点，教师需要重新进行统一教授，对于掌握情况分布不均的知识点，教师可采取差异化教学的方式对学生进行教授，对于只存在于个别同学身上的问题，教师可采用线上答疑的方式单独对学生进行教学，节省课堂教学的时间。

（7）线上论坛答疑。在课堂教学结束后，学生可以针对未解决的学习问题在线上对教师进行提问，教师对学生提出的问题进行在线答疑，若在此过程中发现班级学生仍存在普遍性的学习问题，可以在下次课堂教学时进行统一讲授。

四、学习预警工具的设计与实现

本研究采用Axure RP 8进行高保真原型开发，基于提出的学习预警模型，为中学阶段学校教育场景下的学生及教师设计了一款适用于移动设备的学习预警工具。学习预警工具分为学生端和教师端两个部分，下面对其主要功能设计分别进行介绍。

1.面向学生的预警功能设计

学习预警工具在学生端的功能设计上主要划分为学习分析、诊断测试、预警报告、答疑论坛及个人设置功能。学生端功能结构如图5所示。

（1）学习分析

学习分析模块主要为学生提供学习者分析量表测试功能。学生分别需要在首次登录工具时及教师发布学习分析测试时进行测试，其他时间该功能不对学生开放。学习特征数据分析的结果以不伤害学生自尊心、适当给以鼓励为原则，在经过系统处理后呈现给学生。

（2）诊断测试

在课堂教学任务完成后，由教师发布待测章节的诊断测试，这时学生即可进入诊断测试模块选择章节开始测试。为帮助学生理解测试目的，同时保证基于知识空间理论的诊断测试的准确性，在测试之前需要阅读测试须知，主要内容包括：①系统会根据你的答题情况自动选择待测试题，以最短路径诊断你的知识掌握情况，帮你摆脱题海战术！②答题后生成的预警报告中不仅有你的知识状况分析，还有为你专属推荐的个性化学习资源，帮你有针对性地查漏补缺。③题目无法重复作答，为使诊断结果更加准确，如果遇到不会的试题，可以选择跳过哦！（当学生选择跳过试题，系统默认学生做错该试题，跳过试题功能的目的是防止学生随意做答，若蒙对不会的试题，会影响诊断结果的准确性。）学生确认阅读后即可开始测试，完成测试后系统生成预警报告，学生可以直接查看，也可以进入到预警报告模块查看。

（3）预警报告

进入预警报告模块后首先选择要查看的章节（只开放已完成测试的章节），完成选择后即可查看该章节的预警报告，如图6所示。学生个人预警报告中除学习预警模型中提到过的学习特征分析、知识点红绿灯预警、知识点掌握情况、学习竞争力分析以外，还包含学生测试过程中的错题解析以及系统干预所推荐的个性化学习资源。

（4）答疑论坛

答疑论坛为学生提供对教师的在线答疑功能，主要帮助学生提出课堂教学中未能及时解决的问题。学生可提出问题或查看已解决的师生问答详情;可以查看由其他同学提出的教师还未作答的问题，如果与自己的存在的问题相同或相似，可以在该条问题上选择同问或追问。

（5）设置

主要用来修改学生个人的基本信息，如姓名、年龄、学校、年级、班级、联系方式等。

2.面向教师的预警功能设计

学习预警工具在教师端的功能设计上主要划分为发布测试、预警报告、答疑论坛及设置功能。教师端功能结构如图7所示。

（1）发布测试

发布测试模块主要为教师提供开启学生端测试权限的功能，包括学习分析测试及章节诊断测试。学习分析测试需要教师根据班级同学的实际情况开启权限，一般采取阶段性测试即可。章节诊断测试则是配合教师的课堂教学进度，每完成一个章节的教学任务即可发布测试，及时检验教学效果。

（2）预警报告

教师端的预警报告包括班级整体报告和学生个人预警报告。班级整体预警报告在所有学生均完成诊断测试后生成，班级整体预警报告中除预警模型中提到的班级学习特征预警、学生红绿灯预警详情、班级知识点掌握仪表盘之外，还包含系统干预所推荐的个性化教学资源，如圖8所示。

学生个人预警报告同学生端的个人报告，方便教师了解某个学生的详细情况。

（3）答疑论坛

答疑论坛为教师提供查看和回答学生问题的功能。教师可以利用课堂教学外的时间进行在线答疑，节省宝贵的课堂时间，同时对学生在线上反映的共性问题，教师可以将其带到课堂教学场景中进行统一解答。

（4）设置

教师端的设置主要有两方面功能。其一是班级管理，用来创建班级以及对“我的学生”进行增、删、改、查、分配权限、修改密码等操作;其二是个人设置，主要用来修改教师个人的基本信息，如姓名、学校、年级、班级、任教科目、联系方式等。

五、结束语

学习预警是目前教育领域中的一个热点研究问题，作为学习分析过程中的重要环节，为学习干预提供了科学依据，现阶段对学习预警及学业预警的研究主要集中在高等教育阶段，对中学教育阶段的学生和教师进行学习预警的研究有较高的实际价值。本研究对基于知识空间理论的诊断测试进行分析论述，围绕测评数据环境下基于知识空间理论的诊断测试设计了服务于中学学生及教师的双向预警模型，同时设计了一款适用于中学教育场景的学习预警工具。后期，我们会将设计的学习预警工具带到中学的教学里进行实践应用，进一步探索中学阶段学习预警应用的可能性、提高预警的精准性，并对用户体验进行持续的迭代优化。

参考文献：

[1]Falmagne J C， Koppen M， Villano M，et al.Introduction to knowledge spaces：How to build，test，and search them[J].Psychological Review，1990，97（2）：201-224.

[2]孙贝.基于知识空间理论的学习诊断预警模型研究与实现[D].长沙：湖南大学，2009.

[3]谢伟红，孙贝，李仁发.基于试题关系树的自适应诊断测试模型[J].计算机工程与设计，2010（16）：3670-3674.

[4]肖巍，倪传斌，李锐.国外基于数据挖掘的学习预警研究：回顾与展望[J].中国远程教育，2018（2）：70-78.

[5]牟智佳，李雨婷，严大虎.混合学习环境下基于学习行为数据的学习预警系统设计与实现[J].远程教育杂志，2018（3）：55-63.

（编辑：王天鹏）