基于多级评分规则空间模型的教学设计及应用*

叶海智 宋婷鸽 黄宏涛 苏明骜 李世珍



基于多级评分规则空间模型的教学设计及应用*

叶海智 宋婷鸽 黄宏涛 苏明骜 李世珍

（河南师范大学 教育学院，河南新乡 453000）

精确诊断学生的知识状态是开展个性化教学的基础和前提。然而，目前RSM的0-1评分方法无法对学生的知识掌握程度做出精确评价。为解决该问题，文章提出多级评分规则空间模型，在此基础上开展教学设计及应用，并从诊断结果准确率、学习效果、满意度调查三个方面进行分析评价。研究结果表明：基于多级评分规则空间模型的教学设计，能够准确诊断出学生的知识状态及掌握程度，为补救教学提供更为精确的依据，从而有效改善个性化教学效果，提高学生的学习效率。

多级评分；规则空间模型；教学设计；认知诊断；个性化教学

引言

个性化教学的核心问题是如何对学生的知识状态进行诊断。认知诊断（Cognitive Diagnosis，CD）是获取知识状态的有效方法之一。该方法可以对个体知识结构、加工技能或认知过程进行诊断评估[1]。诊断结果的准确程度直接影响个性化教学的效果。目前，认知诊断中常用的方法是规则空间模型（Rule Space Model，RSM）。RSM能够测量出学生的知识状态，有效消除学生答题时因猜测或失误而导致的诊断误差，保证其结果的准确度，进而学生可根据知识状态开展补救学习[2]。然而，基于0-1评分方法的RSM对学生知识状态的描述只有掌握和未掌握两种，不能很好地区分学生的知识状态及掌握程度。因此，在教学设计中，如何提高RSM诊断结果的精度、为补救学习提供更有针对性的依据，就变得尤为重要了。

一 相关研究

随着基于0-1评分方法的RSM在个性化教学中的应用，张敏强等[3]根据瑞文标准推理测验（Raven’s Standard Progressive Matrices，SPM）的难度层级特点，分析其所包含的属性及其连接关系，并运用RSM分析被试的认知状态；喻晓锋等[4]针对在认知诊断中确定属性层级结构会出现偏差或错误的现象，将贝叶斯网技术应用到认知诊断中以确定属性层次结构；刘慧等[5]将RSM应用在留学生现代汉语普通话基本颜色词的习得模式中，并提供“学习之路”供补救参考。这些认知诊断系统都能够有效地对学生的知识状态进行诊断，但这些基于0-1评分方法的诊断系统对知识状态掌握程度的描述不够精确，所以本研究将借鉴自适应测验的思想对诊断结果进行评级。

美国测量学家Lord首次提出计算机化自适应测验（Computerized Adaptive Testing，CAT），其核心思想是通过对试题进行难度标定后再对学生进行测试，测试时计算机在题库中自动选择难度等级与学生能力相匹配的试题进行推送[6]——该方法能够在得出学生能力等级的同时减少受试题目的数量。本研究受CAT中多级难度标定思想的启发，将RSM中的0-1评分方法扩展为多级评分，以实现对学生知识状态掌握程度的精确评价。

二 多级评分规则空间模型

1 相关概念

与传统测试相比，认知诊断测试不仅能提供具体分数，还可以区分具有相同分数的个体在知识状态上的差异。在规则空间模型中，满足知识依赖关系的合理知识结构称为理想属性模式，不存在失误或猜测的理想答题结果称为期望反应模式，实际答题结果称为实际反应模式[7]。

2 多级评分规则空间模型

多级评分规则空间模型是在RSM的基础上对知识状态进行多级评分的一种方法。该方法引入多级难度标定的思想对知识掌握程度进行分级，使用自适应答题策略向学生推送试题，最后通过多级评分策略实现对知识状态的诊断。此诊断结果较0-1评分方法更为精确，使补救学习更具针对性。多级评分规则空间模型包括多级难度标定、自适应答题流程、多级评分三个阶段。

（1）多级难度标定

对知识状态进行多级评分的前提是对知识掌握程度进行分级。基于试题难度系数[8]先将知识掌握程度由高到低分为难、中、易三个等级，接着由专家为知识点设计不同难度级别的题目。

（2）自适应答题流程

本研究在多级评分规则空间模型中使用自适应答题策略，既能保证对知识状态进行多级评分，又能减少学生在答题过程中的答题量。系统自适应地向学生推送试题，根据学生当前的答题情况判断其能力等级并推送与其能力等级相匹配的新试题。

（3）多级评分

学生使用诊断系统进行测试后，系统自动收集学生的测试结果并实施认知诊断。认知诊断过程共分为两个步骤：①使用RSM通过模式识别找出实际反应模式对应的期望反应模式，从而确定理想属性模式，最终得到学生的知识状态。知识状态分为掌握与未掌握两种，掌握的知识点内一定有答对的试题，未掌握的知识点内没有回答正确的试题。②在获取学生的知识状态之后，还要根据学生的答题情况，判断其掌握知识的能力等级，而能力等级与多级难度标定的三个级别相对应。系统根据学生在每个知识点上的答题情况，进一步识别该知识点上答对试题的最高难度级别，该级别表示学生的能力等级，即学生的知识状态掌握程度。

三 基于多级评分规则空间模型的教学设计

本研究基于多级评分规则空间模型开展教学设计，其教学流程分为课前、课中、课后三个阶段，分别描述设计测试项目、实施多级诊断和课堂补救、开展补救学习三个方面的教学活动，如图1所示。

1 课前

首先，教师在课前确定教学目标和教学内容，并通过认知诊断系统向学生发布本节课所需的学习资料。学生利用学习这些资料进行课前预习，明确本节课的重难点，提高听课的效率。其次，教师准备随堂测试题并标定难度等级，系统依据测试题及相关知识点生成规则空间，为多级诊断做准备。

2 课中

教师主要采用面授的形式开展课堂教学活动，学生可通过听讲、互动和练习完成初步学习。为了检验教学效果，教师组织开展基于多级评分规则空间模型的认知诊断测试，学生通过系统进行答题并按时提交测试结果。系统收集学生的随堂测试结果后实施多级诊断。诊断结束后，教师通过系统提供的群体知识状态评级报告了解学生知识掌握程度，并在课堂上对存在问题最多的知识点做进一步的分析和讲解，以尽可能地照顾更多的学生。学生通过系统提供的个体知识状态评级报告，先交流、讨论不同个体间的共性问题，再划分小组交流、讨论个性问题，从而有针对性地开展补救学习，解决本次学习过程中的遗留问题。

3 课后

课堂教学结束后，教师进行教学反思，优化教学过程。系统会根据每个学生的知识掌握程度推送个性化学习资源及作业，学生首先可根据学习资源对个体认知缺陷做进一步的补救学习，然后完成个性化作业，以加深对知识的理解。

图1 基于多级评分规则空间模型的教学设计

四 教学应用

1 应用对象

本研究选取H大学2015级教育技术学和数字媒体技术两个班级的本科生作为实验对象。教育技术学班级共有57人，数字媒体技术班级共有53人，两个班级在人员构成上相差不大。本研究将教育技术学班级设为实验组，将数字媒体技术班级设为对照组。

2 应用环境

本研究选取“计算机网络基础”作为教学内容，并由此开展认知诊断活动。由于开展诊断活动需要计算机的支持，所以整个教学活动在机房中进行。该活动通过基于认知诊断的可编程教学辅助系统（Cognigive Diagnosis based Programmable Teaching Support System，CDPTSS）实现对学生的测试和诊断，同时由该系统负责收集学生诊断后的反馈数据。

3 应用过程

教学应用过程共持续8周。第1周对两组学生进行前测，测试时间为45分钟，以确定学生对课程内容的初始掌握水平。

第2～7周分别对两组学生开展教学活动，每周2个学时，授课内容与授课教师完全相同。在每周的教学活动中，实验组的教学流程是：课前，教师确定教学内容，并配备已经标定过难度等级的测试题。课中，教师讲授新知，时长约25分钟；讲授结束后，学生应用CDPTSS进行随堂测试，时长为20分钟；接着，教师根据群体知识状态评级报告解决共性问题，时长为20分钟，学生则根据个体知识状态评级报告有针对性的解决个性问题，时长为25分钟。课后，学生根据个体诊断结果及系统推送的个性化资源和作业，进行补救学习。对照组与实验组的区别在于：对照组没有诊断测试环节，与之相对应的环节是随堂练习。练习结束后，由于没有诊断结果的支持，对照组无法像实验组一样有针对性地解决问题，教师只能依据自身教学经验讲解学生可能存在的共性问题。同样，在课后学生也无法开展个性化补救学习，只能完成由教师统一布置的作业。在每次教学活动结束后，教师选择一定的时间对两组学生进行后测，并统计学生每次的后测成绩，测试时间为45分钟。

第8周对实验组学生进行问卷调查，调查目的是了解学生对教学设计的满意度。最后，整理相关数据，统计分析使用SPSS 22.0。

4 应用结果及分析

结束了8周的教学应用，本研究通过对系统收集的数据、前后测成绩、问卷调查数据进行分析，来评价教学设计的有效性。评价主要从诊断结果准确率、学习效果及满意度三方面进行。

（1）诊断结果准确率

实验组学生在每次诊断结束后对知识状态评级结果准确度的评价数据如表1所示。该数据由CDPTSS系统收集并统计，其中Valid表示有效评价的数量，H、M、L分别代表诊断结果准确率位于较高、中等、较低的三个区间。在H区间平均准确率为91.36%，M区间平均准确率为6.73%，L区间平均准确率为1.91%。从实验对象的主观评价结果来看，约有91.36%的学生认为诊断结果准确率较高。由此可见，诊断结果准确率能够满足教学诊断的需要。

表1 实验组学生知识状态评级结果准确率

（2）学习效果

为了对教学设计的有效性进行评估，在教学活动进行前，本研究对两组学生进行了前测。前测结果中T检验的Sig值为0.718，远大于0.05，表明两组学生相关这门课的基础知识水平基本相同。

教学活动共六轮，所以本研究进行了6次后测，结果如表2所示。在后测成绩1中，实验组成绩没有显著高于对照组。从后测成绩2～6可看出，随着教学活动次数逐渐增加，后测成绩差异性显著提高，且实验组学生成绩明显优于对照组，其原因在于实验组在每次测试后可获取群体及个人的知识状态评级报告，从而为群体补救教学和个体补救学习提供依据，及时解决课堂学习中存在的问题，为后续学习打下基础。而对照组学生在每次练习完成后，由于解决问题的针对性不强，所以学习效率不高。两组学生的后测结果表明，基于多级评分规则空间模型的教学设计能够帮助学习者提高学习成绩。

表2 实验组、对照组的后测结果

（3）满意度调查

在教学应用结束后，本研究向实验组学生发放调查问卷并对调查结果进行了统计分析。调查问卷采用李克特五级量表，共发放问卷57份，有效问卷为54份。问卷从补救资源的精准度、问题解决率、知识状态掌握等级、学习兴趣、教学设计满意度等五个维度对学生满意度进行调查，这五个维度的均值分别是4.13、4.58、4.55、4.67、4.72，均接近五级量表最高等级，说明实验组学生对教学设计具有较高满意度。

五 总结与展望

为了精确了解学生的知识掌握程度，本研究提出了多级评分规则空间模型，在此基础上开展教学设计并将其应用于教学实践。然后，本研究使用SPSS 22.0统计分析软件对相关数据进行分析，结果表明：基于多级评分规则空间模型的教学设计能够为教师和学生提供更为精确的诊断结果，使补救教学和补救学习更具针对性，有效提高了学生的学习效率。而满意度调查结果显示：学生对该教学设计也表现出较高满意度。

基于多级评分规则空间模型的教学设计的可扩展性较强，能够为翻转课堂、混合教学等开展个性化教学提供支持。后续研究将集中在如何利用诊断结果向学生推荐更为精确的补救学习资源、提高知识状态诊断和补救教学等环节的自动化程度上。

[1]丁树良,汪文义,杨淑群.认知诊断测验蓝图的设计[J].心理科学,2011,(2):258-265.

[2]范士青,刘华山.小学三年级学生整数减法计算错误的认知分析[J].教育研究与实验,2015,(5):82-88.

[3]张敏强,简小珠,陈秋梅.规则空间模型在瑞文智力测验中的认知诊断分析[J].心理科学,2011,(2):266-271.

[4]喻晓锋,丁树良,秦春影,等.贝叶斯网在认知诊断属性层级结构确定中的应用[J].心理学报,2011,(3):338-346.

[5]刘慧,边玉芳.留学生汉语基本颜色词习得模式诊断研究——以规则空间模型为工具[J].心理学探新,2014,(1):29-35.

[6]姜强.自适应学习系统支持模型与实现机制研究[D].长春:东北师范大学,2012:34

[7]祝玉芳,丁树良.规则空间模型理论基础的改进[J].江西师范大学学报(自然科学版),2008,(1):69-72.

[8]宗阳,郑勤华,张玄,等.学习分析视角下MOOCs形成性测试难度系数研究[J].远程教育杂志,2016,(3):96-103.

Instructional Design and Application based on Multi-level Rating Rule Space Model

YE Hai-zhi SONG Ting-ge HUANG Hong-tao SU Ming-ao LI Shi-zhen

Precise diagnosis of students’ knowledge status is the basis and premise for carrying out personalized teaching. However, the current RSM 0-1 rating method does not allow an accurate assessment of the student's knowledge. In order to solve this problem, the article proposes a multi-level rating rule space model, and carries out the teaching design and application based on this model. Meanwhile, the analysis results are evaluated from three aspects: diagnostic accuracy, learning effect and satisfaction survey. The application results show that the teaching design based on the multi-level rating rule space model can accurately diagnose students' knowledge status and mastery, provide a more accurate basis for remedial teaching. Finally, this model expects to effectively improve the effect of personalized teaching and the efficiency of students’ learning.

multi-level rating; rule space model; teaching design; cognitive diagnosis; personalized teaching

G40-057

A

1009—8097（2018）08—0032—06

10.3969/j.issn.1009-8097.2018.08.005

本文为教育部人文社会科学研究项目“自组织神经网络支持下的教学认知诊断模型研究”（项目编号：16YJC880017）、河南省教师教育课程改革研究项目“河南省中小学教师信息技术应用能力发展测评指标体系构建及测评方法研究”(项目编号：2017-JSJYWT-004)的阶段性研究成果。

叶海智，教授，博士，研究方向为教育信息化，邮箱为yhz87@163.com。

2017年12月8日

编辑：小西