基于BP神经网络的认知诊断方法在个性化教学中的应用

黄宏涛 李世珍 李世玉 宋婷鸽 苏明骜

【摘要】 规则空间模型是知识状态诊断的有效方法之一，通常需要大量样本进行参数估计以获取准确的诊断结果，适用于周期长、知识结构复杂、题量大、学生多的大型考试。然而，在个性化教学中往往需要在较短周期内开展小样本诊断测验，以及时修补学生个体的知识漏洞，从而避免问题积攒。为此，文章提出基于BP神经网络的认知诊断方法，以降低规则空间模型对样本数量的要求。本文介绍了该方法的相关概念和原理，描述了其小样本、实时性、智能化、个性化的特征，围绕准备认知诊断、开展认知诊断、完成补救学习三个方面设计了个性化教学流程。最后，以《Java语言程序设计》课程为例，将该方法应用于教学实践。结果表明：该方法在小样本诊断中能准确得出学生知识状态，为个性化补救教学提供依據，从而有效改善学生学习效果;学生对该方法在个性化教学中应用的满意度较高。

【关键词】  BP神经网络;知识状态;认知诊断;个性化学习;规则空间;小样本;实时性;智能化

【中图分类号】  G40-057      【文献标识码】  A      【文章编号】 1009-458x（2019）1-0086-06

一、引言

个性化学习尊重学生个体差异，促进学生个性发展，是未来教育发展的方向。实现个性化学习的基础是对学生知识状态进行诊断（刘妍， 等， 2017）。目前知识状态诊断的有效方法之一是规则空间模型（Rule Space Model， RSM）。RSM可精确诊断出学生的知识结构，从而为补救教学提供依据。但RSM也存在局限，需要大量样本进行参数估计以获取准确的诊断结果，通常应用于周期长、知识结构复杂、题量大、学生多的大型诊断测试（蔡艳， 等， 2013）。与之相悖的是，在实际教学中，学生需要在知识习得后进行小样本认知诊断测试，以便及时发现知识漏洞（牟智佳， 等， 2017），开展个性化补救教学，从而避免问题积攒。为实现小样本认知诊断在教学中的应用，降低RSM对样本数量的要求是解决问题的关键（陈秋梅， 等， 2010）。

随着人工神经网络（以下简称“神经网络”）的发展与应用，许多学者尝试利用神经网络解决RSM不适用于小样本认知诊断的问题。Gierl等（2008）阐明了神经网络实现模式识别的原理，描述了它在小样本认知诊断中的应用过程。汪玲玲等（2015）将基于BP神经网络的认知诊断方法集成于计算机自适应系统，并开展了模拟测试，分析得知该方法的判准率较为理想。钱锦昕和余嘉元（2010）提出基于神经网络的PSP方法，该方法可估计群体认知缺陷，但不能精确诊断每位学生的知识结构。为使小样本认知诊断更契合于实际教学，本研究将RSM与BP神经网络相结合，提出了基于BP神经网络的认知诊断方法（Back Propagation Neural Network based Cognitive Diagnosis， 简称BPNNCD）。文章介绍了BPNNCD的相关概念、原理和特征，设计了在个性化教学中的应用流程，并以《Java语言程序设计》课程为例开展了教学实践。

二、基于BP神经网络的认知诊断方法

（一）相关概念

认知诊断通过可观察的答题情况推测出不可观察的知识结构（辛涛， 等， 2015），便于学生及时发现自身知识缺陷，从而有针对性地开展补救学习。在认知诊断中，知识点称为认知属性，测试题目称为测试项目;满足知识依赖关系的合理知识结构称为理想属性模式;不存在失误或猜测的理想答题结果称为期望反应模式，理想属性模式与期望反应模式一一对应;实际答题结果称为实际反应模式，包括理想的期望反应模式和存在误差的反应模式（Gierl， Leighton， & Hunka， 2000）。认知诊断的目的是由可能存在误差的实际反应模式判别出其对应的理想属性模式。

神经网络可以解决由实际反应模式到理想属性模式的非线性映射问题（Lamb， Cavagnetto， & Akmal， 2016）。只需给定训练样本，以实际反应模式为输入，理想属性模式为输出进行学习训练，就可得出样本数据蕴含的规律，即期望反应模式到理想属性模式的映射关系。该神经网络将可能存在误差的实际反应模式识别为对应的理想属性模式，便实现了对学生知识状态的诊断。BP神经网络是目前应用最广泛的神经网络，它通过误差反传机制，可最大限度地减少输出结果的误差，故本研究采用BP神经网络实现认知诊断。

（二）原理

RSM包括认知属性与测试项目特征提取阶段和模式识别阶段，其中模式识别阶段需要大量样本进行参数估计，而BP神经网络的非线性映射不受样本数量限制，在样本少的情况下也可实现认知诊断。因此，本研究将RSM改进优化，采用BP神经网络的非线性映射功能进行模式识别，最终形成了基于BP神经网络的认知诊断方法。BPNNCD的实现原理如下：①确定诊断考察的认知属性、测试项目及两者的对应关系;②对认知属性和测试项目进行特征提取，生成理想属性模式与期望反应模式;③以期望反应模式为输入，对应的理想属性模式为输出，训练BP神经网络;④将认知诊断的测试结果转化为实际反应模式，并输入BP神经网络进行模式识别，得出对应的理想属性模式。根据BP神经网络输出的理想属性模式生成认知诊断报告，得到学生的知识结构，便可为个性化补救学习提供指导。

（三）特征

1. 小样本

在BPNNCD中，BP神经网络不需要参数估计，在学生、知识点和测试题数量较少的情况下也可进行认知诊断，降低了认知诊断应用在教学中的门槛，有助于个性化教学的发展。BPNNCD帮助学生在习得少量知识后及时查漏补缺，减轻了他们的学习负担。

2. 实时性

BPNNCD的实时性体现在两个方面：①确定知识点及测试题后，BPNNCD实时训练BP神经网络，训练好的神经网络可根据需要随时开展课堂测试，及时诊断学生知识结构;②测试完成后，BPNNCD实时给出诊断结果，为师生分析学情和开展补救教学提供依据，从而帮助学生及时解决问题。

3. 智能化

智能化是指BP神经网络的非线性映射能力、泛化能力、容错能力、自组织自学习能力等（Crowe， LaPierre， & Kebritchi， 2017）。非线性映射能力不受样本数量限制，可分析输入输出数据的映射关系;泛化能力指神经网络对未训练过的数据也能做出正确映射;容错能力指训练样本中有个别错误或误差时，不影响样本整体的规律;自组织自学习能力指神经网络只需输入训练样本和规定误差精度即可得出由实际反应模式到理想属性模式的正确映射。智能化增强了BPNNCD的思维与推导能力，降低了诊断结果的误差（Bernard， Chang， Popescu， & Graf， 2017），提高了使用者操作的便捷性。

4. 个性化

BPNNCD的个性化体现在两个方面：①个性化的学。BPNNCD实现了对每位学生知识状态的诊断，并生成个性化的认知诊断报告（Roberts & Gierl， 2010）。个体认知诊断报告帮助学生发现知识缺陷，提供“量体裁衣”式的补救学习指导。②个性化的教（魏雪峰， 等， 2015）。群体认知诊断报告帮助教师分析全班总体学情，避免教师以过去经验和课堂反应估计学生知识缺陷，以便开展科学、有针对性的补救教学。

（四）应用流程

为使BPNNCD在实际教学中取得良好的应用效果，本研究将BPNNCD集成到基于认知诊断的可编程教学辅助系统（Cognigive Diagnosis based Programmable Teaching Support System， CDPTSS），并设计了基于CDPTSS的个性化教学流程（如图1所示）。该教学流程分为课前、课中、课后三个阶段，分别围绕准备认知诊断、开展认知诊断和完成补救学习三个方面描述了教师和学生在CDPTSS支持下的个性化教学活动。

1. 课前

准备认知诊断：①教师确定教学内容，上传教学资源。教学资源包括预习资源和知识点对应的补救学习资源等。②学生完成预习任务。③教师向CDPTSS输入知识点及依赖关系和测试题目;CDPTSS生成理想属性模式与期望反应模式对，并训练BP神经网络。

2. 课中

开展认知诊断：①教师讲解新知或复习总结。②学生习得知识后在CDPTSS进行随堂测试。③CDPTSS收集测试数据，将答题情况转化为实际反应模式，经BP神经网络模式识别后，得到相应的理想属性模式，生成个体与群体诊断报告。④测试结束后，学生获得个体诊断报告，分析自身学情;教师获得群体诊断报告，展开补救教学，在课堂上解决多数学生的共性问题。

3. 课后

完成补救学习：CDPTSS根据个体知识状态向每位学生智能推送其所需的个性化补救学习资源。学生依据资源自主解决课堂遗留问题，完成补救学习（Safadi， 2017）。

三、应用方案设计

（一）应用对象和工具

为检验BPNNCD在教學实践中的应用效果，本研究以河南师范大学2016级106名本科生为研究对象，实施了为期8周的教学应用。其中教育技术学专业56人为实验组，数字媒体技术专业50人为对照组，平均年龄18岁，男女比例约为1∶5。

本研究选取《Java语言程序设计》第二章“类与对象的基本概念”为教学内容，由同一教师为两组学生分别讲授6次课，讲授进度与内容相同。每次课堂学习后，实验组使用CDPTSS进行认知诊断测试，完成个性化补救学习;对照组进行传统纸质测试，并自行开展补救学习。6次课程结束后，实验组提交关于BPNNCD教学应用满意度的调查问卷。实验组与对照组均使用纸质试卷开展前测与后测，教师及时统计成绩以观察两组测试成绩差异。最后，使用SPSS 22.0对学生成绩、CDPTSS记录的相关数据及调查问卷进行统计分析。

（二）应用过程

教学实践8周安排。第1周前测，测试学生的初始水平。第2-7周教学及后测，每周一次教学活动，每次补救学习结束后、下次教学活动开始前进行后测。第8周发放与回收调查问卷，调查实验组对BPNNCD教学应用的满意度，整理分析相关数据和调查问卷结果。实验组与对照组仅有诊断测试与补救学习方式不同，无关因子均保持一致。

（三）教学案例

下面以《Java语言程序设计》第二章第2节为例，介绍实验组与对照组的教学案例。

1. 实验组

课前，教师确定教学内容，准备教学资源。本次诊断测试涉及5个知识点（A1类的声明、A2方法成员、A3包、A4类的访问控制、A5类成员的访问控制），对应7个测试题目。教师向CDPTSS输入知识点、测试题目及两者之间的对应关系（高磊， 等， 2014），然后CDPTSS自动训练BP神经网络。

课堂两小节共90分钟。前45分钟教师讲授知识点，学生学习知识并做相应练习。之后10分钟，教师使用CDPTSS开展随堂测试，学生完成测试并提交。CDPTSS根据学生的答题情况进行BP神经网络模式识别，生成个体与群体的认知诊断报告（Kim， 2015）。最后35分钟，教师依据群体诊断报告实施有针对性的补救教学，解决学生的共性问题。本次测试中全班学生的知识状态分布情况。横轴表示学生的“知识状态”，由5个二进制数组成，分别表示知识点A1、A2、A3、A4、A5的掌握情况，“0”表示未掌握，“1”表示已掌握（刘慧， 等， 2014）。纵轴为处于该知识状态的学生人数。例如：处于知识状态11000的学生有3人，这3人已掌握知识点A1和A2，未掌握知识点A3、A4和A5。教师依据可知实验组由全未掌握到全部掌握5个知识点的人数分布，便于教师了解本节课的学情。CDPTSS收集全班学生的知识状态，并统计每位学生各个知识点是否掌握，最终得出全班已掌握知识点A1、A2、A3、A4和A5的人数分别是多少，为知识点已掌握人数分布图。其中5名学生已掌握A5，掌握人数最少;33名学生已掌握A4;33名学生已掌握A2;51名学生已掌握A3;56名学生已掌握A1，即全部掌握（范士青， 等， 2015）。教师依据，可在剩余的35分钟讲解知识点A2、A3、A4和A5，其中A5为重点讲解内容，A2和A4次之，A3根据课堂时间决定是否讲解。

课后，学生在CDPTSS辅助下自主补救课上教师尚未解决的问题。教师只需将知识点对应的补救学习资源上传到CDPTSS，系统就可以依据个体知识状态向每位学生精准推送其所需的资源。这不仅减轻了教师的教学负担，也满足了学生的个性化需求。

2. 对照组

对照组与实验组的不同在于，对照组未使用CDPTSS进行认知诊断，因此，教师与学生没有认知诊断结果的辅助，无法开展更为个性化的补救教学。

对照组与实验组在教学过程中的差异。在课前环节，对照组只需准备与实验组相同的教学内容和测试题目以备课堂使用，不必训练BP神经网络。在课中环节，对照组在课程学习结束后进行纸质随堂测试，因此，对照组学生无法获得关于个体知识结构的诊断报告。课堂最后35分钟，教师实施补救教学。在没有认知诊断报告辅助的情况下，教师主要以学生举手的方式粗略统计对照组的正答率，凭自身经验估计学生群体知识结构，并据此选择相关知识点组织课堂补救教学，以解决学生的共性问题。在课后环节，由于没有认知诊断结果支持，对照组无法获取个性化的学习资源，只能完成教师统一布置的课后作业以巩固课堂知识，实现补救学习。

四、结果分析

（一）诊断结果判准率

为统计CDPTSS诊断结果的判准率，实验组在课后个性化补救学习的同时，需要结合自身实际知识水平，对诊断结果做出评价，并提交CDPTSS。CDPTSS记录6次诊断结果的判准率，统计每次诊断结果判准率分布在高（90%-100%）、中（80%- 90%）、低（0-80%）段的百分比（如表1所示），最终得到6次诊断结果的平均判准率：高判准率为91.69%，中等判准率为6.28%，低判准率为2.03%。由此可见，BPNNCD判准率较高，能够满足课堂认知诊断的需要。

（二）学习成绩

本文对两组学生的前测成绩进行t检验，比较实验组与对照组在开展BPNNCD教学应用前的初始知识水平。分析可得，实验组（M=74.25， SD=3.943）与对照组（M=75.87， SD=4.812）的前测成绩差异不显著（t=3.681， p=0.92）。说明在开展BPNNCD教学应用前，两组学生的初始知识水平相当，可以避免由于学生初始知识水平不同而造成的结果误差。

实验组初次使用CDPTSS，可能存在不熟悉操作流程、不适应教学方法等现象，从而对教学应用结果造成影响，故本研究开展6次基于认知诊断的教学活动。每次活动结束后开展后测，记录两组学生的测试成绩。文章对6次后测成绩进行配对样本t检验，比较实验组与对照组每次测试的得分差异（如表2所示）。在后测1中，实验组（M=75.39， SD=4.249）与对照组（M=75.16， SD=3.235）的成绩差异不显著（t=3.015， p=0.68）。原因可能有二：一是实验组不熟悉CDPTSS，不适应新的教学方法;二是实验组前测没有使用CDPTSS进行个性化补救学习。经过后测1，学生逐渐适应CDPTSS，并在其辅助下完成补救学习。后测2中p<0.05，后测3中p<0.01，后测4-6中p<0.001，实验组与对照组后测成绩存在显著差异，且差异性增强。对照组缺少认知诊断及相关个性化教学辅助的支持，故补救学习时目标模糊，查阅资料耗时较长，这是导致其问题解决率和学习效率较低的主要原因。CDPTSS给出的诊断结果能够帮助实验组准确把握自身知识结构，诊断结果支持下的个性化资源推荐能够辅助实验组弥补知识缺陷，从而开展更具针对性的补救学习，最终提高实验组的问题解决率和学习效率。由以上分析可得，BPNNCD及教学应用对实验组的个性化学习具有促进作用，学生成绩有所改善。

（三）调查问卷

本研究调查了实验组对BPNNCD教学应用的满意度（王法玉， 等， 2018），共发放56份问卷，回收率为100%，有效率为96.43%。问卷采用李克特五级量表（从1分“强烈不同意”到5分“强烈同意”），针对“诊断方法实用性”“诊断报告实用性”“诊断系统易用性”和“课堂应用满意度”四个方面设计了25个项目，分析结果如表3所示。

由表3的Cronbachs α 信度系数可知，调查结果的可信度较高。从项目均值来看，“诊断方法实用性”和“诊断报告实用性”的均值接近量表的最高等级（卜彩丽， 等， 2017），说明学生对其满意度较高;“诊断系统易用性”和“课堂应用满意度”的均值大于4，说明学生认为诊断系统和课堂应用也较为理想。从调查问卷可以看出，学生对基于BPNNCD的个性化教学具有浓厚兴趣，并有意愿在课堂中继续使用该诊断方法。经以上分析可得，学生对BPNNCD在个性化教学中的应用比较满意。

五、总结

文章提出BPNNCD，尝试解决RSM不适用于小样本认知诊断的问题。本研究将BPNNCD应用于教学实践，得出相关结论：BPNNCD在小样本认知诊断中能准确诊断学生知识状态，为个性化补救教学提供依据，从而有效改善學生学习效果，学生对BPNNCD教学应用的满意度较高。但本研究在教学实践过程中仍存在局限性，主要表现在以下几个方面：一是训练好的BP神经网络诊断不灵活，一旦增加或减少其特定的认知属性或测试项目，则需要重新训练新的神经网络用于诊断测试;二是补救教学资源单一，不能满足学生的多样化需求;三是师生的课堂活动不能很好地契合CDPTSS，教学流程有待改进。后续研究将不断优化BPNNCD，克服其在个性化教学中的局限性。

[参考文献]

卜彩丽，张文兰，张宝辉，等. 2017. 面向教师培训的翻转课堂探究——以“PPT课件制作”课程为例[J]. 现代教育技术（01）：81-87.

蔡艳，涂冬波，丁树良. 2013. 五大认知诊断模型的诊断正确率比较及其影响因素：基于分布形态、属性数及样本容量的比较[J]. 心理学报（11）：1295-1304.

陈秋梅，张敏强. 2010. 认知诊断模型发展及其应用方法述评[J]. 心理科学进展（03）：522-529.

范士青，刘华山. 2015. 小学三年级学生整数减法计算错误的认知分析[J]. 教育研究与实验（05）：82-88.

高磊，衷克定. 2014. 认知属性标定框架的实证研究——以小学数学为例[J]. 中国电化教育（03）：19-23.

韩力群. 2006. 人工神经网络教程[M]. 第2版. 北京：北京邮电大学出版社.

刘慧，边玉芳. 2014. 留学生汉语基本颜色词习得模式诊断研究——以规则空间模型为工具[J]. 心理学探新（01）：29-35.

刘妍，戴静，石小恋，等. 2107. 认知诊断理论在计算机自适应测试中的应用与启示[J]. 中国远程教育（04）：42-49，71.

牟智佳，武法提. 2017. MOOC学习结果预测指标探索与学习群体特征分析[J]. 现代远程教育研究（03）：58-66，93.

钱锦昕，余嘉元. 2010. 认知诊断中基于神经网络的PSP方法[J]. 心理科学（04）：915-917.

汪玲玲，陈平，辛涛，等. 2015. 基于BP神经网络的认知诊断计算机化自适应测验实现[J]. 北京师范大学学报（自然科学版）（02）：206-211.

王法玉，姜妍. 2018. 基于自组织神经网络和模糊聚类的校园无线网用户学习兴趣度行为分析[J]. 计算机应用研究（01）：1-2.

魏雪峰，崔光佐. 2015. “一对一”认知诊断与干预的实证研究——以小学数学“众数”问题为例[J]. 现代教育技术（01）：32-38.

辛涛，乐美玲，郭艳芳，等. 2015. 学业质量标准的建立途径：基于认知诊断的学习进阶方法[J]. 教育学报（05）：72-79.

Bernard， J.， Chang， T.， Popescu， E.， & Graf， S. （2017）. Learning style Identifier： Improving the precision of learning style identification through computational intelligence algorithms. Expert Systems with Applications， 75： 94-108.

Crowe， D.， LaPierre， M.， & Kebritchi， M. （2017）. Knowledge Based Artificial Augmentation Intelligence Technology： Next Step in Academic Instructional Tools for Distance Learning. TechTrends， 61（5）：494-506.

Gierl， M. J.， Leighton， J.， & Hunka， S. （2000）. Exploring the Logic of Tatsuokas Rule-Space Model for Test Development and Analysis. An NCME Instructional Module. Educational Measurement Issues & Practice， 19（3）： 34-44.

Gierl， M. J.， Zheng， Y.， & Cui， Y. （2008）. Using the Attribute Hierarchy Method to Identify and Interpret Cognitive Skills that Produce Group Differences. Journal of Educational Measurement， 45（1）： 65-89.

Kim， A. Y. （2015）. Exploring Ways to Provide Diagnostic Feedback with an ESL Placement Test： Cognitive Diagnostic Assessment of L2 Reading Ability. Language Testing， 32（2）： 227-258.

Lamb， R.， Cavagnetto， A.， & Akmal， T. （2016）. Examination of the Nonlinear Dynamic Systems Associated with Science Student Cognition While Engaging in Science Information Processing. International Journal of Science and Mathematics Education， 14（1）： 187-205.

Roberts， M. R.， & Gierl， M. J. （2010）. Developing Score Reports for Cognitive Diagnostic Assessments. Educational Measurement Issues & Practice， 29（3）： 25-38.

Safadi， R. （2017）. Knowledge-Integration Processes and Learning Outcomes Associated with a Self-Diagnosis Activity： the Case of 5th-Graders Studying Simple Fractions. International Journal of Science and Mathematics Education， （pp.1-20）.

收稿日期：2017-11-09

定稿日期：2018-01-25

作者簡介：黄宏涛，博士，副教授，硕士生导师;李世珍，硕士研究生;宋婷鸽，硕士研究生;苏明骜，硕士研究生。河南师范大学教育学院（453007）。

李世玉，硕士研究生，绵阳职业技术学院（621000）。

责任编辑 韩世梅