基于神经网络的认知诊断模型应用研究——以慕课课程信息技术教学应用为例

王双

浙江师范大学 浙江金华 321004

0 引言

在人工智能时代，大规模培养学生的个性化创新能力是智能教育的关键目标，掌握每个学生的知识状态是智能教育的必要条件。因此，对学生进行全面的教学评价至关重要。认知诊断在教育领域的应用旨在挖掘学生的知识状态，简要示意图如图1所示。学生对一系列练习进行作答，每个练习包含相应的知识点，学生答对练习则表明已经掌握该练习中所包含的知识点。最终学生知识点的掌握情况反映到雷达图中，雷达图的每个顶点代表一个知识点，学生知识点掌握情况用深色线条表示，越靠近外侧表示掌握程度越高，即越熟练。

相关文献表明，有许多致力于认知诊断的研究，诸如项目反应理论（Item Response Theory，IRT）[1]，多维项目反应理论（Multidimensional IRT，MIRT）[2]，确定性输入、噪声与门模型（Deterministic Inputs, Noisy And gate model，DINA）[3]和矩阵分解（Matrix Factorization，MF）[4]都是基于人工设计的函数，难以模拟学生与练习之间复杂的交互作用，而且对于实现多种特定类型的函数，往往需要耗费大量的人力与时间设计相应的函数，限制认知诊断的效率和精度提升。因此，寻找一种能够自动模拟学生与练习之间复杂交互的方法迫在眉睫。近年来，大数据和人工智能飞速发展，机器学习、数据挖掘等技术逐渐应用于教育领域，相关研究者运用机器学习技术颠覆传统的认知诊断方法。Wang 等[5]提出的神经认知诊断模型（Neural Cognitive Diagnosis，Neural CD）通过运用神经网络模拟学生和练习之间复杂的交互关系，能够极大提升认知诊断的效率与精度。由于不同知识点之间存在依赖关系和先决关系，为了挖掘知识点之间存在的关系，Gao 等[6]提出关系图驱动的认知诊断模型（Relation map-driven CDMs）。此外，学生的学习成绩会受到家庭条件、就读学校等多因素的影响，Zhou 等[7]提出基于情境感知的认知诊断模型（Context-aware CDMs）。

为了诊断学生的知识状态，获取学生的学习情况，获得学生学习结果的个性化反馈，以便更好地改进教学。在教学过程中收集学生的真实答题数据，请教专家标注Q矩阵，将收集的数据编码为JSON格式，基于神经认知诊断模型进行实验，将实验结果存到本地服务器，开发一个小型的学生知识状态展示系统，将实验结果进行可视化呈现。本文的主要贡献可以归纳为：

1）考虑练习和知识点之间的复杂交互关系，运用神经网络模拟练习和知识点之间的复杂交互；

2）在教学过程中收集真实数据集，请教相关专家标注Q矩阵，基于神经认知诊断模型获取学生对具体知识点的掌握情况，为教育者提供直观的个体认知缺陷信息，为后期针对不同个体实施智慧教学方法提供有力支撑，更好地服务在线教育；

3）针对实验结果，在本地搭建服务器，开发一个小型展示系统对学生认知结果进行可视化呈现。

1 相关工作介绍

1.1 认知诊断相关理论

从认知理论和心理测验理论两个方面描述认知诊断理论。

1.1.1 认知理论

传统测验理论在教学评价方面存在着种种缺陷，Nichols[8]最早提出将认知科学与认知心理学思想结合为认知诊断评估，其中认知理论十分重要。认知理论是指在分析学生认知加工过程中所涉及的各类心理学理论，测量学中通常把对个体认知过程、加工技能或知识结构的诊断评估称为认知诊断评估或认知诊断[9]。认知诊断是运用认知模型对个体认知加工过程中所涉及的认知属性进行诊断，在诊断过程中Q矩阵理论十分重要。Q矩阵理论是“to determining unobservable knowledge states and representing them by observable item response patterns（calledQ-matrix theory）”[9]，其中的核心概念主要包括Q矩阵、邻接矩阵、可达矩阵、理想掌握模式、缩减Q矩阵和理想反应模式。Q矩阵又称“0-1 矩阵”。对于学生的答题记录，练习属性用行向量表示，学生的知识状态用列向量表示，它是连接练习属性和学生知识状态属性的桥梁。

1.1.2 心理测试理论

心理测验理论包括标准测验理论和现代测验理论。标准测验理论是指宏观能力特质水平测量及评估宏观心理特质，是心理学意义不明晰的“统计结构”。在标准测验理论的基础上衍生出能力水平研究范式，并进一步衍生出经典测量理论（Classical Test Theory，CTT）、概化理论（Generalizability Theory，GT）和项目反应理论。经典测量理论是最先发展、目前为止应用较为广泛的一种测量理论。由于经典测量理论所给出的测量结果存在不足，概化理论体系涉及测量情景关系、线性模型和方差分量估计值、概化系数、依存性指标的计算等问题[10]，结合实验设计与分析，针对经典测量理论测量结果存在的误差，对经典测量理论的信度进行深化和推广。项目反应理论具体分析测验对不同能力被试的测量信度与误差，更加细致地考察测验对每个被试者测量的准确性。现代测量理论是指宏观能力与微观认知加工或认知结构并重，强调用心理学理论指导测验编制。在现代测验理论的基础上衍生出认知水平研究范式，并进一步衍生出认知诊断理论。

1.2 传统认知诊断模型

认知诊断最初来源于教育心理学领域，涉及的模型主要包括项目反应理论[1]、多维项目反应理论[12]和确定性输入、噪声与门模型[3]。项目反应理论以经典测验理论为基础，采用最常用的三参数模型，如公式（1）所示。公式中的参数a表示项目区分度，b代表项目难度，c表示猜测，d表示经验，θ表示能力值，P(θ)表示答题正确率，在测试过程中具有参数不变性。多维项目反应理论则基于项目反应理论，将学生的潜在特征展至多维。

确定性输入、噪声与门模型如公式（2）所示，该模型只涉及失误和猜测两个参数，公式中的参数s表示失误，g表示猜测。该模型的理念是如果学生已经掌握测验考察的所有属性，那么他就会答对此测验题，如果所考察的属性有一个未掌握，那么他就答不上此测试题。因此，针对学生猜对答案和失误答错的情况，该模型不能处理。

1.3 基于神经网络的认知诊断模型

神经网络是机器学习的一类算法，由神经元（感知器）组成，神经元被分为多层，层与层之间的神经元有连接，同一层的神经元无连接。神经网络包括输入层、隐藏层和输出层，输入层负责输入数据，隐藏层负责输入层和输出层的数据连接，输出层负责输出数据。

鉴于传统认知诊断方法采用的是人工设计的线性交互函数，具有一维性，不足以捕捉学生和练习之间复杂的非线性关系。Wang 等[5]提出神经认知诊断模型，该模型基于项目反应理论运用神经网络学习高阶线性函数，基于人工函数利用神经网络技术构建认知诊断模型，模拟人脑答题操作，将练习难度、区分度、学生做题的熟练度等抽象信息具体化，借助神经网络隐藏层的“黑箱功能”，高效模拟人脑答题过程中的操作，有效地处理学生与练习之间复杂的非线性交互作用。模型通过分析学生的答题记录，提取学生学习过程中的各类特征，诊断学生对知识点的掌握情况，可以有效地为教师和学生提供个性化教学和学习，极大地提高诊断效率，有效诊断学生的知识状态。

2 问题描述

假设在一个教育场景中有N个学生，M个练习和K个知识概念，则S={s1,s2,...,sN}表示N个学生的集合，E={e1,e2,...,eM}表示M个练习的集合，K={k1,k2,...,kK}表示K个知识概念的集合。每个学生s会分别选择一些练习题进行练习，将学生答题记录用一个三元组集合R={s,e,rse}表示，其中s∈S，e∈E，rse表示学生s在练习q上的得分。此外，由专家标记的Q={Qij}M×K矩阵，如果练习ei与知识概念kj相关，Qij=1，否则Qij=0。

给定学生答题记录R和Q矩阵，本文的目标是通过神经认知诊断模型来诊断学生对特定知识概念的掌握程度，并将诊断结果在展示系统上进行可视化呈现，为后期教学改进提供有力依据。

3 模型框架

神经认知诊断模型结构主要包括三部分：嵌入阶段、信息聚合与更新阶段和认知诊断结果预测阶段。首先，将学生的one-hot 编码和练习的onehot 编码一起嵌入；然后，结合IRT 将每个向量融入公式进行可解释性表示，作为神经网络的输入；最后，经过三层全连接层的训练，通过预测学生的得分进而分析学生的知识状态。该模型的模型图如图2 所示。

图2 神经认知诊断模型图

3.1 嵌入阶段

在嵌入阶段，针对学生因素，将学生的onehot 编码xs嵌入，与经过训练得到的A矩阵相乘得到学生的熟练度向量Fs，Fs中的每个条目都是连续的（[0，1]）向量，Fs=[0.8,0.2]表示学生对第一个知识概念的掌握程度较高，而对第二个知识概念的掌握程度较低[5]。

对于练习因素来说，将练习的one-hot 编码xe嵌入，分别与经过训练得到的B矩阵、D矩阵相乘和专家标注的Q矩阵相乘得到知识点难度向量Fdiff、练习的区分度向量Fdisc和知识点相关度向量Qe。

数学表达式如公式（3）（4）（5）（6）所示：

其中，A、B、D都是可训练矩阵，sigmoid是激活函数。

3.2 信息聚合与更新阶段

在信息聚合与更新阶段，基于项目反应理论，本模型受到多维项目反应理论的启发，得到神经网络的输入x。其数学表达式如公式（7）所示：

运用三层全连接层，全连接层公式如公式（8）（9）（10）所示：

Φ表示激活函数，模型中采用sigmoid激活函数，W1、W2、W3表示权重，b1、b2、b3表示偏置，为了保证学生对知识点掌握程度越高，则答题正确率越高，模型引入单调性假设，采用的方法是将W1、W2、W3的每个元素限制为正值。

3.3 预测阶段

输出y和真实数据的标签r的损失函数，它的数学表达式如公式（11）所示：

经过训练，Fs的值就是得到的诊断结果，表示学生的知识熟练程度。

4 数据描述与实验

4.1 数据描述

实验数据集包括学生答题数据和知识概念，其中学生答题数据来自浙江省高等学校在线开放课程共享平台上的信息技术教学应用课程，知识概念来自相关专家针对具体数据集的知识点标注，具体包括教育技术概述、教育信息化、教学设计、信息化教学环境和教学媒体五个知识点。

因为需要学生和练习作为构建模型的输入，所以在教学过程中跟进大三年级四个班级的学生在一学期内的答题情况，收集学生的答题数据，请教相关专家标注练习与概念之间的相关性——Q矩阵，将答题数据与Q矩阵一一对应，记录每个学生对每个知识点的回答情况，最后将记录好的数据转为JSON 格式，运用神经认知诊断模型进行实验。

该数据集包含176 个学生、79 个练习和5 个知识点，共有13 308 条答题记录。数据集统计如表1 所示。

表1 数据集统计

4.2 评价指标

在本次实验中，从回归和分类两个角度对模型进行评估。从回归角度来说，用均方根误差（RMSE）作为评价该认知诊断模型的指标，用于量化预测得分与实际得分之间的差距，其中预测得分是0 ～1之间的连续变量；从分类角度来说，用预测得分的准确率（Accuracy）和ROC 曲线下面积（AUC）作为评价该认知诊断模型的指标，学生回答正确用1表示，回答不正确用0 表示。

4.3 应用实验

将数据集划分为训练集和测试集，其中80%用于训练，20%用于测试，采用5 折交叉验证，batch_size 设为32，epoch 设为5，实验预测结果如表2所示。

表2 实验预测结果

选择第五个epoch 的实验结果，展示前20 个学生对知识点的掌握情况，如表3 所示。

表3 学生对知识点的掌握情况

4.4 结果分析

经过实验，获取176 个学生对五个知识点的掌握情况。由表2 可知，第一个学生没有掌握第一个知识点和第五个知识点，对第四个知识点的掌握情况最好，对第二、三个知识点的掌握情况一般；第二个学生没有掌握第二个知识点和第四个知识点，对第一、三、五个知识点刚刚掌握，其他学生以此类推。由此可知，在以人为本理念的指导下采用神经认知诊断模型，以学生的学习答题记录为基础，关注学生的认知加工过程和潜在特质状态，利用多层感知机（MLP）深度、全面且充分地挖掘教育大数据中所蕴含的价值，对学生的学习情况进行诊断与分析，为教师的个性化教学和学生个性化学习指引方向，充分利用教育资源，为教师智慧导学提供依据，对后期教学改进提供有力支撑，引导学生智慧的生成，促进智慧教学的发生。

5 知识点掌握程度的可视化

5.1 展示界面的设计

展示界面采用自适应布局，将雷达图置入一个div 标签，进行居中显示。整个过程中涉及的技术有HTML5、CSS3、JavaScript、Vue3.0、ECharts和koa2，以下是对这些技术的详细描述。

HTML5 增加语义标签、用于绘画的canvas 元素、本地离线存储等功能，是响应式设计的基础，可以应用于多种浏览器中。CSS3 是对CSS 的扩展，可以调整页面效果，包含选择器、动画、Media Query 等多种模块，其中Media Query 在响应式布局中能够为不同分辨率的设备提供相适应的CSS3样式。JavaScript 用于为页面添加交互行为，具有跨平台特性。Vue3.0 采用MVVM 模型，即Model-View-View Model，具有数据响应式功能，采用组件化，可以将复杂的业务进行拆分，该技术中的虚拟DOM 可以极大提高网页性能。ECharts 是基于JavaScript 的数据可视化图表库，内部图表资源丰富，采用雷达图。

koa2 是基于node.js 的框架，该框架支持async/await 函数，采用洋葱模型中间件，并且采用next 函数进行中间件执行顺序的控制。

运用HTML5、CSS3、JavaScript、Vue3.0 和ECharts 技术搭建前端展示模块，运用koa2 搭建后端模块，将学生的知识掌握情况数据转为JSON 格式存在本地服务器，对176 个学生的认知状态进行可视化呈现。

5.2 结果展示

学生对知识点的掌握情况采用雷达图的形式进行呈现，并且可以获取相应的诊断报告。其中第一个学生对知识点的掌握情况如图3 所示，认知诊断报告如图4 所示。

图3 诊断报告的可视化呈现

图4 认知诊断报告

6 结束语

在教学过程中收集学生的答题数据，请教相关专家后对收集的数据进行练习和知识点的标注——Q矩阵，根据Q矩阵将学生答题数据中的练习与知识点一一对应，然后将处理好的数据转为JSON 编码格式，运用神经认知诊断模型诊断学生的认知情况，最后开发一个小型的可视化呈现系统，将学生诊断结果进行可视化呈现。首先，收集现代教育技术与应用课程的13 308 个答题记录；其次，通过请教相关专家标注Q矩阵，将数据集转为JSON 编码格式，投入Neural CD 模型中，学生one-hot 编码和练习one-hot 编码一起作为神经网络的输入，对学生的知识状态进行诊断；最后，运用HTML、JavaScript、vue3.0 和Echarts 技术搭建前端展示模块，将学生的知识掌握情况数据转为JSON 格式存在本地服务器，对176 个学生的知识掌握情况进行可视化呈现。根据获取的诊断结果，可以直观了解学生的认知情况，为后期的教学改进提供有力支撑。