可解释人工智能在教育中的应用模式研究 *

卢 宇，章 志，王德亮，陈鹏鹤，余胜泉

(1.北京师范大学 未来教育高精尖创新中心，北京 100875；2.北京师范大学 教育学部 教育技术学院，北京 100875)

一、引言

2017年国务院出台《新一代人工智能发展规划》，明确提出利用人工智能等新一代信息技术构建智能学习与交互式学习的新型教育体系[1]。人工智能技术开始逐步被应用到各类智能教学系统与平台中，也逐步渗透到线上与线下多种典型教育场景中。由于教育场景与教学主体本身的多样性与复杂性，人工智能教育应用通常需要基于大规模、长周期与多模态的教育数据，开展深入分析并构建精准模型。然而，传统的统计分析与建模方法，已很难处理和胜任这类任务。随着人工智能技术的快速演进和发展，以深度神经网络为代表的人工智能模型在计算机视觉、自然语言处理等领域均展现出明显优于传统模型的性能。这类内部网络结构复杂的人工智能模型通常在高维数据空间上具备良好的信息表征与隐含特征提取能力，因此也逐渐成为人们研发各类智能教育系统与应用的首选。

然而，在性能提升的同时，这类人工智能模型由于其内部结构与决策过程的复杂性与不透明性，通常难以提供清晰且易理解的说明和依据。换言之，模型的使用者甚至构建者只能看到模型输出的结果，但难以理解模型运行的基本逻辑。这种“黑箱”性质使得模型的输出结果易受到质疑，并可能带来不可控的安全隐患与非故意偏见，进而引起用户对模型所在系统或平台决策和服务的不信任。例如在医疗领域，缺乏可解释性的自动辅助诊断人工智能模型及系统，难以得到患者和医生的足够信任，导致了其目前仍没有在医院大规模推广和应用。在教育领域，复杂人工智能模型决策过程的不透明性，可能出现不易被察觉的连续错误输出，导致其不合理的决策结果(例如错误推荐学习路径或教学资源)，从而误导学习者并严重影响其学习效果和效率。另外，即使是决策正确的复杂人工智能模型，由于其不透明的运行过程，容易直接引发普通学习者、教师甚至智能教学系统和平台设计者的不信任感，从而极大影响其一线实践和应用。这也是人工智能模型，尤其是基于深度神经网络的各类智能教学系统与平台，尚没有被大规模应用的重要原因之一。

近年来，学术界和工业界也开始重点关注如何提升复杂人工智能模型及其所属系统的透明性，建立用户与模型之间的信任关系，以促进实际部署。这一领域也被称为可解释人工智能(Explainable Artificial Intelligence)。具体而言，可解释人工智能聚焦于人工智能模型的可解释性。可解释性代表模型向人类解释或呈现可理解的术语的能力，是人类与模型决策之间的接口。它既能够被人们理解，也可以准确的协助代理决策模型[2]。目前，可解释人工智能尚没有完全统一的概念和标准，但所提出的技术方法已经在医学、生物等领域取得良好的应用表现[3]。

与其它领域相比，教育领域也亟需可解释人工智能技术。当前各类智能教育系统和平台，逐步开始采用基于深度学习等技术的学习者模型、推荐模型以及自动批阅模型等，这些复杂人工模型通常直接决定了系统和平台的智能性与服务质量。同时，复杂人工智能模型也开始被应用于大规模教育数据的分析与挖掘中。由于这些模型的设计主要源于自然语言处理、商品推荐等领域，并未过多考虑教育领域应用的实际特点[4]，因此可能做出不符合教育规律和常识的错误决策，并且这些结果不易被察觉和发现(例如错误估计学习者的学习状态或持续推荐不必要的学习资源)。另外，教育领域的普通教师和学习者通常不具备技术背景和知识，当复杂人工智能模型做出负面但正确的决策时(例如判断学习者知识点掌握薄弱或教师教学存在问题)，也容易引起这些使用者的直接质疑和不信任，且难以向其进行解释和直接说明[5]。

二、可解释人工智能的基本方法

在可解释人工智能领域，研究者们将人工智能模型的可解释性分为事前(Ante-hoc)可解释性与事后(Post-hoc)可解释性。具备事前可解释性的模型通常结构直观清晰，用户能够通过检查模型的组件(如线性回归模型中的特征权重、决策树中的路径、注意力权重矩阵)理解其决策过程、工作机制，这类模型因此也被称为白盒模型。具备事后可解释性的模型通常结构复杂，模型的输入与输出是非线性关联的，其决策过程、工作机制无法被用户直接理解。例如以循环神经网络为代表的深度神经网络模型等，这类模型因此也被称为黑盒模型。

可解释人工智能技术是能够对人工智能模型进行解释的技术方法，也被称为解释方法。针对事后可解释性，现有的解释方法可分为全局(Global)解释方法与局部(Local)解释方法两类。全局解释方法旨在理解所建立的复杂机器学习模型的整体决策逻辑，包括该模型通过大量数据训练后学到的规则、模型开展决策的方式等。知识提取、激活最大化等都是较为典型的全局解释方法[6]。然而在实际应用中，由于模型结构或算法的复杂性以及垂直领域应用场景的多元性，对大多数复杂的机器学习模型提供全局解释通常比较困难。与全局解释方法不同，局部解释方法专注于阐释机器学习模型对每一个输入样本的决策依据[7]。具体而言，该类方法以模型当前的输入数据为基础和导向，分析和量化输入数据各维度特征对最终决策结果的贡献，从而实现对模型的解释。常见的局部解释方法包括局部近似、反向传播和特征反演等[8]。与全局解释方法相比，局部解释方法的研究和实际应用更加深入和广泛。例如，在局部解释方法中，反向传播解释方法可以充分利用需要被解释的模型结构特性，实现较为简单且计算效率较高。反向传播解释方法的基本思想是利用深度神经网络的反向传播机制，将机器学习模型的决策信号从输出层逐层通过神经元反向传播回模型的输入层，并进而推导当前输入各维度特征的重要性。另外，依据适用范围的不同，解释方法也可以被分为模型相关(Model-specific)解释方法和模型无关(Model-agnostic)解释方法[9]。模型相关解释方法需要利用模型结构中的信息(如神经网络中的局部梯度信息)才能对模型进行解释，只能用于某类特定的人工智能模型。模型无关解释方法不依赖于模型结构中的信息，并能够对任何人工智能模型进行解释。

在教育领域，通常需要依据复杂模型或系统的特点，采取合适的可解释人工智能技术对其进行解释。当模型具备事前可解释性时，通常可以采用自解释[10]等方式。否则，需要选取和采用事后解释方法，对模型或系统进行分析和阐释。

三、可解释人工智能的典型教育应用案例

我们基于本团队的近期研究成果[11][12]，首先介绍将可解释人工智能方法应用于教育领域的典型案例。该应用案例将事后解释方法直接应用于学习者模型中。

(一)学习者模型

学习者模型通常利用机器学习等技术对学生在知识掌握、专注度等不同维度进行量化建模。在知识掌握维度的学习者模型，被称为知识追踪模型。知识追踪模型用来对学习者在知识点上的知识掌握概率进行估计并对学习者在下一道题目上的作答表现进行预测(作答正确或者错误)。知识追踪模型也是当前智能导学系统(Intelligent Tutoring System, ITS)等个性化智能教育服务平台中的核心模块。基于深度神经网络的知识追踪模型(以下简称“深度知识追踪模型”)，由于其优越的性能，已经逐步开始替代传统模型。当前深度知识追踪模型通常采用包括循环神经网络(Recurrent Neural Network, RNN)、记忆增强网络(Memory Augmented Neural Network,MANN)等不同类型的复杂网络结构[13]。

如图1所示，深度知识追踪模型的建立过程与决策过程都如同黑箱，很难进行清晰解释或提供直观决策依据。模型构建和其决策过程的不透明性，容易导致普通学习者、教师甚至智能教学系统的设计者对模型产生不信任感，从而减低模型的使用效率，进而影响在实际智能导学系统和相关平台上的大规模应用。我们对44位学习者的调研结果显示，基于深度知识追踪模型所构建的智能导学系统功能，是其最难理解且信任度最低的模块。由于该类模型的不可解释性，超过80%的学习者表示他们对模型给出的预测结果持有怀疑不确定的态度，95%的学习者表示希望在给出预测结果的同时有相应的解释说明。

图1 深度知识追踪模型的“黑箱化”及其面临的解释性问题

(二)解释方法与解释结果

深度知识追踪模型通常不具备完善的事前可解释性，因此我们可以采用典型的事后解释技术进行模型解释。我们采取较为简单分层相关传播方法(Layer-Wise Relevance Propagation，LRP)，对基于循环神经网络的深度知识追踪模型(Deep Knowledge Tracing，DKT)进行解释。如图2所示，LRP方法的核心思想是利用反向传播机制，将输出层的预测信息通过中间层的神经元及其连接逐层传回模输入层，得到每一个输入对预测结果的贡献程度。图中xt为学习者在t时刻的作答及题目相关信息，输出yt为深度知识追踪模型在t时刻对学习者题目作答表现的预测，其余变量为循环神经网络内部结构参数。

图2 LRP方法解释深度知识追踪模型的反向传播路径

如表1所示，假设某学习者已经完成了七道题目的练习，将其作答结果作为输入提交给已构建好的深度知识追踪模型。不同题目可能考察了相同或不同的知识点，例如第一道作答题目考察的知识点为“加法”，而第七道题目考察的知识点为“减法”。将以上七道题目的作答信息作为输入，则模型可以预测下一道题目是否能够作答正确。通过运行LRP解释算法，我们可以得到最终的解释结果，即每道学习者已经作答的题目与预测结果之间的关联值。表1中最后一列给出了如果下一道题目考察“减法”知识点，每一道题目作答与预测结果的关联值，关联数值的大小和符号从不同角度反映了所对应题目作答对预测结果的贡献程度。例如，最后一道题目(第七题)考察“减法”知识点且答对，其与预测的关联值0.58为最大且为正数，第三道题考察“矩形”知识点且答错，则其关联值-0.05为最小且为负数。通常情况下，关联值越大，代表所对应的输入作答项对模型预测结果的影响越大。因此，这些计算得到的关联值可以直接帮助解释，深度知识追踪模型为何对下一道题目做出正确或错误的预测。

表1 解释结果示例

(三)模型检验与辅助理解

基于上述LRP方法所得到的解释结果，即每一项输入与预测结果的关联值，可以对深度知识追踪模型进行检验，检查其是否存在与现有教育规律相悖的现象。实验选取基于循环神经网络的深度知识追踪模型，并运行在ASSISTment2009公开数据集上[14]，利用LRP方法进行解释，最终可以得到每组中所有学习者练习序列的关联值。然后，我们将所有的输入作答序列分为两组：第一组与所预测的题目考察的知识点一致，即“同知识点”组；第二组与所预测的题目考察的知识点不同，即“异知识点”组。我们分别计算两组中每道已作答题目关联值的绝对值的平均值，并对两组计算得到的平均值进行t检验。

表2给出了两组t检验的结果，其中按照模型所预测的结果分成了预测答对和预测答错两类，即模型预测学习者在下一道题目上会答对或答错。从表2中可以看到，无论预测结果如何，“同知识点”组的关联值均显著高于“异知识点”组。换言之，深度知识追踪模型在预测过程中，更加重视利用相同知识点题目上的作答信息，即与所预测题目考察同一知识点的该学习者的已作答信息。这种“同知识点效应”符合教育领域对学生知识掌握情况进行判断的基本规律，也部分检验了所构建的深度知识追踪模型。

表2 “同知识点”与“异知识点”组间的t检验结果

同时，我们将所有的输入作答序列依据作答顺序分为两组：第一组是学习者完成的前一半的题目作答，即“远作答”组；第二组是后一半的题目作答，即“近作答”组。我们同样计算两组中每道已作答题目关联值的绝对值的平均值，并对两组计算得到的平均值进行t检验。表3给出了两组t检验的结果，其中按照模型所预测的结果同样分成了预测答对和预测答错两类。无论预测结果如何，“近作答”组的关联值均显著高于“远作答”组。换言之，深度知识追踪模型在预测过程中，更加重视利用学习者近期的作答信息，即与预测时间距离较近该学习者的已作答信息。这种“近因效应”也符合教育领域对学生知识掌握情况进行判断的基本规律，也从另一个角度部分检验了所构建的深度知识追踪模型。

表3 “远作答”与“近作答”组间的t检验结果

在对模型进行验证的基础上，可以进一步利用上述解释结果，辅助用户理解模型本身及相关系统。由于深度知识追踪模型通常应用于智能导学系统中，系统会依据模型的预测结果，向用户呈现学习者的知识点掌握状态地图与学习报告，进而为学习者推荐个性化学习路径与学习资源。因此，可以在智能导学系统中提供适当的解释说明，解释功能需要符合自适应性、准确性、完整性以及可理解性[15]等标准，从而帮助用户理解模型及其所支持的功能模块。针对上述解释实验所发现的“同知识点效应”与“近因效应”，可以用通俗易懂的方式向学习者或教师进行呈现，辅助其理解。如下页图3所示，可以在知识掌握状态地图或学习报告中设置特定区域，针对不同掌握状态的知识点，向学习者进行不同的解释说明。例如，针对被预测为优势和薄弱知识点的部分，可以分别进行简单解释说明：“系统主要基于你在近期内的历史作答表现，评估其为“优势”知识点”与“系统重点使用了你最近一段时间在相同或相似知识点上的作答表现，得到了你当前的‘薄弱’知识点”。尤其对于相对负面的预测结果，可以着重设计其解释说明功能，尽量用轻松活泼的可视化形式，包括文本、图表、逻辑表达式[16]等。

图3 基于解释结果的解释说明功能示例

四、可解释人工智能在教育中的三种应用模式

基于可解释人工智能技术，可以将复杂人工智能模型的各个输入项对模型预测结果的影响进行量化，从而实现对模型和所在系统的解释。在此基础上，对解释结果进行进一步分析，可以验证所构建模型是否存在与教育规律相悖的问题。如果存在，可以及时检查训练数据和训练方法，必要时调整模型本身。如果模型得到验证，可以利用分析结果对模型进行功能阐述与说明，从而提高用户对模型和系统的理解与信任程度。充分合理的解释说明，还可以进一步支持教师进行教学策略的选择和相关教育管理者的决策。

因此，我们梳理并形成了可解释人工智能在教育中的三种典型应用模式。如下页图4所示，现有可解释人工智能的技术方法(包括全局解释方法与局部解释方法)可以直接用于典型教育场景中(涵盖了线上与线下教育)的各类人工智能模型(包括黑盒模型或白盒模型)。解释模型所产生的结果，可以服务于不同的受益对象，从而形成了不同的教育应用模式。总体而言，应用模式可以分为微观、中观和宏观三个层面：(1)在微观层面，解释结果能够针对模型本身进行分析，解释模型的重要逻辑，从而帮助对模型本身进行检验和改进；(2)在中观层面，解释结果能够对已验证模型所在系统的规则进行阐述和说明，从而辅助相关用户(包括教师和学习者)的理解，提高其对模型与相应系统的信任程度；(3)在宏观层面，解释结果可以对教育问题进行发现，从而帮助和支持教育管理者进行有效决策。

图4 可解释人工智能在教育中的三种应用模式

(一)微观层面：检验教育模型

随着深度学习等人工智能技术的快速演进，模型需要在大规模数据集上通过特定算法训练完成，且训练过程受训练集、测试集、模型超参数等诸多因素的影响。由于模型内部结构和训练过程的日趋复杂，其学习到错误逻辑和无效信息的可能性也逐步增加。然而，模型的评估通常只采用精确率(Precision)、召回率(Recall)、AUC值(ROC曲线下方面积)等简单直观的指标，难以对模型进行充分检验并建立有效的问责机制。如果模型的内在逻辑存在谬误，不但会直接影响使用效果，甚至会产生偏见和伦理道德等问题。例如，Schramowski[17]等利用局部解释方法对用于勘测植物是否遭到生物侵蚀的图像分类器进行检验，发现模型利用了与生物侵蚀无关的混杂因素进行分类。Yang[18]等利用局部解释方法对用于文本分类的模型进行了检验，他们发现与预测任务无关的特征主导了模型的判断，而非与任务直接相关的重要特征。在教育领域，可解释人工智能应用于模型检验总体较少，早期的学习者模型研究中[19]，利用模型的自解释性曾发现主导模型预测学生表现的因素是失误和猜对参数而非学生的认知状态。显然，需要重视利用可解释人工智能技术，检验模型中是否存在与教育规律相悖的逻辑，若存在则需要更换数据集、调整模型超参数甚至是修改模型本身。

(二)中观层面：辅助理解系统

以复杂人工智能模型作为核心的功能模块，开始逐步被应用到各类智能教学系统与平台中。这些核心功能模块提升和优化了系统与平台的性能，也直接导致其运行的规则与原理日趋模糊与复杂。如果使用者难以理解其背后的基本规则与原理，容易丧失对系统或平台的信赖，从而导致其在一线教学中难以大规模落地和应用。在人机交互领域，能否理解和信任较为复杂的系统，取决于使用者的心理模型与系统实际运行规则相符的程度。简单而言，用户心理模型指用户关于系统操作规则、组成的心理表示[20]。当用户的心理模型与系统实际运行规则相符时，用户能够近似预见系统输出结果从而有助于理解和信任系统。当可解释人工智能技术能够发现系统运行所依赖的重要规则和信息，且通过合理方式呈现给使用者，就可以帮助用户逐步修正其心理模型，辅助其理解系统并建立信任感。在辅助理解教育领域的系统和平台方面，可解释人工智能发挥着越来越重要的作用。例如，Conati等[21]尝试利用可解释人工智能技术，对所设计的系统进行个性化自解释。学习者可以通过解释功能获取到他们感兴趣的提示和信息。研究发现，这种解释功能增加了学生对系统的理解与信任，并且学生信任系统后会更容易接受系统给出的建议，采取对学习有利的行为，从而提升学习成绩。

(三)宏观层面：支持教育决策

随着教育信息化程度的不断提高以及大数据技术的日趋成熟，长周期多模态的教育数据不断累积，其所蕴含的信息也更加具有分析和挖掘价值。传统机器学习和统计模型难以处理这类数据，因此深度学习和其它人工智能领域的模型开始被用于数据分析和建模。由于这些模型大都较为复杂，无法像传统模型(例如线性回归)直接呈现出变量间关系，可解释人工智能技术也开始用于分析数据，形成教育推论，发现教育问题，揭示教育规律，从而支持教育决策。例如，Kirill等[22]基于哈萨克斯坦国家教育数据库中两万多所中学的数据，建立了用于预测学校教育质量(通过学生成绩和大学录取率体现)的模型。在此基础上，其利用局部解释方法，进一步得到了地理位置、学校设施、人口组成信息、教职工等特征与学生成绩和大学录取率的关系，从而提出了一系列教育政策建议。Ledeboer[23]等基于荷兰中学智能教学系统的数据，利用随机森林和前馈神经网络等构建了预测学生留级率和毕业率的模型，并分别利用全局和局部解释方法，将全局特征重要性与局部特征重要性呈现给学校教师与管理人员，不仅得到了使用者的认可，也为学校决策提供了直接支持与建议。胡钦太等基于深度学习模型，也开展了多模态学习行为可解释性分析研究[24]，可以为提升教育质量、优化教育资源配置、促进学生个性化学习提供有效的决策建议。

基于以上三种可解释人工智能在教育领域的重要应用模式，我们进一步提出以下建议和展望：

1.积极推进可解释人工智能在教育领域应用的机制建立与实施

所有基于复杂人工智能模型的教育领域应用，均应努力提供解释机制与解释服务。解释机制的建立一方面需要借鉴可解释人工智能现有的技术和方法，另一方面需要从教育领域使用者的角度出发，考虑不同学段学习者与教师等关键角色的用户心理需求，使智能教学系统与平台兼具高准确性、透明性与可信赖性。另外，当前大多数研究和应用尚停留在宏观层面，需要重视和发展中观和微观层面的应用模式与机制建立。

2.深入研发适用于教育领域的可解释人工智能方法

当前可解释人工智能技术及其基本方法多源于对其它领域的研究，大多难以直接应用于教育领域的模型与系统解释，应用效果也存在明显差异。因此，需要针对教育领域中所使用的复杂模型与关键功能(例如多模态学习资源的推荐模型与其教学辅导功能)，重点研发专用的解释性方法与关键性算法，保证解释结果的科学、有效与合理，进而可以促进智能教学系统本身的改进和完善。

3.强调可解释人工智能在教育领域的实践性检验

可解释人工智能技术受训练环境、模型超参数设置等因素的影响较大，其解释结果也容易存在偏差，传统量化研究中的检验方法(例如方差检验、正态分布检验等)也难以应用。因此，需要探索和建立可解释人工智能技术在教育应用中的检验方式和流程，强调所有的解释结果与应用效果，均应在教育实践中接受检验。实践性检验应由人工智能模型的设计者和使用者共同完成，其检验过程与结果应具备可重复性与可追溯性。