智适应学习系统的学习效果及其影响因素研究

尚佩瑶 汪存友

摘 要：智适应学习系统究竟是否会对学习效果产生积极影响？哪些关键因素会影响智适应学习系统的学习效果？研究采用量化元分析的方法，对近20年来国际上有关智适应学习系统的学习效果的60项实验与准实验研究进行分析和评价。研究发现：（1）智适应学习系统提升学习效果的综合效应值为0.560，即智适应学习系统对学习具有中等程度的正向促进作用;（2）实验周期、样本容量都在一定范围内表现出较好的影响效果;（3）大学学段和知识水平较低的学习者从智适应学习系统中获益较多;（4）自适应等级越高对学习者的学习越有利，人机协同教学方式更有效。最后，本文基于研究结论对智适应学习系统的开发与应用提出建议与展望。

关键词：自适应学习;人工智能;智适应学习;元分析

一、问题的提出

近年来，人工智能技术进入快速发展阶段，人工智能教育工具层出不穷并得到广泛应用，如拍照搜题、分层排课、作文批改等。然而，这些人工智能教育工具只应用在学习过程的辅助环节上，不能直接提升教学质量和学习效果。自适应学习系统利用BKT（贝叶斯知识跟踪）、PGM（概率图模型）等智能算法，能够基于学习者的学习风格与能力，为每个学习者量身打造学习路径，实现规模化的个性化学习。早期的自适应学习系统以机器学习、CAI（计算机辅助教学）等为基础，其最典型的应用就是20世纪90年代出现的ITS（智能导师系统）。2010年以后，以Knewton、ALEKS、Dreambox Learning等为代表的自适应学习系统大范围普及。特别是近年来，随着深度学习算法的日渐成熟，自适应学习技术的智能特征不断进化，“智适应学习”这一术语更能够反映出该领域的最新进展。

关于IALS（智适应学习系统）对学习效果的影响，目前大致存在两种观点：第一种观点认为智适应学习系统对学习效果有积极影响。如汪维富等对1990年以来ITS提升学业成就的相关研究進行量化元分析，得出ITS能在一定程度上提升学业成就，并且发现实验持续时间、测试类型、样本量对实验效果有明显影响[1]。第二种观点认为智适应学习系统对学习效果无显著影响。有学者对CIT（智能辅导系统）进行了评估，结果表明：实验组和对照组在测试后都有所改善，但两组之间并没有显著性差异[2]。

鉴于智适应学习系统是否能够提升学习效果的研究结论并不一致，对现存所有研究结果进行全面严谨的整合分析是非常必要的。元分析方法能通过整合多个相关独立研究结果得出平均效应量，并对整体研究状况进行系统分析与评价，常用于解决各研究结果不一致的问题，然而文献调研并未在智适应学习领域发现此类研究。尽管汪维富等[3]利用元分析方法探讨了学习者特征（如学生所处学段、先验知识水平）、发表特征（如发表年份、发表类型）和研究设计特征（如样本容量、学科、持续时间）等变量对ITS学习效果的影响程度，但这些变量与智适应学习系统的教学特性并无直接联系。比如：智适应学习系统的适应性是否水平越高，学习效果越好？不同的教学整合方式是否会产生不同的教学效果？智适应学习系统与普通在线学习系统相比，学习效果更好吗？已有的元分析研究尚未给出回应。

综上，本研究拟采用量化元分析的方法对2000—2020年国外权威刊物上发表的60项智适应学习系统学习效果的实验与准实验研究进行深入剖析，并且从IALS的自适应等级、教学整合方式、实验对比的教学方式三个新角度探究智适应学习系统的学习效果，以期得出智适应学习系统的学习效果及其影响因素，为后续智适应学习系统的研究与应用提供参考经验。

二、研究过程与设计

（一）研究方法

本研究使用的元分析工具是CMA 2.0，通过将提取的原始数据输入CMA 2.0软件，生成每个样本的效应量，计算出所有研究的平均效应量，并据此进行显著性差异分析。本研究采用平均标准差 d作为效应量。

（二）文献搜集与选取

以智适应学习系统和学习效果为关键词，首先，在SpringerLink、EBSCO Education Source、Wiley、Science Direct、Web of science等国外权威文献数据库中对2000—2020年间发表的文献进行大范围交叉检索。其中，智适应学习系统的关键词为“adaptive learning systems”“personalized intelligent learning system”“intelligent e-learning system”“intelligent tutoring system” 等，学习效果的关键词包括“learning outcomes”“learning achievements”“learning effect” “learning performance”“learning gains”等。其次，对目前已经比较成熟且应用较为广泛的智适应学习系统（如Knewton、ALEKS、Dreambox Learning等）进行专题搜索。筛选去除与主题不符以及重复的文献后，再从已获取文献的参考文献中二次检索，最终共产生796篇候选文献供进一步遴选。

文献遴选的标准包括：（1）必须应用了自适应学习系统或自适应学习平台，且必须是关于学习效果的研究;（2）应用的自适应学习系统或平台必须基于人工智能算法，如：贝叶斯知识跟踪（BKT）、深度知识跟踪（DKT）、深度神经网络（RNN）、概率图模型（PGM）、协同过滤算法（CF）等;（3）必须是一个随机实验或准实验研究，单组实验需要有前后测的对照，双组实验必须包含一个在自适应环境下的实验组，以及与之相对应的对照组;（4）必须有可用于计算相应效应量的完整、清晰的统计数据结果。

最终共有60项符合标准的独立研究被纳入元分析（其中可用效应量共81个）。

（三）文献编码

本研究的文献编码包含两部分：常规型变量和教学型变量。常规型变量是以往研究提到过的，包括：实验周期、样本容量、研究学段、测试类型以及学习者先验知识水平。教学型变量是本研究提出的，包括：系统自适应等级、教学整合方式、实验对比的教学方式。在参考以往研究的基础上，根据获取的60项独立研究的实际情况完成编码，编码表如表1所示。为保证研究的可靠性，本研究中的编码由两位研究人员独立完成，其中不一致的编码由两位研究人员共同商榷。

三、研究结果与分析

（一）发表偏倚检验

当入选的研究样本不能系统地代表该领域的研究总体时，就被认为发生了发表偏倚[4]。本研究使用漏斗图法评估纳入研究样本的发表偏倚，结果见图1。

图1中横轴表示平均标准差效应值，纵轴表示效应值的标准差。从图中可以看出，60项独立研究大部分集中分布在漏斗图的中上部，且各样本效应量在平均效应量的两侧对称分布。因此，纳入的研究出现发表偏倚现象可能性不大，所得数据分析结果具有可靠性。

（二）智适应学习系统对学习效果的整体效应检验结果

将60项研究的样本数量、实验组和对照组前后测的均值、标准差等数据输入CMA 2.0软件，通过分析智适应学习系统对学习效果的整体效应检验结果可知，I2值为85.305，明显高于50%并且Q值检验显著（p<0.001），说明最终入选的60项独立研究存在明显的异质性，因此，本研究的计算模型采纳随机模型。根据Cohen（科恩）的效应值统计理论，当效应值d≥0.5时，通常认为有中等影响。即智适应学习系统对学习效果具有中等以上程度的积极影响。

（三）常规型变量对智适应学习系统学习效果的影响

为了进一步探讨哪些关键因素会影响智适应学习系统的学习效果，本研究还考虑了实验周期、样本容量、学习阶段、测试类型、学习者先验知识水平等对学习效果的影响。数据分析结果见表2。

从实验周期来看，当实验周期控制在四周以内时， 智适应学习系统对学习的促进作用最大， 大于1个月、小于6个月时促进作用略有减少，超过6个月之后影响水平大幅降低。

从样本容量上看，智适应学习系统对于容量小于50的用户群体的学习促进效果最好，当样本量高于200后，效应量大幅降低。

从不同学习阶段来看，智适应学习系统对中小学的促进作用相差不大，均处于较低水平且未达到中等程度，但对大学阶段的学习作用效果明显高于其他学段。

从测试类型来看，虽然智适应学习系统在两种测试类型上都表现出一定程度的学习促进作用，但标准测试的效应值并不具有统计学差异（p>0.05），这可能是因为相关研究数量不足，即目前智适应学习系统的应用研究大多使用的是研究者自行设计的学习测验。

从学习者先验知识水平来看，智适应学习系统对知识水平较低或正常的学习者都有中等偏上程度的促进作用，对知识水平较低的学习者的学习促进效果更明显。

（四）教学型变量对智适应学习系统学习效果的影响

通过分析表3可知：从自适应等级来看，随着自适应水平的提高，智适应学习系统对学习的促进作用也逐渐提高。从教学整合方式来看，人机协同方式的学习效果明显优于纯线上的学习方式。从对比的教学方式来看，智适应学习系统的学习效果优于传统教学、普通在线学习（没有个性化动态评估/指导）以及适应性水平较低的在线学习。

四、研究结论

（一）智适应学习系统对学习效果具有中等程度的正向促进作用

在纳入本研究的60项独立研究中，90%（54项）的研究都显示出智适应学习系统对学习效果的显著积极影响，合并后的平均效应量为0.560，95%（57项）研究的效应量处在0.449到0.670之间，这与汪维富等的研究结果基本一致。汪维富等人得出ITS与学业成就之间呈显著的积极相关，合并后的平均效应量达到0.492，95%研究的效应量处在0.408与0.577之间[5]。由前文文献搜集部分可以看出，智适应学习系统的范围较大，包括基于人工智能的ITS，但并不是完全重合，因此，本研究的效应量与该研究稍有偏差也处于合理范围。

（二）实验周期、样本容量都在一定范围内表现出较好的影响效果

实验周期在四周内的效应量最大，随着周期增长，影响水平逐渐降低，这与宋伟等[6]对数字化学习资源、顾小清等[7]对电子书包的学习作用进行的研究结果基本类似。出现上述结果可能是由于随着实验时间的延长，学习者逐渐适应研究中所使用的资源与技术，获得的收益逐渐减少，从而导致影响效果逐渐降低。

样本容量在超过200后，平均效应量显著降低，在汪维富等[8]的研究中也同样发现了这一临界点。这可能是缘于大样本中学习者个体差异较大以及有教师参与辅助的教学过程中人数过多会对实验结果造成影响。

（三）大学学段和知识水平较低的学习者从智适应学习系统中获益较多

本研究发现，相比于中小学，智适应学习系统对大学生的学习促进作用更大。对此可能的解释是：利用智适应学习系统进行学习，需要学生具备良好的主动学习能力，中小学阶段的学生更加需要教师的引导和鞭策，相比而言，大学生有较好的自主学习能力，主动学习的积极性更高，因此更适合利用智适应学习系统辅助学习。

知识水平较低的学习者更能从智适应学习系统中获益，这一现象在理查德.E.梅耶（Richard E.Mayer）[9]所开展的大量多媒体学习实验研究中也普遍存在，即相较于知识水平较高的学习者，知识水平较低的学习者更能从基于各种原则而设计的多媒体学习材料中受益。

（四）自适应等级越高对学习者的学习越有利，人机协同教学方式更有效

智适应学习系统借助的技术越发达，越能精确诊断学习者的知识掌握情况，为学习者提供个性化的实时指导与干预[10]。本研究依据系统的个性化反馈程度对自适应等级进行了划分，从本研究得出的不同适应性程度的系统对学习效果产生的效应量来看，“每一步反饋”系统>“阶段反馈”系统>“入口反馈”系统。此外，从实验对比的教学方式来看，使用智适应学习系统的学习效果优于普通在线学习方式和传统教学方式（其中传统教学方式的促进效果最低）。这两点都说明自适应等级越高，智适应学习系统的学习效果越明显，对学习者的学习越有利。

从本研究的分析结果来看，“人机协同”方式的学习效果优于纯线上教学方式。智适应学习系统与教师的关系是相互促进的，目前智适应学习系统算法在应用上还不稳定、不成熟，教师的引导和辅助可以缓解和改善这一情况，教师可以增强系统的教育智慧，系统也可以增强教师开展教育工作的能力。因此，教师和智适应学习系统同时参与的教学过程对促进学习效果更有效。

五、建议与展望

（一）智适应学习系统的开发：更加关注自主学习能力的培养

在线学习效果与自主学习能力密切相关，这一观点在之前的一些研究中就已被认可。与传统的课堂教学相比，在线学习在时间和空间上都更加灵活，学习者的自主学习能力非常影响其学习效果。然而单纯的在线情境或只是简单将面授课程的内容和方式原封不动地迁移到在线学习中，不利于激发学习者自主学习能力的发挥[11]。未来智适应学习系统应多关注如何培育学生的自主学习能力，如在系统中设计特定的学习任务，给学习者提供运用多样化学习策略的机会;为学习者提供具有交互式体验的学习环境、扩充教育游戏资源、开展游戏化教学活动，增强学习者的在线学习交互体验;利用在线学习平台的后台数据，提供实时反馈，提高学习者对其知识掌握程度的自我认知，培养其反思及调整等自主学习能力。

（二）智适应学习系统的教育应用：教师角色的转变与能力的提升

未来教育一定是人类教师与人工智能协同存在的时代，但人工智能的迅速发展也确实给教育特别是教师这一角色带来巨大影响，以往烦琐、机械、重复的工作都可以被人工智能取代，这大大减轻了人类教师的负担，而教师的重心将转移到“育人”上来，人类教师将更有精力去培养学生的精神能力，比如同情心、创意、审美等。教师应该深刻认识自身的定位转变，充分发挥其作为教学策略的施行者、学习的监管者、学生的引导者的作用。同时，教师作为帮助人工智能与学生更好地进行交互的“桥梁”，应该提升自己的自适应技能，储备足够的知识，改良设计适合自适应学习的教学结构与教学方法。

（三）智适应学习系统的未来展望：巩固基础教育水平、促进教育公平

在教育信息化促进教育公平的相关研究中，熊才平等[12]发现：信息技术对于促进薄弱地区教育资源配置、教学研修等方面更能发挥作用。智适应学习系统能够给知识水平较低的学习者提供传统班级授课模式下无法比拟的更多个性化辅导。根据布卢姆的掌握学习理论，丰富而及时的个性化辅导和支持能够让学习者从中获益，即使知识水平较低的学习者也能达成学习目标。由此可以预见，当教育教学以每个学生掌握课程标准为目标时，智适应学习系统将在巩固基础教育水平、促进教育公平方面发挥重要作用。

六、结语

本研究对近20年来国外权威刊物上发表的有关智适应学习系统对学习作用效果的60项研究进行了量化元分析，得出了智适应学习系统对促进学习的整体影响效果，并从多个维度探讨了其影响差异。最后，基于研究结论对未来智适应学习系统的开发和应用提出建议与展望。智适应学习系统对学习的促进作用还有很大提升空间，在未来的开发中应多关注如何培养学生的自主学习能力，教师应认识自身的角色转变、提升自身能力。如何充分发挥智适应学习系统的优势，使其在巩固基础教育水平、促进教育公平方面发挥重要作用，是未来一项重要的研究课题。

[1][3][5][8]汪维富，毛美娟，闫寒冰.智能导师系统对学业成就的影响研究：量化元分析的视角[J].中国远程教育，2019（10）：40-51.

[2]MITROVIC A，MARTIN B，SURAWEERA P.Aspire：An Authoring System and Deployment Environment for Constraint-Based Tutors[J].International Journal of Artificial Intelligence in Education， 2009，19（2）：155-188.

[4]VIECHTBAUER W.Publication Bias in Meta-Analysis：Prevention，Assessment and Adjustments[J].Psychometrika，2007，72（2）：269-271.

[6]宋伟，孙众.数字化学习资源有效性的元分析[J].中国电化教育，2013（11）：81-85.

[7]顾小清，胡梦华.电子书包的学习作用发生了吗？——基于国内外39篇论文的元分析[J].电化教育研究，2018，39（5）：19-25.

[9]MAYER R E.The Cambridge Handbook of Multimedia Learning：In-  troduction to Multimedia Learning[J].Information Design Journal，2005，  16（1）：81-83.

[10]李振，周东岱，刘娜，等.人工智能应用背景下的教育人工智能研究[J].现代教育技术， 2018，28（9）：19-25.

[11]黄振中，张晓蕾.自主学习能力对在线学习效果的影响机制探究：兼論在线学习交互体验的中介作用[J].现代教育技术，2018，28（3）：66-72.

[12]熊才平，何向阳，吴瑞华.论信息技术对教育发展的革命性影响[J].教育研究，2012，33（6）：22-29.

（责任编辑 孙兴丽）