面向主题的智能问答机器人对学习过程和学习结果影响的实证研究

吴林静?王瑾洁　向雪琳

摘 要：智能问答机器人是人工智能技术的典型应用之一，将智能问答机器人应用于教育教学领域受到了越来越多研究者的关注。本研究以七年级学生为研究对象，通过准实验研究探索了使用面向主题的智能问答机器人和传统搜索引擎辅助学习对学习过程和学习结果的影响。结果表明，相较于传统搜索引擎，面向主题的智能问答机器人能够更好地帮助学习者进行学习，具体体现在：在学习过程方面，智能问答机器人能够提升知识检索效率，提高学习者的内部学习动机，减轻网络迷航状态；在学习结果方面，智能问答机器人能够提升学习者的知识测试成绩。但在紧张-压力和努力程度方面，两种辅助学习工具不存在显著性差异。上述结果验证了面向主题的智能问答机器人在辅助学习方面的潜力与价值。

关鍵词：智能问答机器人；搜索引擎；学习动机；网络迷航

中图分类号：G4 文献标志码：A 文章编号：2096-0069（2023）03-0001-07

引言

人工智能技术对教育教学领域的发展起到了巨大的促进作用[1]。作为人工智能技术的典型代表，智能问答技术已经在众多领域得到了广泛的应用，如商务、娱乐休闲、航空、个人助理和政务领域等，但智能问答技术在教育领域中的应用则尚处在起步阶段。随着线上学习方式的普及，越来越多的研究者开始注意到将智能问答机器人引入到教学中为学习者提供个性化学习服务的可行性和优势。问答机器人可以突破时空的限制，满足学习者在信息膨胀时代快速又准确地获取问题答案的愿望，为学习者提供个性化学习辅导。智能问答机器人作为模拟人类对话的虚拟助手，以问答交互的形式给学习者提供学习辅助，在增强学习效果、提升学习兴趣、增强学习动机等方面具有不可忽视的作用。然而当前的研究更多地关注于智能问答机器人的研发和应用，对于智能问答机器人对学习过程和学习结果影响的研究则相对较少。本研究以七年级学生为研究对象，以人工智能课程为学习内容，通过准实验研究探索智能问答机器人对学习过程和学习结果的影响，为智能问答机器人应用于教学提供实践参考。

一、文献综述

（一）智能问答机器人的教育应用

智能问答机器人又被称作会话代理或智能代理，是模仿人类对话的计算机程序。此类系统通过对用户输入进行分解，并通过自然语言理解技术对其进行理解，然后在知识库中进行查询和匹配，最后将问题对应的答案返回给用户。智能问答机器人在教育领域的特定场景下已经得到了相应的应用。从智能问答机器人在教育场景中所承担功能的角度来划分，可以将智能问答机器人的教育应用分为3种典型类别：一是为学习者提供答疑解惑功能，提供适应性学习服务和自动构建学习资源环境。为学习者提供答疑解惑功能的典型代表如上海交通大学的远程教育设计中心所设计开发的AnswerWeb自动答疑系统和北京师范大学现代教育技术研究所推出的Vclass系统等[2-3]。二是在提供适应性学习服务方面，方利伟等人[4]开发了一个针对学习者所提问题的特征和其自身的兴趣特征，为学习者提供个性化知识的自动问答系统。三是张银等人[5]从答疑系统的学习机制着手，提出答疑系统的设计新思想及实现策略来提高解答的针对性和指向性。此外，问答机器人在答疑过程中集合了丰富的学习资源，也可以用于为学习者构建优质的学习环境，并且在解答过程中收集学习者提出的疑问和教师给予的解答，从而进一步扩充已有的知识库。鉴于智能问答机器人丰富和个性化的教育功能，越来越多的研究者和教师开始将智能问答机器人应用于教学实践中。

（二）智能问答机器人的教学效果

智能问答机器人不仅在教育的各类场景中得到了广泛应用，研究者也对智能问答机器人的实际教学效果展开了相关的实证分析。当前的实证研究主要集中在如下3个方面：一是对学习者在语言学习方面的促进作用，二是对学习者在学习兴趣和学习动机方面的促进作用，三是学习者对智能问答机器人的感受和态度等。在语言学习方面，可以借助智能问答机器人来形成学习语境以供学习者进行语言学习。智能问答机器人通过跟学习者对话来训练其语言表达能力，是一个极具潜在价值的语言训练工具。此外，从教育心理学角度看，智能问答机器人通过拓展感知通道，促进多感官感知、相互联系和协调，可以激发学习者的好奇心，从而对学习产生浓厚兴趣；还能够通过多维度的对话加深学习者对知识技能的识记、保持、再认、回忆，从而达到增强记忆的功能效果的目的。满盈盈[6]认为，大部分学习者对答疑系统持肯定的态度，但部分学习者由于自身的惰性并没有很好地利用答疑系统。这些研究为智能问答机器人实证效果的分析提供了重要参考，但智能问答机器人对学习者的学习行为和学习效果的影响仍然有待进一步探索。

二、面向主题的智能问答机器人设计

面向主题的智能问答机器人的设计思路如下：首先，根据课程内容整理面向主题的问题-答案的资源，并存储于问答知识库中作为智能问答机器人的知识来源。其次，学习者的提问被提交给问题模块进行分析，形成对问题的理解和意图识别。最后，完成问题理解后，将问题理解的结果提交给信息检索模块，从问答知识库中进行检索，并返回所有检索命中的问答对。所有命中的问答对将被进一步提交给答案抽取模块，对问答对进行排序后，向学习者返回最佳答案。面向主题的智能问答机器人模块结构图如图1所示。

问答知识库中存储的是与主题相关的问答知识对。本案例中问答知识对的来源主要包括3个部分：一是通过问卷调查的方式向学习者提问，采集学习者在与主题相关的内容中最感兴趣和存在疑问的问题，并由专家编写答案后录入知识库中。二是通过专家咨询的方式咨询了3位资深中小学信息技术教师，采集教师提供的学习者最感兴趣和最容易犯错的问题及答案。三是从网络中提取与主题相关的知识片段，对问答库进行扩充。问题分析模块主要用于对学习者的提问进行分析，其主要功能包括问题分类、关键字提取和关键字扩展。其中问题分类主要用于确定问题的类别，为答案抽取模块提供抽取答案时的参考规则。关键字提取和关键字扩展则用于对问题的理解，确定问题的核心语义。完成关键字扩展后将关键字列表提交给信息检索模块。信息检索模块可以根据关键字列表从问答知识库中检索出包括关键字列表的问答知识对。这些问答知识对将被返回给答案抽取模块。答案抽取模块在分类规则的指导下，从问答知识对中查找候选答案。根据关键字权重对候选答案进行排序，并最终向学习者返回最佳答案。

三、智能问答机器人的应用效果分析

（一）实验对象与实验设计

为了探索智能问答机器人对学习者学习过程和学习结果的影响，在某中学七年级开展了准实验研究。从七年级中随机选择两个班作为实验对象，每个班40名学习者，年龄均在11至12岁之间。其中一个班为实验组，另一个班为控制组。实验设计如图2所示。

教师首先围绕人工智能的基础知识进行40分钟的授课，帮助学习者建立对课程内容的基本认识。完成授课后，即对学习者进行10分钟的前测。前测的内容包括学习者的知识掌握情况和学习者的内部学习动机。前测完成后向学习者发放待补充的知识清单，并要求学习者独立将知识清单补充完整。实验组的学习者可以利用智能问答机器人来辅助完成知识清单，控制组的学习者则可以通过百度搜索引擎来辅助完成知识清单。学习者完成知识清单的全部过程通过录屏工具进行跟踪录制，以用于后续分析。完成知识清单之后，对学习者进行15分钟的后测。后测内容包括学习者的知识掌握情况、内部动机及超文本环境中的信息迷航情况。

（二）问卷与量表设计

1. 学习者知识掌握情况测试卷

为了对学习者的知识掌握情况进行测量，本研究设计了一套测试卷对其进行评估。该测试卷由两位具有5年以上教学经验的信息技术专家教师根据课程内容共同拟定。试卷包含5个选择题和5个判断题，每道题分值为10分，总分为100分。

2. 内部动机量表

对学习者内在动机的测量使用的是内部动机量表[7]，目的是衡量与学习情境相关的主观内部动机和主观体验。该量表所使用的分量表包括兴趣—享受、感知价值、紧张—压力、努力程度和感知能力。兴趣—享受分量表用于衡量活动参与者的兴趣与体验，由4个问题组成。感知价值分量表用于测试人们在体验活动时的内化和自我调节情况，共包含5个问题。紧张—压力是由4个问题组成的内在动机的负向预测因子。努力程度是评估测验者在活动中所花费的精力，包含4个问题。感知能力是内在动机的正向预测因子，包含4个问题。各分量表的内在一致性系数如下：兴趣—享受分量表的alpha系数为0.78，感知价值分量表的alpha系数为0.79，紧张—压力分量表的alpha系数为0.78，努力程度分量表的alpha系数为0.8，感知能力分量表的alpha系数为0.8。所有21个问题都采用了5点李克特量表，1表示非常不同意，5表示非常同意。

3. 主观信息迷航问卷

迷航是一种心理迷惑状态，被定义为在非线性文档中失去自己的位置感和方向感的倾向[8]。“网络迷航”是指学习者在进行网上学习过程中对网络产生的“不适应症状”，由于网络上数据信息過于繁杂，或者超文本链接而形成的网状结构太过于复杂难懂导致学习者失去了原有的学习目标和方向。汪招霞[9]组织300名大学生在网络搜索系统中进行搜索，并对其信息迷航与学习绩效之间的关系进行了研究发现，模糊容忍性得分和信息迷航水平愈低者的网络信息搜索绩效愈佳。

本研究中所采用的主观信息迷航评价问卷改编自贾斯普雷特·S.阿胡贾（Jaspreet S. Ahuja）等人[10]于2001年编制的主观信息迷航评价问卷，用于测量用户在超文本环境中的方向迷失情况和失去位置感的程度。该问卷共包含15道题目，所有题目均为陈述句，让被试从“非常不符合”到“非常符合”5点中选择自己的评判分值。

（三）实验结果

1.学习者的学习行为分析

教师向学习者发放待补充的知识清单，并要求学习者利用搜索引擎或智能问答机器人完成该知识清单。教师通过录屏软件对学习者完成知识清单的过程进行全程录制，并对学习者的操作视频进行时长标注。对学习者操作时长的统计发现：实验组的单题搜索时长平均值为30.02秒，控制组的单题搜索时长平均值为99.09秒。实验组的搜索时长明显低于控制组。这一实验结果表明，利用问答机器人进行教学应用辅助比利用传统搜索引擎耗时少且效率高，学习者能够更快捷方便地搜索到答案。

2.学习者的学习成绩分析

在分发待补充的知识清单前，通过知识掌握情况测试卷对学习者进行了前测。结果显示实验组学习者知识掌握情况测试的均值和标准差分别为58.75和15.556，控制组学习者的均值和标准差分别为57.25和12.401。独立样本t检验的结果表明，两个班级不存在统计学上的显著性差异（t =0.477，p>0.05）。

完成知识清单之后，对两组学习者再次使用同样的试卷进行后测。后测结果如表1所示。结果显示实验组的均值为77.75，标准差为8.62；控制组的均值为72.25，标准差为6.98。独立样本t检验的结果显示，实验组的后测成绩与控制组存在着显著差异（t=3.137，p<0.05）。与使用搜索引擎的控制组学习者相比，使用问答机器人完成知识清单的实验组学习者的后测学习成绩更好。上述实验结果说明，利用问答机器人作为学习辅助工具在课堂中辅助学习者学习比传统搜索引擎更加有助于提高学习者的学习成绩。

3. 学习者的内部学习动机分析

为了探索不同的辅助学习方式对内部学习动机的影响，本研究通过内部动机量表对学习者的学习动机进行了前测和后测。前测的结果显示，实验组学习者内部学习动机的均值和标准差分别为3.895和0.443，控制组学习者内部学习动机的均值和标准差分别为3.771和0.430。独立样本t检验结果显示，实验组和控制组不存在统计学上的显著性差异（t=1.269，p>0.05）。因此，可以假设两组学习者在完成知识清单之前对课程内容的动机水平并没有显著性差异，可以开展准实验研究。

在完成知识清单填写后，再次使用问卷对实验组和控制组的学习者进行了内部学习动机后测。通过对学习者总体内部动机和内部动机5项分量表的独立样本t检验结果如表2所示。从实验结果中可以看出，实验组学习者总体内部动机的均值和标准差分别为3.951和0.277，而控制组学习者总体内部动机的均值和标准差分别为3.698和0.432。独立样本t检验的结果显示，两组学习者的总体内部动机存在显著性差异（t =3.123，p<0.05），实验组学习者的学习动机要强于控制组。这一结果说明使用智能问答机器人辅助学习者学习比使用通用搜索引擎能够更好地激发学习者的学习动机。

此外，对5个子维度的独立样本t检验的实验结果显示，实验组学习者在兴趣-享受、感知能力、努力和感知价值4个分量表上的均值均高于控制组；在压力-紧张分量表上的均值则低于控制组。

兴趣-享受分量表评估的是学习者是否享受学习过程并对学习材料、学习活动产生兴趣。实验结果显示实验组学习者在兴趣-享受维度的均值为4.87，标准差为0.30；控制组学习者的均值为4.46，标准差为0.74。独立样本t检验的结果显示实验组的兴趣-享受维度要显著高于控制组（t=3.27，p<0.01）。这表明使用智能问答机器人的学习者比使用搜索引擎的学习者具有更高的学习兴趣，且更享受学习过程。

感知价值分量表用于评估学习者是否认为学习过程是有意义的且对自己的发展有正向促进作用。实验结果显示实验组学习者在感知价值维度的均值为4.57，标准差为0.51；控制组学习者的均值为3.99，标准差为0.77。独立样本t检验的结果显示实验组的感知价值维度要显著高于控制组（t=4.02，p<0.001）。这一结果表明学习者使用智能问答机器人时能够更好地感受到学习内容的价值。

紧张-压力为内在动机的消极预测因子，用于评估学习者在进行学习活动时所感受到的压力和紧张程度。其中实验组学习者的均值为1.68，标准差为0.86；控制组学习者的均值为1.99，标准差为0.90。独立样本t检验的结果显示，两组学习者在紧张-压力维度上不存在显著差异。这一结果表明使用两种不同的学习工具对学习者的紧张程度没有显著影响。

努力程度分量表主要用来评估学习者在学习过程中完成学习任务的努力程度。独立样本t检验的结果显示，实验组和控制组不存在统计学上的显著性差异（t=0.91，p>0.05）。这一结果显示使用这两种辅助学习手段时学习者所付出的精力没有显著性差异。

感知能力分量表主要用于学习者对自己完成活动的能力的评价。在该维度上，实验组学习者的均值为4.51，标准差为0.89；控制组学习者的均值为4.13，标准差为0.76。独立样本t检验显示，两组学习者之间存在统计学上的显著性差异（t=2.00，p<0.05）。这一结果说明实验组学习者对自己的能力感知更强，认为自己能够很好地完成学习任务。

4.学习者的学习迷航状态分析

完成知识清单之后，通过主观信息迷航问卷对学习者进行了信息迷航测试，用以了解学习者在利用不同学习辅助工具时在搜索方向和感知上有无差别。对两组学习者主观信息迷航问卷进行描述性统计和独立样本t检验。结果显示，实验组学习者信息迷航程度的均值和标准差分别为3.539和1.170；而控制组的均值和标准差分别为4.271和0.964。独立样本t检验结果表示，实验组和控制组在学习迷航状态上存在显著性差异（t=-3.055，p<0.05），且实验组学习者的迷航程度要显著低于控制组。这一结果表明，与使用搜索引擎相比，使用智能问答机器人来辅助学习能够降低学习者的网络迷航程度，在信息查找过程中更具方向感。

（四）研究结论

运用面向主题的智能问答机器人辅助学习能够更好地提高学习者的学习成绩。在本实验中，两组学习者在前测中的学习成绩并无显著性差异；但在后测中，实验组学习者的学习成绩显著优于使用搜索引擎的控制组学习者。这一结果说明使用搜索引擎和使用智能问答机器人都能够促进学习，但使用智能问答机器人对学习成绩的提升效果要优于使用传统搜索引擎。这一结论与已有的相关研究结论一致，如杨兵等人[11]在其研究中指出使用问答机器人有助于提高学习者的学习效果和学习态度。本研究为上述结论提供了更为坚实的客观证据。无论是在主观的自我报告中还是在客观的学习结果中，智能问答机器人都可以提高学习者的学习成绩。学习者可以利用问答机器人满足自己的学习需求，不会让知识盲点成为阻碍学习的障碍。

运用面向主题的智能问答机器人辅助学习能够提高学习者的学习动机，尤其是兴趣-享受、感知价值和感知能力维度。对学习者内部动机的测试结果显示，两组学习者在前测时并不存在显著性差异，但完成知识清单后的后测结果显示实验组学习者的内部学习动机均值显著高于控制组。将前测与后测的内部动机数据进行对比也可以发现，实验组学习者的内部动机呈现上升的趋势（前测的均值和标准差为3.895和0.443；后测的均值和标准差为3.951和0.277）；而控制组学习者则呈现下降的趋势（前测的均值和标准差为3.771和0.430；后测的均值和标准差为3.698和0.432）。此外，在兴趣-享受、感知价值和感知能力子维度上，实验组学习者显著优于控制组。这一实验结果说明，与搜索引擎相比，使用面向主题的智能问答机器人辅助学习能够更好地增强学习者的内部动机。面向主题的智能问答机器人在提升学习者的学习兴趣、让学习者感受到任务价值以及感知自身学习能力3个方面均显著优于搜索引擎。

使用面向主题的智能问答机器人能够降低学习者的网络迷航程度，帮助学习者更好地找到自己所需的知识。网络迷航是信息时代学习者在采用信息技术手段辅助学习时普遍会碰到的问题之一。本研究中，通过对学习者的学习行为进行全程跟踪发现，实验组学习者进行知识检索的时间要少于使用传统搜索引擎的控制组学习者，且控制组学习者存在注意力分散的情况，如浏览新闻和线上游戏等。这一现象说明，与传统搜索引擎相比，面向主题的智能问答机器人能够更好地帮助学习者集中注意力，避免精力分散，提高知识检索效率。此外，主观信息迷航问卷的调查数据显示，使用智能问答机器人辅助学习的学习者比使用传统搜索引擎的学习者具有更低的网络迷航程度。这一结果说明，与传统搜索引擎相比，智能问答机器人能够更好地帮助学习者建立网络方向感，让学习者在搜索过程中清晰地把握知识的查找方向。

四、总结

智能问答机器人是人工智能技术的重要应用之一，在教育领域也有着广阔的应用前景。本研究以七年级学生为研究对象，设计了一项准实验研究，对比了利用传统搜索引擎和面向主题的智能问答机器人辅助学习者完成知识清单时学习者的学习过程和学习结果的差异。结果显示，学习者在搜索行为、学习成绩、内部动机和迷航状态上均存在显著差异性。使用面向主题的智能问答机器人的学习者在完成知识清单时，使用的搜索时长更短，后测成绩更高，在兴趣-享受、感知价值和感知能力维度上具有更高的动机水平和更低的网络迷航水平。在紧张-压力和努力程度上两类学习者则不存在显著性差异。上述实验结果对于智能问答机器人在教学中的应用具有重要参考价值。本研究也存在以下不足之处：一是问答机器人知识库的规模较小，有待进一步补充；二是实证研究的应用学科单一，仅选择了信息技术课程作为应用学科，缺乏其他學科内容的实证数据。在下一步的研究中，将针对上述不足，进一步完善智能问答机器人的知识库，并拓展应用的学科范围。

參考文献

[1]娄方园，高振，王娟.教育人工智能应用场景及其理性审视[J].数字教育，2022，8（3）：26-33.

[2]申瑞民，刘耘.基于WWW的自动答疑系统[J].计算机工程，1999（9）：49-51.

[3]柳泉波，黄荣怀，何克抗.智能答疑系统的设计与实现[J].中国远程教育，2000（8）：43-48.

[4]方利伟.个性化在线答疑系统的研究与实现[J].中国教育信息化，2010（5）：44-46.

[5]张银.网络答疑系统的设计新思路及策略实现[J].现代教育技术，2012，22（5）：88-92.

[6]满盈盈.网络教学平台答疑系统在教学中的应用研究：以《计算机辅助教育》课程教学为例[D].桂林：广西师范大学，2015.

[7]RYAN R M. Control and Information in the intrapersonal sphere： an extension of cognitive evaluation theory[J]. Journal of Personality and Social Psychology， 1982， 43（3）：450-461.

[8]郑庆华. 2018碎片化知识融合与应用专题[J]. 计算机研究与发展， 2018，55（12）：2585-2586.

[9]汪招霞，许磊，刘勤为，等.模糊容忍性对网络信息搜索绩效的影响：信息迷航的中介作用[J].心理与行为研究，2018，16（2）：164-169.

[10]AHUJA J S， WEBSTER J. Perceived disorientation： an examination of a new measure to assess web design effectiveness[J]. Interacting with Computers，2001，14（1）：15-29.

[11]杨兵，尹加琪，杨旸，等.现状与发展：智能问答机器人促进学习的反思[J].中国电化教育，2018（12）：31-38.

（责任编辑 孙兴丽）

An Empirical Study on the Effects of Topic-Oriented Intelligent Quiz Bots on Learning Processes and Outcomes

Wu Linjing， Wang Jinjie， Xiang Xuelin

（Faculty of Artificial Intelligence in Education， Central China Normal University， Wuhan， Hubei， China 430079）

Abstract： As one of the typical applications of AI technology， the intelligent quiz bots， used in the field of education and teaching， has received more and more attention from researchers. This study explores the effects of using topic-oriented intelligent quiz bots and traditional search engine-assisted learning on the learning processes and outcomes， through a quasi-experimental study with Grade 7 students as the research subjects. The results show that the topic-oriented intelligent quiz bots are better at helping learners to learn than traditional search engine. Specifically， in terms of learning processes， the intelligent quiz bots can improve knowledge retrieval efficiency， increase learners internal motivation and reduce online disorientation; in terms of learning outcomes， intelligent quiz bots can boost learners knowledge test scores. However， there is no significant difference between the two learning aids in terms of tension-stress and degree of efforts. All these results validate the potential and value of topic-oriented intelligent quiz bots in aiding learning.

Key words：  Intelligent quiz bots; Search engine; Learning motivation; Online disorientation