魏小东 习鹏飞
基金项目:2020 年度国家自然科学基金项目“基于虚拟化身的光学透射式AR 学习环境教学代理研究”(项目编号:62067009)
[摘 要] 隨着大语言模型技术在多个方面不断取得突破,大语言模型驱动的虚拟数字人辅助第二语言学习能够显著提升第二语言学习者的学习体验和学习效率。文章通过文献梳理总结了虚拟数字人在构建第二语言学习环境、生成第二语言学习资源、模拟第二语言交流对象和提供第二语言学习路径方面的作用,梳理了大语言模型和虚拟数字人存在的生成内容偏差、语用情感缺失、学习反馈不当和应用成本过高的问题,提出了人机协同内容生成构建可信学习资源、角色场景融合实现多元反馈方式、实时学习行为分析支持情感表达和整合通用设备接口促进教育应用普及的虚拟数字人第二语言教育应用策略,并通过案例开发与实施验证了应用策略的有效性,以期为我国第二语言教育在数字时代的可持续发展提供路径选择。
[关键词] 大语言模型; 虚拟数字人; 第二语言教育; 生成式人工智能; 教育应用
[中图分类号] G434 [文献标志码] A
[作者简介] 魏小东(1984—),男,甘肃兰州人。 教授,博士, 主要从事虚拟与增强现实学习环境研究。 E-mail: wxd1633@163.com。
一、引 言
学习第二语言不仅是学习新语言形式和特征的过程,更是一个逐渐构建新思维模式、新概念结构的过程,能够改变学习者原有的思维方式和概念结构,提升对事物的认知水平。同时,多语言学习有助于提升跨文化交流能力,使学习者能更好地理解和欣赏不同的文化背景,从而促进国际视野和开放性思维的形成。此外,掌握第二语言还能增加职业竞争力,为职业发展开辟更广阔的道路。在社交方面,能够使用多种语言的人通常更容易建立多元化的人际关系网络。总体而言,学习第二语言不仅是语言能力的提升,更是个人全面发展的重要途径,有助于形成更加多元、全面的个人能力和视野。然而,由于语法、语音和文化差异,掌握第二语言是一项具有挑战性的工作。虚拟数字人拥有类人的外观和行为,具备类人的语言能力,可以为第二语言学习者提供高临场感和沉浸感的学习体验。学习者用第二语言与虚拟数字人交流,可以获得第二语言习得性认知。
大语言模型以其强大的自然语言处理能力,不仅能生成和理解文本,还能进行复杂的分析和推理。大语言模型在海量信息的全量在线记忆、任意任务的对话式理解、复杂逻辑的思维链推理、多角色多风格长文本生成等多个方面取得了重大突破,可以为第二语言的口语、写作、听力和阅读技能训练提供丰富的语料支持和智能对话服务[1]。大语言模型的应用使得虚拟数字人不仅可以在外观上接近于真人,而且也可使其行为、语言、表情的交互性和智能性接近于真人。虚拟数字人已成功进入大众视野,并在教育领域的不同场景中广泛应用,展现出多样化的表现形式,如虚拟教师、虚拟导游和虚拟学伴等。
本研究总结了大语言模型和虚拟数字人应用于第二语言教育的技术优势,分析了大语言模型和虚拟数字人在教育应用中存在的问题,针对其技术特性提出了教育应用策略,并通过案例开发与实施验证了应用策略的有效性,为大语言模型驱动的虚拟数字人在第二语言教育中的应用提供了路径选择。
二、大语言模型驱动的虚拟数字人应用于
第二语言教育的技术优势
(一)构建非判定性的语言交流环境
第二语言学习者在判定性环境中学习,如课堂学习环境,会受到学习或交流对象态度的影响,会引起学习者的焦虑、畏难或自信心不足等情绪,从而影响第二语言的学习效率[2]。在非判定性学习环境中,如移动非课堂学习环境,第二语言学习者可以长时间保持放松的情绪,维持较高的学习投入度和参与度,始终对第二语言学习充满热情[3]。大语言模型驱动的虚拟数字人具有多模态人机交互能力,如语音、动作和表情,能够为第二语言的视、听、说练习提供持续且耐心的仿真支持,通过语言和非语言的表达将第二语言的词汇、句型、语法融入学习活动中[4],使学习者在不用担心语用对错的情况下,进行第二语言的重复性知识学习和技能训练。虚拟数字人可以与语境相关的虚拟或虚实融合场景相融合,提供与语言对话一致的视觉提示和动态演示,深层解释第二语言知识的意义和用法。虚拟数字人参与的虚拟或虚实融合场景可以创造一个持续支持性和激励性的学习环境,提升对学习者第二语言大规模输入的持续性,实现同理心的实时表达,对学习者的情绪状态作出实时反应,表现出类人的情感和移情反应,让学习者产生较强的角色依赖感和社会交流感,减少学习焦虑,增加自信心,促进情感联系,强化记忆滞留,增加对第二语言背景知识的理解,促进第二语言学习的具身认知[5]。
(二)生成内容丰富的语言学习资源
第二语言的学习需要大量的语言知识输入,才能使学习者领会第二语言的不同用法与相关逻辑,实现第二语言的有效输出。大语言模型在广泛而多样的文本数据基础上进行定制化训练,可以为第二语言学习者提供大量高价值信息,使其能够在大信息量支持的上下文语境中理解语音和语义。大语言模型驱动的现代语音引擎生成的教学语音的可信度在语音的内容和语音的情感方面接近录制的人声,生成语音学习资源有很高的效率[6]。大语言模型对语言、语法和上下文的全面理解能够生成较为准确且与上下文相关的语言表达示例,帮助学习者掌握语言的细微差别。融合了语音引擎的虚拟数字人可以为学习者提供多样化的词汇建议、常用语表达和现实生活中的语言使用实例,可以生成涵盖多种主题表达和知识解释的语音学习资源。大语言模型可以利用学习者的输入生成与第二语言上下文相关且连贯的回复,使与虚拟数字人的第二语言交流具备真实交流情境的随机性。还可以从用户输入的数据中不断学习,使得虚拟数字人可以实时调整语言的内容和语言的表达方式,适应各种会话场景,确保虚拟数字人的表达具备人类的流畅性和连贯性[7]。大语言模型经大量文本训练,储备了丰富的第二语言语法、句法和上下文知识,使虚拟数字人词汇量及知识储备远超人类。它不仅能直接输出连贯、与语境相关的语音和文字,还能与学习者广泛对话,并实时调整输出内容,使虚拟数字人具有广泛的通用性和适应性,输出的内容有助于学习者加深对第二语言的理解。
(三)模拟真实性第二语言交流对象
模仿语言交流对象,即角色扮演活动在第二语言口语教学中起着重要的作用,可以激发学习者的自发学习与第二语言的创造性应用,促进学习者对第二语言知识的迁移。多项实证研究发现,经常与虚拟角色教育代理进行口语交流,参与特定主题对话训练,练习第二语言的特定表达,能够显著提升学习者的第二语言口语水平[8]。虚拟数字人可以作为教学代理变换不同的语言表达身份,给学习者提供不同语言情境下的角色变换,将不同语言知识贯穿在不同角色的表达内容中,如词汇的使用、短语的表达、句型的迁移等。具有不同对话特征的虚拟数字人即使在相同的主题和类似的对话路径上,也可以呈现不同的表达方式,作为“交互中的共同参与”为学习者提供不同的语言应用启示。大语言模型为虚拟数字人提供丰富的口语语料,模拟各领域语言交流方式,缩小课堂教学与实际语言使用的差距,扩充第二语言应用素材。这种虚拟数字人是多功能、多角色、多风格的长文本生成代理,能无缝转换角色和交流方式,并随角色变化调整虚拟场景,让学习者体验真实语境,模仿真实会话,感受不同语言表达情境与非语言逻辑,优化学习者的第二语言口语交流经验,提升口语交流的信心。尤其是具备自学能力的语言学习者更容易在真实性角色扮演模拟环境中获得第二语言学习的乐趣。
(四)提供互动式语言学习路径规划
对于基于虚拟角色的教学代理的研究表明,学习者可以遵循教学代理的提示和反馈,完成较为复杂或需要长期坚持的学习任务[9]。当虚拟数字人作为教学代理给学习者提供即时的、有方向性的学习引导时,学习者能够跟随教学代理完成难度较高,需要长时间坚持才能达到的第二语言学习目标。大语言模型可以与知识图谱进行深度融合,对第二语言语料库进行信息抽取,并和第二语言知识图谱进行匹配,将结构化知识转化成易懂的自然语言,最终生成具备第二语言知识学习路径规划能力的智能对话系统。系统以知识元为节点,根据其多维语义关系进行关联,在知识层面和认知层面上表示语言知识和认知状态,智能生成用于知识导航、认知诊断、资源聚合、路径推荐的知识组织与认知表征[10]。具备上述智能对话功能的虚拟数字人可以通过引导性问题引发学习者自我决策,并借助人机协商性对话实现自适应学习路径选择与生成式认知框架建构[11]。同时考虑学習者先前的知识、表现和目标,为学习者生成学习主题和活动的逻辑顺序,以最大限度地提高第二语言的理解能力和语言应用技能,通过不断评估和调整学习路径,确保学习者保持适当水平的心流状态;通过动态的、具有情境意识的推理和指导,实现个性化学习;通过逐渐增加学习任务的复杂性和难度来促进支架式的学习体验。从简单的语言学习活动开始,逐渐进入困难的语言应用活动,从而提升学习者的自我效能感。
三、大语言模型和虚拟数字人应用于
第二语言教育存在的问题
(一)生成内容存在偏差
人类语言的错综复杂和千差万别,使大语言模型驱动的虚拟数字人全面理解和呈现自然的表达是一个巨大的挑战,其生成语言的质量将直接影响学习效果。大语言模型在技术设计、精准微调、语义表达、深入推理等多个方面均取得突破,但生成的内容仍存在多种问题。大型语言模型的训练内容来自不同来源的文本信息,会从训练数据中继承偏差和错误,或由于训练数据的不足产生错误逻辑推断。大语言模型通常依赖大量的参数来存储知识,生成的内容由模型参数决定,因此,会出现虚构或编造的回复,从而出现正确表达的假象,生成的看似连贯、上下文合理的内容常常缺乏事实准确性或现实基础[12]。当学习者询问超出大模型训练范围的内容时,生成的内容会产生完全编造或误导性的结果。大语言模型知识虽广,但仍有盲区,且多轮交互存在上下文不一致和知识遗忘问题。尽管大语言模型善于模仿人类语言,但缺乏伦理道德判断,易生成不安全或有害内容。学习者与之交互时,可能收到带有偏见或不准确信息的回复,对语言意识产生负面影响,导致输出错误观念。
(二)语言表达情感缺失
语言为交际者提供了大量传递情感的言语策略,可以通过语言手段描述无数的情感状态。在第二语言学习中,语用情感表达构建的社交线索,可以增加交流深度和精度,使语言交流更引人入胜。目前,大语言模型只能通过文字获取输入,无法捕捉第二语言中蕴含的细微情感和文化表达,使学习者出现疏离感和挫败感,降低学习动力。语言表达情感缺失会使语言学习互动变得机械,脱离实际语境,让学习者感觉不自然,难以为学习者提供有效的语言表达社交线索。非语言交流方式对语言理解和人际交往至关重要,但大语言模型只能通过文字提取情感,因此其驱动的虚拟数字人复制和回应社交线索能力有限,会影响语言学习经验获取的真实性和有效性。学习者与虚拟数字人互动获得的语言技能难以迁移到现实世界对话中,将其应用于涉及情感和社交暗示的场合时会遇到困难。
(三)学习反馈灵活性低
第二语言学习的反馈高度依赖语境,人类教师能灵活调整语言表达与行为表情,形成有效反馈。虚拟数字人虽能提供即时反馈,但缺乏人类教师的适应性和灵活性。其非语言反馈基于预设内容,难以灵活适应语境,尤其在敏感话题上,缺乏教育经验和判断力,可能产生误导性反馈,对学习过程造成潜在伤害。虚拟数字人需要极高的人物形象保真度,不然会让学习者产生“恐怖谷”的心理效应。然而,虚拟数字人建模的局限性和制作的高成本,会造成虚拟数字人无法完全模拟真人的外观、动作、表情、手势等,从而影响学习者感知交流的真实感和临场感。由于目前虚拟数字人的外形设计高度依赖美术人员,其不当的外观设计会在不经意间传达刻板的印象、呆滞的表情或不恰当的姿势,从而产生消极的用户体验,阻碍第二语言的流畅交流。虚拟数字人难以完全复制人类交流的细微差别和不断变化的行为表情,让学习者对语言使用的复杂性无法感知,尤其是对于理解俗语、讽刺、幽默和文化背景的反馈更难以实现。
(四)教育应用成本过高
大语言模型和虚拟数字人的实施和整合需要大量的计算资源和专业知识,而许多教育机构缺乏这些资源和技术能力。运行虚拟数字人的智能系统需强大GPU或TPU处理庞大的神经网络,导致高昂的初始成本和运营成本。如果要使用基于云计算的大语言模型驱动的虚拟数字人则需要高带宽、可扩展通信通道,成本也很高。在软件方面,需要针对性的训练算法,计算量大且设计复杂。建立有效的第二语言学习和对话系统,需大量可信数据和针对性训练,数据收集和标注挑战巨大。整合虚拟数字人到各种应用平台并保持内容一致性和适应性在技术上也很复杂。同时,还要确保大语言模型生成的内容以合乎道德和负责任的方式驱动这些虚拟实体,防止有害或有偏见的输出,还需要精心设计软件并进行持续监控。这些软硬件问题都会升高虚拟数字人在第二语言教育领域应用的成本。
四、大语言模型驱动的虚拟数字人
第二语言教育应用策略
(一)人机协同的内容生成构建可信学习资源
由于大语言模型存在的缺陷导致其生成的学习内容质量参差不齐,这就需要充分发挥人的批判性思维和信息鉴别能力,对这些信息进行判断、过滤和筛选,以确保生成的第二语言学习内容的教育适用性。人类的监督可以识别和纠正大语言模型生成的错误与偏见信息。利用人机协同的方式使用大语言模型生成第二语言学习内容,进而生成虚拟数字人表达的内容,是避免第二语言学习内容偏差的有效方法。
一方面,可以鼓励第二语言教育工作者利用具备的语言和文化知识,对大语言模型生成的第二语言学习内容进行监督和筛选,确保教学环节中使用的学习内容的适切性,避免错误语言知识的出现。另一方面,可以允许教育技术研究人员增加虚拟数字人第二语言应用的创造力和使用背景,同时利用大语言模型加快学习内容的生成。这样既保证了生成内容的准确性和质量,又保证了生成内容的速度和体量。利用虚拟数字人技术对大语言模型生成的第二语言学习内容进行深度加工,丰富第二语言的呈现方式。这样既提升了适切学习资源的生成效率,也提升了学习内容的表现力。
教育工作者还可以与技术研究者合作,训练个性化大语言模型,实时生成可信的二语学习内容;并利用虚拟数字人模拟人类行为,处理输入并生成反馈,从而创建一个可控的二语学习环境。在这种环境中,鼓勵学习者走出第二语言使用的舒适区,探索新的表达方式。在海量学习资源的支撑下,实现学练结合,促进二语使用多样性,提升文化欣赏力与探索兴趣。
(二)角色和场景融合空间实现多元反馈方式
虚拟数字人是一种体验性媒介,凭借扮演各种角色身份的能力,可以承担起连接个体与场景的任务,提供虚拟或虚实融合场景体验反馈的功能,如AR和VR教学场景,可以帮助学习者在体验过程中完成学习任务[13]。虚拟数字人作为连接真实或虚拟场景的代理,其外观会影响第二语言学习者对于交互过程中的真实感、临场感、信任感、群体满意度等方面的感知。
根据不同第二语言应用场景,虚拟数字人可以被设计成特定的教育角色。当虚拟角色融入真实或虚拟场景中,就会降低其外观对于学习者的影响。研究证明交互场景比交互对象更影响学习者对互动内容的感知,只要学习者在交互场景中获得了较高的社会临场感,虚拟数字人的实体或形态并不会给社交体验带来显著差别[14]。开发人员通过对视觉元素和虚拟数字人的整合,将图像、视频、图表等其他视觉元素融入虚拟数字人所在的真实或虚拟场景中,创建更全面、更能感知上下文的场景表征,可以丰富教学反馈,提高学习者的参与度,进而弱化了虚拟数字人无法完全模拟真人的缺陷。
研究人员可以对虚拟数字人参与的教学辅助系统进行定向开发,根据学习者所处的环境,如课堂学习环境、家庭学习环境、泛在学习环境等,设计具有针对性的虚拟数字人参与的学习场景的呈现方式和适切的人机交互模式。开发人员根据不同学习者的交互习惯和反馈喜好,无缝整合各种媒体资源和角色,开发角色和场景融合的虚拟或虚实融合的学习空间,如AR或VR学习空间,使虚拟数字人为学习者提供丰富的情境感知体验和自然且流畅的交互模式,从而使学习者在第二语言学习过程中发展文化共情能力和跨文化交流能力,并对第二语言文化的复杂性有更深的体会,促进学习者对第二语言知识与技能的理解,从而具备在一个日益互联的世界中与不同文化背景人群交流的能力。
(三)实时学习行为分析支持情感识别与表达
随着情感识别技术的发展,可以为虚拟数字人构建情感智能体系,协助虚拟数字人理解人类用户的情感,利用语音情感识别、人脸表情识别和自然语言情感识别技术,实现虚拟数字人对学习者的情感感知、情感分析和情感反馈,进而具备模拟人类情感表达的能力[15]。情感感知作为情感智能的输入,可以为虚拟数字人提供第二语言学习者的多模态情感输入信息,如语音、表情、动作、手势等;情感分析可以将感知来的第二语言学习者的情感信号转化为计算机可理解的情感状态;情感反馈可以让虚拟数字人进行人类可感知的情感输出。
具备情感智能体系的虚拟数字人一旦检测到学习者情绪,可以通过语音、表情、心跳等情感特征进行情感推理,从而了解学习者的心理状态,并调整自身表现以匹配学习者的情绪状态;还能根据学习者的情绪状态提供个性化反馈,以增强信心或减轻挫败感。
通过分析情绪,虚拟数字人可以实时调整教学策略。如果学习者明显感到无聊或不感兴趣,情感智能体系可以引入互动活动、游戏或多媒体内容,使学习体验更加愉快。这种动态适应使虚拟数字人能够提供个性化的、与情境相适应的反馈,从而提高人机交互的质量,并为用户提供更具吸引力的学习体验。虚拟数字人通过互动模拟和实时反馈,能够显著提升学习者对正确发音语调的认识,使学习者在同一时空内接触到不同的口音,增强对第二语言语音复杂性的理解。这种反馈的即时性培养了学习者的成就感和掌控感,最终增强参与对话和第二语言应用的信心。
(四)整合通用设备接口促进教育应用的普及
提高虚拟数字人在第二语言教育中的应用关键是要整合各个教育单位和学习个体拥有的通用信息化设备。首先,要确保虚拟数字人的界面与各种通用信息化设备的兼容性,如智能手机、平板电脑、课堂教学触控一体机等,降低虚拟数字人第二语言教学辅助软件的部署和访问成本。其次,利用云计算的服务简化虚拟数字人的更新和维护过程。将驱动虚拟数字人的大语言模型所需的大量计算负荷迁移到云计算服务器上,向通用信息化教学设备提供实时计算响应,确保学习者与虚拟数字人实时交互的流畅性,扩大虚拟数字人第二语言教育应用的覆盖范围,降低第二语言学习资源获取难度。此外,还可以通过训练应用于第二语言教育的定制化语言模型,设计与开发具备离线功能的虚拟数字人,将其应用于网络带宽不够、通信稳定性不足的农村地区。尤其是迫切需要进行语言教学改革的民族地区,更需要具备便利访问的虚拟数字人来辅助教师进行语言教学。
为了提升大语言模型驱动的虚拟数字人在教育领域应用的效率和质量,科技企业应提供二次开发工具与资源,支持教育技术人员创建自定义功能或应用,促进虚拟数字人第二语言教育应用的创新和普及。还可以创建虚拟数字人支持的二语学习平台,训练特色对话系统,整合课程、资源、场景,形成完整教学平台。利用虚拟数字人引导特色教育内容、教学模式与训练方式,通过经济实惠、可擴展的数字渠道普及给教学工作者和学习者,推动虚拟数字人在二语教育中的广泛应用。
五、大语言模型驱动的虚拟数字人
第二语言教育应用实践
基于上述应用策略,研究团队通过人机协同的方式,基于大语言模型平台训练私有对话模型支持可信教学资源生成,利用人脸表情识别云服务实现对学习者的情感识别,利用游戏引擎开发虚拟角色和三维场景融合的学习空间,并将应用程序部署到教学触控一体机和平板电脑及通用设备支持下的教育应用实践活动中,如图1所示。
大语言模型驱动的虚拟数字人第二语言教育应用程序由教师、模型训练人员、开发人员协同设计与开发,实践应用流程如图2所示。三类人员分工不同,但有共同目标,协同完成教学应用程序的设计和开发。第二语言教师负责设计学习任务、内容、活动及评测题库;模型训练人员利用百度千帆平台训练对话模型;开发人员整合模型、云服务、数字人生成服务及三维场景,生成虚拟数字人引导的教学场景并部署在通用设备上。教师在虚拟助教、虚拟对话角色和虚拟伙伴的协助下,帮助学习者完成关键学习环节,在非判定性的交流环境,学习语言知识,练习语言技能,符合交际语言教学原则。
(一)教师实践:设计教学内容和组织教学活动
教师需要精心设计第二语言学习任务,提高学习者的语用能力和文化理解能力。学习任务的设计包括鼓励词汇应用和句型练习,培养阅读和表达技能;知识内容的设计需选择与学习目标相关且文化适宜的主题,结合现实情境,提高理解力和参与度;会话设计融合真实对话、角色扮演和讨论,模拟现实交流,从而让学习者在语境中练习第二语言;评测题目的设计要多样化,以全面评估学习者的听、说、读、写能力。在教学组织方面,教师通过对话互动引导学习者高效地利用虚拟数字人,促进积极的语言参与和交流,并合理安排各种资源组织学习者进行课前预习、课中练习和课后复习评测。通过数据分析工具和语言跟踪应用程序加强进度控制,使教师能够监控学习者的表现,找出学习差距,并相应地调整干预措施。
(二)模型训练人员实践:训练多种教学对话模型
模型训练人员利用百度千帆大模型训练平台的知识问答应用(RAG框架),基于ERNIE-Bot4.0模型训练教学对话模型,包括任务引导对话模型、学习引导对话模型、语言对话模型和评测对话模型。平台通过基于大语言模型的知识点挖掘技术,对用户上传的知识库文档进行知识生产提炼,形成可被语义检索的知识点,实现高准确率的特定范围的智能知识问答功能。任务引导对话模型用于生成引导学习任务的对话内容,以满足二语学习任务发布需求;学习引导对话模型用于生成呈现学习内容的对话,通过对话的形式完成第二语言知识的学习;语言对话模型用来模拟自然会话的能力,将不同的语言风格、文化细微差别和语境相关性融入其中,从而提高语言生成的真实性;评测对话模型用于创建有效评估语言能力的评估引导内容,为评估学习者语音、语义、理解、表达和语境理解等技能,提供全面细致的评估工具。
(三)开发人员实践:开发虚拟数字人参与的教学场景并部署教育应用程序
开发人员首先通过Metahuman生成虚拟数字人模型和虚拟数字人动作表情集,并利用Oculus Lipsync口型配比云服务将虚拟数字人的口型与发音相匹配。虚拟数字人通过百度人脸表情识别云服务识别用户身份和检测用户的面部表情,进而分析用户的学习状态;利用百度语音识别与合成云服务处理用户的输入语音和虚拟人的输出语音;通过科大讯飞的语音评测云服务开发课后评测系统。开发人员利用虚幻引擎5(UE5)创建或导入各种三维场景作为虚拟数字人互动的环境,以增强交互的真实感。利用 UE5的脚本功能识别和解释语言提示或动作,对虚拟角色进行编程,使其对用户输入作出动态响应,实现虚拟数字人与三维场景融合的即时反馈模式,进行实时交流和反馈。
(四)学习者实践:使用通用设备进行第二语言的多环节学习
将大语言模型驱动的虚拟数字人整合到触控一体机和平板电脑上,大大地提升了其普及程度。课前,学习者利用平板电脑获取词汇、句型、篇章和对话等学习任务,并利用平板电脑进行自主学习和与虚拟角色进行对话;课中,利用教学触控一体机在虚拟助教的辅助下进行双师对话、随机提问、课堂竞猜、教学游戏等活动;课后,在虚拟学伴的帮助下进行复习,还可以进行词音、词义、句音、句义等全方位的评测。在这种模式下,学习者可以参与互动语言练习,通过语音识别技术练习发音,并获得实时帮助,从而创造一个动态的、身临其境的学习环境。此外,智能设备实现了学习的灵活性,让学习者可以随时随地获取语言材料,培养自主、独立的语言学习能力。虚拟助教与智能设备的整合提高了第二语言学习的效率和效果,提供了一种量身定制的、技术上更丰富的教育体验。
总体而言,本研究团队设计与开发的教育应用程序受到师生好评。其成功源于以下几方面:一是注重调动学习者的积极性,将学习者定位为核心参与者;二是实施现代化教学手段,提高课堂效率;三是根据学习者年龄选择虚拟数字人项目,基于交际性语言教学的原则,让学习者在模拟真实场景中与不同角色交流,既提升了学习兴趣,又加强了语言熟练度。此外,教师过程性评价与课后评测相结合,有效地调动了学习者的积极性,为后续学习提供了支持。精心设计的教学内容也符合第二语言学习需求,确保了教学目标的实现。教学过程鼓励学习者积极参与,培养独立思考、探索、交流、合作和主动学习的精神。课堂教学以训练语言应用能力为主,展示自主学习过程。进度控制和自主学习策略解决了个体差异,实现了分层教学,优化了课堂效率。
六、结 语
第二语言教育在提高个体认知能力和促进个人发展方面有重要作用。然而,由于缺乏语言交流环境,往往强调词汇的死记硬背和语法的机械套用,阻碍了语言实际应用能力的培养。随着虚拟现实和人工智能技术的快速发展,使得大语言模型驱动的虚拟数字人可以为学习者构建非判定性语言交流环境,呈现丰富的语言应用场景,模拟多种语言交流对象,规划个性化学习路径。但其应用中也存在问题,如生成内容偏差、情感表达缺失、反馈缺乏灵活性、成本过高等。为了解决上述问题,文章提出了系列应用策略并进行实践,包括通过人机协同生成教育适用性资源、建立角色和场景融合学习空间实现多元反馈、实时行为分析实现情感识别、整合通用设备接口促进应用普及。文章提出的教育应用策略和实践经验,为虚拟数字人在第二语言教育中的广泛应用提供了具体的路径,为我国广大第二语言教育工作者、教育技术研究人员、数字化教育产品设计与开发人员提供了利用技术变革教育模式的新思路。
[参考文献]
[1] 刘挺.从ChatGPT谈大语言模型及其应用[J].语言战略研究,2023,43(5):14-18.
[2] TAN J, MAO J, JIANG Y Z, GAO M. The influence of academic emotions on learning effects: a systematic review [J]. International journal of environmental research and public health,2021,18(18):1-19.
[3] DOUMANIS I, ECONOMOU D, SIM G R, PORTER S. The impact of multimodal collaborative virtual environments on learning: a gamified online debate[J]. Computers & education,2019,130(3):121-138.
[4] 严通.基于ChatGPT语言模型的虚拟数字人语音交互应用 [J].电视技术,2023,47(8):182-186.
[5] ZHENG S Y, ZHOU X. Positive influence of cooperative learning and emotion regulation on EFL learners' foreign language enjoyment [J]. International journal of environmental research and public health,2022,19(19):1-15.
[6] CRAIG S D, SCHROEDER N L. Reconsidering the voice effect when learning from a virtual human[J]. Computers & education,2017,114(2):193-205.
[7] HOU Z J, SALAZAR J, POLOVETS G. Meta-learning the difference: preparing large language models for efficient adaptation[J]. Transactions of the association for computational linguistics,2022(10):1249-1265.
[8] JAEHO J, SEONGYONG L, HOHSUNG C. Beyond ChatGPT: a conceptual framework and systematic review of speech-recognition chatbots for language learning[J]. Computers & education,2023,206(1):1-21.
[9] HARLEY J M, TAUB M, AZEVEDO R, BOUCHET F. Let's set up some subgoals: understanding human-pedagogical agent collaborations and their implications for learning and prompt and feedback compliance[J]. IEEE transactions on learning technologies,2018,11(4):54-66.
[10] 崔萌,穆肅,黄晓地.基于过程数据及分析的在线学习路径研究:规律与规划[J].开放教育研究,2020,26(3):58-70.
[11] 戴嶺,赵晓伟,祝智庭.智慧问学:基于ChatGPT的对话式学习新模式[J].开放教育研究,2023,29(6):42-50.
[12] 文森, 钱力, 胡懋地, 常志军.基于大语言模型的问答技术研究进展综述[J].数据分析与知识发现,2023(11):1-17.
[13] 程思琪,喻国明,杨嘉仪,陈雪娇.虚拟数字人:一种体验性媒介——试析虚拟数字人的连接机制与媒介属性[J].新闻界,2022(7):12-23.
[14] SAM T, ANNIKA S, AGNETAGULZ, TOM Z. Physical vs. virtual agent embodiment and effects on social interaction. 16th International Conference[C]. Los Angeles, Springer,2016.
[15] 王照涵,吕欣.从“数字皮囊”到“有趣灵魂”:生成式AI引领数字人交互模式变革[J].传媒,2023,10(2):49-50.
A Study on Application of Virtual Digital Human for Second Language Education Driven by Large Language Model
WEI Xiaodong, XI Pengfei
(School of Educational Technology, Northwest Normal University, Lanzhou Gansu 730070)
[Abstract] With the continuous breakthrough of large language model technology in many aspects, virtual digital human driven by large language model to assist second language learning can significantly improve the learning experience and learning efficiency of second language learners. Through literature review, this paper summarizes the role of virtual digital human in constructing second language learning environment, generating second language learning resources, simulating second language communication objects and providing second language learning paths. It also sorts out the problems of large language model and virtual digital human, such as poor generated content, lack of pragmatic emotion, inappropriate learning feedback and high application cost. This paper puts forward the application strategy of virtual digital human-assisted second language education, which includes human-computer collaborative content generation to build trusted learning resources, role-scene integration to achieve multiple feedback modes, real-time learning behavior analysis to support emotional expression, and integration of universal device interfaces to promote the popularization of educational applications. The effectiveness of the application strategy has been verified through case development and implementation, with a view to providing choices for the sustainable development of China's second language education in the digital age.
[Keywords] Large Language Model; Virtual Digital Human; Second Language Education; Generative Artificial Intelligence;Educational Application