元宇宙场域下的教育数字人及其应用*

娄方园，齐梦娜，王竹新，王 娟

0 引言

随着人类进入元宇宙时代，人工智能、数字孪生、脑机接口等智能技术的应用助力百行千业找到新发展空间并实现全面转型升级，尤其是教育领域。数字人是打开元宇宙大门的第一把钥匙[1]，是教育元宇宙的敲门砖。数字人产业已初具规模，预计2030年中国数字人的整体市场规模将达2，700亿元，逐步成为元宇宙重要一环[2]。

1989年美国国立医学图书馆发起“数字人”项目(VHP)，1994年创造世界上第一例数字人[3]。2001年韩国大学和韩国科技信息研究所建立“韩国数字人”(VKH)项目[4]。同年“中国数字人”项目(CVH)建立，创造了中国首个数字人数据集[5]。数字人进化阶段可以分为三代：可见人、物理人和生理人[6]，第一代实现了三维(3D)结构的可视化，如真人拍摄、换脸、二次元和卡通动漫；第二代实现了对人的物理特征的分析，如AI生成的超写实、AI实时驱动3D超写实；第三代实现了对人的生理特性的模拟，如AI赋能、性格培养。在技术与市场驱动下，数字人得到快速发展，为元宇宙提供蓬勃的发展动力。

通过对与数字人相关的国内外文献及案例的梳理与分析，发现数字人的发展给教育带来了机会，如虚拟教师构建个性化学习环境、虚拟学生实现像人一样学习和思考、虚拟学伴陪伴并指导用户学习、虚拟教育主播可以面向社会群体传播知识、虚拟导游可以提高社会教育的趣味性和灵活性，激活了教育元宇宙的生态。国内学者对教育数字人的研究尚少，在知网上以“教育数字人”为关键词检索出的相关文献为0篇，以“教育数字人”为主题检索出的相关文献仅18篇，且缺乏对其应用的分析与总结。基于此，笔者在对教育数字人的概念、特征与技术分析的基础上，从学校教育型数字人和社会教育型数字人两方面剖析其应用及国内外相关案例，对教育数字人所面临的挑战及实施建议进行了分析总结，以期为数字人促进教育发展提供思路，推动数字人与教育的初步融合发展迈向新阶段。

1 元宇宙场域下的教育数字人概念与特征

1.1 教育数字人的概念

教育元宇宙为教育相关主体创建数字身份，实现真实人和数字人的教育交互[7]。从狭义讲，教育元宇宙是基于VR等智能技术实现让人沉浸式教与学的虚拟世界；从广义讲，教育元宇宙涵盖数字教育世界的所有概念，包括当前的互联网+教育和未来虚实融合的数字化教育世界，其中最重要的主体是真实人和数字人。

教育数字人是计算机通过复制或模拟真实世界中教育主体的体格而生成的实体，可以摆脱与人类身体互动相关的物理、空间和时间限制，与其他真实或虚拟对象、人或系统进行交互。简言之，教育数字人意指具有数字化外形的与教育息息相关的虚拟人物，不仅拥有人的外观、行为和思想，还具有识别外界环境、与人交流互动的能力。教育数字人有两种主要类型——教育数字人化身(由人控制)和教育虚拟代理(由计算机控制)。教育数字人化身是由实时用户控制的教育数字人，集成了人体生理、心理、生物力学等特征，能够将真实教育世界的动作、意图和想法迁移到虚拟世界中。教育虚拟代理是由计算机程序创建并控制的教育数字人，用于支持真实教育主体与虚拟环境的交互[8]。

1.2 教育数字人的特征

(1)教育数字人具有教育性。在高度仿真的虚拟教学场景中，师生能打破时空限制，通过控制虚拟化身以具身认知体验和沉浸式体验的方式进行情境性、探究性的学习活动和交互，形成虚拟人、教师和学生数字孪生体三位一体的局面，相比传统教学方式效率更高、互动性更强，空间成本、时间成本被颠覆性降低，教育效率被颠覆性提升。如虚拟教师除了可以模拟真人教师的姿态、形象、行为和表情之外，还可以完成既定的教学任务，展现高度拟人化的虚拟教师形象。虚拟学生也可以理解人的想法，实现像人一样学习和思考，主动生成符合用户需求的互动，直观、全面地捕捉人的需求。

(2)教育数字人具有交互性。教育数字人可以在教育元宇宙中和真实人类传递信息。根据信息传输的方向，教育数字人与人类的交互可以分为3类。一是信息可以从人传递到教育数字人来指导真实的人在虚拟教育环境中的动作(人→教育数字人)，如清华大学虚拟学生华智冰唱歌。二是信息的传递可以从人到教育数字人再到人(人→教育数字人→人)，如虚拟教育主播播报新冠疫情防控通知等。三是信息可以通过教育数字人从一个人传递给另外一个人(人A→教育数字人A→教育数字人B→人B)，如A同学和B同学使用ASOUL平台通过数字人进行学术交流和互动。教育数字人的交互性极大地促进了教育的情感感知与强交互，替代真实的教育相关者完成许多真人完成不了的教育任务[6]。

(3)教育数字人具有虚拟性。教育数字人打破了物理空间和虚拟空间的界限，教育主体通过虚拟化身，在教育元宇宙中获得全息化临场感，如瞬间传送或物体重力下落。教育数字人的沉浸性有3种方式：空间、时间和情感沉浸。一是教育数字人的生成伴随着对用户的感知系统的数字化复刻，这意味着真实的人通过教育数字人可以在虚拟空间中获得身临其境的体验；二是教育数字人不会衰老，摆脱了时间限制，这种自主性能提高对教育用户的吸引力；三是用户通过教育数字人进行交互，产生情感共鸣，进而收获情感沉浸[9]。

(4)教育数字人具有高度拟人化的特点，拥有人的外观及性格特征。教育数字人无论是微表情、发质，还是肤质，做到对真实人的还原，且教育数字人可以根据不同的光影条件做出对应的渲染和模拟，拥有贴近真正的教育相关者的虚拟形象。教育数字人被赋予了独特的人物个性和饱满的情感，在形象、言谈举止等方面无限接近于真实的教育相关者。

2 元宇宙场域下教育数字人的支撑技术

随着教育元宇宙发展，教育数字人作为连接虚拟与现实的交互载体，已成为不可分割的一部分。在元宇宙场域下，每个教育主体都有虚拟化身，其不仅要有自己的外观与行为，还要有自己的思想与意识，这就需要相关技术的支撑促进其实现。姚蕾等将教育数字人分为静态教育数字人和动态教育数字人[10]，静态教育数字人主要运用建模技术和渲染技术；动态教育数字人要在建模和渲染的基础上进行驱动，驱动分为真人驱动和算法驱动，真人驱动主要利用动作捕捉技术，算法驱动主要运用人工智能技术[11]。具体见图1。

图1 元宇宙场域下数字人的支撑技术

2.1 建模技术

对角色进行形象设计以及建立模型是实现教育数字人的前提，要想实现3D教育数字人逼真的形象，就需要使用3D建模技术。建模是指采用三维建模软件建立三维立体模型，主要包括手工建模、图像采集模型和仪器采集模型等建模形式。仪器采集模型是建模技术发展的重点方向，主要分为静态扫描建模和动态光场重建。静态扫描建模技术是人物建模的主流方式，目前可实现毫秒级高速拍照扫描，满足教育数字人扫描重建需求，使其在元宇宙的场域下更趋向逼真的效果。与传统的静态重构技术相比，动态光场重建技术不但能一次性采集到模型的运动数据，还能呈现多角度下的高真实教育数字人物，近年商汤科技、谷歌、微软等已将该技术应用于3D建模并取得进展，虽然该技术因制作成本高、组装难度大等因素，尚未在国内普及，但因其巨大的市场潜力已成为建模的重点发展方向。

2.2 渲染技术

对捕捉到的动作进行记录后，还应使用渲染技术使主体更加逼真。渲染主要是指对电脑软件制作的教育数字人物模型进行写实处理的过程，主要包括离线渲染和实时渲染。离线渲染是在时间充足情况下，事先预定好纹理、灯光、材质、颜色等参数，然后再进行模型渲染，以达到极高的渲染质量与效果，缺点是渲染时间长且无法得到及时的反馈。实时渲染与离线渲染相比，计算速度有了质的提升，但为了实现即时计算，渲染质量的精度有所降低。近年随着人工智能技术发展和计算机软硬件进步，实时渲染技术快速提升，特别是PBR(Physically Based Rendering，基于物理的渲染技术)和重光照技术的引入，使实时渲染技术突破传统渲染的塑料感，达到近乎真实的效果。科大讯飞与河南开放大学推出的河南首位虚拟教师河开开充分利用实时渲染技术[12]，她以干净利落的外表和清爽淡雅的妆容，迅速获得教育界的广泛关注。

2.3 动作捕捉技术

动作捕捉技术是指在特定空间中，对被测主体的动作进行记录，并将捕获采集的行为转换成驱动教育数字人的动作，供进一步测量、追踪、分析、修改和应用。目前在教育领域，通过对被测主体身体动作、面部表情、眼神追踪和手部动作的精准捕捉，促使教育数字人形象更加生动逼真。动作捕捉系统按其实现原理可分为光学动作捕捉、惯性动作捕捉和计算机视觉动作捕捉。光学动作捕捉以其高精度、高专业度、高保真度等特点占据市场的主导地位，惯性动作捕捉是把惯性测量单元(IMU)与目标主体的骨骼相连，并利用算法实现对动作的捕捉，目前因其明显的价格优势已经成为实现教育数字人动作的主要生成方式[13]。随着计算机视觉、云计算、深度学习等技术迅猛发展，新兴计算机视觉动作捕捉技术逐渐成为该领域热点，这种捕捉技术虽算法开发难度大，但因操作简单、对硬件设备与外部环境要求较低等优势被一些公司青睐。

2.4 人工智能技术

随着人工智能技术在驱动技术领域的运用，算法驱动型教育数字人成为交互的主要方式。算法驱动型教育数字人主要利用人工智能技术对外部输入的内容进行分析与识别，并根据分析的结果判断出下一步的输出，该类型教育数字人具备自我学习能力，可通过不断地人工智能技术训练，达到更高标准。在驱动教育数字人过程中用到的人工智能技术主要包括智能感知技术、深度学习技术、智能数据处理技术、语音识别技术、自然语言处理技术、语音合成技术、语音驱动面部动画技术等。比如，在动作绑定过程中利用分类算法实现动作与数字人的匹配，在训练各类驱动模型时利用深度学习得到逼真的面部表情驱动模型，在内容制作时利用语音识别技术、语音合成技术和语音驱动面部动画技术等使虚拟人物动作与语音完美贴合，在人物表达时进行智能分析决策和识别感知，并利用终端技术实现合成显示。在未来教育中，学校将会运用人工智能技术改革教育教学，为学生提供辅导答疑、教育教学等服务，保障双师协同教学顺利进行。

3 元宇宙场域下教育数字人的应用与困境

3.1 元宇宙场域下教育数字人的应用

教育数字人是教育元宇宙中的重要组成部分，根据教育属性，其应用可分为学校教育型数字人和社会教育型数字人，如图2所示。

图2 元宇宙场域下教育数字人的应用

3.1.1 学校教育型数字人

学校教育型数字人拥有独立身份，被赋予具有个性的人格特征，目前主要的学校教育应用有虚拟教师、虚拟学生、虚拟仿真实验室和多模态智慧课堂。

(1)虚拟教师：展现拟人化虚拟教师的形象。教育数字人的沉浸性、交互性等特征使得虚拟教师作为数字人在教育领域的产物之一，除可以模拟真人教师的姿态、形象、行为和表情外，还可以完成既定的教学任务，展现高度拟人化的虚拟教师形象。在元宇宙中，除虚拟教师提供智能化的服务，真实的教师也能创造属于自己的数字人来开展教学活动[14]。比如，世界上首位虚拟数字教师Will可以像一个真正的人类一样和学生进行互动、交流[15]；河南开放大学虚拟教师“河开开”着粉色西装为全校师生播报教学服务内容，着黑色西装领学国家开放大学和河南开放大学联合开展的教育数字化联合主题党日；广州市电化教育馆的虚拟教师小智代替真人教师进行《人工智能走进校园提升学生智能素养》的授课；Tumbuh小学通过定量研究证明虚拟教师在教学能力、人格能力、专业能力和社会能力等方面对特殊需要儿童有很大的影响力[16]。

(2)虚拟学生：实现像人一样学习和思考。在教育数字人技术支持下，虚拟学生也可以理解人的想法，实现像人一样的学习和思考，主动生成符合用户需求的互动，直观、全面地捕捉人的需求。中国首位虚拟学生华智冰具有足够丰富的面部特征，能够实现精度更高的视觉化交互内容，不仅具有丰富的知识、拥有与人类良好交互的能力，还会创作音乐、写诗词和绘画，同时拥有持续的学习能力，能不断“学习”数据中隐含的模式，就同人类能不断从身边经历的事中来学习的行为模式一样。虚拟学生可以适应不同且不断变化的教学场景所要求的各种角色。Methical Jane(虚拟学生)通过监控学生的工作量以及在学习中的问题，及时提供解决方案，促进了在线教育发展，鼓励了学生学习参与[17]。

(3)虚拟仿真实验室：构建高度仿真的虚拟实验对象及环境。虚拟仿真实验室依托于虚拟技术、人机交互等信息技术，构建高度仿真的虚拟实验对象和实验环境，让师生可以及时、形象、直观地体验实验内容，打破时空限制，丰富实验素材。在高度仿真的虚拟教学场景中，师生能够打破时空限制，通过控制虚拟化身以具身认知体验和沉浸式体验的方式进行情境性、探究性的学习活动和交互，形成虚拟人、教师和学生数字孪生体三位一体的局面，这也为未来教育发展提供了新思路。美国莫尔豪斯学院(Morehouse College)建立沉浸式虚拟实验室进行虚拟人体科学实验[18]。虚拟仿真实验室也有助于培养医学生和年轻专业人士的个人职业技能。比如，虚拟仿真实验室中的数字人病人，能帮助医学生或实习生体验如何做一名合格的医生，如何对患者进行各种治理、诊断和检查。虚拟病人会对医生或者实习生的操作进行判断和及时反馈，满足学生作为医生或者实习生的体验，锻炼其临床思维能力，使实习生在进入临床实习前对相关病患有了一定的了解和认识，也避免因实习生失误而造成的对病患的伤害，以及医患纠纷。

(4)多模态智慧课堂：提供沉浸式智慧学习体验。多模态智慧课堂是指通过多种途径、多个感官参与到师、生、技术和环境之中全向互动而形成的教学活动综合体[19]。数字人支持的多模态智慧课堂可以实现软件和硬件之间的无缝互联，人与数字人进行实时互动，为学生提供沉浸式的智慧学习体验，学生可以获得大量的学习机会。OPPO推出的首个虚拟助手数字人“小布”是国内首个基于虚拟人多模态交互的手机智能助手，为学习者提供更多的学习机会和体验。科大讯飞的“超脑”数字人能理解知识、擅长学习，有望在课堂上使用“数字人+智慧课堂”开展“三个课堂”。Jie Yuan等通过虚实融合方式进行虚拟实验，设计多模态智慧课堂，提高了人与数字人的交互效率，降低了用户的认知负荷，增强了用户的现实感和操作感，激发用户的学习兴趣[20]。

3.1.2 社会教育型数字人

社会教育型数字人可以投入生产和服务，以虚拟化身的形象执行偏标准化的社会教育工作。目前主要的教育应用有虚拟学伴、数字人教育软件、虚拟教育主播、虚拟导游和虚拟客服5种。

(1)虚拟学伴：陪伴并指导用户学习。虚拟学伴是指具有数字化外形的虚拟人物，具备智能性、社会交互性、适应性和自主性等特点，具备表达情感和沟通交流的能力，主要功能是陪伴并指导用户学习。虚拟学伴不仅有人的外观、行为和思想，还能让用户感受到亲切感、关怀感和沉浸感。虚拟学伴的设计旨在解决用户在社会教育过程缺乏监督、指导和陪伴等问题。三星STARLabs在CES国际消费电子展上展出的数字人项目NEON拥有近似真人的形象及逼真的表情动作，可成为人类的学习伙伴。Roberto Reyes等开发了一个使用户能够访问适用于人工智能入门课程的交互式内容的虚拟学伴，能够以分层结构的方式显示常见问题的答案，通过语音、文本或触觉输入等方式引导用户更好地解决问题[21]。但在实际社会环境中应用，许多教育数字人技术和伦理等问题亟须克服。

(2)数字人教育软件：实现良好的人机交互。数字人教育软件依托于计算机图像、计算机视觉、机器学习、动作捕捉等技术，主要具备两大功能：良好的人机交互功能和虚拟教育场景的实现。实现数字人在教育领域的“低成本、短周期、批量化”生产与“超写实、沉浸式”实时互动。AR Avatar数字人软件能与真人实时互动，能将各种Avatar化身放在诗经之中，亦可在讲解知识点时，动作与语音协调配合，辅以相应的数据、图片、视频、模型、场景。VoRtex能支持虚拟环境中的协作学习活动，为教育者提供辅助工具，实现真实人与数字人的良好互动[22]。

(3)虚拟教育主播：面向社会群体传播知识。虚拟教育主播主要是在电视、广播、图书馆或者网络中以虚拟形象出现，面向社会群体传播知识的数字人。虚拟教育主播具备独特的人格化特征，在传播知识时能够做出合适的表情动作和肢体动作[23]。新华网推出的虚拟教育主播新小萌参与两会报道；光明网推出的虚拟教育主播小明能够模仿真人主播的神态和声音朗读文本内容，实现新闻播报的全流程服务；人民日报虚拟教育主播果果可以清晰流利地用普通话、广东话、英语和多种其他语言进行播报示范。未来虚拟教育主播的使用场景可以更多元化，如地铁、高铁、机场、图书馆等公共设施上的视频信息播报中，可能会有越来越多虚拟教育主播的身影。

(4)虚拟导游：提高社会教育的趣味性、灵活性和教育性。虚拟导游能够在虚拟场景中指导用户游览，在图书馆、博物馆等公共服务场所加入虚拟导游，可以提高其社会教育的趣味性、灵活性和教育性。疫情常态化影响了图书馆、博物馆的线下客流量，开发线上图书馆、博物馆及虚拟导游，能从一定程度上对抗这种影响。商汤为上海科技节特别定制的虚拟导游“小糖”对文物进行讲解。Li Wang等利用Unity3D交互开发引擎和3DMax建模技术，设计开发了一个具有自主性、沉浸感、交互性等特点的虚拟导游系统，为用户提供了一个高仿真场景和良好的互动环境，可以提高社会教育的趣味性和灵活性[24]。

(5)虚拟客服：基于真人形象提供顾问、事务处理等服务。虚拟客服可以通过预置知识库、知识图谱、用户自主配置触发条件等替代真人服务，可以对用户的基本诉求进行语音和行为识别，并以固定话术进行回应，拥有极高的拟人程度和交互能力。虚拟客服可以在图书馆、电教馆等特定场景中，基于真人形象提供顾问、事务处理、陪伴和关怀等服务。如浦发银行与百度、原力动画联合推出的虚拟客服“小浦”、万科集团推出虚拟客服“崔筱盼”，均以远高于真人千倍的效率进行工作。

3.2 元宇宙场域下教育数字人发展难题

(1)技术工具的迭代。教育数字人虽然有无论是发质、肤质，还是微表情等对真人的还原，拥有近似真人的虚拟形象，但其发展尚处于早期，相关技术还未完全成熟，如脑机接口、数字人类这些技术尚处于萌芽期。教育数字人的发展亟待技术能力和工具的迭代，包括AI能力、虚拟人引擎、动作面部捕捉、教育教学等。

(2)与真实人类的平衡。随着教育数字人的持续发展，其应用日益明显。教育数字人将打破现实世界的物理规则，在虚拟世界重新定义绝大部分的生产生活方式，以全新方式提高全社会生产效率，但教育数字人产生的新型视觉场景和互动性体验，会让更多人沉浸在虚拟世界中不能自拔。如何平衡真实人和教育数字人之间的关系，发挥教育数字人的正面影响，抑制消极作用，这将是未来要解决的问题。

(3)情感交互的缺失。目前教育数字人的应用研究集中在知识内容的交互，在情感交互方面的研究略有不足。数字人与教育的融合为学习者提供了虚拟化、智能化的学习场景及丰富的学习体验，但学习者长时间和教育数字人缺少情感交互，容易产生注意力不集中、学习效率低等问题，甚至会对学习产生抵触心理[25]。教育数字人的应用最终需要落脚到人的学习，即“人是如何学习的，怎样才能促进有效的学习？”

4 元宇宙场域下教育数字人发展建议

元宇宙时代下的教育数字人的应用领域和规模不断拓展，促进了虚拟世界和现实世界的融合共生。虽然未来教育数字人智能化程度不可估量，但也需要针对现实情况作出预设和完善。自从教育数字人的概念被提出以来，人类一直致力于通过智能技术延伸、增强自身改造自然和治理社会的能力。随着科技的发展，教育数字人在信息记录、数值计算等领域有望超越人类。所以，人类要保持对教育数字人的控制能力，谨防虚拟人神话，加强情感依赖，满足用户个性化需求。

4.1 全方面培养技术人才，升级核心工具

教育数字人发展处于萌芽期，要拓展教育数字人的应用和规模，急需大量优质的专业人才和新型工具。首先，学校教育要注重培养学生创新思维和解决问题的能力，探究在核心素养指导下的跨学科项目式教学，将人工智能理论与实践相结合，根据不同地区不同学校特色开展人工智能等校本课程，尊重学生个性化发展，为教育虚拟人领域培养优秀人才。其次，不断完善和提高相关技术，以AI能力、虚拟人引擎、动作面部捕捉、教育教学等为技术创新的核心，增强教育虚拟人微表情和肢体的精准度，使其趋近于真实人类，增强与人类交互的智能化和趣味化。最后，教育数字人在使用过程中应不断开发新的应用领域，在不同领域中也能充分发挥出优势，解决人类较难解决的问题，为真实生活服务。

4.2 重视数字人教育研究，谨防虚拟人神话

元宇宙时代的到来，教育数字人发展有了新契机，应该把目光聚焦于教育数字人应该如何发挥其巨大潜能。但随着人与未来深度数字化的世界的到来，教育数字人是否能替代真实人在教育行业地位的言论观点也层出不穷。在教育元宇宙世界中，教育数字人的潜在功能是巨大的，但回顾历史，教育教学工具从当初的竹简、纸张，渐渐发展到多媒体、智能技术，人的作用非但没有被削弱，反而社会对人的要求越来越高。教育数字人技术即使已经发展到外形与真人别无二致，但真实的情感表达和陪伴是任何技术都无法取代的，应该谨防虚拟人神话，教育数字人和真实人类不应该是非此即彼，应该是融合共生的。对于教育数字人和真实人如何融合与共创也是教育数字人在实施中的重点研究方向。

4.3 加强情感依赖，满足用户个性化需求

随着教育数字人广泛应用，引起了教育领域的变革，加快了社会生产力和人们受教育水平的提高。但教育数字人目前很难落脚到情感教育目标上，教育活动伴随着师生互动和情感传递，元宇宙场域下的教育数字人想要更好融于实际教育，不仅需要在外形、表情和动作上更加逼真，还应该在真实用户交流的过程中通过人工智能技术，包括多模态的感知和理解、情感智能、拟人化合成等做到多模态交互。比如，当虚拟教师识别到学生的情感需要时，在心理学、教育学等相关理论知识基础上，通过文字、语音、动作等和学习者进行虚实交互，逐步建立情感依赖，存储互动数据完善用户画像，满足用户个性化的需要。教育数字人和真实人类之间的关系会不会成为一个程序员群体的个人意志的体现？教育数字人的去中心化对中心化的真实人的冲击有多大？元宇宙中教育数字人和真实人的情感归属将会走向何方？都将是未来持续关注的命题。