元宇宙服务的人机交互综述

2025-01-01 00:00:00高俊涛程玉玉
郑州大学学报(理学版) 2025年1期

摘要: 近年来,元宇宙飞速发展,已成为未来数字世界的一个重要发展方向。元宇宙中的人机交互是实现虚实融合的核心,其解决了元宇宙中的多用户协作、沟通、社交等挑战,促进了创新和合作。为了深入探讨元宇宙作为虚拟和现实世界融合的数字化空间,其服务如何与人机交互相结合,创造出丰富、沉浸式、个性化的用户体验,调研了元宇宙和人机交互技术,并从人机交互的角度对元宇宙的概念进行了定义。讨论了元宇宙服务和人机融合的可行性与优势,并整理归纳了现有的挑战。最后探讨了元宇宙服务的未来发展趋势。

关键词: 元宇宙; 服务; 人机交互; 数字化空间

中图分类号: TP391

文献标志码: 文献标志码A

文章编号: 1671-6841(2025)01-0008-07

DOI: 10.13705/j.issn.1671-6841.2023236

Human-computer Interaction for Metaverse Service: a Survey

GAO Juntao, CHENG Yuyu

(Department of Computer and Information Technology, Northeast Petroleum University, Daqing 163318, China)

Abstract: In recent years, significant development has been observed in the metaverse, which has now emerged as a crucial direction for the future digital world. The human-computer interaction within the metaverse was considered the core for achieving the fusion of the virtual and real worlds, addressing various challenges such as multi-user collaboration, communication, and socialization within the metaverse, thereby fostering innovation and collaboration. In order to delve deeper into the metaverse as a digital space where the virtual and real worlds converge, and to explore how its services were integrated with human-computer interaction to create rich, immersive, and personalized user experiences, the metaverse and human-computer interaction technology were surveyed, and the concept of the metaverse was defined from the perspective of human-computer interaction. The feasibility and advantages of metaverse services and human-computer integration were discussed, while also summarizing the existing challenges. Finally, the future trends in metaverse services were explored.

Key words: metaverse; service; human-computer interaction; digital space

0引言

随着人机交互、增强现实、区块链技术和数字孪生等技术的发展,以及人们对社交互动和数字化资产等需求的增长等因素,使元宇宙飞速发展。元宇宙最初是由美国科幻小说家尼尔·斯蒂芬森(Neal Stephenson)在他的小说《雪崩》(Snow Crash)[1]中提出。在该小说中元宇宙被描述为一个虚拟现实世界,在这个世界里,人们的生活是完全数字化的,可以无视现实世界中的地理位置,通过各自的 “化身” 进行交流、娱乐,此外还可以使用化身来控制和相互竞争以提高自己的地位。化身是用户在虚拟世界身份的具体表示[2],是元宇宙中的数字住户或居民,其行为反映了元宇宙中特定人类实时执行的行为[3],用户可以在数字世界中拥有一个或多个身份。元宇宙在技术、社会、文化等多个层面上开辟了全新的领域,而在元宇宙的内部,元宇宙服务则成为这个虚拟化世界中的各种功能和体验的提供者,为人们带来一种全新的数字化生活方式。

随着技术的进步,人机交互已不再局限于传统的键盘、鼠标、触摸屏等方式,而是迈向了更智能、更身临其境的层次。元宇宙中的人机交互超越了单纯的指令输入与反馈输出,融入了姿势感知、语音识别、情感表达等多种形式,与数字世界的互动更自然、更流畅。人机交互技术是构建元宇宙的重要基石之一,也是元宇宙实现的重要支撑。许多研究[4-5]表明,人机交互在元宇宙的构成和发展中有着重要作用。然而,不容忽视的是,元宇宙中人机交互涉及的技术和挑战,如高度智能化的虚拟角色、人类与数字环境之间的界限、平台的兼容性等问题仍然没有得到很好的解决。

在信息技术迅速发展的今天,元宇宙服务的人机交互正展现出前所未有的潜力,它不仅影响着人们的日常生活,还深刻地改变着社会、文化、商业等多个领域的运作方式。通过深入研究元宇宙服务的人机交互模式,我们可以更好地把握未来数字化时代的发展方向,为构建更先进、智能、人性化的人机互动模式奠定基础。在现有的综述文献中,研究者对脑机接口、虚拟现实进行了研究[6-8]。人机交互比单纯的脑机接口或虚拟现实能提供更多层次和全面的用户体验。将人机交互融入元宇宙中可以提升用户体验、促进创新和发展,解决了虚拟世界中的交互问题,使用户能够更自然、方便地与虚拟环境进行互动。但目前将人机交互融入元宇宙中会面临很多挑战。基于此,本文深入探讨了元宇宙服务的人机交互,剖析元宇宙服务如何以其独特的模式,重塑人们与数字世界的互动方式。

本文首先从定义、技术和服务三个部分来介绍元宇宙。随后,讨论了元宇宙服务的人机交互的技术构成。最后,探讨了元宇宙服务的未来发展趋势,总结了现有的挑战,并探讨元宇宙服务与人机融合的可行性和优势。

1元宇宙

“元宇宙”一词首次于1992年提出,2021年,随着 Facebook 宣布全面进军元宇宙并将公司更名为 Meta,元宇宙引起全球范围内的广泛关注。图1展示了2021年元宇宙相关重要事件的时间线。元宇宙是一个基于区块链构建的虚拟世界,通过去中心化平台赋予玩家所有权和自治权。人机交互使用户沉浸于体验之中,而人工智能则赋予了虚拟角色智能和情感[9]。区块链、人机交互和人工智能这三者的结合创造了一个多维度、互动性强的虚拟世界,使其更接近现实。

元宇宙之所以火爆经过分析认为有四个因素:1) 人机交互、区块链和人工智能等技术已经趋于成熟,技术的发展拓宽了想象的边界;2) 新冠疫情的影响;3) 元宇宙中存在一个完整的独立虚拟经济和货币体系,许多企业看到了它的价值;4) 元宇宙是以服务和用户为中心的[10]。第四点也是本文的观点所在,元宇宙是一种新型社会系统的数字化生活空间,具有沉浸式、交互性、超空间、多技术、协作等特点。元宇宙为元宇宙服务提供了创造和实现的场景,而元宇宙服务则丰富了元宇宙的内容和体验,它们共同构建了一个新的数字化世界。

1.1元宇宙的定义

现阶段对元宇宙的定义因人而异,针对这个情况,我们通过调查提取了目前定义的共同点,并对其进行了分类。其具体的细节请查看我们的另外一篇文章[11]。元宇宙的定义可归纳为三类:从时空角度看,元宇宙是一个超越传统虚拟现实的三维虚拟世界,融合了物理世界和虚拟世界;从功能或用途角度看,元宇宙是一种媒介,可用于创造虚拟实体、虚拟环境和虚拟资产,也可作为虚拟社交平台和各种服务的助手,如虚拟教育、医疗诊断等;从技术角度看,元宇宙又是一个多种技术的综合体,涉及人机交互、人工智能、区块链等前沿技术,是一个拥有新经济、新身份等特征的数字空间。在我们探讨元宇宙的定义以及其在数字时代的潜在影响之后,为了进一步理解元宇宙的定义,我们从人机交互的角度绘制了元宇宙的概念图。图中的关键字是我们从有关元宇宙人机交互的相关文章中提取出来的,提取的方法是将文章中重复率高的相关概念进行提取。然后,将提取的概念进行分类和分组,将其映射到抽象概念。最后,对这个过程进行了多次迭代,将迭代的结果进行总结和逻辑连接。其具体情况如图2所示。从人机交互的角度给元宇宙下一个定义:元宇宙是一个高度沉浸和社交化的多用户的三维空间,它通过扩展现实和社交媒体为用户提供了一种身临其境的体验,使用户能够与虚拟世界、其他用户和数字内容进行深度互动。

1.2多技术构成的元宇宙

元宇宙作为数字科技领域的热门话题,代表了人类对虚拟世界的无限幻想。相关技术的构成如图3所示。这些技术相互融合,共同构建了一个多维度、互动性强的虚拟世界。

数字孪生可以将现实世界的影像映射到虚拟世界中,从而为元宇宙构建一个极其细腻逼真的环境,为用户创造身临其境的体验[12],通过数字孪生技术,可以将现实世界的数据与虚拟环境融合[13],实现更好的互动和增强虚拟现实体验。数字孪生极大地提高了元宇宙建设的效率和逼真度。渲染技术以高质量、高效率的方式帮助呈现虚拟世界中的图像、声音[14]和交互元素,从而创造出更真实、更引人入胜的虚拟体验。区块链具有不可篡改性、可追溯性和隐私安全性[15]等特性,这些特性为虚拟世界的经济、社交、安全等方面提供关键支持[16]。此外,区块链技术创建了元宇宙中的数字资产,不可替代地实现了与虚拟商品的关联,使数字资产具有可交易的实体[17]。人工智能技术能够赋予虚拟世界更高级的智能性[9]、自主性和交互性。在元宇宙中,人们可以通过虚拟角色与虚拟环境进行交互,人工智能使得元宇宙的虚拟角色更加智能化,用户与虚拟环境的互动更加自然流畅,同时也为创造更丰富的虚拟体验和应用提供了新的可能性。人机交互技术可以增强用户与虚拟环境的互动、探索和创造,使用户能够更自然、更便捷地操控虚拟世界。在这个虚拟世界中,你或你的虚拟化身可以与他人互动,包括眼神交流、身体交流,甚至握手和拥抱。网络技术是元宇宙的基石,是连接虚拟世界中各个组成部分的纽带,使用户能够在虚拟环境中进行互动、通信、交流和协作。

1.3元宇宙服务

服务通常用来描述一种行业或商业模式,是指公司或个人向客户提供各种各样的价值、帮助、产品或资源。元宇宙服务则是指元宇宙提供的多种服务和功能,是连接人们与虚拟环境的纽带,旨在满足用户在虚拟化环境中的多样化需求,其包括了社交互动、教育培训、娱乐创作、商务交易等。元宇宙服务通常依赖于虚拟现实、增强现实、人工智能、区块链等技术,对元宇宙的发展和运行有着重要的作用,其目的是给用户提供更沉浸式、互动性和有趣的虚拟体验,使他们能够更好地利用虚拟环境来实现各种活动和目标。元宇宙服务可以用于解决元宇宙中数字化身、数字孪生和数字原生等服务方面[18]的问题。元宇宙服务可以提供虚拟会议和协作体验,使团队能够在虚拟空间中进行会议、合作和项目管理,如Facebook Horizon Workrooms、VRChat等平台。元宇宙服务可以为人们提供虚拟课程、培训和教育体验服务,如Virbela、AltspaceVR Education等虚拟教育平台。元宇宙服务还可以提供虚拟医疗诊断、治疗和康复,以及健康教育体验服务,如VRHealth和Virti等。元宇宙服务领域正在不断地发展和扩展,未来会有越来越多的服务和应用不断涌现。

2人机交互

在元宇宙中,人机交互是用户与虚拟环境、虚拟实体以及其他用户之间的互动过程。这种互动可以通过手势、语音、眼神、身体动作等多种方式来实现,旨在让用户能够自然地与虚拟世界进行沟通和互动。人机交互关注的是如何创造用户友好直观的界面和系统,人类与机器如何更好地协作和肢体交互。元宇宙中的人机交互关注的是如何设计直观且舒适的虚拟现实和增强现实界面,并且对其相关设备的优化、情感识别和反馈以及元宇宙中的支付、购物和数字财产管理等方面。

新型人机交互最显而易见的表现便是交互方式与交互设备的变革[19],人机交互方式演变历史大致可分为互联网时代到元宇宙时代两个阶段。随着科技的快速发展和更新换代,人机交互方式在内容和场景上也在不断地丰富和升级,由原来的桌面式交互转向了沉浸式虚拟交互[20]。如图4所示,互联网时代,人机交互只能通过电脑、手机等特定设备在特定场景下进行。而在元宇宙时代,可以通过任何智能设备,在任何生活场景下进行人机交互。互联网时代的人机交互主要以键盘、鼠标、触摸屏等传统方式为主。网络时代的人机交互深度主要受限于技术和互联网基础设施的发展水平,交互的主要方式仍然是以文字、图像、音频、视频等多媒体形式展现。元宇宙时代的人机交互通常涵盖更多的交互方式,如虚拟现实、增强现实、全息投影等。从角色互动的深度来看,元宇宙时代,人机交互的深度可以通过用户与虚拟角色的互动来评估,人机交互使用户能够与虚拟角色进行更深入、更自然的互动。人工智能技术使虚拟角色能够理解用户的语言、情感,以更智能、真实的方式与用户交流。

本章分别从全息投影、脑机接口和扩展现实三个技术构成角度来介绍元宇宙服务中的人机交互。

2.1全息投影

全息投影通常用于需要匹配视觉呈现的场景,是一种利用虚拟成像原理来建设三维世界[21],并将电子数据转化为光学图像的一种技术。它能够在空气中或透明介质中创建逼真的三维图像或影像。在元宇宙中,全息投影技术为用户呈现出虚拟角色、虚拟物体和虚拟场景三维形式,三维的视觉效果给用户带来更好的体验感,为虚拟环境增添更高层次的逼真性和沉浸感。通过将虚拟内容投影到现实环境中,使用户能够通过手势、声音或其他交互方式来操控虚拟内容。在元宇宙服务中,用户可以通过全息投影参与虚拟会议、展览、培训等,实现更加逼真的虚拟体验,使交流更加自然、直观,推动了虚拟和现实的融合,为元宇宙服务的发展带来了更多可能性。

2.2脑机接口

脑机接口建立了人类大脑与计算机或其他外部设备之间的直接连接[22],允许人类通过大脑信号与机器进行交互。脑机接口技术的核心目标是将人类的思想、意图或情感转化为计算机能够理解的指令,从而实现无须使用传统输入设备的交互体验,将人类的神经世界与外部的物理世界连接起来。

在元宇宙服务中,脑机接口实现了人类与计算机之间一种更自然的交互方式,使用户无须使用手部或其他身体部位的动作,通过思想直接操控虚拟环境中的角色、物体或场景,脑机接口还可以捕捉用户的情感和意图,并将其转化为虚拟世界中的交互行为,可以实现更直观、更身临其境的虚拟环境操控。脑机接口可以结合虚拟现实技术,增强用户在虚拟世界中的沉浸感,使虚拟现实体验更加逼真。这为元宇宙服务中的虚拟社交、创造、探索等活动提供了更加直观、便捷的交互手段,为元宇宙服务带来了前所未有的交互方式和体验,将人的思维和虚拟世界紧密连接起来。

2.3扩展现实

扩展现实包括虚拟现实、增强现实和混合现实等技术,是元宇宙为用户创建一个高度交互的虚拟世界的主要交互技术[23],为元宇宙服务带来多样化的体验和功能。虚拟现实技术就是利用现实生活中的数据,通过计算机技术产生的电子信号创造了一个完全的虚拟环境,用户可以通过一些头戴式显示设备进入其中[24],与真实世界隔绝,通过完全接管人类的视觉、听觉、触摸和动作捕捉,使信息能够在元宇宙中进行输入和输出,在元宇宙服务中,用户可以通过虚拟现实设备完全融入虚拟环境,实现更加沉浸式的体验,从而达到深度的参与感。增强现实是在虚拟现实的基础上发展而来的,其主要目的是用于增强,增强现实技术借助物理设备和新型媒介增强人们对世界的认识[25],通过对人的各种感知(如视觉、听觉、嗅觉、触觉等)进行模拟和再输出,并将虚拟信息叠加到真实信息上,给人类提供超越真实世界感受的体验。在元宇宙服务中,通过在现实世界中叠加虚拟元素,创造出增强的视觉和感知,实现更加沉浸式的体验。混合现实是在虚拟现实和增强现实之间存在的一种奇妙的过渡形态, 将虚拟内容与现实世界相融合,创造出介于虚拟现实和增强现实之间的交互体验。在混合现实中,虚拟元素与真实世界的场景交织在一起,用户可以在现实环境中看到虚拟内容,同时也能够与虚拟元素进行交互。

3未来发展趋势、挑战和优势

元宇宙作为一个蓬勃发展的领域,有着巨大的潜力。本节介绍元宇宙服务与人机交互的未来发展趋势、挑战和优势。

3.1未来发展趋势

元宇宙是现阶段各大技术的综合构建,是高新科学技术发展达到“奇点”后衍生的概念性产物。元宇宙和元宇宙服务的出现不仅是技术的突破,更是人类社会向数字化时代迈出的一大步。它们对社会、文化、商业等方面都产生了深远的影响。虽然元宇宙目前还处于发展的早期阶段,其技术、系统和伦理等方面还不完善。但已呈现出服务的网络化、智能化、普适化、虚拟化趋势。业界将元宇宙视为新增长点和下一个具有战略意义的竞争领域。元宇宙服务将在各个领域实现更广泛的应用,包括娱乐、医疗、设计、艺术、商务等。虚拟世界将成为创新、创造、交流的平台,为不同行业带来新的机遇。从技术层面看,元宇宙是一个由多种技术构成的集合体,其发展受益于许多技术的发展,如人机交互、人工智能、区块链和数字孪生等。这些技术的不断进步为元宇宙的发展提供了技术基础。由于元宇宙是全球性的虚拟社交平台,能够使用户跨越地域和文化边界进行社交互动,这种全球性社交可以促进文化交流、合作和友谊。因此,元宇宙极有可能是下一代的因特网。从服务的角度看,在人工智能和人机交互的支持下,虚拟角色能够更好地理解用户的意图、情感和需求,从而实现更智能、个性化的交互体验,给人们提供更好的服务。在未来,人机交互将无限接近人类在现实生活中获取信息的自然方式,人和机器的交互将逐渐演变成人和世界的交互,身心交互将是元宇宙服务人机交互发展趋势。

通过元宇宙,人们可以超越现实的物理界限,与来自世界各地的人进行实时交流和协作。这种全球互联的可能性对社会、商业和创新领域的未来有着巨大的影响。未来的元宇宙服务可能会越来越多地实现跨平台互通,这将有助于创造更加连贯和丰富的虚拟世界,提升用户的参与感。元宇宙与元宇宙服务的出现为数字时代的发展带来了新的境界。它们重新定义了人与数字世界的关系,扩展了人们的创造、互动和体验方式。元宇宙有望成为商业世界的重要角色,英伟达以“芯”为本,着力搭建元宇宙的硬件平台。2021年度GTC大会上,英伟达创始人黄仁勋公布了一系列最新人工智能技术和产品,并推出承载着“元宇宙”愿景的全新虚拟化身平台Omniverse Avatar。苹果、亚马逊和谷歌等知名企业都在围绕元宇宙进行规划。元宇宙将成为人们生活中不可或缺的一部分。Gartner(全球最权威的IT研究和咨询公司)预测,2026年,25% 的人平均每人将在元宇宙中花1 h,越来越多的领域将与元宇宙结合发展成各种应用模式。元宇宙是未来发展趋势的必然,但也是一个漫长的衍生过程。元宇宙和元宇宙服务的未来充满了机遇和挑战。随着技术的不断进步和创新,它们将不断演化和发展,为人们带来更加丰富、多样化的数字体验,改变人类与数字世界的互动方式。

3.2元宇宙服务下的人机交互挑战

元宇宙作为虚拟世界的未来,引领人们进入一个数字化、互动性强、超时空的虚拟环境。在这个虚拟环境中,用户与虚拟实体、其他用户以及数字资产之间的互动将变得至关重要,这也使得人机交互成为元宇宙服务的关键组成部分。然而,实现出色的人机交互在元宇宙中并不是一帆风顺的事情,它面临着一系列挑战。

1) 跨平台互动性挑战。由于元宇宙服务涉及一些穿戴式设备、开发平台和标准,而不同的设备可能有不同的传感器、分辨率、处理能力等特性,这些特性的不同可能会导致元宇宙的互动性不一致。开发者开发元宇宙服务的程序可能使用不同的开发工具和标准,而这可能会导致元宇宙与虚拟世界的不兼容。

2) 流畅性挑战。理想的元宇宙中,玩家可以获得一个无限接近现实的感觉[21],然而,目前元宇宙服务无论是硬件设备还是技术都无法实现这一点。目前元宇宙的硬件设备的舒适性不高,长时间佩戴可能导致运动晕动[5]或眩晕感。此外,显卡等硬件设备也对元宇宙的流畅度造成了一定的影响,这是因为元宇宙的高分辨率图形渲染对硬件的显卡要求很高,而目前的显卡无法达到这一标准。对流畅性影响最大的是目前的网络算力问题。英特尔曾表示,目前的计算、存储和网络基础设施根本不足以实现元宇宙愿景,而要想实现真正的元宇宙,目前的计算能力需要再提高1 000倍。

3) 设计挑战。元宇宙服务的设计涉及高度沉浸、多维交互等方面。因此,设计师在设计时需要考虑多方面的因素。我们首先需要注意的点是,元宇宙的设计是对一个三维的空间进行设计,在设计该元宇宙服务时,设计的用户界面应该是令人愉悦的,要确保用户能够轻松、高效地在虚拟环境中进行各种活动和互动。因此,不能在屏幕上同时显示所有内容,应尽量简洁大方,这对设计师的要求很高。此外,设计师还有一个非常需要注意的点是两个世界的一致性,文献[26]中说到元宇宙在设计时,如果设计与现实世界不匹配,就会使用户在两种现实之间切换时产生焦虑,因此要考虑两个世界的一致性,这对设计师而言也是一个不小的挑战。

4) 沉浸感挑战。当前元宇宙平台在时间和支持有意义沉浸的程度上都很有限[5],我们只能通过视觉和听觉信息,与元宇宙中的环境、化身等进行交互,其他感知(如触觉、嗅觉、味道等)还不能运用在交互中,这些交互方式超出了当前技术的覆盖范围。此外,元宇宙中用户交互行为无处不在,且多模连续,导致交互数据模糊,为交互意图准确推理带来巨大挑战,对元宇宙服务的沉浸感也造成了一定的影响。

3.3元宇宙服务和人机交互融合的优势

元宇宙服务与人机融合具有很高的可行性和众多优势,这是因为元宇宙为人机交互提供了一个多样化、沉浸式和高度互动的平台。人机交互技术中的虚拟现实、增强现实和脑机接口等技术已经取得了较为显著的进步,使元宇宙服务成为可能,并且虚拟现实研究可能会引领未来的元宇宙学习人机交互研究[26]。元宇宙服务与人机融合之后,可以提供极高的沉浸感,使用户仿佛置身于一个全新的虚拟世界中。这对于模拟和培训应用、虚拟旅游和娱乐体验非常有吸引力。元宇宙服务和人机融合的结合具有广泛的应用前景和潜力。

4总结

元宇宙极有可能成为下一代互联网,元宇宙的应用极其广泛,目前这种新技术的潜力已经在医疗保健、教育、游戏和电子商务等领域有所展现。此外它具有巨大的商业和学术价值。本文针对元宇宙服务的人机交互的现状进行了综述。文章从定义、技术和服务的角度介绍了元宇宙,从全息投影、脑机接口和扩展现实来介绍人机交互,之后讨论了元宇宙和元宇宙服务的未来发展趋势以及元宇宙服务下的人机交互的挑战。自2021年以来,人们对该领域的兴趣越来越大。本文的调查增加了人们对元宇宙的理解。

参考文献:

[1]STEPHENSON N. Snow crash[M]. New York: Spectra Press, 2003.

[2]PETRAKOU A. Interacting through avatars: virtual worlds as a context for online education[J]. Computers & education, 2010, 54(4): 1020-1027.

[3]DIONISIO J D N, GILBERT R. 3D Virtual worlds and the metaverse: Current status and future possibilities[J]. ACM computing surveys, 2013, 45(3): 34.

[4]WANG Y Y, SIAU K L, WANG L. Metaverse and human-computer interaction: a technology framework for 3D virtual worlds[C]∥International Conference on Human-Computer Interaction. Cham: Springer International Publishing, 2022: 213-221.

[5]GUAN J, IRIZAWA J, MORRIS A. Extended reality and Internet of Things for hyper-connected metaverse environments[C]∥2022 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops. Piscataway:IEEE Press, 2022: 163-168.

[6]ABDELGHAFAR S, EZZAT D, DARWISH A, et al. Metaverse for brain computer interface: towards new and improved applications [M]∥The Future of Metaverse in the Virtual Era and Physical World. Cham: Springer International Publishing, 2023: 43-58.

[7]WU D P, YANG Z G, ZHANG P N, et al. Virtual-reality interpromotion technology for metaverse: a survey[J]. IEEE Internet of Things journal, 2023, 10(18): 15788-15809.

[8]LV Z H. Virtual reality based human-computer interaction system for metaverse[C]∥2023 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops. Piscataway:IEEE Press, 2023: 757-758.

[9]ZYDA M. Building a human-intelligent metaverse[J]. Computer, 2022, 55(9): 120-128.

[10]DU H Y, WANG J C, NIYATO D, et al. Exploring attention-aware network resource allocation for customized metaverse services[J]. IEEE network, 2023, 37(6): 166-175.

[11]YANG Y L, CHENG Y Y, GAO J T. A survey on metaverse: technologies, applications, future trends and challenges[C]∥2023 IEEE Smart World Congress. Piscataway:IEEE Press,2023: 1-9.

[12]LV Z H, XIE S X, LI Y X, et al. Building the metaverse using digital twins at all scales, states, and relations[J]. Virtual reality & intelligent hardware, 2022, 4(6): 459-470.

[13]CHEN D W, WANG D, ZHU Y F, et al. Digital twin for federated analytics using a Bayesian approach[J]. IEEE Internet of Things journal, 2021, 8(22): 16301-16312.

[14]REMACHE-VINUEZA B, TRUJILLO-LEN A, ZAPATA M, et al. Audio-tactile rendering: a review on technology and methods to convey musical information through the sense of touch[J]. Sensors, 2021, 21(19): 6575.

[15]刘炜, 唐琮轲, 马杰, 等. 区块链在隐私计算中的应用研究进展[J]. 郑州大学学报(理学版), 2022, 54(6): 12-23.

LIU W, TANG C K, MA J, et al. Application research and progress of blockchain in privacy computing[J]. Journal of Zhengzhou university (natural science edition), 2022, 54(6): 12-23.

[16]潘恒, 钱海洋, 姚中原, 等. 典型区块链存储与查询技术综述[J]. 郑州大学学报(理学版), 2022, 54(6): 34-50.

PAN H, QIAN H Y, YAO Z Y, et al. A survey of typical blockchain storage and query technologies[J]. Journal of Zhengzhou university (natural science edition), 2022, 54(6): 34-50.

[17]BOLTON S J, CORA J R. Virtual equivalents of real objects (VEROs): a type of non-fungible token (NFT) that can help fund the 3D digitization of natural history collections[J]. Megataxa, 2021, 6(2): 93-95.

[18]徐晓飞, 王忠杰, 涂志莹, 等. 大服务与服务互联网[M]. 北京: 科学出版社, 2022.

XU X F, WANG Z J, TU Z Y, et al. Big service and service Internet[M]. Beijing: Science Press, 2022.

[19]FANG Y M. Exploring generic and immersive frameworks for human-computer interactions[C]∥International Conference on Human-Computer Interaction. Cham: Springer, 2022: 55-62.

[20]徐丙立, 张飞, 张承钿, 等. 沉浸式虚拟维修位置追踪与动作虚实耦合研究[J]. 郑州大学学报(理学版), 2019, 51(1): 8-12.

XU B L, ZHANG F, ZHANG C D, et al. The position tracking and action matching for immersive virtual maintenance[J]. Journal of Zhengzhou university (natural science edition), 2019, 51(1): 8-12.

[21]LIU Y L, WU S, XU Q, et al. Holographic projection technology in the field of digital media art[J]. Wireless communications and mobile computing, 2021, 2021: 9997037.

[22]NICOLAS-ALONSO L F, GOMEZ-GIL J. Brain computer interfaces, a review[J]. Sensors, 2012, 12(2): 1211-1279.

[23]WANG H, NING H S, LIN Y J, et al. A survey on the metaverse: the state-of-the-art, technologies, applications, and challenges[J]. IEEE Internet of Things journal, 2023, 10: 14671-14688.

[24]DUAN H H, LI J Y, FAN S Z, et al. Metaverse for social good: a university campus prototype[C]∥Proceedings of the 29th ACM International Conference on Multimedia. New York:ACM Press, 2021: 153-161.

[25]王凌云, 陈亮. 增强现实空间关系及其关键技术探讨[J]. 电脑知识与技术, 2022, 18(32): 97-99.

WANG L Y, CHEN L. Discussion on spatial relationship of augmented reality and its key technologies[J]. Computer knowledge and technology, 2022, 18(32): 97-99.

[26]EL SAID G R. Metaverse-based learning opportunities and challenges: a phenomenological metaverse human-computer interaction study[J]. Electronics, 2023, 12(6): 1379.