元宇宙沉浸式交互技术发展现状及趋势

◎ 傅云瑾 魏雨含

提 要:

一、元宇宙关键技术组成

元宇宙持续成为人们关注的热点，应用场景不断扩充。2022年9月1日，在以“智联世界 元生无界”为主题的第五届世界人工智能大会（WAIC）上，元宇宙龙头企业Meta 大中华区总裁梁幼莓发表演讲，称元宇宙是互联网的下一篇章，Meta 的愿景是通过元宇宙让世界联系得更加紧密。随着信息技术的蓬勃发展，人们对于元宇宙这一热点的关注仍在持续，各个行业和领域也正处于对元宇宙技术的积极探索阶段，全球最大办公空间运营商之一的IWG 集团在其最新发布的《元宇宙：办公的未来？》白皮书中表示，半数企业正在寻找元宇宙空间赋能混合办公，元宇宙办公在未来将是混合办公的必然常态；2022年6月，天猫618 购物节打造了一次元宇宙数字大秀，把品牌特质融入虚拟服饰，在虚拟空间展示了一场数字人T 台走秀；2022年9月，世界人工智能大会开幕式对外发布了数字孪生之城、数字纪念馆、智慧制造、智慧交通等六大元宇宙应用场景，可见，元宇宙技术正在诸如教育、办公、娱乐、电商、城市建设等愈加多元的领域中落地应用。

元宇宙的目标是实现万物的信息化和智能化，创造一个信息充分包围人的虚实融合空间，演化生成时空无界的新型社会形态。元宇宙产业的潜在市场无疑需求巨大，这也是其成为热点的关键，但其何时能够有效形成现实需求，与相关数智化技术的发展进程是密切相关的。元宇宙技术本质是交互、电子游戏、人工智能、区块链、物联网、算力网络、数字孪生等关键数智化技术的集成。

交互技术是实现元宇宙沉浸感、交互性体验的核心技术。交互技术被称为元宇宙技术的关键入口，为元宇宙的真正落地提供了重要硬件载体，是解决人机之间信息传播的最后一厘米的技术，直接影响着元宇宙用户的沉浸感体验。因此，近几年交互设备市场迎来热潮，国内外各大企业争先开拓元宇宙的新市场蓝海。有报告显示，2021年全球VR/AR 行业融资并购金额556 亿元，同比增长128%，中国VR/AR 行业融资并购金额达181.9 亿元，同比增长788%。2022年8月，腾讯申请注册XR 商标，小米、联想、英伟达（NVIDIA）等分别公布新型XR 眼镜产品，谷歌、苹果、Meta公布多项XR 智能设备相关专利。可见，随着元宇宙的加速普及，交互技术相关产业也获得了国内外巨头企业的大量关注，得以迅速发展。

可以把电子游戏理解为元宇宙的雏形，相关技术是元宇宙关键支撑技术之一。电子游戏技术的核心是游戏引擎，包含3D 建模和图像渲染等。游戏引擎是为开发者服务的游戏高效开发工具，目前技术相对成熟，能创建诸如三维视频游戏、建筑可视化视频、实时三维动画等类型互动内容的多平台的综合型游戏。该类开发工具不局限于游戏市场，已拓展到影视制作、工业设计等多市场领域。全球知名度比较高的游戏引擎有虚幻引擎（Unreal Engine）、Unity、寒霜引擎（Frostbite Engine）、尖叫引擎（Cry-Engine）、起源（Source）、IW Engine 等。《王者荣耀》等一些广为人知的游戏就是用Unity 工具开发的。

人工智能为元宇宙大量的应用场景提供技术支撑。人工智能技术包含计算机视觉、机器学习、自然语言处理、智能语音等，它的基础是芯片、大数据、算法系统，目前逐步向金融、安防、智能家居、医疗、机器人、智能驾驶、新零售等以及元宇宙各类应用场景渗透。

区块链是元宇宙能够创造可信资产和身份认证的技术基础，也是元宇宙经济体系构建的重要技术基础。区块链的哈希算法和时间戳技术为“元宇宙”提供了底层数据的可追溯性和保密性。而共识机制则可以解决信任问题，使用分布式模型实现网络中每个节点的自我认证。区块链网络里的DeFi、NFT、智能合约等通证技术构成了整个元宇宙底层经济运行的核心基础和支撑。

元宇宙的目标是实现万物的信息化和智能化，创造一个信息充分包围人的虚实融合空间，演化生成时空无界的新型社会形态。图/中新社

物联网技术为元宇宙万物链接和虚实共生提供技术保障。物联网技术主要分为传感器技术、网络接入和平台应用层技术。物联网技术已经在智能家居、智能楼宇、智慧城市、智慧农业、智慧车辆等各领域得到广泛应用。

算力网络是算力和网络深度融合的新型信息基础设施，相关技术包含5/6G 移动通信网络技术、云计算和边缘计算技术等。预计2030年左右商用的6G 时代将获得更高的带宽、更短的时延，也将更好地适配于元宇宙等场景。云计算和边缘计算技术相对成熟，已被广泛应用。算力网络是国家、企业和社会数字化转型包括元宇宙发展的重要基础，但以前算力和网络相对独立发展，难以满足自动驾驶、工业元宇宙等对算力的快速高效使用需求。2021年中国移动开创性提出：打造以算为中心、网为根基，多种信息技术深度融合的算力网络，推动算力成为与水、电一样，可“一点接入、即取即用”的社会级服务。随着中国移动等运营商算网大脑等算网融合技术的攻关和快速发展，算力网络将有效支撑未来元宇宙的发展。

二、元宇宙主要交互技术类型

（一）沉浸式XR 技术

扩展虚拟现实（XR）是一个包含了虚拟现实（VR）、增强现实（AR）、混合现实（MR）及其他因科技进展而可能产生的全新沉浸型技术的高度涵盖性术语。XR 技术利用计算机及网络技术生成画面、声音、触感等信息，使得用户能够体验模拟的或加强化的视觉、听觉、触觉等感知，从而感受完全沉浸的情境，让用户可以忽略技术而直接沉浸于身临其境般的内容体验中。XR 技术作为实现元宇宙的主要技术之一，为用户提供了走进元宇宙的入口，是解决信息传播的最后一厘米问题的技术。

扩展现实技术主要通过多种视觉交互技术的集成与融合，生成一个虚实兼具的可视化环境，为体验者提供沉浸式的体验与感受。其中，虚拟现实技术的几种关键技术包括环境建模技术、立体声合成和立体显示技术、触觉反馈技术、交互技术等等，分别支撑用户在与虚拟世界交互过程中不同感知部分的形成，最终再通过系统集成构建完整的虚拟现实模型，实现用户通过设备获得与真实世界中一样的感受。

目前，XR 技术已在各个垂直应用领域具有非常广阔的产业应用场景与增长空间。例如在虚拟世界中，用户可以利用XR 设备生成虚拟形象，模拟实际场景中的互动，不受限于时间和地点，实现远程协作、工作会议及社交活动等；在传统文化娱乐产业中，诸如展览策划、艺术演出等诸多场景也能够通过XR 技术实现，为参与者提供场景导航等功能、几近真实的环境、大规模的多人互动与沉浸式的观赏体验。

由于5G 技术的不断推进与建设，以及人工智能、超高清显示、云计算等技术的发展，基于5G的云XR 技术（Cloud XR）已逐渐成为XR 技术的研发主流。云XR 技术将繁杂的渲染计算任务从终端用户侧转移至云端，并发挥了智能终端-高速网络-云资源池间的协同效应，其中高速网络极大地依靠了5G 技术高带宽与端到端低时延的特性，结合云资源池较强的图像渲染能力，使得各类终端设备能够直接远距离呈现云服务器上的XR内容，从而使得终端用户获得沉浸式、高质量的享受体验。

云XR 技术是将网络技术、云技术及沉浸式体验技术有效集成为一体的系统。基于云计算提供的强大的计算能力，XR 内容可以在云端运行并渲染，并将所有功能移至云端，满足了XR 大存储和海量计算的功能需求，轻量化客户端功能，降低了XR 终端设备的计算负荷和能耗。同时5G网络提供的切片技术与移动边缘计算技术可以为XR 应用程序提供良好的网络质量保障，有效降低了内容汇聚的同时节约带宽，并实现了高数据量、低延时的信息传送，结合XR 技术及相关设备通过各种不同的交互方式将沉浸式XR 内容传送至终端用户，为用户提供了更轻便、更智能、更卓越、更沉浸的XR 体验。

（二）全息通信技术

随着无线网络技术、渲染云技术与终端显示设备的进一步发展，全息技术的应用范围与发展趋势均形成上升态势，全息通信的实现也将逐渐走向可能。

全息显示技术主要基于光的干涉与衍射现象，通过记录物体表面散射的光信号，使得物体能够以三维图像的方式呈现出来。全息通信则指通过全息显示技术，采集距离较远的人或物体的光波信号，通过网络传送至终端设备进行激光投影，以全息图的方式投射出真实还原、实时动态的三维影像，实现一种基于立体视觉环境的新型通信方式。

全息术的发展一共经历了3 个阶段——传统光学全息、数字全息和计算全息。数字全息的概念于20 世纪中期提出，在理论上实现了从物理光学到电子技术的跨越，但碍于当时信息科技发展的限制，有关数字全息的研究一度停滞不前。直到21 世纪初，由于计算机技术的飞速发展，将光场建模技术与数字建模技术相结合，计算全息应运而生，成为了当下的研究热点。

全息通信的实现同样需要多种技术的集成，其关键技术包括全息显示技术、高带宽频谱技术、全息编码技术及网络技术等，其中，全息显示技术已经普遍应用于虚拟现实与增强现实等领域；全息编码技术主要负责全息图阵列在传输过程中数据与信号的编解码；网络技术旨在提供低时延与算力，在通信过程中，确保网络带宽足以承载并处理全息图的相关数据，同时保证通信的同步性与稳定性。

全息通信技术的基本实现流程可以简要总结为数据采集、信息处理及编码、数据流传输、数据解码及重渲染、全息再现5 个步骤。其中，数据采集与全息投影主要通过各类终端设备完成，对其三维空间显示能力具有较高的要求，从而在较大区域中呈现出高清晰度的实时交互影像。与常规的媒体通信不同，在前期的信息处理及编码过程中，由于处理的信息包括视、听、触等多种感官的数据流，因此压缩编码技术需要保证更加高效；在进行传输、解码和重渲染后，数据信号以全息图的方式呈现，其中将包括人、实物以及周边环境等大量复杂的数据。

全息通信相比于扩展现实技术最大的不同点在于，理想的全息交互脱离了穿戴设备及屏幕的限制，直接实现在空气中的3D 成像

全息通信相比于扩展现实技术最大的不同点在于，理想的全息交互脱离了穿戴设备及屏幕的限制，直接实现在空气中的3D 成像。依据目前的科技水平，由于在技术与设备等方面的限制，全息通信的普及应用暂时还不能实现，但是在未来，随着信息与科技的发展，全息通信技术将能够实现对于万物的映射成像，不仅能够真实还原人与物体，还能够将周围环境自然地呈现在三维空间中，使得人们能够充分体验整个逼真的场景，并展开沟通、互动等活动。

这也奠定了全息通信技术在未来元宇宙构建过程中的关键地位，整个元宇宙的虚拟环境均围绕全息构建、全息模拟、虚实融合出发，全息技术结合互联网技术、云技术、XR 技术等新型科技的应用，将为元宇宙构建与真实世界相连通的虚拟世界提供技术支撑，并通过终端显示设备呈现于用户。例如，利用三维重建技术与全息技术构造线下商店的虚拟环境和商品模型，用户将能够看到商品的详情信息并完成购物，进而给用户带来完全沉浸式的感受体验；或将全息与仿真技术相结合，在元宇宙世界中构建生动逼真的虚拟人物，再利用全息技术使得虚拟世界能够像真实世界一样，呈现出各种不同的场景，虚拟人能够在其中进行交互、娱乐、观赏等活动。

（三）感官互联技术

互联网技术已实现基于网络远程交互的信息载体从文字、图片、语音、视频演变到新型VR等显示设备。面向2030年及未来，感官互联技术将使不同终端之间传递的数据承载更多感官信号，比如嗅觉、味觉与触觉等等，穿戴式电子设备也将使人们能够以数字的形式感受气味、味道、质地和温度，实现感官互联网。

感官互联将通过人工智能、扩展现实、网络和自动化等技术来实现，感官互联网的实现将使处于虚拟世界中的用户获得多维感知，从而获得更加真实自然、联系紧密的沉浸体验。在未来，感官互联可以广泛应用在医疗、教育培训、生活娱乐、道路交通与情感交互等诸多领域及行业。例如近期热度高涨的元宇宙，感官互联能够使得在元宇宙虚拟世界中相隔异地的情侣真切地感受到对方，甚至是一个温暖的拥抱；或使得成群好友在元宇宙中能够随意漫游世界，体验沙滩、海风、峡谷、森林等各种奇异风景。

近年来，脑机接口（BCI）作为一项变革性的新兴人机交互技术引发了研究热潮，与感官互联有着密切的联系。迄今为止脑机接口技术主要分为输入式BCI 与输出式BCI 两类，输入式BCI 能够将人类大脑的中枢神经系统产生的感知、认知转化为指令信号，提供给外部机器设备进行通信和控制；输出式BCI 则指从外部设备或机器向大脑输入电、磁、光等刺激或神经反馈。目前，有关负责大脑向外部输出信号的输出式BCI 在应用与研究中占主导地位。

目前，医学领域是BCI 技术首要也是最重要的应用领域之一。输入式BCI 能够用于对大脑状态的监测与评估，在神经系统相关疾病治疗全周期中具有潜在却重要的应用价值；还可以用于脑结构异常等疾病的治疗与脑功能的正向发展，调控创伤后应激障碍、认知及情绪障碍、药物依赖性等神经疾病，从而提高疗效，促进康复；BCI 技术还能够为肌萎缩硬化症、肌无力或失语症等患者提供辅助性的工具以帮助其日常生活，如脑控假肢、脑控轮椅和脑机通信系统等等。

在非医学领域，BCI 技术仅小规模地应用于娱乐游戏或专注度训练等方面，主要面向消费级。目前脑机接口技术无论是在医学或非医学领域的应用均处于初级的研发阶段，未来一段时间，其发展方向将聚焦于从研究试验阶段过渡至实际应用阶段。这需要研究人员不断的探索与开发，使得脑机接口技术在医学或非医学领域初步实现能够舒适、安全地普及应用，再进一步探索BCI 技术基于更多领域存在的可能性与发展性。

三、元宇宙交互技术发展现状与问题

（一）XR 技术的应用现状及存在问题

XR 设备是将通过云XR 技术生成的沉浸式情景带给用户的硬件设备。近年来由于新型科技的蓬勃发展，人们开始在愈加大量的应用与场景中探索沉浸式体验，同时元宇宙概念热度自2021年空前升温，国内外的科技巨头公司也在竞相开拓元宇宙产业，因此，XR 技术与相关设备已成为了实现元宇宙的核心所在，在近年获得了大力推动。

微显示器作为XR 技术设备内容展示、与人类自然交互的主要载体，是轻便化、高沉浸感XR技术设备的核心零件。目前，主流的微显示器工艺技术主要包括高速响应液晶（Fast-LCD）、硅基液晶显示（LCoS）、硅基有机发光二极管（Micro OLED）以及微型发光二极管（Micro LED）等等。其中，Fast-LCD 微显示器在市面上已经实现了稳定量产，具有较高的性价比；LCoS 与Micro OLED均为增强现实终端的主要显示器解决方案，其中Micro OLED 微显示器近年来被广泛应用于XR 设备中，是各大厂商研究应用的热门方向；而Micro LED 目前则是另一个具有极强前沿性与发展性的显示技术，具备芯片尺寸小、集成度高和自发光等特性，与LCD、OLED 相比在显示亮度、分辨率、对比度、能耗、使用寿命、响应速度和热稳定性等方面具有更大优势。

目前，各个厂商均在针对不同的功能特性不断研发新型XR 设备，以提升用户的体验感知。2022年8月，联想推出的拯救者VR700 VR 一体机以市场零售价3299 元正式发售，采用高通骁龙XR2 芯片组，配备8GRAM、256GROM、LCD显示屏，分辨率达3664×1920，支持72/90Hz 刷新率。而后，联想在9月宣布推出全新的Lenovo Glasses T1 可穿戴私人显示器，用于移动内容消费，定位场景包含观影、游戏娱乐和办公，配备Micro OLED 显示技术，可提供优质的色彩丰富度和10000:1 的对比度，同时具备高光学效率和低功耗设计，实现长达数小时待机。

2022年8月，全球消费级AR 眼镜品牌Nreal面向中国市场正式推出两款AR 眼镜Nreal X 与Nreal Air，零售价分别为4299 元与2299 元。两款AR 眼镜外形设计方面均具备流行元素，Nreal X采用流体科幻主义的美学设计，结合轻量化设计，整机重量为106g，基于自研的即时定位与地图构建的6DoF 空间定位智能算法，以最小成本及数量的传感器组合实现高精度与稳定性，为用户提供AR 游戏、AR 教育等多元应用；Nreal Air 配备130英寸空中投屏和201 英寸AR 锐彩天幕，支持多种设备连接，被称为随时随地、即插即用的“口袋巨幕”，整机重量仅为79g，搭载自主研发的光学引擎2.0，采用全新一代Sony Micro OLED 作为图像源，实现了图像源的高清晰、高对比度、低畸变呈现，拥有100000:1 的超高对比度，可带来逼真的AR 视觉体验。

2022年8月，索尼公布将于2023年发布新款VR 头显PSVR 2，搭载单眼2000×2040 分辨率和90/120Hz 刷新率的OLED 屏幕，提供4K HDR、110 度视场角和注视点渲染的高保真视觉体验，同时PSVR 2 还整合了PS5 的3D 音频功能，配合耳机反馈、眼动追踪，从而实现更贴近真实的触觉体验，增强玩家在游戏中的沉浸感。

小米生态链企业于2022年8月发布一款新型AR 眼镜“米家眼镜相机”，售价2699 元。 米家眼镜相机搭载了高通骁龙8 核SoC、索尼新一代Micro OLED 屏幕、自由曲面光机、高密度电池等核心器件，整机重量在100g 左右，可降低光线在传导过程中的亮度损失，光效比达60%，支持拍照和摄像、小爱翻译、3D 使用引导等功能，面向演唱会、露营、手工、宠物互动等多个使用场景。

近年来，苹果的一系列专注于XR 的收购和专利申请都表明了苹果对于XR 产品行业的关注和野心。2022年8月，苹果公布了一项手势追踪手环专利，该指环可以操控AR、VR 头显，识别手指按压、横向运动、敲击输入等3D 空中手势，还能够提供触觉反馈、追踪定位功能，与头显设备交互。2022年9月，苹果再次曝光一项涉及XR 环境中关节骨骼变形的VR/AR 技术专利，主要用于在XR 环境中虚拟化身中骨骼、关节和人体网格状模型的运动过程，由此，虚拟物体可以更加逼真地模拟真实物体的形状变化和移动轨迹。

作为苹果在这一领域的主要竞争对手，Meta也在2022年8月公布了两项与AR、VR 相关的配件专利，是一种用于交互和输入的指环手套方案，与一种头环式增强现实音频系统。AR 头环系统配备了相机模组、音频传感器阵列，而体感手套和腕带支持触觉感知、体感反馈功能用于控制AR头环系统。除了手套、腕带外，这种体感技术还可用于体感服、手柄等其他类型的设备同时兼容AR 眼镜或VR 头显。

可见，XR 设备已经实现了一定的应用与普及，但XR 技术整体还处于研究发展的前期阶段。市面上已有的VR 设备功能及水平不一，各厂商通过设备、芯片、技术创新研发新功能，旨在提供更高的精度与体感、触觉感知功能，从而帮助用户获得更清晰、更真实的体验并实现XR 眼镜的轻量化，使得用户在佩戴时更加轻便。在接下来的发展阶段，XR 眼镜在画面成像清晰度与设备自重方面应当会有进一步的提升和改善，以满足用户的常态化需求；另一方面，则会在触觉方面提升真实现实和虚拟现实的融合体验，通过功能扩展进一步开发XR设备的多场景使用，给用户提供在不同场景下的多元化应用功能，与场景形成更深度的融合。

在未来，当云 XR 技术能够与云技术、边缘技术等成功融合，实现云 XR 平台后，云XR 平台系统将能够应用于商业购物中心、沉浸式游戏等更加大型的应用场景。图/中新社

有关云XR 技术的应用在现阶段较为少量，尚处于设计实现阶段，大量的研究者能够提出不同场景下基于云XR 技术与其他技术结合的平台设计方案，但由于涉及的技术种类较多、接口与层次间的连接比较繁杂，平台的实现还比较困难。目前已有企业推出的云XR 技术解决方案大多集中于远程会议、指导示教、互动教育等领域，少量解决方案覆盖到汽车、房地产等行业，为用户提供远程3D 可视化展示服务。在未来，当云XR 技术能够与云技术、边缘技术等成功融合，实现云XR 平台后，云XR 平台系统将能够应用于商业购物中心、沉浸式游戏等更加大型的应用场景，在为用户提供3D 的可视化效果的同时，通过云平台及整个系统实现用户的认证与管理、支付、交互与相关的平台运营、数据分析等功能，从而为用户及企业、商家等多种角色提供全方位的便捷服务。

当前，云XR 技术及其产业还远未成熟，在XR 硬件设备、系统软件的创新研发、XR 内容的生产与制作、XR 产品产业发展等诸多方面还存在一定的困难与制约。国内针对微显示器、交互设备等硬件技术的元器件开发还相对薄弱，对于XR 操作系统、三维建模等系统软件与开发工具的研究也面临瓶颈与障碍，总体上对其他国家科技的依赖程度较高，需要更长期的发展、科研人员的投入与经费支持。这也导致了目前在终端用户层面，轻量化应用的显示设备关键技术仍不完善，头显的高分辨率设计、纱窗效应的解决程度与佩戴舒适性都亟待进一步提高；在平台服务层面，云端服务资源建设成本高昂、渲染能力不足，基于云端的计算处理能力与终端之间仍存在大量的数据传输，需要在有效提高云端计算能力的同时减少基础建设成本。

因此，云XR 技术与相关产业需要在多个方面寻求突破与创新。首先要规范基于XR 技术的产业建设标准，制定云XR 技术的标准体系，并根据云XR 在不同行业领域中的应用对终端用户、云服务和管理运营等方面提出具体规范要求，以规范并推动XR 技术的发展与应用；其次，网络是云XR 技术的基础，要做好5G+云XR 的基础建设与部署，积极推进网络技术的研发，为云XR产业提供网络保障；同时，对于终端用户方面，XR 终端设备的功耗、重量、图像呈现、人机交互等使用体验特性是重点需要解决的问题，要改善体验从而扩大XR 终端设备的普及应用；最后，云XR 产业的进一步发展需要所有参与者的相互沟通与合作，分享经验及想法，一起开拓云XR的先锋行业，再向更丰富的领域扩展。

（二）全息技术的应用现状及存在问题

XR 技术的相关应用已经走进了人们的生活，AR 眼镜、VR 头显等设备在游戏、办公、观影等活动中得以应用。不同于XR 技术，全息技术目前的应用主要在大型的舞台表演、高端产品展示、广告传媒等领域，由于技术水平以及制作成本的限制，全息技术相关的应用更多地为大型厂商与全息供应商共同承办，人们主要扮演了观看者与体验者的角色。

在全息产业链中，一些零件商与供应商已经推出了自研发的全息零件或产品。Raytrix 品牌推出了一款应用了四维光场技术的3D 光场相机，相比于常见的相机只能记录平面二维投影的场景，Raytrix 的3D 相机可以计算出包含许多不同的二维图像的4D光场，适用于许多实时图像处理应用，例如人脸识别、光场电影与导航等等。达斯琪全息推出了一款全息屏，利用人类视觉暂留技术，实现裸眼全息3D 展示，搭配手柄等外接设备，使得用户能够与图像交互，应用于商场、影院、展厅等场景的展示。

微软于2021年正式推出了一个用于多人远程通信协作的混合现实平台Mesh。Mesh 平台允许处于不同物理位置的人们通过不同类型的设备，以虚拟形象或全息投影的方式协作、共享。Mesh 平台基于云计算平台Azure、人工智能以及XR 等技术集成，实现全息传送以及高精度的面部及动作追踪，将涉及的内容存储在云端，再借助XR 设备或3D 物理模型使得用户的虚拟形象或是全息投影形象出现在共享的虚拟空间中，在全息模型上进行多人协作。

近年来，国内对于全息技术的研究与发展也正在持续进行。腾讯、小米均于2021年取得了“全息投影设备、方法、装置、计算机设备和介质”的专利。全球首个全息AR 上市公司微美全息推出了结合5G+AR 多模态的全息通讯，应用于教育领域，利用全息投影捕捉和三维全息模型，通过5G 技术及边缘云算力打造智慧课堂，实现了全息老师、三维全息课件等全息教学场景，不仅为教学提供了极大便利，同时使得课堂充满技术性与未来感。

微美全息作为国内领先的AR 全息云服务企业，提出了多个基于全息云平台在广告、娱乐、教育、影院等场景的解决方案，实现了全息化场景植入广告与线下全息广告、WiMi 全息云娱乐等平台服务，能够为用户提供全息办公会议、全息KTV 包房、全息音乐茶座、全息云未来课堂等立体化视觉体验。同时，微美全息也推出了多项与元宇宙相关的核心技术及平台，例如基于动态识别、智能化训练边界识别、区块识别、机器学习、AI 拼接算法自动合成、全息立体合成等技术，将全息AR 内容呈现在虚拟应用中。此外，微美全息还将虚拟现实全息内容打造为3D 模型、全息虚拟产品等形式，为全息动漫、虚拟直播、虚拟偶像等行业提供了多种解决方案。

目前，全息技术距离普及应用还存在较远距离，一方面，由于其实现成本较高，更多的是因为目前的技术在实现全息通信等应用时会产生较多的困难与限制。由于全息通信在数据传输过程中涉及交互环境与影像的多个维度与方位，网络需要承载千万个隶属不同种类的并发数据流，在多用户的情景下，用户吞吐量的要求可能将达到Tbps 量级，并且在整个传输过程中可能受到噪声、抖动和丢包等多种因素的影响与干扰，终端设备需要实时感知捕捉使用者的状态及动作，对接收的信息作出快速处理和响应反馈，保证各个维度的信息同步且成像清晰，因此对网络技术和计算能力要求较高。目前的5G 网络技术还不能满足全息通信对于低时延、承载超高清影像数据的需求，同时也需要研发更加高效先进的编解码技术来实现大量数据的压缩及解码处理。

另一方面，由于全息通信会涉及诸如用户的面部特征识别等重要的隐私信息，因此数据传输过程中的安全性与保密性也格外重要，需要信息技术的进一步发展完善，才能实现全息通信在医疗等专业领域中的普及应用。

令人高兴的是，6G 技术概念的提出为全息通信等应用的实现提供了强有力的支持。6G 技术在未来可以实现更高质量的带宽、同步及灵活性，进而实现更精确的数字建模、运算及实时交互。可见，随着科技的不断进步与发展，全息通信终将在娱乐、医疗、教育、制造等众多领域形成广泛应用的局面。一方面，在生活、娱乐等领域，将全息通信与移动设备相结合，可使全息通信成为人们常态化的远程交流模式，或结合体感等交互方式在娱乐领域研发沉浸式体验项目，开拓新型市场；另一方面，在工作、交通、医疗等专业领域，利用全息通信帮助远距离排障的技术人员与远处物品的全息效果图进行交互，或进一步融合物联网技术、虚拟现实等技术构建超能交通，实现大规模交通工具与环境的全息连接，为城市在道路交通环境模拟推演、刑侦支持、城市交通运维管理等方面创造价值。

总的来说，目前的技术虽然还不能实现全息通信所需要的高带宽、低时延、网络计算能力、实时性与安全性等指标，但面向未来，随着各项科技的发展与进步，全息技术将能够在不同领域提供全息会议、全息商业综合体、远程全息手术等解决方案，实现虚拟场景自然真实的视觉呈现；同时，在元宇宙产业发展过程中，结合人工智能、数字孪生、区块链等技术，构建与现实相连接的、能够为人们提供更加丰富精彩活动的元宇宙世界。

（三）感官互联技术的应用现状及存在问题

目前，感官互联技术尚处于概念研究阶段，但在技术实现层面将有着与全息通信相似的要求。对于网络技术，需要高带宽与低时延来承载多维感官信号的数据流以及确保传送的一致性和实时性；同时，对于各项感官信息的捕捉与传输，涉及设备端的信号采集与数据的编译方式，不同感知都应具备独特的表述维度及描述方法，需要研究其单独的编译码规范与统一的联合编译码方式，使得所有感知信号都能被有效地编码，并进行传输；在安全方面，由于感官互联网络的核心是基于多维感官的传输通信，因此在通讯过程中需要对使用者隐私提供更强有力的保护，以避免发生诸如侵权等事件。

脑机接口技术能够将人脑与计算机相连，是目前与感官互联最为密切的技术之一。目前，该技术应用在医学领域处于初期发展阶段。大部分输出式BCI 处于临床效果测试阶段，仅有少量初步用于患者的运动功能障碍康复训练等。输入式BCI 虽然在临床已有一定规模的应用，但仍然处于初级阶段，目前能够应用于神经疾病的调控治疗及抑郁症、阿尔茨海默症、帕金森病、睡眠障碍等疾病的治疗和康复。一些医疗级的BCI 产品诸如BCI 芯片、新型信号传感器、新型脑刺激或神经调控等装置正处于研发中。可见，BCI 技术在医学领域具有潜在的、巨大的应用价值，未来将会在临床、特定疾病的诊疗和康复方面实现更加广泛的应用。

脑机接口技术的整体成熟度较低，导致其暂时难以实现从实验研究到具体应用的跨越，这也是当前研发亟需解决的重要问题。由于脑机接口技术实现的条件、环境及应用场景的特殊性，使得对于脑机接口技术相关产品的安全性、舒适性、易用性具有更高的要求与标准。例如，基于BCI技术的微创手术应用场景中，传感器植入过程的安全性至关重要。由于植入程序的危险度与难度较高，因此，在传感器设备方面，对能够长期安全植入并具备较高信号采集质量等性能提出了更严格的要求。

脑机接口技术的另一个研究突破重点是BCI 的编码及范式，通过正确规范的编码与范式对传输信号进行读写也是脑机接口的关键技术问题。与目前其他人机交互技术相比，BCI 技术存在反映速度慢、信号噪声大、易出错，并缺乏人体感觉反馈等问题，使得脑机接口系统的稳定性、准确性、快速性以及自适应性较差。因此，脑机接口技术需要与共享控制、虚拟现实、机器视觉、人工智能等技术相结合，以弥补其现存的技术缺陷与不足，从而提升BCI 技术的实用性与用户体验感。

未来，感官互联技术的实现与应用是必然趋势，其不仅在医疗领域有望实现纳米级传感、信息采集、健康状况监测等功能，为患者提供更加先进、安全、便捷的治疗方案，还将进一步把感官互联技术的应用普及到人们日常生活的各个领域与元宇宙产业中，为人们的美好生活提供更加智慧且多元的方案。

四、总结

元宇宙产业的研究热潮明显地带动了其交互技术的发展，其中XR 技术尤为突出，国内外大型厂商均在XR 设备研发中投入了大量的资源与精力，旨在占据XR 市场的份额与竞争力，同时5G+云XR 平台、全息通信的应用也在快速发展，多家供应商针对办公、教学、娱乐等生活领域提出解决方案，将各种交互技术带入人们的视野。但基于当下时代的设备及技术发展现状，在网络带宽、算力、系统集成、终端设备等方面仍然存在较大的问题与制约，导致云XR、全息技术与感官互联的应用普及程度有限，需要加强对于设备零件、关键技术的研发突破。

值得高兴的是，元宇宙概念的出现为各项相关技术明确了发展方向，展示了各项技术的未来应用场景，使得下一步的技术研发有了更加明确的目标。随着科学技术的更新迭代，在未来，网络技术、交互技术、人工智能等技术的精进与集成将推动人类社会走向沉浸化时代，全息技术、XR 技术和感官互联与边缘计算、大数据等技术的结合应用将覆盖商业、制造业、文化娱乐、教育、医疗等人类生活的各个领域，在生活中通过远程全息通信、实现感官互联等场景，可带给人们全方位的沉浸式体验与数字化、智能化的便利，同时实现元宇宙产业的普及，构建与真实世界相连通的虚拟世界，帮助人类向“万物智联、数字孪生”的美好愿景步步靠近，进入智慧化时代。