韦维 申雪凤
摘 要:扩展现实技术是广义的虚拟现实及相关技术的统称,能够给信息受众带来较高的沉浸式体验,相对于手机等移动媒体具有更高效和更真实的信息传递效果,被认为是可能取代手机的下一代媒体设备。虽然XR技术被给予了厚望,但是从目前XR技术的发展现状来看,其距离具备能够取代手机媒体的能力还有一定的距离,其效果也尚未能够给传统媒体带来革命性的变化。本文主要从XR技术层面进行分析,试图探究XR媒体技术的本质,以便更好地理解和运用XR技术。
关键词:扩展现实;增强现实;AR新闻;新兴媒介
中图分类号:G210.7 文献标志码:A 文章编号:1003-5168(2022)1-0016-04
DOI:10.19968/j.cnki.hnkj.1003-5168.2022.01.003
Development of XR Based on Media Perspective
WEI Wei SHEN Xuefeng
(Guangxi Arts Institute College of Film,Television & Media,Nanning 530022,China)
Abstract:Extended Reality technology is a general term of generalized virtual reality and related technologies, which can bring high immersive information experience to users. Compared with today's mobile media with more efficient and more real information transmission effect, and is considered to be the next-generation media device that replaces mobile phones.Although XR technology has been given high hopes, but from the current development status of XR technology, it is still a little distance from the ability to replace mobile media, and its effect has yet to bring revolutionary changes to traditional media.This paper is mainly analyzed from the XR technology level, trying to explore the essence of XR media technology, so as to better understand and use the XR technology.
Keywords:extended reality;augmented reality;AR news;emerging media
0 引言
媒體技术的发展给传媒领域带来了新的机遇和挑战,一些新媒体技术的出现能够给媒体的传播方式带来变革。移动媒体、5G、HTML5、云计算等软硬件技术的不断发展与革新,给传媒领域带来了巨大的影响并推动其发展。信息网络技术带来了“去中心化”[1]的发展趋势,移动设备“碎片时间”[2]的获取信息方式,5G高带宽的移动网络技术让图文时代变成了视频时代。
扩展现实(Extencled Reulity,XR)是近年来在虚拟现实技术领域提出来的新概念,是对虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)、混合现实(Mixed Reality,MR)以及相关技术的统称。国内外关于上述三项技术以及相关的技术历史发展脉络的研究较多。在《重塑体验:扩展现实(XR)技术及其教育应用展望》[3]一文中,把XR相关的概念和发展历史进行了一定的研究和整理,一些关于XR的基础理论研究甚至可以追溯到20世纪初。
虽然XR技术的相关研究在时间维度和技术的广度上已经很丰富,一些相关的基础技术甚至有着长达半个多世纪的发展历史,但是XR技术并不是由某一项单一的技术发展而来,而是众多技术有效集成的成果。XR所涉及的技术领域跨度非常广,如果直接把这些技术发展路线并拢到当今的VR、AR以及MR的概念当中,或者单独看某一具体的效果和技术,就会导致对XR的认识偏差,不利于正确地理解和运用好这项新技术。现有的一些研究往往只通过对XR概念进行简单分析,认为只要有虚拟的影像就是虚拟现实,只要有影像叠加效果就是增强现实,这种认识导致了对XR技术理解上的偏差。例如,把全景技术认为是VR技术,把视频三维合成效果理解为MR,把使用XR技术创作与XR媒体传播效果混淆等。在2019年被人民网转载的《“眼见为虚”:浅析国内VR新闻生产现状》[4]中所研究和分析的VR案例实际上都是全景技术,与VR技术没有本质上的联系,文中提及的上游新闻客户端中所谓的“VR”频道,实际上所描述的内容都是全景效果,以全景效果来评判VR或XR的价值就显得过于片面了。因此,只有从技术层面分析和探究XR,正确地理解XR及相关技术原理,才能够更好地认识XR技术对传媒领域的发展及影响,否则无法准确地了解XR效果及技术的发展潜力。
1 XR技术的发展来源
1.1 高沉浸式体验是XR技术发展的驱动力
目前主流的受众端设备,如手机、电视等,还处在以“体外设备”的方式来呈现信息,因受限于当前技术的发展,还无法做到沉浸式体验。而XR技术之所以能够带来信息传播方式的变革,是因为其以“穿戴设备”的方式,利用人的感官特征使虚拟信号模拟真实世界的信号直接传递给使用者,从而给受众带来较高的沉浸式体验。因此,沉浸式体验效果的好坏也是评价XR内容、设备的一个重要指标。
1.2 XR是解决信息传播的最后一厘米的技术
要提高沉浸式体验效果,可以根据人对客观世界信息感知的特点,结合现代媒体技术,通过视觉、听觉、触觉等身体感官,把虚拟的信息用更接近现实信息的方式传达给使用者,这就决定了XR技术主要是应用在信息传播的最后阶段,也就是信息在进入使用者感官的最后一个阶段。用信息系统理论来分析,即为信息接收者解码信息的最后一个阶段。只有贴近人体感官,才能确保信息传播的高准确性和高覆盖率。
因此,XR是受众端设备高度依赖的技术。如果只是在信息内容创作过程中使用XR设备,但是受众端没有XR设备来接受XR特征的信息,也不属于XR效果。一些所谓的“VR+新闻内容”,其实只是在新闻编辑时使用了视频三维合成、绿幕合成等技术,受众还是通过普通的电视、网络获取信息,这些所谓的“VR+新闻”,实际上与XR关系不大,更谈不上提高受众的沉浸式体验感了。
1.3 XR是媒体技术的有效集成
当今XR技术以虚拟现实技术的出现为发端,但这并不能认为是简单地从某一单项的技术逐渐发展而来,而是多项技术发展到一定程度所形成的一套新的相关技术的系统集成。XR技术的出现,在时间的维度上是2014—2016年,虚拟现实及其相关的增强现实、混合现实技术相继出现并成为热门的技术,多款虚拟现实设备在2016年发布或者发售,因此2016年通常被认为是虚拟现实的元年。由于VR、AR以及MR有许多技术上的关联,所以业界的软件及硬件相关厂商提出了XR的概念,用于对前者及其相关技术的统称。
2 实现XR技术的主要效果和技术
XR的目的是提供一种高沉浸式的信息获取方式,因此,一些对沉浸式体验影响较大的技术是影响XR效果的核心技术。有些技术如果独立实现是相对容易的,但如果要跟其他技术集成在一起就非常困难。例如,双目视觉技术早在3D电影中实现了双目视觉效果,但既想要实现双目视觉,又想要实现全景视野就非常困难了,如以当前的技术同时来达到这种效果,就必须要戴上特制的眼镜。从技术的层面分析XR的实现过程,主要的效果和技术有双目视觉效果、全局视野效果、高视场覆盖率、三维空间漫游效果、现实空间感知、现实和虚拟光线合成、实时渲染等。
2.1 双目立体视觉效果
人类的视觉是通过两只眼睛观察世界,由于人的两只眼睛的位置有轻微的差别,所以大脑能够通过两眼的视觉差异形成立体视觉。双目立体视觉是提高视觉沉浸效果非常重要的技术,3D电影正是运用了这一技术,给观众带来震撼的效果视觉。而普通的显示器是无法给人的双眼显示不同画面的,所以就需要特殊的技术和工具来实现左右眼视觉独立画面。目前,常见的显示双目视觉技术有专用眼镜、偏光镜片、液晶开关、光栅等。
2.2 全景视野效果
在现实世界中,人们处于环境的包围之中,显示技术实现了视觉重现的功能,但是显示器只能在一个固定平面上显示画面,只能占有人类视野正前方的一小部分。当人旋转头部后,普通的屏幕和显示器就无法覆盖视野范围,降低了沉浸体验的效果。全景视野的实现则是把专用眼镜和陀螺仪技术相结合,让显示装置始终“固定”在使用者眼前,并根据视角的不同呈现不同的画面,从而实现全景视野的覆盖。许多移动媒体的“全景”效果为了达到类似的全景视野覆盖,使用手机屏幕结合陀螺仪来显示某个角度的画面,但是无法实现较高的视场覆盖率。
2.3 高视场覆盖率
视场覆盖率是指XR所呈现的虚拟画面占人眼视场的比例。只有较高的视场覆盖率,才能带来沉浸式体验。电视、电影行业不断追求大屏幕以提高视场的覆盖率。如果仅要达到高视场覆盖率,可以通过简单地增加屏幕的大小、使用球幕等方式来实现,但要想同时实现高视场覆盖率、双目视觉、三维空间漫游等效果,只能通过专用的VR眼镜来实现。
2.4 三维空间漫游效果
三维空间漫游效果是指使用者在虚拟现实构建出来的“虚拟”世界中,可以在不同的位置和不同的观察角度对世界和物体进行观察,能够给使用者带来身处一个三维空间的高沉浸感。例如,在虛拟现实中呈现一张桌子,使用者可以从任意角度对桌子进行观察。要想实现该效果,需要对虚拟的世界使用实时三维渲染的技术来进行处理,这也是虚拟现实技术与VR全景技术的一个关键区别。
2.5 现实空间感知
现实空间感知是XR技术中对真实世界进行感知的技术,通过该技术能够获得真实世界的空间、纹理、灯光等信息,为下一步的数据处理、信息呈现提供基础数据。目前主流的技术有双目视觉、结构光、TOF(飞行时间)。移动媒体上的AR应用,为了模拟现实空间的感知效果,使用特殊算法对摄像头拍摄的视频画面进行分析,得到简单的空间信息,其效果和实用性不高,并不能对现实空间进行实时有效的感知。
2.6 现实和虚拟光线合成
在增强现实和混合现实技术中,使用者会同时看到现实世界中的物体发出的光线和虚拟出来的影像,这就需要通过特殊的技术把虚拟出来的影像与现实的光线进行合成,这比普通的显示技术要复杂很多,同时也是AR和MR的一项核心技术。目前效果较好的方案是使用光波导(Optical Wavaguide)技术来实现,分为几何光波导(Optical Wavaguide)技术、光栅光波导技术、全息光波导技术三种类型,此外还有棱镜、自由曲面、全息反射膜等方案。而移动媒体上的AR应用只是把虚拟的影像叠加在摄像头拍摄的画面上,再通过手机的屏幕显示出来,现实的物体光线经过摄像头、影像叠加、手机屏幕后再传到人的眼睛里,实际上光路已经中断,这与AR、MR设备上的效果完全不一样。在AR、MR设备上,现实物体的光路在通过透镜时会与虚拟影像进行合成,如果没有被虚拟影像遮挡,光路是直接进入人眼睛的。
2.7 实时渲染技术
在XR技术中,虚拟的部分影像要想做到三维空间漫游、与现实光线合成,须根据使用者的视角、环境光照等因素进行实时计算。实时渲染技术也是XR能够提供交互行为的基础。此外,为了降低使用者对虚拟影像产生的眩晕感,要求虚拟影像有较高的刷新率和较低的延迟,这对于实时渲染的硬件有较高的要求。因此,XR设备对三维图像的实时渲染性能、效果的要求都是比较高的。
2.8 可穿戴设备
可穿戴设备能够把媒体设备与使用者融为一体,一方面可以提高信息传播的准确性和效果,另一方面对于手机使用者来说,可以把人的双手从手机中解放出来。如想要实现设备的可穿戴性,需要解决人机输入接口、设备小型化、续航、发热等问题。通常可以通过语音输入、手部动作捕捉等方式来解决人机输入接口问题。
2.9 三维音频效果
听觉也是人类接收信息的重要部分。三维音频效果主要使用陀螺仪来对虚拟的音频进行定位和音频处理,使用者需要佩戴耳机来实现三维全景环绕音频效果。相对于视觉方面,实现听觉的沉浸式体验的技术难度更低一些。
3 XR是各项技术的有效集成系统
前文所提到的XR及涉及的各项效果和技术,如果单独去实现某一项效果或技术相对容易,如双目立体视觉,在十几年前的3D电影院、3D显示器上已经能够实现,全景视野技术也早已用在谷歌地图上。但如果同时实现这些效果和技术就相对困难,特别是同时实现双目立体视觉、全景视野以及高视场覆盖率,以目前的技术来说,使用者须佩戴专用的扩展现实眼镜才能实现。因此,XR技术是把实现各项沉浸式体验的技术有效集成为一体的系统,将其视为一个整体来研究才有意义。表1对比分析了目前主流的XR设备、应用的使用效果和技术差异,以及所能够实现的沉浸式体验效果。
表1仅针对典型的使用模式,一些特殊的使用方式未在表中进行对比,如在Cardboard中使用手机体验VR效果、多机位全景模拟漫游等。
从表1可以看出,要想得到较高的沉浸式体验和交互能力,必须使用专用的XR眼镜。以目前的XR专用眼镜的技术发展现状来看,虽然已经具有一定的沉浸式体验效果,但是受限于成本、佩戴舒适性、续航能力等原因,还无法广泛普及,暂时无法改变大众获取信息的方式,还未进入真正意义上的XR传媒时代。而目前大众使用的手机、平板电脑等移动媒体上的XR应用和软件只是在技术上进行简单的模拟,沉浸式体验效果比较差,这种方式没有给媒介的传播方式带来革命性的变化。
4 结语
XR技术涉及的领域、技术比较广,设备的类型和种类比较多,很容易让人产生混淆和理解错误。一方面由于其自身的技术特点、硬件条件的限制导致高沉浸式的XR设备普及率和实用性不高;另一方面,在一些商业利益的炒作和包装下,一些“准”XR效果,甚至一些只在概念上相似的产品占领消费市场,误导了大众对XR技术的普遍认知,使得大众对于XR效果及技术存在一定的认识偏差。因此,正确理解XR相关技术的原理,避免认识偏差,才能看到XR对未来信息传播方式的重大影响潜力,对于行业的发展、技术培育和人才培养具有重大的意义。
参考文献:
[1] 李斌.新闻传播“去中心化”趋势与“中心再造”路径[J].传媒,2017(24):37-39.
[2] 昝廷全,高亢.手機“碎片时间”价值的“长尾理论”分析[J].现代传播(中国传媒大学学报),2013(11):96-99.
[3] 褚乐阳,陈卫东,谭悦,等.重塑体验:扩展现实(XR)技术及其教育应用展望:兼论“教育与新技术融合”的走向[J].远程教育杂志,2019(1):17-31.
[4] 严悦,张兢.“眼见为虚”:浅析国内VR新闻生产现状:以上游新闻客户端VR频道为例[J].视听,2019(1):162-164.
收稿日期:2021-11-09
基金项目:2019年度广西高校中青年教师基础能力提升项目“虚拟现实技术在广西区域形象传播中的创新与应用研究”(2019KY0503);2018年度广西艺术学院校级科研项目“基于移动媒体的广西区域形象三维交互式传播研究”(YB201828);广西艺术学院南湖青年学者人才项目支助(NHXZB15)。
作者简介:韦维(1981—),男,硕士,助理研究员,研究方向:互动广告、数字媒体技术;申雪凤(1980—),女,硕士,教授,研究方向:创意传播及广告策划。
3994500338233