贾云鹏,王楚宁
北京邮电大学数字媒体与设计艺术学院,北京100876
伴随着智能媒体技术不断升级、图形硬件效能不断提升,虚拟现实影像(VR影像)将成为数字“元宇宙”的重要组成,为用户呈现更具沉浸感和真实性的视听内容。作为新技术的产物,VR影像在视听表现、空间沉浸、观影体验等方面具有和传统影像截然不同的特征。基于这些特征的研究,将持续彰显VR 影像的独特个性,让内容创作者更清晰地认知这一艺术形态的创作规律,拓展VR影像的广度与深度。
在虚拟现实技术的起步阶段,内容创作本身更加注重新技术带来的新体验,产品与作品的卖点主要围绕虚拟现实技术的全新沉浸体验,但从内容本身的视听效果、内容设计等方面来看,存在较为严重的低质量问题。其原因往往体现在受制于硬件效能与技术底层方面。随着VR技术与硬件的不断迭代升级,VR内容也迎来了全面的升级。
近几年,虚拟现实影像内容在顺应技术优势、挖掘用户体验需求等方面,进行着更加深入的探索。在用户对影像作品带给人们视觉体验和情感体验需求不断提高的同时,VR影像展现出的强沉浸感以及为用户提供的可交互性,使越来越多的影像创作者投入精力对这种新的内容呈现形式进行大量的尝试[1],这促使VR影像在技术上和内容上都变得越来越成熟。
对比传统影像,VR 的用户所能观察的范围更大,可以达到720°的全空间观看体验,见图1。这种空间体验在增强用户的沉浸体验和视域范围的同时带来了许多问题。
图1 720°全空间观影
首先,VR 影像是720°无限制的观影空间,这与传统影像“有限画框”内的视听体验具有本质区别。除了缺少画框限制,VR影像会由于设备等问题给用户带来的“晕3d”现象,在没有加入运动的情况下,用户已经不可避免地对空间观影产生眩晕感,而随着观影视角旋转和移动带来观影空间的运动,无疑会加重视听的眩晕感。
其次,传统影像的节奏变换常通过景别切换来实现。这一方法在连续性沉浸观影的VR空间中难以实现,因此创作者常通过设计VR 空间内的观看主体与用户的距离来模拟传统影像的景别变换。但这种模仿式的景别切换,在创作实践层面难以达到传统影像的视听节奏,难以实现传统视听作品给用户带来的节奏感。频繁切换VR 影像中的物体视距,会大幅加重用户的观看负担。
除此以外,由于720°空间容量很大,用户的视野区域和视野方向不可控[2],特写、大特写等特殊景别的视听表达效果也难以在VR影像环境中实现。
无论是传统影像还是VR 影像,视觉引导都是不可或缺的。视觉引导方式可以分为强视觉引导方式和弱视觉引导方式。强视觉引导是通过限制画框内信息量的方式引导用户关注到指定信息,用户不需要经过信息筛选和判断就可以注意到信息点;而弱引导方式是通过设置情感关联、控制情感节奏以及通过刺激用户的一些心理学效应实现的引导方式。传统影像可以通过强制切换画面的方式进行强视觉引导,而VR 影像中可以用到更多强视觉引导与弱视觉引导的结合。
合理的视觉引导会让用户在自由观赏的过程中更好地了解到人们为他们设置的“关注点”的主次,而VR影像中的空间视觉引导,更是在帮助用户更好地在自由视角的条件下来观看。
视觉搜索是指人们通过调动视觉感官来寻找搜索目标的过程[3]。心理学家为了研究复杂视野场景中的注意力分配问题,进行了大量对视觉搜索相关影响因素的研究。工作记忆是指人们在进行认知活动时,为增加效率而从长时记忆中临时调用的短时记忆。这种随着需要而随时更换的短效记忆模式只储存少量处于活动状态的信息。
心理学家在视野场景记忆目标的反应实验中发现,人们的视觉搜索能力与工作记忆紧密相关,在空间工作记忆方面具有更大的关联性。工作记忆原理见图2。当注意力集中在某个空间位置时,该位置的空间信息会被储存为空间工作记忆[4]。研究表明,当人们大脑中存储的空间工作记忆与当前视觉搜索的内容目标相匹配时,即期望目标与视野目标相符时,那么这时空间工作记忆将对视觉搜索产生自上而下的引导作用[5]。
图2 工作记忆原理图示
举例来说,如果目标(见图3 红色小人)的关键空间信息(如所处方位、纵深距离、可识别的背景元素等)已经存在于空间工作记忆中,那么当注意力从原空间位置(见图3B 位置)转移到另一个空间位置(见图3A位置)时,若注意力转移结果与期望目标相符(即观测到红色小人确实转移至A位置),之前储存在空间工作记忆中的空间位置(B 位置)信息,会被用于抑制注意力再次回到此位置,由此视觉搜索效率得到优化。
图3 搜索关键空间信息
反之,若是空间工作记忆中的内容与搜索目标不匹配,由于容量限制,空间工作记忆的内容会产生负面的干扰视觉引导的效果。在双搜索任务的情况下,视觉搜索的多个目标分散会导致其与空间工作记忆互相干扰,而且这种干扰的效果会随着搜索目标信息量的增加而增加。例如,如果要在图4(左侧)中寻找并记忆a的位置,人们通常利用a与背景中“气泡”的位置关系信息以及明显目标b的位置信息来描述a(并存储为a 的空间工作记忆信息),但在目标移动至图4(右侧)位置后,a 目标的空间工作记忆信息失效,并对搜索a目标产生一定的干扰效果。
图4 空间记忆对视觉搜索的干扰
心理学研究比较了空间工作记忆与非空间工作记忆在视觉搜索中的作用。实验结果发现,空间工作记忆负载干扰了视觉搜索过程,而非空间工作记忆负载对视觉搜索几乎没有干扰[6]。换言之,空间工作记忆负荷过重是空间视觉搜索受到干扰的最主要原因,而这也正是用户在体验VR影像时视觉搜索效率受到影响的主要原因。
对于传统影像来说,视觉引导的作用是在把控视听内容的情绪、节奏,并突出重点内容来吸引用户的兴趣。常用的方法有变换构图、画面运动、焦点变化等,通过运动关键信息可以很直观地吸引用户观看。从视觉引导的角度来看,特写、大特写等景别的使用,是将细节信息强制性的呈现给用户;光影、色彩等影调的变换,也能够将画面中的特定信息传递给用户。
与传统影像相比,VR影像的视觉引导具有两方面的差异。
第一,在720°全景VR 影像空间中,用户的“兴趣点”更多,信息量更加巨大,所带来的信息冗余、过剩问题突出。随着用户位置和观影视角的变换,“兴趣点”的体量会进一步放大。相较于传统影像“固定画框”中的有限内容,VR影像的重点难以突出。
第二,VR影像的“空间记忆”难度远高于传统影像的“平面记忆”。
VR 影像带给用户沉浸感的主要载体往往来源于空间本身,这种“空间记忆”往往大于空间内的人物或其他主体。因此,用户在VR影像庞大、复杂的沉浸空间中锁定特定“兴趣点”的难度更大,导致作品的叙事表意效率降低。
由于VR空间中的视觉引导是一种充分调动人脑视觉——空间模块的引导方式,因此设置视觉引导时需要结合人类在空间中的视觉搜索习惯[7]。前文叙述的心理学研究表明,人类的视觉搜索能力与空间记忆紧密相关。因此可以推测,利用空间工作记忆对视觉搜索的效应,可以更合理高效地设置VR 影像空间中视觉引导。
目标在空间的逻辑关系不仅仅与其本身的信息相关,还与其空间位置等环境信息相关。与传统影像中不同的构图方式类似,为了帮助观者对空间环境内目标快速进行分类——包括理清主次关系、敌友关系等——可以使用不同的空间位置组合、有规律的空间结构等[8]。在VR影像中,通过建立不同空间中信息点之间的联系,以及建立同一空间中不同信息点的联系等方式,视觉引导被人们设置在更有效的空间范围内,用以帮助观者完成视觉搜索,从而加强了视觉引导的效果,见图5。
图5 平面构图与空间构图
事实上,人们不仅可以正向地利用空间工作记忆帮助视觉引导的建立,也可以从反向利用空间工作记忆的过载等方式让观者产生不同的心理效应,进而实现多样化的表达效果。
根据VR 影像的空间特殊性,人们可以将空间视觉引导主要想解决的问题分为以下几部分进行设计上的思考。
第一点是想要通过设置空间视觉引导的方式,解决观看空间中信息量冗余问题。
第二点是想要通过空间视觉引导来辅助叙事,帮助弥补VR 影像剪辑点不宜过多、可用运动较少的弱点。
在前文对VR 影像中景别问题的分析中,讨论了传统影像中景别对于情感表达的重要性。无论是特写给观者带来的亲近感还是远景带来的宏大与震撼,传统影像中不同景别带来的情感体验差异是非常明显的。可以将视觉引导与不同空间景别关系设置相结合,在保留景别给观者带来强烈情感效应的同时,针对VR观看环境,将这种表现形式进行适应性地改进。传统的景别的切换或许并不适用于VR 环境中,但可以将景别转化为空间的概念,即空间中的人物关系以及场景关系。
与传统影像相比,VR影像主要胜在其720°观看给用户带来的沉浸体验上。但无论是传统影像还是VR影像,用户在观看过程中的主要目的都是“看内容”。VR影像中即使存在一定的交互形式,也都是在为内容服务。同样的,视觉引导的根本目的是帮助观众更好地体验内容,如果说剪辑是对内容片段的整合和再创作,那么视觉引导则是对剪辑这种“二次创作”的一种指示说明。同时,设置空间场景中的人、物、景关系,也可以帮助创作者实现类似于“景别”以及“运动”的空间效果,更好地完成内容与情感的表达。
第三点是想要通过空间视觉引导在一定程度上模糊空间的概念,利用空间记忆与视觉搜索的心理关系帮助用户在提升沉浸感的同时,更好地跟上节奏。
如何既弱化环境对视觉搜索的影响程度又营造出沉浸感体验,是VR 影像设计的一个重点。为了达到这样的目的,需要进行空间内的视觉引导,这时就可以将用户心理空间与视觉空间的关系运用到设计中。
观者在整个观看过程中的注意力主要处于3种形态:集中注意状态、分配注意状态和转移注意状态,见图6。当观者视野内只存在一个明显可观看目标时,观者主要处于集中注意状态。若影像中出现令观者觉得指意不明的情节,或视野空间中存在多个吸引注意力的目标时,观者会因为疑惑或好奇等心理状态而进入分配注意状态[9]。在分配注意状态中,观者进行快速的视觉搜索并进行信息的处理和分析,直至回到集中注意状态。而转移注意状态则存在于集中注意的目标消失或失去意义的情况下,观者的视线从一个目标转移到下一个主要目标上,最终进入集中注意状态。
图6 注意力的3种状态
视觉引导主要存在于分配注意状态和转移注意状态,而在集中注意状态时只需要进行较弱的引导(例如减少有效视野外冗余信息)。因此快速帮助用户进行视觉搜索并进入集中注意状态即是视觉引导设计的重点。
根据VR影像空间视觉引导的痛点以及用户的视觉搜索习惯,本研究从以下3个方面进行设计。
1.增加留白
在空间内加入视觉引导的前提应是尽量减少信息元素而不是增加信息元素[10]。
空间视觉引导的最大困境就是信息量的冗余极易造成不必要的空间工作记忆负载。利用空间工作记忆的效应来优化视觉引导的前提是空间工作记忆的有效性。因此,设置视觉引导首要的原则是保证观者的空间工作记忆不能过载。视觉引导应尽量避免让观者从集中注意状态中脱离,此时通过增加留白减少信息的方式进行视觉引导,将明显优于在已有视觉元素的基础上增加新的引导信息。
增加留白包括视觉上增加留白空间和心理上增加留白空间,见图7。增加视觉上的留白,旨在减少观者的可视元素以控制其注意力,因此需要增强留白空间的有效性。在整个空间中,非关键信息元素都可以被尽量删减,并尽量减少动态的视觉元素,这种情况可以用于关键元素在整个空间优先级较高的状态。
图7 2种留白
用户在VR 影像观看的过程中,脑中除了有对影像整体内容的记忆,工作记忆只存储少量关键信息,如位置、色彩、轮廓等易于在短期内进行二次辨认的信息,而随着时间的推移,工作记忆会越来越概括和模糊,最终被遗忘和替换。借助工作记忆,用户不仅可以快速发现短期内出现过的目标,还能避免对同一目标反复搜索而耗费视觉搜索效率。
想要增强VR 空间中心理留白的有效性,可以通过提前设置短时记忆元素的方式,即通过减少空间内视觉元素变动来增加一种“留白”的心理效果。弱信息元素被提前放置,当关键元素出现时,观者会为了避免反复搜索同一目标而减少对无效信息的搜索。
2.设置关联目标
空间视觉引导应注重空间内关联目标的设置,并与剪辑紧密结合。
在传统影像中,若要表现同一空间中的多个目标时,通常会通过大量画面反复强调场景内的元素位置关系,再进行细节的描述。VR影像中虽然减少了“越轴”的可能性,但视角的变换也很容易使观者对空间的认知出现混乱[11]。此时视觉引导是为了辅助剪辑,帮观者理清关联目标的空间关系。
人们可以将关联目标分为2 类,一类是相同场景内的不同目标,另一类是不同场景内的相同目标。
首先是在相同场景中设置不同目标,例如环境中存在2个兴趣点,在设计视觉引导之前,人们需要明确2个兴趣点之间的联系,主要包括:强关联、弱关联、矛盾这3种关系,见图8。
图8 2个兴趣点之间的关系
弱关联的兴趣点是指与主要剧情有微弱关联,但不在主要剧情方向发生的小事件。这类兴趣点的设置可以减缓节奏,同时丰富配角及环境信息,为主体事件提供一定的线索。弱关联的兴趣点可以使用更弱的引导,只将目标周围设置小范围的留白,使用户在自主观察时易于阅读即可。
相互矛盾的兴趣点,在空间中的关系通常是对立竞争的,此时如果强制用户只能关注其中的一方将会得到更好的效果,如果同时与互相关联的兴趣点结合,还能够加强矛盾和冲突。此时可以将2个目标设置在空间的不同区域,这种情况可以增强观者的心理代入感、强调剧情的冲突,同时加强节奏。
而当相同目标在不同场景中切换时,应尽量避免场景内有过多可视的目标主体。若要引导观者看到目标主体,可以通过设置相似运动、相同刺激元素(颜色、形状、轮廓等)等方式来配合剪辑[12]。由于观者通过屏幕看到的场景并没有实际的纵深效果,观者只能通过目标的大小等结合背景来判断远近。因此在场景切换过程中尤其要注意目标物体与视点的距离,控制不同场景内目标物体与视点保持距离的连续性也是有效的视觉引导方式之一。
3.场景元素
注重塑造空间的纵深关系,并尽量保留VR 环境下背景空间元素的可辨识性以及视野方向性,以增强用户的沉浸感。
首先是模拟真实空间的纵深感,不仅是给观者营造出“3d”效果,而是更多地考虑到真实视野中纵深关系带来的“背景模糊效应”[13]。通过相机拍摄的画面会还原现场的细节,而这中间包含了大量人眼无法直接观测的细节,比如微距、长焦的部分。在传统观看环境中,背景的细节和前景内容处于同一屏幕,此时会放大屏幕内背景信息对观众的影响程度。VR场景中视野内的场景元素应比真实世界中应有的细节元素更少,并结合一定的视效处理才能更符合真实的视野,从而提升用户的沉浸感,见图9。
图9 观者视野
在视觉引导的设计中,若是希望引导观者快速找到指定目标,最好的方式是提前设置一定与空间位置相关联的空间记忆参照点,包括背景元素和视野方向等。此时,观者在转移注意阶段将会很好地利用已有的短暂记忆来搜索目标,更快速进入集中注意力的阶段。同理,若是想要为了增强戏剧性而“误导”观者,也可以反过来利用观者的短期工作记忆,用设置相似关键信息的方式来“欺骗”观者。而这种利用空间记忆营造的戏剧性效果在VR中将具有明显的效果和优势。
此外,利用空间记忆来实现的视觉引导还能够很好地营造气氛。视觉目标和心理预期目标、视觉空间和心理预期空间的不同组合都能够实现营造气氛的目的[14]。例如,若视觉目标没有出现在预期空间中,可以营造一种紧张的气氛;若视觉目标出现在预期空间中,可以营造一种放松的氛围。再比如,若视觉目标出现在心理预期空间外,或是心理预期空间中出现超预期目标时也可以为用户营造出悬疑、恐怖等氛围。除此以外,人们还可以利用这样的视觉记忆与视觉预期差异为观者创造更多的惊喜。
随着时代的发展,虚拟现实技术对人们来说已经不再陌生,然而对于大部分用户来说,VR全景影像仍是一种相对新奇的模式。用户对于新技术载体下的新内容形式有着极高的热情,但同时不可避免地会在观看过程中产生一定的陌生感和不适应。人们一方面希望能够利用VR内容的沉浸体验等优势来为用户呈现更好的观看体验,一方面也面临着这种新的模式与传统影像设计本身的诸多矛盾。尽管VR影像与传统影像有着很多不同,但人们仍然可以在传统影像成熟的表达方式基础上,有针对性地作出适应性的改进,实现VR影像艺术在全景条件下的创作升级。
通过分析用户的观看心理以及空间记忆与视觉搜索能力的关系,可以通过增加留白、设置目标关联以及控制场景元素辨识度等方式来实现VR影像空间中有效的视觉引导。VR 影像中视觉引导的目的在于调动观众的视觉,建立视觉目标与心理预期目标之间的关联,从而达到营造氛围,推动叙事的目的。视觉引导旨在优化观者的视觉搜索的效率,进而增强观者接受信息的速度,在全景式沉浸观看体验中更轻松地获取有效信息。更好的视觉引导形式可以在很大程度上提升VR创作者的创作空间,包括影像内容、形象塑造、节奏等诸多方面。未来,VR影像中的视觉引导形式也将不断优化和改进,以更符合用户观看心理和观看习惯的方式呈现给每一位影像爱好者。