VR 电影内容特征对叙事连续性影响建模研究

宋 萍 陈纯毅 胡小娟 于海洋

(长春理工大学计算机科学技术学院，吉林 长春 130000)

1 引言

虚拟现实技术的不断发展和普及不仅推动影视艺术的发展，更促使人们开始探索更适用于VR 影片的剪辑方法，其中叙事类VR 电影是众多VR 电影中的重要组成部分。大多数叙事以及剪辑手法是在传统非VR 电影中探索得到的，在更复杂的VR电影中，由于观众可以自行观看想要观看的区域，导致了观看方向的不可控，也就意味着观众在观影过程中可能错过重要的叙事线索。因此探索已有的剪辑手法是否还能在VR 电影中起到引导观众注意的作用，以及探索更复杂的叙事类VR 电影中影响感知连续性的因素是本文的主要研究目的。

本文分析了由专业电影制作人制作的叙事类VR 电影 《Help》，相对于其他类型的VR 电影来说，叙事类VR 电影的场景更复杂，对话和动作更多。本文在不影响其主要故事线的情况下将叙事类VR 电影进行剪辑，将整个电影分为8 个视频段，每段视频随机邀请5位受试者观看，根据受试者头部佩戴的VR 显示头盔以及眼动仪记录的观看信息，分析得出影片连续性的评价。本文首先对影片的剪辑手法以及剪辑前后的关注区域个数进行了多层回归分析，验证以前的发现在更复杂的情况下是否依然适用；其次本文根据叙事类VR 电影情节更复杂、动作更多的特点，引入了新的评价指标，即平滑追踪，基于实验分析，本文认为剪辑后关注区域的个数对叙事类VR 电影的连续性有影响。

2 相关工作

在VR 视频播放过程中对观看者进行恰当的观看引导可以让观看者在观看VR 视频中保持注意力的连续，目前大多使用以下两种引导方法。

一是显式引导，这种引导方式会在画幅上直接显示用于引导观看者注意力的光标或者图示。Wallgrün等人发表的论文详细讨论了三种常用的2D 显式引导方式，分别是雷达式、箭头式以及光点式引导在引导观看者注意时力的区别。Wallgrün等人认为，三种视觉引导机制均可以有效引导观看者定位到需要关注的目标区域，但是三种显式引导方法中，箭头引导方式是最受欢迎的，也是效率最高的，经常玩电子游戏的人更习惯雷达式引导。但是由于是显式引导，在提高了引导效率的同时，画面的美观性则需要改进。而在最近的工作中，Lin等人使用VR 体育视频和VR 纪录片作为测试序列，比较了箭头引导和镜头移动两种视觉引导方法对观看者注意力的引导效果。他们的结论是，观看者的观看效果取决于个体差异，例如视频的内容以及观看者观看视频的目的等。Komogortsev等人进一步研究了画面闪烁作为引导机制时的引导效果，发现电影中无论是强闪烁或者弱闪烁对观看者的注意力引导都没有区别，画面闪烁虽然可以引导观看者的注意力，但也提高了对电影不重要细节的回忆。

二是隐式引导，也是本文主要关注的引导方法。隐式引导一般用剧情线索、剪辑手段或电影中的声音灯光等对观看者进行注意力的引导。2017年Serrano的科研团队引入了连续性评价指标，用于在虚拟现实内容的连续性编辑环境中量化观看者行为，同时也总结了一些影响连续性的因素，即若想获得更高的连续性，则剪辑前后的关注区域要在同一视场范围内，并且传统剪辑手法在全景视频中依然可以沿用，无论剪辑情况如何，每个剪辑开始后会有一个探索高峰。2018 年Maranes等人在Serrano工作的基础上，将数据集调整为时间更长同时也是专业人士制作的VR 纪录片，在隐式引导下讨论剪辑手法对全景电影连续性的影响。Maranes等人认为，即使在时间更长的纪录片情况下，传统的剪辑手法依然可以很好地应用到VR 电影的剪辑中。

从上述VR 电影的连续性研究方法中可以看出，其中大多数都是使用短时、简单、可控的实验测试视频和严格的实验条件来探索VR 电影感知连续性的特点，这样的研究大多只适用于定焦的、场景单一的VR 电影，得到的结论很难直接应用于更复杂的、时间更长的、情节更多变的叙事类VR 电影的连续性研究当中。

3 评价指标与VR 电影内容特征量化

为了研究场景更复杂多变的叙事类VR 电影，本文采用谷歌公司在2015年拍摄的灾难题材VR 电影《Help》作为测试序列，并且采用了新的评价指标用于解释更复杂的电影场景。

本文方法的整体流程如图1所示，分为两大模块:一是视频特征量化模块，用于获取叙事类VR电影的连续性特征；二是评价指标量化模块，用于获取VR 视频的连续性评价指标。最后将生成的评价指标和视频特征输入到多层线性回归模型中，得到视频特征对叙事类VR 电影连续性的最终影响。

图1 实验流程图

3.1 影响连续性的电影内容特征

本文将影响叙事类VR 电影连续性的电影内容特征分为三种，分别是剪辑类型 (E)、剪辑前关注区域的个数(R)和剪辑后关注区域的个数(R)。

基于传统电影的剪辑理论，本文首先考虑三种不同类型的剪辑手法对全景电影连续性的影响{E1、E2、E3}，它们是按照空间、时间和动作的维度定义的，分别指代动作连续性剪辑、动作不连续性剪辑、连续性剪辑。由于E3 剪辑类型在VR 电影中很少出现，所以只考虑前两种最常用的剪辑类型:E＝{E1、E2}。

动作连续性剪辑 (E1)，即剪辑前后场景、时间不同，但是由一个连贯性的动作承接剪辑前后的逻辑。动作不连续剪辑 (E2)，这里指代用于场景切换的跳切剪辑，通常在双重叙事或者场景切换的情况下使用。对于E1 类型 (在时间空间上的不连续以及在动作上的连续剪辑)和E2 类型的剪辑(在时间空间以及动作上均不连续的剪辑)分别去分析其对影片连续性的影响。剪辑示意图如图2所示。

图2 剪辑示意图

在考虑了剪辑对连续性的影响后，本文第二点考虑了关注区域(Region of Interest，ROI)对连续性的影响。本文根据影片特征将ROI在画面中的数量分为无ROI、一个ROI、两个ROI的情况，如图3所示。本文将剪辑前的ROI以及剪辑后的ROI分别标记为R和R，并用其取值代表ROI数量。

图3 ROI示意图

3.2 全景电影的连续性评价指标

本文沿用了Serrano在2017年提出的连续性评价指标的同时，采用了一种新的适用于叙事类VR 电影的评价指标:平滑追踪。本章对平滑追踪给出了详细的解释。

3.2.1 剪辑后注意到ROI的帧数

剪辑后注意到ROI的帧数是评价指标中最直观的一种，简单表示视频中剪辑发生后，观察者注意到ROI区域内之前的帧数，该度量的时间越长，代表剪辑后观看者反应时间越长，更容易错过剧情。以下记为(Frame To ROI，N)。

3.2.2 ROI内注视百分比

该指标计算观看者在剪辑后找到感兴趣区域后，感兴趣区域内的注视相对于总注视量的百分比。它给出了观众对感兴趣区域的兴趣程度的估计，该比值越高代表观看者对ROI内容的感兴趣程度越高。以下记为(Percent of ROI gaze，P)。

3.2.3 注视帧数

注视帧数指标计算观众在观看过程中的注视总次数，这个指标直观的表示了观看者执行了多少次注视。其取值越低，代表观看者在观看电影中扫视的占比更高，这意味着观看者在观看过程中更喜欢观察环境而不是去观看特定的影片情节。以下记为(Frame of gaze，N)。

3.2.4 平滑追踪占比

以上三种评价指标是Serrano等人在2017年提出的，适用于传统意义上的定焦影片或纪录片的连续性评价，但在叙事电影中，无法保证ROI在画幅中是保持不动的。为了解决这个问题，本文引入了一种新的评价指标:平滑追踪帧数占比。这个新的评价指标捕捉了观看者跟随ROI的运动而运动的跟踪注视行为。

首先根据基于速度识别的算法可以快速计算出所有视点中的扫视点。通过计算前后两帧内容视点距离计算出当前视点的移动速度。

在初步分割过程中，本文找出速度特征大于40pix/s的所有高速点，并且如果两个视点之间的时间间隔小于100ms，那么这些数据视为扫视数据。大部分的扫视数据都可以在这一步识别出来。

之后进行注视和平滑追踪的分类。由于注视和平滑追踪无法通过阈值进行分类，所以采用聚类分割法，首先计算剩余视线段起点和终点之间的平均速度特征。文献 [7]中提出的速度特征计算公式为:

最后根据局部密度确定聚类中心，将剩余视点分为两部分，其中Sd平均值高的一组认定其中的视点样本为平滑追踪，另外一组视点为注视视点。平滑追踪指标以下记为(P)。

3.3 多层回归模型

为了探究每种剪辑方式对最终影片的连续性的影响，通常人们将影响影片连续性的因素，结合线性回归模型，将回归结果与收集到的结果进行比对，由此判断这些因素对影片连续性的影响。但是叙事类VR 电影相较其他类型的VR 电影，其剪辑手法更加复杂多变，需要根据剧情发展确定适用于当前场景的剪辑方式，才能最大程度确保观看者在观看该叙事类VR 电影时能感受到时间与空间的连贯性，进而感受完整的电影剧情。而线性回归模型由于本身的限制，不适用于分析复杂因素对结果的影响。为了确定叙事类VR 电影的剪辑方法对影片最终连续性的影响，探究出一套适用于复杂叙事场景的剪辑方式，因此，我们采用多层回归模型对数据进行分析。

将上文所述影响连续性的电影内容特征:剪辑方式(E1、E2)，剪辑前后ROI区域的数量作为输入，建立多层回归模型 (Hierarchical Linear Model，HLM)。

4 实验设计

实验所用数据集选取2016年Justin Lin导演的VR 影片《Help》，实验人员由10名年龄在20～30岁的成年人组成，其中男性4名，女性6名。实验人员中有1 名男性以及1 名女性有VR 体验经历，实验人员信息如表1所示，每次实验受试者需要使用VR 头盔观看VR 电影，每个视频段由随机5人观看，共40次重复实验。

表1 实验人员信息表

本文使用一个配备了Droolon F1眼球追踪配件的HTC VIVE Pro，记录90Hz的数据，单眼分辨率1400×1600，双眼分辨率2880×1600，视场角为110度，头盔配备一对主动降噪耳机来再现立体声。受试者需站立观看视频，所有受试者的视力在测试的过程中都处于正常范围，每个受试者首先执行眼睛跟踪器校准程序。为了确保所有受试者的起始条件相同，视频将从受试者适应VR 环境后开始播放。用Unity游戏引擎显示视频，在同一台计算机上记录头部方向，同时记录眼睛跟踪数据。从眼动校准到试验结束所需的总时间大约为15分钟。我们对原始采集到的数据进行预处理并计算视点信息。

本文根据第3节中提出的两种影响连续性的电影内容特征 (剪辑方式，ROI的数量)，在不影响VR 电影叙事情节的情况下对视频进行了初步剪辑，分别为时间连续性剪辑、空间连续性剪辑。初选出10个视频段，根据情节需要以及对两种影响连续性特征的排列组合，最终选出8个视频段作为实验时播放的视频，剪辑信息如表2所示，表中剪辑发生时间以帧为单位。本文对每一个视频段进行了ROI的标记工作，在主要关键的一帧手动标记ROI区域，对其他非关键帧进行插值操作，生成最终的ROI参照视频。

表2 剪辑信息表

在实验数据分析部分，本文使用评价指标N、P、N、P作为因变量，首先进行单因素回归分析，如表3所示，其中P≤0.05时，表示该特征在单因素方差分析中差异检验显著。F 值是F检验的统计量，也就是组间和组内的离差平方和与自由度的比值，显著性就是与F统计量对应的显著性水平。

(1)剪辑方式对连续性的影响:如表3 所示，剪辑方式对于四种评价指标P、N、N、P的显著值P 均大于0.05，代表剪辑方式对最终的连续性并无影响。

表3 单因素回归分析表 (E)

(2)ROI对于连续性的影响:对剪辑前后的ROI个数进行单因素回归分析，分析结果如表4、表5所示。

表4 剪辑前的ROI(Rb)单因素回归分析表

表5 剪辑后的ROI(Ra)单因素回归分析表

数据结果表明，在观看叙事类VR 电影的过程中，剪辑前存在的ROI数量对本文中提出的四种评价指标均无显著影响，故本文认为视频的R特征对最终的连续性没有影响。但是剪辑后的ROI数量对以上四种评价指标，除N外的显著值P 均大于0.05。R对N和P均无显著影响，这表明一旦受试者看到其中一个ROI，ROI的数量不会影响剪辑后的探索行为。

将R作为自变量，而将N作为因变量进行线性回归分析，回归的标准误差为2.78；回归参数的显著性检验值T 为2.568，显著值P 为0.017，小于0.05，故可得回归模型公式为:

其中模型R 方值为0.209，意味着R以解释N的20.9%变化原因。对模型进行F 检验时发现模型通过F检验(F＝6.595，P＝0.017＜0.05)，说明剪辑后ROI数量一定程度上会对指标N产生影响关系，模型回归系数为7.143，意味着视频特征R会对N产生显著的正向影响关系。

为了进一步分析R对于VR 电影的连续性的影响，本文将R与其余的视频特征相结合，对评价指标P进行多层回归模型的分析，并将R根据取值创建为两个虚变量分别命名为R、R，用来指代R的两种ROI存在情况，对评价指标P多层回归模型分析结果如表6所示:

表6 多层回归分析表

由表6的数据可以看出R可以解释P的变化，并且会对P产生显著的正向影响关系。这些结果说明，在叙事类VR 电影的后期制作中，对最终的连续性有显著影响的是剪辑后的ROI数量，其中，当剪辑后有两个ROI区域时，连续性要比区域中只有一个ROI的情况要低。所以本文研究认为，剪辑后关注区域的数量是影响影片连续性的关键因素。

最后，我们根据Serrano在文献 [4]中提供的数据集对模型进行了验证，在Serrano提供的数据集上的48个视频段进行了线性回归的拟合，拟合效果如图4 所示，其中横坐标表示测试视频编号，纵坐标的单位为帧。分别计算了48 个视频对应的N值以及N的预测值，其中第15到第30个样本R个数为2个或2个以上，可以看出模型拟合效果良好，但是随着R的增多，模型预测效果会有下降。

图4 Nframe 的预测值与真实值对比图

5 结语

本文通过对情节更为复杂、场景更多变的叙事类VR 电影，引入更适合叙事类VR 电影的连续性评价指标即平滑追踪占比，并对剪辑片段进行主观观看实验，通过对主观数据的处理及分析发现:(1)在本文讨论的叙事类VR 电影中，没有发现剪辑方式对最终的感知连续性存在显著影响；(2)剪辑后ROI的数量越少，观看者就能越快地找到重点需要关注的区域，从而提高观影过程中的连续性；(3)剪辑后的ROI数量越少，那么观众对于ROI的关注程度就越高。目前，本文的实验仅对现有的数据进行了分析，今后还会邀请更多观看者参与实验，并且按照不同的个体差异分队测试以寻找更多的规律。