基于“合成快门开角”方法进行帧率下转换的原理及其优点探析
——以RealD TrueMotion为例

2021-02-02 06:07朱双月

现代电影技术 2021年1期

朱双月常乐

(北京电影学院中国电影高新技术研究院,北京 100089)

1 引言

当前,人们对于视频的要求越来越高,追求更加清晰、更加真实的观看体验。更高的分辨率,更大的颜色动态范围以及更高的帧率成为了现在电影技术领域最主要的研究方向之一。李安导演的两次高帧率电影尝试:2016年上映的《比利·林恩的中场战事》以及2019年上映的《双子杀手》,使得高帧率电影走向普通影院成为现实。但是,目前的绝大部分电影院的放映设备并不具备播放高帧率电影的能力,比如《双子杀手》在上映之期就有3D/4K/120P、3D/4K/60P、3D/4K/24P三种不同帧率的版本。传统的帧率下转换的方法一般是“抽帧”。所谓抽帧,假设使用120帧的素材制作24帧的影片,抽帧的原理就是将源素材以每五帧为一组,选取每组中的一帧作为24帧影片的目标帧。但是,《比利·林恩的中场战事》和《双子杀手》在使用120帧率的素材制作较低帧率的影片时,并未使用简单传统的抽帧方法,而是使用RealD研发的TrueMotion——一款专门为了降低高帧率影片的帧率而研发的软件,而这款软件的核心思想就是基于“合成快门开角”方法来进行帧率下转换。

2 合成快门开角基本原理

快门开角的概念源自胶片电影时代,用来表示以前用在胶片电影机上旋转快门的曝光时间。在以前用胶片拍电影时,每秒会记录24格胶片,也就是我们现在所说的24fps,在不做任何遮挡的情况下每张胶片的曝光时间为1/24秒。当需要调整胶片上的曝光量的时候就需要加入一个旋转快门装置来调整曝光时间。在旋转快门叶片开角全开时(即360度),此时每张胶片的曝光时间为1/24秒,在旋转快门叶片开角打开一半时(即180度),相当于胶片有一半的时间被叶片挡住,因此此时每张胶片的曝光时间为1/48秒。RealD True Motion深入挖掘了这一概念,提出了“Synthetic shutter”,即“合成快门开角”方法,并将这一方法运用到了高帧率影片帧率下转换的方法中来。

合成快门开角的方法原理,以使用360度开角的120帧率源素材制作24帧影片为例来说明。

图1 120帧下转换至24帧时,将源素材每5帧分成一组

如图1所示,当我们使用360度开角的120帧率素材制作24帧影片时,将以5帧为一组。每一帧的曝光时间为1/120秒。传统的抽帧方法只会使用一组中的某一帧作为目标帧。为了更加清晰的表示,下面将以扇形图的方式来表示帧。

图2 图1的扇形图表示

如图2,我们只选取一帧作为目标帧,此帧的曝光时间为1/120秒。即相当于转换后的24帧影片中的此帧的曝光时间为1/120秒,也就是相当于快门开角为72度。但我们不仅仅只选用一帧,而是选用多帧来合成一帧的方式,如图3所示。

图3a表示,当我们选择5帧来合成一帧的时候,相当于曝光时间为1/120×5秒,即1/24秒,所以转换后的24帧影片相当于360度快门开角。以此类推选择4帧、3帧、2帧、1帧的时候对应的快门开角分别为288度、216度、144度以及72度。以上就是Real D True Motion的“合成快门开角”方式的基本原理。综上所述,合成快门开角取决于合成目标帧所使用的帧数在分组中的占比。合成后的不同快门开角也必然会导致不同的画面效果,使用多帧合成目标帧也必然会导致运动模糊的增加,进而导致画面整体对比度的下降。

图3 不同快门开角的合成方式

3 RealD TrueMotion的帧率下转换方法特点

图4就是RealD True Motion的主要工作区,红色框区域是视频的预览窗口。绿色框区域可以进行源素材以及转换后影片的参数选择,其中最重要的就是黄色框区域中的“Synthetic shutter”选项。

图4 TrueMotion主界面

图5是TrueMotion中所有的快门开角选项。黄色框部分是上述我们探讨过的360度以内的开角选项。值得一提的是,因为笔者仍使用的是120帧率的源素材,并选择下转换到24帧,所以360度以内的开角选项中只有72度、144度、216度、288度和360度。如果是使用360帧源素材下转换到36帧的话,那么就会出现36度、72度、108度、144度、180度、216度、252度、288度、324度、360度十个选项。

图5 True Motion中Synthetic shutter选项

仍然以120帧下转换到24帧为例。当选择72度开角时我们可以看到,图6中shutter部分的蓝色虚线框内只选择了一帧作为转换后的目标帧。而选择360度开角时,我们可以看到蓝色虚线框中有5个等高的蓝色方柱,也就意味着转换后的目标帧是由源素材中5帧来合成一帧的。

图6 选择72度开角和360度开角时的shutter界面

图5的红色框部分我们可以看到有超过360度的快门开角选项以及以RealD开头的一系列选项,这就是True Motion的最大的特点。TrueMotion不仅仅只提供最基础的360度以内的快门开角选项。首先以720度为例,我们可以观察到图7的等高蓝色方柱的数量有10条,即合成目标帧使用了源素材中的10帧,意味着一些帧的重复使用。每一帧的曝光时间为1/120秒,10帧的总曝光时间为1/12秒,即相当于快门开角为360度开角的曝光时间的两倍,等同于快门开角为720度。其他高于360度开角的选项也都同理。除此之外,

图7 720度快门开角度shutter界面

True Motion又做了更深一步的延伸。以上我们看到的不论是高于360度开角还是低于360度开角,所有的蓝色方柱都是等高的,意味着在合成目标帧的时候,源素材中的每一帧都分配了同样的权重。而True Motion改变了这种方式,即分配不同权重给每一帧,用来根据需求获得不同的画面效果。

图8 RealD Mg、Ga、Ag的shutter界面

如图8所示的RealD Mg,每一个蓝色方柱有不同的高度,代表着合成目标帧所占的比重不同。而且有一部分的比重为0,意味着此帧并未被使用;还有一部分的比重为负值,意味着一些源素材中的帧在合成目标帧的时候被减去了。使用越多的帧能够增加运动模糊,减去某些帧能够减少一些运动模糊,但也有可能造成一些画面抖动等问题。其他以RealD开头的“Synthetic shutter”中的选项,比如RealD Ga、RealD Ag也都预设了一些权重,用户可以根据自己想要的效果来进行选择。关于权重的设置,可以从shutter的形状分布来判断,是属于高斯分布的。使用高斯分布的优点就是,使用添加一些运动模糊的方式减弱帧率下转换会出现的画面问题,比如抖动、“车轮后转”等这些现象,来保证画面的对比度。

如图9和10所示,我们可以明显看出相对于RealD Ag来说使用RealD Ga有更加明显的运动模糊,但是使用RealD Ag的画面要比使用RealD Ga的画面有着更高的对比度。以上这些就是TrueMotion的帧率下转换的方法特点,它为帧率下转换后的结果提供了更多的选择,用户可以根据自己的需求来选择自己想要的结果。

图9 下转换时使用RealD Ga效果图

图10 下转换时使用RealD Ag效果图

4 TrueMotion“合成快门开角”优点

相对于传统的抽帧算法,True Motion的“合成快门开角”的方法有着以下几个方面的优点。

(1)增加粒子的运动模糊,更加符合视觉习惯

图11 使用抽帧和True Motion的粒子运动对比图

图11左图中是使用抽帧方法,右图是使用了TrueMotion处理之后的效果。可以看出右图的水滴运动模糊更强,使得粒子运动更加流畅,符合我们观看的24帧电影的效果。

(2)在表现物体旋转运动时效果更好

图12、图13中展示的是飞机的两个叶片在旋转的画面。在图右边看到相对较明显的叶片。而左边使用了True Motion之后的画面几乎看不到叶片的形状,意味着在运动过程中,使用了TrueMotion之后的画面运动将会更加流畅,并且不会产生在旋转运动中常见的“车轮后转”现象。

图12 使用抽帧和True Motion表现旋转运动对比图-画面静止图

图13 使用抽帧和True Motion表现旋转运动对比图

(3)慢动作表现更加顺滑

当未经过任何处理,直接将高帧率影片以较低帧率的速度进行播放时,会出现物体运动略微卡顿不流畅的效果。即使是在较高倍率的慢放,比如说0.5倍速,这种效果也会非常明显。光流补帧法能实现比较好的效果,但计算量较大,处理时花费时间较长。而True Motion利用合成快门开角的方法,在增加了一些运动模糊的情况下,能够快速实现较流畅的运动画面。在对于动作清晰度要求不太高的情况下,True Motion也是比较好的选择。

(4)减少镜头快速摇移时高对比度物体的抖动现象

由图14和15对比可知,在镜头快速摇移的时候,高对比度的物体容易产生抖动现象,True Motion可以增加适当的运动模糊来减弱这种现象,改善画面的质量。

图14 镜头快摇时高对比度物体的抖动现象

图15 使用抽帧和True Motion表现旋转运动对比图

综上所述,True Motion的核心思想就是增加适当的运动模糊,来解决一些低帧率影片经常会出现的运动画面不流畅、抖动等一些问题。最重要的是True Motion可以让用户选择Synthetic shutter中的不同选项调节运动模糊的程度,来获得用户最想要的画面效果。

5 总结