电影声音后期回套工艺要点解析

王 珏

(北京电影学院声音学院,北京100088)

随着中国电影工业化进程的加快,声音制作流程的规范和高效越来越受到人们的重视,这一目标的实现取决于声音部门和画面部门的共同努力。在时间码技术逐渐普及的今天,采用声音后期回套工艺的必要性正在凸显,但这一需要声画部门协作的工艺在实践中遇到了各种各样的困难,操作过程的不规范导致的元数据丢失使得回套难以成功,极大地打击了使用该技术的积极性,阻碍了电影声音制作工业化的发展。电影声音后期回套工艺的实施是个系统性工程,涉及从同期录音、数据管理、画面剪辑、声画部门数据传输以及声音编辑的各个环节,本文拟对其中的要点加以解析,梳理电影声音后期回套工艺的流程和技术要点。

1 电影声画同步与声音后期回套工艺

电影采用双系统拍摄时,声音与画面记录在不同的媒介上,后期制作时需要将两者在同一媒介上同步。达到这一目的需要满足两个条件,第一是使声音和画面在播放起始点上对齐,即起点同步;第二是声音与画面要按照拍摄时的速度播放,或者以相同的比率变速,才能在起点同步的基础上达到播放过程的同步。模拟时代的声画同步采用场记板拍板,将板合的第一帧和“啪”的合板声对齐,就找到了声画同步的起始点,然后依靠晶体振荡器来控制摄影机和录音机的转速稳定以保证过程同步。数字时代到来时,时间码取代磁带上的导频脉冲信号成为声画同步的参考点,一并解决了起点同步和过程同步的问题。只要保证音频文件和视频文件具有相同的稳定运行的时间码,在工作站上把两者按时间码对齐就完成了同步。

现场拍摄时的时间码记录已经不是一个难题,通过时码追踪(jam sync)接口,摄影机和录音机都可以调整自身时码与外接时码保持一致。单独的时码发生器(时码盒)被用来给摄影机和录音机提供时码参考,其精度由晶振控制,可以满足严苛的系统要求。为便于记录和查找,时间码通常会按照拍摄时的实际时间来设置,并且每隔3～4小时做一下校对,以保证摄影机、录音机的时码运行统一。

传统的电影声音制作方式,是将现场录制的同期声交给画面剪辑部门,由画面剪辑部门完成音频素材和视频素材的同步,并用同步好的声音和画面进行剪辑。画面定剪后,给声音部门提供参考画面,以及从视频工作站上导出的OMF或AAF文件,声音部门在音频工作站上利用参考画面和OMF/AAF文件展开后期制作。这种工作模式的缺点是,画面剪辑师需要带着全部的同期声轨来完成剪辑,当声音是由多只话筒记录的多轨信号时,会导致画面剪辑工程上的声轨过多,不仅让剪辑师的工作变得繁琐,还因为这些没有精剪过的声轨叠加在一起,很可能产生染色效应,严重影响监听质量。另外,声音后期制作所用的同期声完全依赖于画面剪辑部门输出的OMF/AAF文件,也可能因剪辑师操作不当而存在一些风险,比如因声轨操作失误造成同期声丢失,甚至因采样率、量化比特率选择不当而带来音质损失。

为了便于画面剪辑,以及给声音编辑提供最大的灵活度和最佳声音质量,更为理想的制作方式是在同期录音时除了将各个话筒的声音分轨记录外(isolate tracks),还进行现场混音并录下混音轨(mix tracks)。分轨记录保证了各个话筒信号以最佳信噪比单独记录,后期制作时可以有充分的时间,在标准监听环境下对素材进行挑选和混合,以获得最佳的音色、空间感和动态,现场混音则在保证信噪比的基础上得到了较高质量的混合信号,为画面剪辑提供了最佳声音参考。混音轨的数量一般是2轨,分别记录吊杆话筒的混合信号和领夹话筒的混合信号。这两组混合信号被提供给画面部门以完成声画同步剪辑,画面剪辑用到的声轨数大大减少,并且经过现场混音的声轨具有较高的质量,这极大地减轻了画面剪辑师的工作负担。画面定剪之后,将携带现场混音轨的工程文件(OMF或AAF)、参考画面(MOV)和声音定剪单(Audio EDL)交给声音部门,声音部门在音频工作站上根据元数据(metadata)信息,利用从同期录音师或画面剪辑师手里拿到的原始同期素材和场记单,将同期分轨素材按照定剪后的时间标尺自动回套(post conform)到声音工程文件上,从而达到利用原始同期分轨素材进行声音后期编辑的目的。这一用混合声轨作为参考轨完成画面剪辑、自动采集原始同期分轨对齐剪辑点的过程就是电影声音后期回套,其重点在于从同期录音到声音编辑的各个环节要实现有效的元数据管理,元数据在音、视频部门之间传输时不能损坏或丢失,只有在严格的流程控制和规范的操作之下才能确保回套成功。

2 元数据的记录与管理

声音回套要依托记录在声音文件里的元数据信息。所谓元数据,就是关于数据的数据。对声音文件来说,指除了音频信号之外,文件中所包含的用来说明音频信号自身参数的数据。声音文件的元数据主要包括以下信息:声音卷号、文件识别码、文件用户名、文件备注、文件类型、文件大小、时间码信息、采样频率、量化比特率、声轨信息、录音日期等。声音卷号(Sound Roll)也叫声音带号(Tape Ref),代表声音文件所处的文件夹,一般用拍摄日期或拍摄天数命名,比如18Y10M19或Day_18。文件识别码(Index File ID)是录音机分配给声音文件的唯一识别码,如AATON的Cantar X3录音机分配给某个文件的识别码IO8866,该识别码从录音机启用起就不会重复,无论文件怎样命名,其识别码都是唯一的。文件名(File Name)一般以该文件所对应的场号(Scene)、镜号(Shot)、镜次(Take)来命名,比如54场1镜1次的文件命名为54-1-t1,美式打板将场号和镜号合并,形成场镜合一信息和镜次信息,并用字母来代替镜号,54场1镜1次记录为54A-t1,54场2镜3次记录为54B-t3,以此类推。结合文件识别码和文件用户名,每个文件都有了唯一的识别标志。文件备注(Notes或Comments)是用户给文件写入的备注信息,比如OK条或NG条信息、单收信息(wild track,不带画面的声轨)、演员和景别信息等。文件类型(Type)指的是文件记录模式,分为复合通路模式(Polyphonic,单一文件里包含多条声轨)、双通路模式(Stereophonic,单一文件里包含两条声轨)和单通路模式(Monophonic,单一文件里只有一条声轨)。文件大小(Size)是文件所占用硬盘空间大小,如54.5MB。时间码信息包括文件的起始时码(TC Start)、结束时码(TC End)和时长(Duration或Length)。采样频率(Sample Rate)一般采用48kHz(也有用96kHz高采样率录音),量化比特率(Bit Depth)一般采用24bits(也有用32bits录音)。声轨信息(Tracks)用来描述录音机里每条声轨的大致分配,如Track1为Mix LBoom,Track2为Mix R-Lav,Track3、Track4为Boom1、Boom2,Track5、Track6为Lav-Wu、Lav-Yu等。录音日期(Date)为具体的拍摄日期,如2018-10-19等。

不同的录音机具有不同的元数据记录能力,高端录音机能记录完整的元数据。要实现分轨素材回套,需要元数据里包含有能找到该文件的基本信息,包括文件名称和地址信息,涉及声音卷号、文件名、文件类型、时间码等。同期录音常见的WAV文件包含的元数据有文件名、音频编码格式(PCM或MPEG)、通路数(WAV文件内部所包含的通路数。采用复合通路模式记录时,看上去是单个的WAV文件实际上可能包含4、6、8甚至更多条独立通路,用来记录多轨数据。这样的多轨单文件将多条分轨信号绑定在一起,比单轨记录的多个文件更有利于管理和传输)、采样频率、量化比特率等,但不包含时间码信息。BWF(Broadcast Wave Format)文件是WAV文件的扩展格式,除了WAV文件里已有的元数据之外,还在广播扩展块(BEXT)里储存了更多的元数据,如对文件创建人或出品人的说明、文件创建日期和时间、声音卷号、时间码信息、版本、素材标识等,其中的时间码信息为声音回套提供了地址,丰富的元数据使其成为同期录音的标准格式。

图1 AATON Cantar X3导出的PDF场记单

图2 AATON Cantar X3导出的CSV场记单

图3 AATON Cantar X3导出的ALE转换成Excel文本

规范的场记单能为元数据管理提供参考,有利于素材回套和寻找替条。录音过程中可以自动或手动写入元数据,高端录音机能自动生成信息完备的电子场记单。场记单的标题栏包含所有音频文件的共有信息,如片名(Project/Title)、制片方(Production)、导演(Director)、录音师(Sound Mixer)、录音机型号(如Cantar 200)、时间码帧率(TC fps,如24Fps)、参考电平(Tone level,如-20dB)、采样频率(Fs,如48kHz)、量化比特率(Bits,如24bits)、文件类型(Type,如Polyphonic)、存储媒介(Media,如USB)等,另外还可以添加录音师联系方式(EmailPhone)等用户信息。针对每条音频文件,场记单主要体现出文件名、时间码信息和声轨分配信息等。

电子场记单有PDF、CSV和ALE三种格式,PDF简洁清晰,便于观看。大部分录音机支持CSV格式输出,可以在Mac OS中预览,也可以用Numbers或Excel导入,便于对数据进行修改整理。ALE全名Avid Log Exchange,即Avid日志交互文件,它不仅具有场记单功能,更重要的是它可以在不同的软件系统上导入、导出并传输元数据。同期录音时,AATON的Cantar录音机支持ALE导出;主流的DIT和调色转码软件如Silverstack、DaVinci、Livegrade等都支持与ALE交互;画面剪辑时,Avid的Media Composer可以将素材屉(Bin)里所有素材的数据导出为ALE文本,并可以手动选择需要导出的元数据种类,也可以导入ALE,将其中的信息合并进素材的已有信息里。ALE不仅包含自动记录的元数据,还允许手动修改和增减,并将新的元数据合并进素材,使之跟随素材在平台间转移。

3 音视频文件交接及元数据在平台间的转移

就音频而言,元数据在平台间的转移涉及从现场拍摄的记录媒介(如SD存储卡)转移到DIT(Digital Imaging Technician)部门的数据管理媒介(如DaVinci),然后进入视频剪辑媒介(如Avid的Media Composer),最后进入声音编辑媒介(如Pro Tools)。无论是声音回套还是版本修改,元数据都会给工作带来很大的便利。

在电影制作全面数字化的今天,后期制作的第一步是将拍摄素材交给DIT部门,由DIT部门完成转码后交给画面部门进行剪辑。声画合板既可以由DIT部门完成,也可以由画面剪辑部门完成。经验丰富的DIT工程师会同时负责合板,如果经验不足则有可能造成元数据丢失。

DIT部门的合板工作通常在DaVinci、Silverstack里完成,可以实现批量合板,出现问题的原因在于合板后没有正确导出元数据。要避免元数据丢失,在把合板后的素材给到剪辑部门的同时,需要在DaVinci里导出ALE文件,然后在Avid里导入该文件,选择“Settings – Import - Shot Log –Merge events with known master clips”,把ALE拖拽到Bin里的素材上,就能使因平台转换而丢失的元数据并入从DaVinci给到Avid的素材里,这样Avid里的元数据就完整了。

图4 从DaVinci导出ALE文件

图5 从Avid导入ALE合并元数据到现有素材

如果在Avid里合板,只需要选中所有的音频素材和视频素材,然后选择“autosync”,就能批量合板并生成音视频合并的子素材(sub-clip)。Avid可以导入、导出ALE文件,如前所述,导入ALE文件可以将来自其他平台的元数据并入现有素材,导出ALE则可以将元数据送往其他平台,比如用于调色或套底。如果在FCP7或PR里合板,借助第三方插件可以实现批量合板,否则只能单个文件合板。FCP7不能导入、导出ALE文件,输出端只能出OMF文件。PR能导出ALE文件,但不能导入,输出端能出OMF和AAF文件。

画面剪辑完成后,剪辑部门将参考画面、OMF/AAF文件和音频定剪单(EDL)交给声音部门,必要时还要移交原始同期录音素材和场记单,就完成了剪辑部门和声音部门的文件交接。

Pro Tools支持的参考画面格式包括QuickTime封装的.mov格式和MXF封装的.mxf格式,Pro Tools 10以及更早的版本仅支持QuickTime封装的视频,Pro Tools 11及之后的版本采用了Avid Media Composer同样的视频引擎,可以原生支持QuickTime封装的视频和MXF封装的高清视频。MOV格式内部编解码(codecs)可选择Avid的DNxHR(支持4K分辨率)或DNxHD(支持HD分辨率)、Apple的ProRes 422(包括HQ、LT或Proxy,码率由高到低)、H.264、DV25或DV50(标清视频)。注意QuickTime播放条件下也可以采用MP4或M4V进行封装,但这两者只能采用H.264进行编解码(采用其它方式编解码则无法在Pro Tools上播放)。MXF是专业视频通用格式,除了Sony、Panasonic等摄影机采用该格式外(内部编解码采用XAVC-Intra、AVC-Intra、XDCAM HD/EX等),它也是Avid的标准视频封装格式(内部编码采用DNxHR或DNxHD,也可以采用ProRes 422),Avid视频工作站在剪辑之前一般会把画面转码成DNxHD或DNxHR并封装成MXF OP-Atom这样的剪辑格式,放到Avid MediaFiles文件夹。在剪辑完成后,输出视频也会是DNxHD或DNxHR的MXF OP-Atom(.mxf)视频。从稳定性和流畅度来看,采用DNxHR/DNxHD编解码的MXF格式支持度最高,但从最大的播放兼容度来看,最常见的是采用DNxHR/DNxHD编解码的MOV格式,其次是采用ProRes 422编解码的MOV格式。H.264不仅占用电脑资源,而且不够稳定,不做推荐。综合来看,常用格式为DNxHR/DNxHD编解码的MOV格式,帧率24fps,按照20～30分钟时长分本,在画面上添加水印(比如DI To Sound 20190806)和剪辑时码、镜头时码、版本号等明码(burn-in),并在头尾添加标准利达片(Leader)。

图6 从Avid选择编解码格式导出视频文件

图7 从Avid导出AAF文件

OMF和AAF都是用来实现跨平台文件转移的媒体交换格式。Avid公司于1992年推出OMF(Open Media Framework Interchange),即开放式媒体框架交换文件,将视频工作站上的声音剪辑数据(声音素材来源、声音素材在时间线上的位置、剪辑动作参数等)转移到音频工作站,并设置过渡帧尺寸(Handle Size)来保证音频块剪辑点前后的素材预留。由于出现的时间较早,OMF对早期视频剪辑软件的兼容性较好,很多视频剪辑软件都能导出OMF,但它对内嵌的单个文件有2G的容量限制,并且导出时不会保留音频片段的元数据信息,导致片段的文件名和时间码丢失。

AAF(Advanced Authoring Format)即高级制作格式,是Avid和微软联营的AAF协会在OMF基础上开发的功能更为强大的媒体交换文件,除了不再有内嵌单个文件小于2G的限制之外,它还保证了文件交换过程中元数据的完整性,提供了比OMF更稳定、抗故障能力更强的文件交换。AAF携带了尽可能多的元数据,让源文件信息在新的媒介中得以保留,也让复杂的编辑、合成和特效信息在后期制作的不同设备和平台间充分传递。交给音频部门的AAF文件既包含了视频工作站上的剪辑数据,也保留了每个音频片段的原始文件名和时间码信息,从而方便进行声音后期回套。

图8 从Avid导出音频EDL,保留源素材的文件名和卷号

音频EDL(Audio Editing List)是由视频工作站生成的剪辑单文件,标准格式是CMX3600,另外还有File16、File32格式,里面包含每个剪辑单元的剪辑动作、声音通道信息、素材来源、源素材时间码和在剪辑时间线上的时间码等。利用第三方软件如Ediload,声音部门可以通过EDL完成声音回套,也可以通过对比不同版本视频输出的EDL来完成声音剪辑工程的自动修改。

4 音频工作站上的声音回套和版本修改

图9 将混合声轨设为同期录音机参考轨

图10 选择所需匹配的文件包所在位置

画面剪辑部门通过AAF将剪辑好的工程文件和元数据传递给声音部门后,在PT 10以上的版本中,声音回套的操作很容易完成。由于混合声轨与同期分声轨具有相同且唯一的时间码,选择好声音卷号,回套可以在一瞬间完成。AAF在Pro Tools上打开后,在混合声轨的名称位置点击鼠标右键,将其设为同期参考轨(Field Recorder Guide Track),然后选择同期分轨素材所处的文件包(Select Areas to Search),检查需要匹配的数据(Field Recorder Channels Match Criteria),确认完成后点击扩展通路到新的轨道(Expand Channels To New Tracks By Match Criteria),工作站将把同期分轨素材按照混合声轨在时间线上的剪辑点,扩展成新的声轨并自动对齐到工程文件中。

图11 检查回套时需要匹配的参数

图12 选择按匹配条件将原始分轨素材扩展到新的轨道上

图13 同期分轨素材扩展成新的轨道且剪辑点自动对齐

OMF或AAF里的元数据不完整时,利用EDL结合Ediload软件也能完成声音回套。在Ediload上导入Avid输出的EDL,选择按声轨或按时间线合并多个EDL文件(每个EDL包含4条声轨,多于4条声轨需要多个EDL;不同本画面的起始时间不同,如第一本画面是01∶00∶00∶00,第二本画面是02∶00∶00∶00,按时间线合并可以把它们的EDL合并在一起,放到同一个Pro Tools工程中),可以将多本画面及多条声轨的EDL合并在一个文件里,对EDL进行清理,最后导出为Pro Tools工程文件(Pro Tools Session - Conform Ref Tracks),新推出的Ediload V4还可以导出AAF文件。由于所导出的工程文件里的参考轨包含了完整的元数据,就可以将其设为同期参考轨(Field Recorder Guide Track)完成同期分轨回套。

如果需要修改画面,务必携带参考声轨一起剪辑,修改完成后出V2版的画面和EDL,声音部门利用Conformalizer、Ediload等第三方软件,对比V1和V2版的EDL,点击conform完成Pro Tools上的音频剪辑点修改。如果增加了新的场次,Pro Tools上没有新增部分的音频,则需要画面部门重出新增部分的AAF,将增加的音频导入到音频工作站中来。Ediload还可以直接导入AAF或FCP7 XML,来完成画面修改后的Pro Tools工程修改。

图14 将Ediload上的EDL导出为PTX工程

综上所述,电影声音回套的必要条件,是在同期录音时采用BWF文件格式,记录下完整的音频元数据信息,包括文件名、时间码信息和带号信息;在转码和视频剪辑环节保证元数据的完整传输:用Avid MC来合板有利于保留元数据,用DaVinci Resolve合板则要导出ALE文件,并在将音视频素材给到Avid 时,在Avid里导入ALE,将元数据合并到Bin里,使Bin里的素材元数据完整;在声画部门交接环节,通过AAF文件交接有利于元数据的传输和回套,通过OMF文件交接时因无时间码信息,需要出音频EDL,并利用Ediload导入EDL来输出PTX或AAF文件,让元数据完整地传输到音频工作站;在音频工作站上的声音回套,将来自AAF文件的参考轨设定为同期录音机参考轨,利用Pro Tools 10以上版本自带的同期声回套功能即可完成回套。如果涉及画面版本修改,由画面部门输出新版本的参考画面、AAF和EDL,利用Conformalizer、Ediload等第三方软件对EDL的版本进行比较,通过Conform操作完成对Pro Tools工程的修改。总之,只要保证了元数据的有效记录和完整传输,就可以成功实现电影声音回套,使剪辑流程更加科学而高效。