仲 文
(国家大剧院,北京 100031)
从2016年起,国家大剧院开始探索在舞台演出的基础上打造数字音视频艺术衍生品。经过7年的发展,从最开始的制作CD、DVD出版物过渡到以现场舞台表演为题材的纪录电影摄制及院线发行,再到现如今线下演出与线上直播同时展映。音视频产品的画质实现了从高清(HD)到4K/8K超高清(UHD)的跨越式发展,其8K超高清+22.2三维声技术的成功应用成为行业的“先行者”与“探路人”。
笔者以国家大剧院“艺术放映厅”展映项目的发展为例,阐述舞台纪录电影从4K超高清+5.1环绕声到8K超高清+22.2三维声音视频技术应用的发展性探索,以及展映标准的形成和示范应用。
自2016年起,国家大剧院舞台纪录电影逐步淘汰了高清制作标准,并全面升级至4K超高清+5.1环绕立体声的制作标准,特别是舞台纪录电影《长征》的摄制及展映使这一标准的应用趋于完善。
为了将史诗级的《长征》打造成高质量的精品舞台纪录电影,采用全流程的4K方案,即4K拍摄、4K制作、4K展映,制作流程及采用的标准如表1所示。在视频制作上,拍摄记录格式标准由4K/25帧提升为4K/50帧,采用8机位多角度录制,图像帧率的提升使得画面更加清晰、饱满和连贯,在经过剪辑调色、混录等后期制作,使暗部层次得到改善。在音频制作方面,国家大剧院与北京电影学院合作,对现场收录的70多路声音进行后期混音处理,最大程度还原现场乐队的表现效果。在影片放映方面按照影片最终4K/50帧的标准放映,以4K/50帧+5.1环绕声标准打包完成电影拷贝DCP (Digital Cinema Package)文件,文件大小约580 GB。当时院线放映的主流影片大多为4K制作、2K放映的方式。2019年,中影推出了采用4K、3D、高帧率、高动态、广色域、沉浸声等前沿技术的影院系统CINITY,并采用此标准放映了由李安导演执导的影片《比利林恩的中场战事》,此高规格的DCP文件大小未超过350 GB。由于《长征》DCP文件的存储容量比CINITY的翻了近一倍,几乎找不到适合的放映环境。为此,国家大剧院升级了相关展映设备。服务器由GDC2000升级为GDC3000,硬盘系统也升级为企业级。新升级的服务器理论上可以播放4K/60帧格式,这个标准已经超过了《长征》4K/50帧的要求。经过多次音视频稳定性测试,2017年7月1日成功以4K/50帧+5.1环绕声的电影放映标准实现了既定的4K拍摄、4K制作、4K展映全流程4K计划。
表1 国家大剧院舞台纪录电影的4K通用方案
以上这套拍摄、制作、放映方案除前期拍摄环节借助广电系统信号制作设备外,整体拍摄和后期制作、展映环节均完全参照电影标准。因此,“艺术放映厅”项目成立之初是参考影院的设备设施架构标准,同时结合国家大剧院的场地基础环境打造出了一套“剧院观影”模式。这套展映标准达到了在20.32 m(800 in)的巨幕上以20 000 lm的高亮度呈现4K/50帧画面,以及5.1环绕声的效果。这一标准在2018年的电影放映市场也属于较高的水准,在国内剧院及艺术机构的线下展映领域属于“领跑者”。与此同时,国家大剧院打造出了一整套展映管理流程,涉及展映场地档期确认、舞台技术搭建、展映设备及人员管理、影片音视频技术测试、展映流程确认、开票及宣传、映前导赏、展映应急预案、票房及上座率统计、观众满意度调查等方面。
国家大剧院在2018年联合SMG(上海广播电视台)共同摄制了国内首部8K舞台纪录电影《这里的黎明静悄悄》。该剧目采用了电影级8K拍摄制作标准。电影机相对于传统电视讯道摄像机展现出了更高动态范围和更广色彩空间,同时带来了更细腻的画面和电影的空间景深感。虽然是8K拍摄,但这部影片首映播放的是4K版本,在很大程度上是受限于当时播放和展映技术瓶颈的制约。这也为国家大剧院创新8K展映模式提出了一个探索性的课题。
为了能将8K拍摄的影像最终以8K标准进行展映,国家大剧院做了大量理论性与实践性相结合的探索工作。最初的“惯性思路”是继续通过电影展映的方式进行4K到8K的升级。从这点出发,要解决8K影片的DCP打包制作,8K DCP文件的播放与放映。然而符合数字电影倡导组织(Digital Cinema Initiatives,简称:DCI)规范的电影打包技术和电影放映技术时至今日依旧只能满足4K影片的播放及放映。DCI规范远不是满足一两家放映机构的特殊需求那么简单,而是为了满足整个电影工业的升级需求。鉴于全球大多数主流影厅还处在从2K到4K的过渡阶段,走通这条路的可能性微乎其微。走传统电影升级之路,意味着要将8K影片分割成4个4K画面分别对应左上、左下、右上、右下的影片内容并将其逐个打包成4个4K版DCP文件。为了播放这4个文件需要4台服务器进行时钟同步,最后需要用4台4K电影放映设备分别将四部分内容拼接投射到同一块荧幕的左上、左下、右上、右下组合为一幅画面。尚且不论4台机器的拼接融合技术难度和四画面帧同步问题,仅就4台各重达200 kg以上的电影放映机的架设就是一个难题,比这些技术难题更加困难的是通过DCI认证。
目前,DCI还没有意愿去推动这样一次技术革新,从芯片升级到DCI认证投影设备,在相当长的一段时间内都会在4K的基础上做修补。因此,从技术落地层面上需要寻找新的途径。工程投影和商用LED成为两个可以备选的方向。虽然在2019年已经有拼接8K电视陆续问世,但其画面尺寸并不能满足近千人剧场同时观影的规模。LED拼接技术虽然可以达到8K,但其价格及施工复杂程度对于需频繁换景的剧场环境来说并不适合。2019年,在国家大剧院举办的一次特别的展览“星球的脊梁——纯净星空生态中国视听艺术展”带来了新的呈现方式。为了呈现风光摄影师的超高分辨率的精美视觉作品,使用8K图像抖动技术的投影引起了各界极高的关注度。这项技术的应用为8K大银幕呈现提供了一种新思路,为此国家大剧院迅速展开相关课题的研究,并与台达集团共同探索8K影像在舞台纪录电影展映展播方面的相关落地方案。
采用的8K投影机具有7 680×4 320分辨率,帧率最高可以到60帧,并且采用4路12G SDI输入输出接口,支持HLG高动态范围曲线,色域兼容BT.709和BT.2020,如图1所示。与此同时,BMD公司在2020年前后也推出了8K录放一体机,如图2所示,该设备支持8KProRes 422 以及8KProRes HQ 等视频格式的录制与播放,经过反复测试,目前阶段受制于固态硬盘读写速度的限制,ProRes 422已经是8K展映稳定播放的最高码流格式。但两种文件格式都具备完整的多条音频通道,BMD播放机支持3G-SDI输出音频信号,这就为8K展映中多通道音频输出提供了先决条件。当时行业内的8K播放器设备已经可以初步满足8K视频的播放输出条件。只是受制于SSD硬盘读取速率,超过500 MB/s的文件格式在非服务器级别硬盘播放器上会出现卡顿的现象,过于低的码率又不足以支撑8K的分辨率。一部舞台纪录电影的时长一般都在2小时之上。在保证画面不明显降低质量的前提下,采用ProRes 422格式制作的8K视频播放文件,文件大小在2.5 TB到3 TB之间,这已经达到了高速SSD 4T最大容量的极限,超过4 TB的文件就只能分成两块硬盘存储;另一种方案是从服务器解码输出信号。综合考量下来,SSD硬盘播放器更具性价比和移动便捷性的优势。2020年下半年,针对于剧场环境实现三维立体声音效果的研发也有了新的进展。剧场环境下实现接近360沉浸声效果的扩声,并开始了小范围的测试。
图1 8K数字投影机
图2 数字硬盘播放器
这些技术的突破为国家大剧院舞台纪录电影8K制作及展映的实现奠定了基础。2021年伊始,由吴氏策划引进日本NHK公司提供的修复版二十世纪八十年代大师级的音乐会视频素材本身带有混录好的5.1和7.1音频信号,同时片方会给予22.2分轨音频文件。为了能将素材文件调整到可播放的标准,国家大剧院影视节目制作部通过多次对比测试,最终形成了2套较为可行的技术方案,如图3、图4所示,并完成所有展映文件的打包制作、拷贝及播放硬盘的制作与筹备。在8K分辨率下实现高亮度、高帧率和7.1环绕声或22.2三维声的扩声效果。
图3 8K+7.1/22.2大师音乐会音视频技术方案
图4 8K+7.1/22.2音频视频播放系统连接测试现场
对于8K片源的制作,视频文件格式为8K/60帧 ProRes 422 mov,并加嵌8路音频信号。对于视频播放,由视频播放器(数字硬盘播放器)负责8K视频文件的播放,8K投影机+20.32 m(800 in)PVC电影透声幕负责画面呈现;音频信号的获取,是由视频播放器通过1路SDI接口传输到音频解嵌设备,经解嵌后8路音频经调音台输入数字音频工作站进行音频信号处理,再由功率放大器将放大后的信号输出给各点位扬声器。
2021年4月17日和4月19日,在国家大剧院歌剧院举办了“艺术放映厅”8K舞台艺术影像展映活动,利用该系统面对行业专家、媒体及公众放映了2场由日本NHK制作的8K修复版“大师”音乐会影像。利用这次影像展映机会,国家大剧院经过前期大量的测试和论证,最终实现了整体链路的测试。2021年5月28日和29日,在国家大剧院台湖舞美艺术中心,实现了8K修复版音乐会的8K+7.1环绕声技术的展映,并在此期间进行了8K+22.2三维声的技术测试及整体链路测通和展映实践工作。
NHK 22.2三维声标准采用三层扬声器布置,配置上层9声道、中层10声道、下层3声道三层的扬声器,以及下层双声道低频效果(LFE)扬声器,并且规范了三个层扬声器的安放位置与角度可逼真地前还原前后左右上下各方向的声音。由于现阶段数字硬盘播放设备最多支持16路音频录制和回放,因此单机数字硬盘播放器无法支持22或24路音频播放。国家大剧院采取将8K超高清视频与24路音频各自独立播放,并通过视频播放器的LTC时间码进行同步的方案,实现8K超高清+22.2三维声的效果。
该方案的重中之重就是解决音频和画面的同步问题。经过反复测试,目前阶段无法用音频工作站作为主时钟来驱动视频播放,只能以视频播放器内的时钟作为主时钟,音频工作站通过播放软件接收视频播放器发送的LTC时间码信号,并由此触发24路音轨播放。虽然视频播放器内的时钟校验机制与音频工作站播放软件内时钟校验机制存在差异,但BMD数字录放一体机带有卡侬口,这就为呈现22.2路音频给予了一定的测试基础,采用音频解码器、L-ISA系统并进行了多次反复测试,采取由Raper软件链接 L-ISA系统,再通过卡侬口同步time-code到BMD数字录放一体机,最终实现在BMD录放机上播放视频同时同步22.2路音频文件的播放的方式。通过音频工作站安装的Raper软件接收并触发所有音频文件先在本地播放,由调音台控制每一路声音的输出音量大小,通过L-ISA系统三维声音响系统空间定位,如图5所示,再将22.2路音频通过网络交换机和网线的方式进行音频流传输,最终实现22.2路沉浸式扩声效果。由于音频工作站内的Raper播放软件目前仅支持识别8K/25P的视频发送的LTC时间码,如果选择其他高帧率文件格式会出现音频工作站可以检测到时间码信号但无法识别的情况。两者之间处于同步、非同步频繁断开的状态。为了减轻数字音频工作站的负载并保证其播放稳定性,24路多轨音频的动态比例调整为由音频处理系统负责。经过处理后的三维声信号由功率放大器将放大后的信号输出给各个点位的扬声器,如图6所示。利用这次影像展映机会,国家大剧院验证了前期大量的论证和整体链路的测试。尽管帧率的下降对于画质有轻微的损失,但8K+22.2路三维声所呈现出来的现场效果仍然让观众有“大师再现”的感觉。如图7所示。
图5 I-LISA三维声音频处理系统
图6 22.2声道扬声器布置
图7 日本NHK大师音乐会放映现场
由此国家大剧院在探索剧场环境下展映舞台纪录电影的的技术标准从4K提升至8K,并初步完成了全流程链路打通。
针对8K+22.2三维声技术,目前仍有两方面的不足。
1)由于目前8K的记录存储设备在音频记录方面的不足,以至于单一录机无法记录满24路音轨,由此带来了22.2路音视频文件的分开播放并同步的问题。因此,目前以音画分开独立播放并同步的方式作为暂时解决方案,未来终将被音频加嵌后解嵌的方式所取代。
2)22.2路三维声的制作与展映目前来看尚未形成行业标准,特别是针对于音乐会、歌剧和舞剧这样有乐队参与的演出项目,声音的混录一定要在接近剧场真实声学环境条件下进行制作,尽最大可能还原出符合剧场空间展映的22.2路音频效果,仅靠现场音频工作站去处理、分配22.2 路音频信号并平衡三维声效果将是一个巨大的工程。因此,国家大剧院将继续同行业内相关专家、企业在标准制定方面进行不断的探索,同时通过“艺术放映厅”这一品牌项目实现从技术探索到应用落地的转化过程。
经过7年的发展,国家大剧院舞台纪录电影常态化展映已在国内剧院及艺术机构当中起到了引领、示范的作用,制作与展映技术从高清跨越式发展到4K/8K超高清,特别是8K+22.2三维声技术的实践应用具有里程碑式的发展意义,使影视与表演深度融合,积极探索打造艺术+科技的新阵地。
笔者作为项目组成员亲身经历了这一发展过程,深感从新技术的突破到系统解决方案、实践应用之间存在着诸多困难与挑战。一方面需要相关企业与技术人员通力合作攻坚克难,另一方面需要有计划和成系统的统筹协调,高效组织各阶段论证及测试环节,从易到难的递进式过程。
国家大剧院长期坚持“人民性、艺术性、国际性”标准,为广大观众源源不断地提供国内外优质舞台艺术影像作品。高格式舞台纪录电影的技术探索和应用不仅收获了固定的欣赏群体,也为首都惠民文化活动贡献了绵薄之力。