徐 涛1 张海悦1 何 晓1 王晋芳 刘知一 王文强
(1.中国电影科学技术研究所,北京 100086;2.中央宣传部电影技术质量检测所,北京 100086)
荷兰阿姆斯特丹国际广播电视影视设备展览会(International Broadcasting Convention,以下简称IBC展会)于2019年9月13日至9月17日在阿姆斯特丹举办,中国电影科学技术研究所派出代表团,前往荷兰IBC展会现场进行参观交流,跟踪全球电影前沿科技和高新技术发展与应用状况,掌握电影技术演进趋势与产业发展需求。
IBC展会每年9月在阿姆斯特丹举办,汇集全球媒体、娱乐和科技领域的专业技术人士和机构,共同讨论前沿技术和趋势,展示最新产品和服务。IBC展会主要由SMTPE、IABM、IEEE BTS、IET、RTS和SCTE六大国际机构提供支持,确保其始终具有权威性、全面性和及时性。
今年的展会共分为15个区,有超过1700家参展商参加展览,并以大屏幕、未来区、内容无处不在、媒体—电信催化项目以及电子竞技展示等为主题设立了专区,展示热门主题内容,覆盖全产业链领域展商。来自80个国家超过2000名行业代表出席展会,有超过300位业界专家进行主题演讲,参观展会的人数高达5.6万人。5G、4K/8K、超高清(UHD)、高帧率(HFR)、高动态范围(HDR)、AR/VR、云计算、人工智能等高新技术大量涌现,被企业成熟地应用于产品或服务,为客户提供更便捷的、优化的解决方案。
此外MovieLabs与好莱坞各公司在展会上共同发布了一份电影行业白皮书,以云技术、安全与访问、软件工作流为核心,提出了到2030年未来媒体制作技术发展的行业规划。电影院在屏幕和辅助技术方面取得了最新进展,三星公司展出了用于4K/LED影院的Onyx屏幕(34英尺,分辨率4096×2160),能提供更加丰富清晰的图像。Theater Ears公司提供影院语音翻译服务,打破了影院针对特定语言观众的常态。皮克斯(Pixar)动画工作室提出了为视觉障碍消费者提供描述性叙述音轨的新技术。IHS Markit提供的数据表明全球超高清分辨率电视销量已超过电视总出货量的一半,预测2023年,西欧、北美地区的超高清电视占有率将达到46%和50%,中国将达到42%;同时预测所有地区8K电视出货量将继续增长,但未来会有所放缓,8K相关技术在应用层面还存在着诸多挑战。
结合中国电影科学技术研究所、中央宣传部电影技术质量检测所科研任务以及行业技术特征,本文重点关注了沉浸式音频、云计算、JPEG XS、音视频检测、后期制作等影视产业最新产品与技术应用,并与相关企业进行了深入交流,跟进行业发展动态,掌握行业技术应用需求,探讨其在影视传媒行业的应用及未来发展趋势。
2.1.1 Dolby:沉浸式音频技术
Dolby展出了其最新的数字影院解决方案及产品,其中,杜比集成媒体服务器IMS3000搭配杜比多声道放大器和SLS Express系列,能够实现为任何规模影厅提供从5.1到杜比全景声的完整解决方案。Dolby新推出的CP950音频处理器为安装杜比5.1和7.1环绕声提供了更创新的方式:该处理器包含一个扩展槽,可以在未来升级至杜比全景声,不仅更易于安装和维护,同时有效解决了各类影院的不同需求。
据介绍,杜比全景声和杜比视界(Dolby Vision)一直与全球内容服务提供商(如Netflix、HBO、Amazon和iTunes等)广泛合作。目前,腾讯、爱奇艺、优酷等国内新媒体平台也逐步要求制作单位提供杜比全景声格式的影片。
2.1.2 Genelec OY:沉浸式音频解决方案及控制软件系统
来自芬兰的Genelec(真力)公司展示了其沉浸式音频房间解决方案,可提供Compact 7.1.2、Small 7.1.2、Small 7.1.4、Medium 7.1.4、Medium 11.1.4、Large 13.1.8、Large 19.1.12等多种解决方案。其中Medium 7.1.4、Medium 11.1.4方案适用于电影后期制作工作室,Large 13.1.8、Large 19.1.12方案适用于电影放映。
Genelec还展示了其用于沉浸式音频系统音箱配置、校准、控制的GLM(Genelec Loudspeaker Manager)软件系统,该软件系统能够同时对多达45只音箱实现灵活快捷的校准和控制,全面整合了测量、分析和校准功能,可以自动地根据实际房间声学环境,对每一只音箱进行声压级校准、延时补偿以及频率响应优化,并对低音音箱进行分频点调整、灵敏度匹配以及相位匹配,可使用户在千差万别的实际声学环境中,便捷地获得精准、一致的监听系统。
2.1.3 Merging Technologies:数字音频工作站
Merging Technologies公司主要产品PYRAMIX 数字音频工作站具备高度的灵活性和音质精度,广泛应用于电视和电影后期制作、音乐制作、母版制作等众多音频相关行业。最新产品为PYRAMIX V12,包括一个完整的基于混合信道/声波工作流程,允许直接在混音控制台中编码、混音、旋转和解码声波信号,具有高分辨率录制、沉浸式音频工作流、交换格式支持等特征。PYRAMIX具备100%集成的X/Y/Z运动控制器,能够将单声道或多声道声源移至任何标准、任何尺寸或者手动配置的扬声器阵列中,能够支持Dolby Atmos、Auro 3D、DTS:X等其他标准的工作流程。
2.2.1 EditShare/ftrack:网络化共享存储及文件端到端工作流程
针对电影行业,EditShare公司重点展示了媒体资产管理Flow系统,该系统支持电影全流程的文件管理。从影片拍摄开始,只需把摄影机存储卡中的素材传至本地,就可自动将素材转码并共享给后期制作人员。今年新推出的Flow 2020将本地存储与云结合,用于远程或分布式工作流,且支持Amazon S3、Google和Microsoft Azure等多家公有云供应商。
EditShare系统利用网络附加存储(NAS)设备,并基于硬件和软件上的优化,可实现不同地点之间协同拍摄的需求。针对后期制作,EditShare支持通过Avid和Final Cut Pro等多种编辑器进行即时查看、复制或修改。针对DI工作流程,EditShare可支持RED ONE、ARRI ALEXA或Silicon Imaging SI-2K等像机拍摄,并可将胶片原件扫描为完整的2K DPX。目前EditShare已与好莱坞、宝莱坞、北京电影学院等影视机构进行相关的合作。
ftrack公司也提供了基于云端的可扩展项目管理方案,该方案支持整个后期制作流程,可以与Maya、Nuke、After Effects等多种后期应用程序协同使用。同时具有强大的接口功能,可将所需软件或第三方工具与ftrack进行深度整合。
2.2.2 Aspera/Signiant:大型媒体文件访问技术
针对4K/8K、高动态范围(HDR)、宽色域(WCG)以及高帧率(HFR)等技术发展带来的大文件传输的挑战,IBM Aspera和Signiant公司提供了大型媒体文件访问技术服务与解决方案。
IBM Aspera公司展示Aspera on Cloud自动化应用程序,通过用户配置或基于事件的传输工作流来简化内容交付,该系统API可更轻松地访问传输端点并与之集成。针对媒体资产安全问题,Aspera新增了区块链和数字水印技术,为媒体资产交换增加了另一层安全性。
Signiant采用自身专利网络优化技术和全球媒体交换控制框架,提供快速、可靠、安全的大型媒体文件访问。新推出的智能传输架构将根据网络条件,使用基于UDP的专有加速协议以替换标准TCP,或者自动并行部署多个TCP连接。同时,利用了机器学习算法,即时决策出网络获取数据的最快方式。
2.2.3 Amazon/XenData:云计算服务提供商
展会上有很多云服务参展商都提供基本的云计算、云存储等服务或解决方案。同时,如Dolby、Sony等知名展商也提出了基于Amazon、Google、微软等公有云进行转码及质量控制等业务。
Amazon云服务解决方案针对IaaS层、PaaS层内容,提供无需管理的基础架构。其Amazon Machine Learning服务在云平台架构基础上,利用高性能计算针对机器学习进行优化,如提升推荐技术、预测技术或图像/视频分析等。
XenData公司采用RAID和LTO分层存储系统实现大型视频的数据存储,实现有效节省成本。通过将云存储和本地磁盘缓存相结合,最小化现场硬件的同时保持对最近使用视频的快速本地访问。
intoPix通过其主题演讲推出的JPEG XS标准,有效提升图像压缩过程效率。JPEG XS是第一个用于延迟关键应用的ISO标准(ISO/IEC 21112),能在视觉无损的前提下提供更高的分辨率和帧率,JPEG XS支持8K分辨率,帧率范围为24fps~120fps。主要优点有:
(1)管理更多更高的像素:JPEG XS可以在现有带宽上传输高分辨率视频;而相对重量级的压缩算法,JPEG XS轻量级的压缩使得画质损失较少,并且延迟难以察觉。
(2)降低成本和功耗:利用JPEG XS进行设备内视频传输可以减少内部连接和内存,极低的复杂度和低内存使用量可显著降低电子设备的功耗。
(3)保持质量,没有延迟:JPEG XS带来的延迟只有几微秒,人眼难以察觉。该编解码器经过了ISO JPEG委员会的严格测试程序,提供完全透明的质量,其低压缩比从3bpp(8∶1)(通常用于图像、文本、电影、游戏内容)到1.5bpp(16∶1)(通常用于电视和自然内容)。
(4)简化连接:JPEG XS可节省更多像素通过有线或无线传输(Wifi、WiGig、5G)所需的关键带宽,减少设备内部连接需求。
(5)开源:JPEG XS提供了通用的HDR编码格式并支持大量的视频设备,使用时无需转码,可以直接把通过不同设备拍摄的图像导入。
2.4.1 R&S:音视频内容监测及DCI/IMF母版制作解决方案
德国罗德与施瓦茨公司(R&S)展示了其完全基于云的监控服务解决方案R&SPRISMON.cloud等新产品。R&SPRISMON解决方案对用于分发/传送环境的高级视音频监控和用于演播室/后期制作/播出环境的IP基带多画面监看进行了更新,支持在各类流媒体环境中的内容传输和媒体格式。
R&S最新版本的R&SCLIPSTER作为DCI/IMF母版制作解决方案包含杜比视界iCMU(集成内容映射单元),以便于通过SDI或HDMI实时输出从HDR(高峰值亮度)到HDR(低峰值亮度)或SDR的转换,以及文件转码。可在任何分辨率下编辑任何类型的媒体,并创建符合专业交付规范的高质量专业成果。
2.4.2 Phabrix:广播视频测试设备及声画延迟分析软件
英国Phabrix公司主要产品为适用于广播电视台和视频制作的手持式测试设备以及支持4K和IP传输的广播视频测试仪,有Sx、Rx和Qx三个系列。
展会上,Phabrix公司推出了最新的声画延迟分析软件。虽然SDI同时传入视频和音频数据,但这并不意味着视频和音频自动同步,不同基准会有称为唇形同步误差或声画延迟,这些偏差将给观众带来不良的观看体验。Phabrix的声画延迟生成和分析软件为通过广播链测量音频到视频差分延迟提供了端到端的解决方案,不仅可以实时更新视频内容与所选音频通道对之间的差分延迟,还可以用于测量视频和音频内容的传播或通道延迟。
2.4.3 SARNOFF SRI SARNOFF:检测色彩空间与显示器的测试图组
斯坦福研究院SARNOFF SRI SARNOFF在此次展会上展示了用于检测色彩空间与显示器的测试图组。
Sarnoff CSMtm是用于检测色彩空间与显示器的测试图组发生器,可提供Rec.2020、DCI-P3和Rec.709三个不同色域下测试图组。而且可以同时在监视器上展示同一图像在8个不同的色域空间的显示效果。
2.5.1 Digital Film Technology GmbH:HDR格式影像扫描仪
国内电影修复单位普遍使用的Spirit扫描仪的生产商德国Digital Film Technology(DFT)公司此次展出了Scanity HDR扫描仪,采用了已申请专利的同步三重曝光扫描技术(simultaneous triple-exposure technology),极大地提高了胶片扫描的速度。目前,该设备4K扫描速度高达30fps(2片孔)和15fps(4片孔),2K扫描速度达到30fps(2片孔)和25fps(4片孔)。该设备的高动态范围2K数据(2048×1556 RGB)扫描黑白胶片速度可达到实时,高动态范围4K数据(4096×3112)扫描速度可达15fps(4片孔),可提高需要处理大量黑白胶片的影片修护工作的工作效率。并且,Scanity HDR的可选湿门(WetGate)配件,可支持16mm和35mm胶片在湿润的环境下进行扫描,极大地降低了胶片因为扫描时温度过高而导致自燃的几率。
2.5.2 FilmLight:影视后期调色及前期色彩预览系统
英国制作公司FilmLight开发的调色配光软件Baselight广泛应用于电影的后期制作调色环境,支持4K格式视频调试,并且Baselight效果的插件在时间线可以应用于任何或所有的片段,每一个镜头允许添加多个分级层。FilmLight还提供完善的前期色彩预览系统Flip、样片审查系统Daylight,以及色彩管理体系Truelight,为整个电影制作环节提供精准的色彩还原和统一的监看环境。
在此次IBC展会期间,FilmLight牵头主办了“Colour On Stage” 研讨会,聚焦影视制作过程中的色彩问题,知名调色师Alex Gascoigne、Eric Weidt等进行了现场演示与互动。研讨会内容主要包括FilmLight在视效制作环节推出的BLG工作流介绍、当今调色师的职业角色定位、色彩管理、新一代调色工具等,旨在向业界分享现代色彩制作与交付环节面临的机遇和挑战,展示在大型影视项目的实际工作中导演、摄影师、调色师之间的协作和互动。本次研讨会的主题演讲涉及《心灵猎人》《黑镜》等剧集的色彩制作内容、宝莱坞影片调色风格、最新色彩管理工具、多终端发行情况下可使用的制作工具等。
2.5.3 MovieLabs:《媒体创作的演进》白皮书
非盈利技术研究组织MovieLabs与好莱坞多家制片公司联合发布媒体制作白皮书《媒体创作的演进(The Evolution of Media Creation)》,认为好莱坞相关技术方亟需在软件、硬件、制作流程方面加强合作,否则将严重制约媒体内容创作与创新。
白皮书称,未来10年媒体行业将有巨大发展机会,同时也伴随着风险与挑战,当下制作与发行流程效率低下等问题将给整个行业的创新能力带来负面影响。因此MovieLabs与几家大型制片公司的技术团队共同提出了他们认为可以为媒体制作赋能的发展策略和关键技术,其中云服务将成为影视制作的核心部分,例如将全部资产创作和存档工作均移至云端进行。此次白皮书提出的电影行业发展策略与中国电影科学技术研究所在今年8月BIRTV论坛上介绍的“国家电影云制作服务平台”的建设思路不谋而合,基于云计算平台和高速互联网搭建电影分布式远程跨域协同制作服务平台成为必然要求。
全球影视技术正处于由传统技术向5G、人工智能、云计算以及4K/8K等高新技术演进的关键时期,势必对电影的拍摄、制作、片方的发行放映及传输、观众的观影及消费模式、影院的放映终端等产生颠覆性的影响,最终改变电影行业现状。
积极开展对SMPTE ST 2110相关技术标准的前瞻性研究,跟踪该技术标准的演进和规范化,深入了解其编解码技术;建立自主的数字电影沉浸式音频技术规范,形成具有自主知识产权的数字电影沉浸式音频标准化体系。为未来国产化设备打好提前量,打破国外技术垄断,实现系统间互操作并与国际标准兼容。
影视制作云端化已经成为必然趋势,如何提升安全性、互操作性、扩展性以及智能流程化是目前以及未来工作的重要课题。我们应进一步加强对电影跨域协同制作流程及相关技术要求的研究,进一步提高新技术与影视产业的融合度,从而助推影视产业提质升级,实现高质量转型。
在与德国DFT的交流中,他们提出:先采取4K、HDR等最高标准技术格式将全部胶片素材做数字化后存档,而后按每部影片的实际使用需求再制定相应的修复计划。这种方法有利于修复质量的提升并加快修复制作与数字电影后期制作在工艺指标上的接轨,让珍贵的历史影片档案得以延续。