IMF技术发展及其在跨平台发行中的应用

方捷新 崔 强

(中国电影科学技术研究所，北京 100086)

近年来，媒体视听内容的发行和播映已呈现明显的跨平台、融媒体发展趋势，专业场所(专业影院、点播影院)、家庭渠道(流媒体、OTT、有线电视、卫星电视、互联网电视、高端家庭影院)、公用媒体(广告媒体、航空/船舶/铁路媒体)、移动媒体(手机、便携式平板电脑)等观影模式融合发展，不同终端和媒体形式有着不同的特点、格式和技术要求，而视听内容需要面向各类终端和媒体形式开展发行、播映，从而对内容发行、交付和存档格式的互操作性提出了新要求。近年来，互操作母版格式(Interoperable Master Format，IMF)被业界采用作为解决当下跨平台和融媒体发行的技术方案，并已形成系列行业标准。

1 IMF的技术发展和应用情况

IMF是目前视听娱乐行业提倡的一种数字母版制作和存档技术，包括迪士尼、索尼、20世纪福克斯(已更名为20世纪电影公司)在内的好莱坞制片厂、后期制作公司和英美等国广播电视公司等均已大范围应用这一格式，在数字电影内容发行、交换、存档、后期制作编辑等领域具有广阔的应用前景。IMF是一种基于文件的框架，可实现高质量版本的视听内容合成(Composition)的呈现、管理、播放、处理和转换，使一个合成针对不同平台的若干个输出版本的生成过程变得便利，从而满足不同发行平台的特殊需要。由于合成的管理和处理过程在不同设备、不同服务提供者之间进行，因此互操作性至关重要。

直到2014年以前，IMF的应用一直都只局限于好莱坞制片厂；2014年秋季，奈飞(Netflix)通知其内容供应商，全部超高清内容(UHD)都需以IMF格式提交；2016年1月，大制片厂开始对视听内容供应链发行IMF包样本，在2016年全美广播电视设备展览会(NAB Show)上，北美广播联盟(NABA)宣布IMF作为其标准库格式，之后大量美国广播行业公司开始采用IMF格式，英国广播和在线内容制作联盟组织数字制作合作组织(Digital Production Partnership，DPP)也积极宣传应用IMF格式，至此英美等国设备厂商、内容制作机构和基础设施建设机构都已加入IMF的研究应用。我国电影技术领域对IMF的介绍和研究也早在2013-2014年就已开始，中国电影科学技术研究所、北京电影学院、中国电影资料馆等机构都从各自的角度对这一技术进行研究，并在国外硬件商的配合下开展IMF应用试验。

2017年，好莱坞专业协会(HPA，原好莱坞后期协会)通过组建“IMF用户组”(IMF UG)的形式，向行业成员进行IMF系列标准和应用(Application)的宣贯。目前参加HPA IMF UG的行业公司已有60余家，其中包括大型制片厂(迪士尼、索尼、华纳兄弟、20世纪福克斯)、广播运营商(康卡斯特、HBO等)、流媒体平台(奈飞、亚马逊等)、制作/打包软件公司(Pixelogic、DVS、Cinecert等)、后期制作公司(Fusion Media、Prime Focus等)、发行服务公司(迪拉克斯、特艺等)，以及其他电影技术机构。HPA IMF UG自成立以来积极在影视相关国际会议和展会上宣传推进IMF的应用。HPA IMF UG搜集整理了所有支持IMF的产品及服务，促进信息分享，推动IMF相关技术的快速普及。目前好莱坞主要的发行服务公司已支持IMF流程，主流打包软件也已全部支持IMF内容的创建、打包、播放、验证、版本管理和质量控制(QC)，并有一些用于IMF内容打包、质量控制和转换的技术工具和开源资源。另外，不少企业将云技术和IMF技术相结合，推出相应的产品和服务，如Ownzones公司推出基于云的转码和分发服务，以及castLabs公司推出基于云的快速转码、加密、水印添加、字幕转换和打包工具。

2 IMF系列标准和应用的制定、推广和互操作性测试情况

2.1 IMF系列标准

好莱坞制片厂早在2007年就已启动IMF相关研究，2008年，南加州大学娱乐技术中心(ETC@USC)应几家大制片厂的要求对发行母版技术开展研究，推出“数字视频包”(Digital Video Package，DVP)，将其逐渐发展为互操作母版格式(IMF)，于2011年推出IMF规范1.0。随后美国电影电视工程师协会(SMPTE)着手推动相关标准制定，具体工作由SMPTE技术委员会媒体打包和交换小组(Media Packaging and Interchange，SMPTE TC-35PM)负责。SMPTE自2015年以来积极进行IMF系列技术标准的贯彻，并试图将其纳入到ISO国际标准制定序列，在全球范围内进一步推广。

IMF核心标准SMPTE ST 2067-2互操作母版格式-核心约束(Interoperable Master Format — Core Constraints)于2013年推出，并在2016年修订更新，目前最新版本为SMPTE ST 2067-2:2016，其家族标准还包括ST 2067-3:2016 合成播放列表(Composition Playlist)、ST 2067-5:2013实质组件(Essence Component)、ST 2067-8:2013常用音频标签(Common Audio Labels)、ST 2067-100:2014输出配置文件列表(Output Profile List)、ST 2067-101:2014输出配置文件列表-常用图像定义和宏(Output Profile List — Common Image Definitions and Macros)、ST 2067-102:2014输出配置文件列表-常用图像像素颜色方案(Output Profile List — Common Image Pixel Color Schemes)、ST 2067-103:2014输出配置文件列表-通用音频定义和宏(Output Profile List — Common Audio Definition and Macros)。SMPTE IMF系列标准致力于创建标准化的母版格式和制作流程，以满足内容在不同领域(包括影院、电视、新媒体等渠道)的发行和应用，从而使内容生成、文件交互、版本控制等便捷可控，便于内容的重复利用，减少不必要的人力物力，支持多语言、多分本、字幕、隐藏字幕，支持视频插入和利用“补充包”进行内容补充传输，并逐步引入高新技术格式，包括高动态范围(HDR)、宽色域(WCG)、学院颜色编码规范(ACES)、沉浸式音频等。

IMF系列标准以SMPTE ST 2067-2标准规范作为核心架构，规定了IMF的基本内容容器、声音和时控文本内容格式、基本描述性元数据、合成播放列表、传输等内容，以增量约束(Incremental Constraints)形式对特殊领域进行规范；通过共享核心架构，IMF能够满足行业发展需求，并维持不同实现方式和应用实践95%以上兼容。

2.2 IMF标准应用

由于IMF框架以增量约束形式对特殊领域进行规范，且IMF制作涉及各媒体平台内容制作实际操作，故该系列标准还推出了一系列应用(Application)，对各应用领域如何应用IMF框架进行细化。一个典型的应用需要定义视频编码方式和图像特性，同时定义其他描述性元数据。通过共享核心架构，IMF能够满足行业发展需求，并维持不同实现方式和应用实践95%以上兼容。

IMF应用包括如下内容：

ST 2067-20:2016应用#2、ST 2067-21:2016应用#2E(Extended)：应用2和应用2E合称IMF制片厂配置，已被电影制片厂、后期制作公司、设备商采用，并被奈飞等流媒体服务商作为传输格式；其中应用2支持高清(1920×1080)标准动态范围(SDR)和JPEG2000图像编码，应用2E支持4K图像分辨率和高动态范围(HDR)图像。

ST 2067-30:2013应用3：用于制作高级内容，图像和音频分别采用MPEG-4 Visual Simple Studio Profile(SStP)和线性PCM进行编码。

ST 2067-40:2016应用4：用于电影胶片或数字拍摄完成后交付到数字后期制作流程，其规定了图像采用16bit XYZ颜色空间和线性转换方式，最大图像帧为8192像素×6224像素，并采用特殊的合成结构将电影部分以分本(Reel)的形式存放。

ST 2067-50:2018应用5 ACES：用于应用SMPTE ST 2065-1学院颜色编码规范(ACES)的电视、电影作品的保存。

RDD 45:2017应用ProRes：将苹果ProRes编码方式与应用2E结合。

TSP 2121-1Application DPP：用于解决广播和互联网在线内容的交换和存档，由英国数字制作合作伙伴组织(DPP)和北美广播联盟(NABA)共同倡导。

2.3互插拔测试(Plugfest)

IMF系列标准的推进涉及行业多领域的互操作问题，为此，在SMPTE、美国电影艺术与科学学院(AMPAS)、英国广播和在线内容制作联盟组织数字制作合作组织的推动下，开展了多次互插拔测试，在设备厂商、内容制作机构和基础设施建设机构等多方努力下，共同测试行业设备、内容的互操作情况。前两次测试分别于2018年10月和2019年5月举行，分别有48家和30家公司和机构参与，测试内容涵盖全球发行字幕/隐藏字幕的互操作性、学院颜色编码系统(ACES)的互操作性、ProRes图像支持情况、IMF输出配置文件列表等内容、广播和在线内容创建IMF基本要求等，第三次互插拔测试于2020年上半年完成。

3 IMF技术细节及其应用原理

3.1互操作母版包(Interoperable Master Package)

按照IMF技术标准打包的媒体包被称为互操作母版包(Interoperable Master Package，IMP)。IMP包含了媒体资产和配置文件，主要用于分发和导入到不同设备。每个IMP中包含符合IMF标准的唯一的PKL(Packing List，打包列表)文件；该文件是一个XML文件，列出了IMP中包含的所有资产，每个资产使用唯一的UUID进行标识。和数字电影发行包(DCP)类似，符合IMF标准的互操作母版包(IMP)分为完整的IMP和部分的IMP。完整的IMP是由PKL文件、SMPTE ST 2067-3规定的CPL(Composition Playlist)、轨迹文件、SMPTE ST 2067-100规定的输出配置列表(Output Profile List)、SMPTE ST 429-9规定的资产地图(Asset Map)等文件组成。

3.2 IMP发行包的组成

图1显示了IMF标准的IMP发行包中各部分之间的关系。

一个用于发行的版本文件包含了一个或者多个IMP。如图1所示，该发行文件包含了2个IMP：一个完整的IMP#1和一个部分IMP#2。IMP#1中包含了完整的PKL、CPL、轨迹文件、输出配置列表、资产地图。IMP#2不包括实体文件，而是通过资产地图使用ID位置映射的方式来包含所需要的文件。发行介质上的位置映射使用SMPTE ST 429-9中指定的资产映射机制。

图1 IMP发行包中各部分关系图

当设备接收到发行版本文件后，首先扫描资产地图获取PKL文件，通过资产地图对PKL里包含的文件进行查找并导入系统。导入系统的文件必须是被PKL和资产地图同时标注的文件，且该文件需要验证哈希值；其他的未被标注的文件将被忽略。PKL和资产地图将不被处理，在版本文件导入成功后将被删除。如果PKL和资产地图不被删除，也可用于后期的跟踪、记录和调试。

IMP中的PKL文件和DCP中的PKL文件类似，但IMP标准对SMPTE ST 429-8(数字电影打包-打包列表)标准进行了移植修改。命名空间由http∶//www.smpte-ra.org/schemas/429-8/2007/PKL替换为http∶//www.smpte-ra.org/schemas/2067-2/2016/PKL。用于计算Hash元素值的算法应由HashAlgorithm元素指定，算法属性为http∶//www.w3.org/2000/09/xmldsig#sha1，定义规范使用W3C XML签名语法。其中Asset元素的XML模式定义规定如下：

3.3输出配置列表(Output Profile List)

输出配置列表是一个由SMPTE ST 2067-3 规定的XML文件。该文件包含多个指令，可将单个IMF发行版转换为满足针对一个或多个下游发行渠道需求的媒体格式。

输出配置文件列表由带参数的可操作的有序列表(称为宏)组成，这些操作按顺序应用于发行包的虚拟轨道。每个宏都有一个名称，它在输出配置文件列表实例中是唯一的。宏采用不同方式来处理发行包中的各类媒体，并支持从图像像素操作到字幕渲染等低级和高级处理。

SMPTE ST 2067-3 规定了输出配置文件列表的数据结构和处理模型。处理模型用抽象MacroType结构表示。这允许宏通过用其他规范定义扩展其结构，从而使私有协议得以应用。输出配置文件列表的最小配置文件称为简单输出配置文件列表。除了标准宏外，还有预设宏。预设宏允许创建一种特殊的输出配置文件列表，即简单输出配置文件列表，其中所有处理都缩减为单个不透明统一资源标识符URI(UniformResourceIdentifier)。

输出配置文件列表中可用于处理的基本元素或元数据(无论是虚拟轨迹等资源的组合还是宏的输出)都被赋予一个唯一的名称，称为句柄。句柄用于将一个宏的输出绑定到另一个宏的输入，绑定由外部进程(例如编码器)完成。为了方便起见，可将句柄叠加使用，这样可以使用已知句柄独立引用相同信息，完成初级图像输出等任务。

图2说明了输出配置文件列表框架的示例用法。IMP中包含一个图像虚拟轨道文件(id=98..4F)、两个声音虚拟轨道文件(id=21..BD和id=36..AE)和一个输出配置文件列表。该输出配置文件列表通过5个宏先后完成了图像裁剪、像素解码、图像缩放、像素编码、声音合成等操作。5个宏分别是图像裁剪宏ImageCropMacro(名字为crop-1)、像素解码宏PixelDecoderMacro(名字为decode-1)、图像缩放宏ImageScaleMarco(名字为scale-1)、像素编码宏PixelEncoderMacro(名字为encode-1)、声音合成宏AudioRoutingMacro(名字为route-1)。此外输出配置文件列表还包含8个句柄，分别是：cpl / virtualtracks / 98..4F、macros/crop-1/outputs/images、macros/decode-1/outputs/images、macros/scale-1/outputs/images、cpl / virtualtracks / 21..BD、macros/encode-1/outputs/images、macros/route-1/outputs/L、macros/route-1/outputs/R。

图2 输出配置列表

输出配置文件列表的图像裁剪宏crop-1使用合成播放列表的图像虚拟轨道(id=98..4F)作为输入点，这个图像虚拟轨道(id=98..4F)被命名为“cpl / virtualtracks / 98..4F”的句柄。该宏完成图像裁剪后将该宏的输出“macros/crop-1/outputs/images”输入到像素解码宏decode-1中。该像素解码宏完成图像变换处理，以便于图像缩放宏能够处理，并将输出“macros/decode-1/outputs/images”输入到图像缩放宏scale-1中。图像缩放宏完成图像缩放，将输出“macros/scale-1/outputs/images”输入到公共像素编码宏encode-1中。最后，公共像素编码宏将图像转换回公共像素编码格式，例如8位RGB，最后的输出别名为“MainImage”，而其内部宏名称“macros/encode-1/outputs/images”被隐藏。除此之外，音频虚拟轨道由音频路由宏(AudioRoutingMacro)route-1处理，该宏有两个输出，分别用于合成的左右声道，别名分别为MainAudio/L(macros/route-1/outputs/L)和MainAudio/R(macros/route-1/outputs/R)。

3.4实质组件(Essence Component)

IMF是一个基于文件的框架，使用该框架可应用一个高质量的发行版本来满足不同的发行渠道的音视频特性要求。为了高效工作，IMF体系结构将合成元数据(composition metadata)和实质数据分离为单独的文件对象；在IMF的ST 2067-5:2013实质组件(Essence Component)标准中，实质数据(以及相关的元数据)将被存储在MXF文件包含的MXF通用容器中。IMF的实质组件是一种用于交换音频、图像和数据本质的OP1a (Operational Pattern 1a)MXF结构。它定义了用于网络或存储介质等方式进行交换的数据结构，但没有为兼容设备定义内部存储格式。IMF实质组件的设计者认识到MXF格式必须具备灵活性，以便IMF架构可用于不同场合，因此提出了垫片(shim)的概念，使用关键字参数(具有约束值)描述IMF 实质组件不同方面的特定格式。工程师可使用IMF 实质组件作为核心组件来开发IMF应用程序；IMF应用程序使用相同的核心规范保持互操作性，并利用IMF实质组件的灵活性满足使用者各自的需求。IMF 实质组件解决了在未来一段时间内，在兼容多编码格式的体系结构中保持文件格式一致性的问题。

在理想情况下，所有的音视频文件都应采用标准化的方式进行存储。但随着新技术和高新技术格式在行业中的应用，压缩编码格式等音视频标准不断演进升级，为了不受当下的MPEG、JPEG2000等级别的音视频压缩编码标准限制，IMF实质组件工作系统构建在MXF级别上。MXF编码器和MXF解码器都必须遵循IMF 实质组件提供的规则。这个规则带来许多好处，例如，它允许设备在不实现解码的情况下查询图像大小(只需读取媒体文件MXF元数据)。如果需了解底层编解码器类型的详细信息，则仍需转码器或播放器完成。

垫片(shim)参数不是运行IMF文件系统时的必备元素。相反，它是由应用程序设计者在遵守IMF标准的同时根据自身行业应用需要提出的相应约束变体。每个垫片明确规定了预定值的取值范围，保证了在应用类别中的合理使用。例如，这些预定值可以限定特定类型的节目或节目类型，也可以限定特定发行商或者平台等。在基于IMF 实质组件的任何交换规范中，可存在一个或多个严格定义的垫片，例如电影数字后期制作的垫片、制片厂后期处理和发行的垫片，以及不同音视频格式存储的垫片。垫片信息紧密定义了特定业务应用程序的编解码器和布局。例如在“ST 2067-40:2016应用4”中定义了电影胶片或数字拍摄完成后交付到数字后期制作流程中所用到的垫片(shim)信息。“ST 2067-40:2016应用4”中与轨道文件相关的垫片(shim)参数值如表1所示。

表1