中国超高清HDR、3D Audio应用的考虑

丁文华 中国工程院信息与电子工程学部院士

1.引言

从去年开始，业界非常关注一个重要的主题，就是4K电视的发展，这是广电界的一件大事。4K电视的发展涉及面非常多，其中有两个重要的因素：高动态范围HDR和三维声3D Audio。两年前广电总局和工信部联合成立4K HDR和三维声工作组，起草中国面向超高清4K的HDR和3D Audio的标准，这项工作目前已基本完成。

2.中国4K/UHD标准化情况

中国4K/UHD标准化的体系，面向终端的标准主要涉及到三项，一是编码压缩的标准，二是高动态范围HDR标准，三是3D Audio的标准。

编码压缩的标准AVS2已于2016年发布行标与国标，2018年1月，工作组完成ITU-R BT.2100和ITU-R BS.2051引标工作，广电总局发布《高动态范围电视节目制作和交换图像参数值》和《用于节目制作的先进声系统》标准。2018年3月，HDR标准草案提交广电总局科技司审批；3D Audio标准草案基本完成，将于近期提交广电总局科技司审批。

3. 4K内容供应

从4K的内容供应上来讲，全球对4K内容的关注度都非常高，全球广播者从体育、综艺、纪录片类型重点发力。奥运会历来都是展示广播电视最新技术的主要关注点。2018年平昌冬奥会进行了基于标准动态范围SDR 的4K超高清电视转播。2018年俄罗斯世界杯已经提供了全部64场比赛基于高动态范围HDR 的4K超高清电视转播。2020东京奥运会计划采用基于SDR和部分HDR的4K+8K超高清电视转播。2022北京冬奥会将会全面采用基于HDR的4K超高清电视公共信号，同时还会提供部分8K超高清电视转播信号。

图1 中国4K/UHD标准系列

从国内4K内容供应发展来看，中国即将进入4K/UHD和HD并存时代，广电体系应及早进行频道规划，针对体育、娱乐、专题纪录片、电影、电视剧优先考虑开通4K频道。央视计划于今年10月1日开播CCTV 4K频道，主要内容还是面向体育、娱乐、专题纪录片、电视剧， 4K不会再走之前的标清频道和高清频道同播的过程，而是应该独立开出新的4K超高清的电视频道。

考虑到制作成本和周期，内容制作可选择HDR或SDR、3D Audio或环绕声，同时配套相关政策鼓励包括社会力量在内的资源制作4K/UHD HDR和3D Audio节目。鼓励4K/UHD节目和内容多渠道传输和分发。

4. HDR节目制作

关于HDR的节目制作，一个是直播场景，一个是后期制作场景。关于直播场景，参考奥运会、世界杯等赛事转播方案，现阶段各方一致认同采用HLG、1000nit、BT.2020进行端到端传输。现场制作输出4K HDR+HD SDR。如采用PQ或更高亮度的HLG制作，需考虑元数据（静态+动态）的提取和传输 。

后期制作场景应是面向ENG + NLE场景；支持PQ、HLG、S-Log3等多种曲线制作；现阶段主要面向1000nit、BT.2020制作，今后向2000nit扩展。

4.1 4K HDR+ HD SDR直播场景方案

4K HDR+ HD SDR直播场景方案有三种方案可供选择，分别是标准制作方式、兼顾场景方式和Side by Side方式。

4.1.1 方案一 标准制作方式

基于4K HDR制作，可根据需要在切换台输出4K HDR后，进行下变换生成HD SDR。

切换台前端引入HD SDR信号，需进行BT.709至BT.2020的色域变换，反之也是如此。（注：部分4K摄像机输出BT.709信号，此类信号也需转换）

4.1.2 方案二 兼顾场景方式

兼顾场景方式索尼已经推介了近两年时间。标准制作方式的一个最大问题是基于4K HDR进行制作后，进行下变换生成的HD SDR内容可能达不到技术要求，出现曝光过度。索尼提供的兼顾场景方式实际上仍然是在末端转换，但是在制作前端通过摄像机的6db到8db的增益差，来管控同时输出的HDR和HD SDR两种节目都达到要求。兼顾场景方式见图2。

4.1.3 方案三 Side by Side方式

图2 兼顾场景方式（索尼提供）

side by side方式，实际上摄像机前端同时输出side by side方式，摄像机前端同时输出HLG/BT.2020和SDR/BT.709信号分别给两个视频切换系统，两个切换系统采取同步切换，分别输出4K HDR信号和HD SDR信号，而不是在切换台末端进行下变换生成HD SDR。实际上业界也讨论很长时间，side by side方式涉及一个很关键的问题，就是根据最终要实现的效果，选择BT.709或者BT.2020作为彩色和亮度基准Side by Side方式见图3。

4.2 2018世界杯4K HDR制作

2018世界杯4K HDR制作采用双层的工作流程。标准层为1080P/50 SDR REC.709，增强层为UHD 2160P/50 HDR BT.2020。采用两套视频切换系统，8台摄像机双路输出UHD/ HDR和1080P/SDR信号，11台摄像机双路输出1080P/HDR和1080P/SDR信号，还有21台摄像机只输出1080P/SDR信号，按照标准层和增强层分别输出，再通过格式转换器得到1080P HD HDR信号和1080I HD SDR信号，以及基于不同曲线HLG、PQ和Slog-3的4K HDR信号。

图3 Side by Side方式

图4 2018世界杯基于双层的工作流程

2018世界杯基于双层的工作流程见图4。

4.3 后期制作

ENG可以基于HLG采用传统相对亮度方法拍摄，也可以基于PQ采用绝对亮度方法拍摄。

NLE非编工作站要支持色域变换（BT.709<=>B T.2020 ）、曲线变换（PQ、HLG、S-Log3等）、色彩管理（确保整幅画面色调统一）、静态元数据输出（动态元数据可放在压缩编码前端生成），输出文件包含HDR元数据、色域和曲线信息 。

5. 三维声3D Audio

5.1 3D Audio扬声器布局模型

图5是ITU-R BS.2051的3D Audio扬声器布局模型。在ITU-R BS.2051的多种声音格式中，现在推荐的是4+5+0格式。

5.2 3D Audio制作模式

3D Audio制作模式见图6。三维声制作包含基于声道（Channel-based）的声床制作，和基于对象（Object-based）的特殊元素的渲染制作，有两类元素可作为对象，一类是对白及解说（Dialog Enhancement）， 另一类是独立声音元素（鸟叫、飞机轰鸣等）。此次标准中暂不包括基于场景（Scenebased）的制作，留待下一阶段补充。

5.3 3D Audio元数据

5.3.1 元数据内容

（1）支持响度控制、下混控制、声道描述、LFE声道开关、节目相关信息描述、节目类型描述等信息；

（2）具有对object对象在三维声场中的坐标定位、运动轨迹、音量大小、对象声音有无等信息的描述；

（3）元数据的承载通常占用第16声道。

国内标准把元数据承载放在了第16通道。元数据不再靠另外一个辅助数据通道来传而是把它嵌入到SDI，这种方法处理最简单，目前各家的前端的制作工具都已支持。

图5 3D Audio扬声器布局模型（ITU-R BS.2051）

图6 3D Audio制作模式（ITU-R BS.2051）

5.3.2 元数据规范

目前已有多种3D Audio制作工具，大大丰富Object制作手段。不同制作工具生产的元数据需要统一的规范，ITU-R BS.2076定义的音频定义模型（ADM）涉及多种元素和场景，下一步工作组计划考虑ITU-R形成针对广电的ADM模型（Broadcast Profile）。

6.播出系统要求

6.1 HDR元数据传递

（1）直播信号场景

对HLG信号，不需处理。对PQ信号，通过UHD-SDI传递元数据给传输编码。

（2）制作文件场景

对于文件，Player能够解析元数据，根据需要封装到UHD-SDI里。

（3）流式分发场景

基于HLS或MPEG-DASH进行Streaming元数据封装，终端可以解析呈现。

6.2 质量管控

对HDR、3D Audio内容提供检测验证，确保相关信息完备、合规。

6.3 音频

解决立体声、环绕声、三维声混合播出。完成响度控制、Downmix 播出功能。

6.4 视频

解决HDR、SDR混合播出。对插入在HDR节目间的SDR节目（如广告）做修正，使SDR内容看起来类似HDR内容，减少观看不适感觉。

6.5 SDR 至 HDR的上变换

SDR内容无法完美还原成HDR内容。HDR的灰度细节丢失，SDR彩色空间比HDR小得多。

可以通过综合平衡SDR内容的色调、色彩饱和度和亮度值，从而获取look-like HDR的SDR增强内容。

7. 新一代编码体系

7.1 视频编码

图7 Rec.2020色域空间与Rec.709色域空间比较

图8 如何获取look-like HDR的SDR增强内容

（1）测试结果表明AVS2与HEVC性能相当，RD 19.1版本已完成针对HDR的优化，面向HDR编码与面向SDR编码的码率差别在10%以内。

（2）国内已有至少3家公司支持AVS2编码器生产，可支持4K 50P、10bit、BT.2020编码，码率可支持30M-36M，延时特性基本满足需求。

（3）下一步计划构建基于云计算的AVS2在线编码云平台。

7.2 音频编码

（1）建立16通道三维声传输体系，与现有6通道环绕声传输体系兼容并存

（2）中国3D Audio标准传输编码与MPEG-H契合，因此海外节目互联网服务的编码适配不存在障碍。

8. HDR元数据与AVS2承载关系

HDR标准通过审查后，将启动AVS2国标对应内容的修改更新工作。

9. 中国HDR标准与HEVC的适配

国内的海外节目互联网服务，对中国HDR标准提出适配HEVC编码的潜在需求。中国HDR标准考虑在ITU-T T.35的体制下适配HEVC编码体系。

10. 内容保护

图9 AVS2行标中对HDR元数据的描述

4K制作成本增高使内容市场对版权保护需求更加迫切；ChinaDRM已形成完整的标准和生态体系，能有效对4K节目实现版权保护；ChinaDRM已得到好莱坞认可，国内产业化进程正在按部就班推进。中国的版权保护体系见图11。

11. 终端产业适配

支持中国HDR标准的芯片基本具备，支持中国3D Audio标准的芯片计划今年下半年推出，支持China DRM Enhance Profile的高安全芯片已经具备。HDR、3D Audio引入，将会带动新一轮面向50P/60P、HDR、3D Audio的设备升级，运营商（有线运营商、IPTV运营商、直播星运营商）和OTT机顶盒提供商需指定设备更新的规划和准备。

厂家应按照中国HDR的需求和标准推出新一代4K电视机，电视机厂家和屏幕生产厂家要共同解决高亮度屏的支持问题

图11 中国的版权保护体系

图12 央视2018世界杯4K HDR+3D Audio实验系统实景

图13 2018世界杯HDR+3D Audio测试流程图

12.央视新址2018世界杯实验系统

在央视新址，工作组联合飞利浦+特艺、动听（Fraunhofer）、捷成（Auro 3D）、Junger、柯维新、海思、创维公司共同搭建完成了4K HDR+3D Audio的端到端实验环境。目前已打通全部技术环节，集成和验证中国HDR和3D Audio标准的应用方法。

2018世界杯HDR+3D Audio测试流程见图12。

图13中:

（1）P&T提供基于服务器的HDR动态元数据生成方案，日后也应集成入AVS2编码器

（2）Fraunhofer、Auro 3D、Junger三家已完成3D Audio直播和后期制作Metadata数据生成的集成

（3）3D Audio编码功能已经集成入柯维新AVS2编码器

（4）海思机顶盒芯片已可支持中国HDR、3D Audio标准（草案），创维基于海思芯片已完成IPTV/OTT机顶盒的集成

（5）Auro 3D渲染功能已集成入Fraunhofer AVR设备，可有效完成3D Audio音频的解码和渲染

13.总结

中国HDR、3D Audio标准即将颁布，将有效引领中国超高清产业发展，并带动消费电子终端产业发展。中国推广4K/UHD所需的产业化条件基本具备，2018年下半年将会加快产业部署行动。4K/UHD节目制作需积累经验，相关制作规范要逐步完善，但总体而言没有不可克服的障碍，应该立即实施。

未来5年是中国4K/UHD发展的黄金时期，广电界应抓住机遇，携手产业链相关各方共同推动产业加速发展。