中国超高清HDR、3D Audio应用的考虑

2018-09-12 03:28丁文华中国工程院信息与电子工程学部院士
视听界(广播电视技术) 2018年4期
关键词:世界杯编码标准

丁文华 中国工程院信息与电子工程学部院士

1.引言

从去年开始,业界非常关注一个重要的主题,就是4K电视的发展,这是广电界的一件大事。4K电视的发展涉及面非常多,其中有两个重要的因素:高动态范围HDR和三维声3D Audio。两年前广电总局和工信部联合成立4K HDR和三维声工作组,起草中国面向超高清4K的HDR和3D Audio的标准,这项工作目前已基本完成。

2.中国4K/UHD标准化情况

中国4K/UHD标准化的体系,面向终端的标准主要涉及到三项,一是编码压缩的标准,二是高动态范围HDR标准,三是3D Audio的标准。

编码压缩的标准AVS2已于2016年发布行标与国标,2018年1月,工作组完成ITU-R BT.2100和ITU-R BS.2051引标工作,广电总局发布《高动态范围电视节目制作和交换图像参数值》和《用于节目制作的先进声系统》标准。2018年3月,HDR标准草案提交广电总局科技司审批;3D Audio标准草案基本完成,将于近期提交广电总局科技司审批。

3. 4K内容供应

从4K的内容供应上来讲,全球对4K内容的关注度都非常高,全球广播者从体育、综艺、纪录片类型重点发力。奥运会历来都是展示广播电视最新技术的主要关注点。2018年平昌冬奥会进行了基于标准动态范围SDR 的4K超高清电视转播。2018年俄罗斯世界杯已经提供了全部64场比赛基于高动态范围HDR 的4K超高清电视转播。2020东京奥运会计划采用基于SDR和部分HDR的4K+8K超高清电视转播。2022北京冬奥会将会全面采用基于HDR的4K超高清电视公共信号,同时还会提供部分8K超高清电视转播信号。

图1 中国4K/UHD标准系列

从国内4K内容供应发展来看,中国即将进入4K/UHD和HD并存时代,广电体系应及早进行频道规划,针对体育、娱乐、专题纪录片、电影、电视剧优先考虑开通4K频道。央视计划于今年10月1日开播CCTV 4K频道,主要内容还是面向体育、娱乐、专题纪录片、电视剧, 4K不会再走之前的标清频道和高清频道同播的过程,而是应该独立开出新的4K超高清的电视频道。

考虑到制作成本和周期,内容制作可选择HDR或SDR、3D Audio或环绕声,同时配套相关政策鼓励包括社会力量在内的资源制作4K/UHD HDR和3D Audio节目。鼓励4K/UHD节目和内容多渠道传输和分发。

4. HDR节目制作

关于HDR的节目制作,一个是直播场景,一个是后期制作场景。关于直播场景,参考奥运会、世界杯等赛事转播方案,现阶段各方一致认同采用HLG、1000nit、BT.2020进行端到端传输。现场制作输出4K HDR+HD SDR。如采用PQ或更高亮度的HLG制作,需考虑元数据(静态+动态)的提取和传输 。

后期制作场景应是面向ENG + NLE场景;支持PQ、HLG、S-Log3等多种曲线制作;现阶段主要面向1000nit、BT.2020制作,今后向2000nit扩展。

4.1 4K HDR+ HD SDR直播场景方案

4K HDR+ HD SDR直播场景方案有三种方案可供选择,分别是标准制作方式、兼顾场景方式和Side by Side方式。

4.1.1 方案一 标准制作方式

基于4K HDR制作,可根据需要在切换台输出4K HDR后,进行下变换生成HD SDR。

切换台前端引入HD SDR信号,需进行BT.709至BT.2020的色域变换,反之也是如此。(注:部分4K摄像机输出BT.709信号,此类信号也需转换)

4.1.2 方案二 兼顾场景方式

兼顾场景方式索尼已经推介了近两年时间。标准制作方式的一个最大问题是基于4K HDR进行制作后,进行下变换生成的HD SDR内容可能达不到技术要求,出现曝光过度。索尼提供的兼顾场景方式实际上仍然是在末端转换,但是在制作前端通过摄像机的6db到8db的增益差,来管控同时输出的HDR和HD SDR两种节目都达到要求。兼顾场景方式见图2。

4.1.3 方案三 Side by Side方式

图2 兼顾场景方式(索尼提供)

side by side方式,实际上摄像机前端同时输出side by side方式,摄像机前端同时输出HLG/BT.2020和SDR/BT.709信号分别给两个视频切换系统,两个切换系统采取同步切换,分别输出4K HDR信号和HD SDR信号,而不是在切换台末端进行下变换生成HD SDR。实际上业界也讨论很长时间,side by side方式涉及一个很关键的问题,就是根据最终要实现的效果,选择BT.709或者BT.2020作为彩色和亮度基准Side by Side方式见图3。

4.2 2018世界杯4K HDR制作

2018世界杯4K HDR制作采用双层的工作流程。标准层为1080P/50 SDR REC.709,增强层为UHD 2160P/50 HDR BT.2020。采用两套视频切换系统,8台摄像机双路输出UHD/ HDR和1080P/SDR信号,11台摄像机双路输出1080P/HDR和1080P/SDR信号,还有21台摄像机只输出1080P/SDR信号,按照标准层和增强层分别输出,再通过格式转换器得到1080P HD HDR信号和1080I HD SDR信号,以及基于不同曲线HLG、PQ和Slog-3的4K HDR信号。

图3 Side by Side方式

图4 2018世界杯基于双层的工作流程

2018世界杯基于双层的工作流程见图4。

4.3 后期制作

ENG可以基于HLG采用传统相对亮度方法拍摄,也可以基于PQ采用绝对亮度方法拍摄。

NLE非编工作站要支持色域变换(BT.709<=>B T.2020 )、曲线变换(PQ、HLG、S-Log3等)、色彩管理(确保整幅画面色调统一)、静态元数据输出(动态元数据可放在压缩编码前端生成),输出文件包含HDR元数据、色域和曲线信息 。

5. 三维声3D Audio

5.1 3D Audio扬声器布局模型

图5是ITU-R BS.2051的3D Audio扬声器布局模型。在ITU-R BS.2051的多种声音格式中,现在推荐的是4+5+0格式。

5.2 3D Audio制作模式

3D Audio制作模式见图6。三维声制作包含基于声道(Channel-based)的声床制作,和基于对象(Object-based)的特殊元素的渲染制作,有两类元素可作为对象,一类是对白及解说(Dialog Enhancement), 另一类是独立声音元素(鸟叫、飞机轰鸣等)。此次标准中暂不包括基于场景(Scenebased)的制作,留待下一阶段补充。

5.3 3D Audio元数据

5.3.1 元数据内容

(1)支持响度控制、下混控制、声道描述、LFE声道开关、节目相关信息描述、节目类型描述等信息;

(2)具有对object对象在三维声场中的坐标定位、运动轨迹、音量大小、对象声音有无等信息的描述;

(3)元数据的承载通常占用第16声道。

国内标准把元数据承载放在了第16通道。元数据不再靠另外一个辅助数据通道来传而是把它嵌入到SDI,这种方法处理最简单,目前各家的前端的制作工具都已支持。

图5 3D Audio扬声器布局模型(ITU-R BS.2051)

图6 3D Audio制作模式(ITU-R BS.2051)

5.3.2 元数据规范

目前已有多种3D Audio制作工具,大大丰富Object制作手段。不同制作工具生产的元数据需要统一的规范,ITU-R BS.2076定义的音频定义模型(ADM)涉及多种元素和场景,下一步工作组计划考虑ITU-R形成针对广电的ADM模型(Broadcast Profile)。

6.播出系统要求

6.1 HDR元数据传递

(1)直播信号场景

对HLG信号,不需处理。对PQ信号,通过UHD-SDI传递元数据给传输编码。

(2)制作文件场景

对于文件,Player能够解析元数据,根据需要封装到UHD-SDI里。

(3)流式分发场景

基于HLS或MPEG-DASH进行Streaming元数据封装,终端可以解析呈现。

6.2 质量管控

对HDR、3D Audio内容提供检测验证,确保相关信息完备、合规。

6.3 音频

解决立体声、环绕声、三维声混合播出。完成响度控制、Downmix 播出功能。

6.4 视频

解决HDR、SDR混合播出。对插入在HDR节目间的SDR节目(如广告)做修正,使SDR内容看起来类似HDR内容,减少观看不适感觉。

6.5 SDR 至 HDR的上变换

SDR内容无法完美还原成HDR内容。HDR的灰度细节丢失,SDR彩色空间比HDR小得多。

可以通过综合平衡SDR内容的色调、色彩饱和度和亮度值,从而获取look-like HDR的SDR增强内容。

7. 新一代编码体系

7.1 视频编码

图7 Rec.2020色域空间与Rec.709色域空间比较

图8 如何获取look-like HDR的SDR增强内容

(1)测试结果表明AVS2与HEVC性能相当,RD 19.1版本已完成针对HDR的优化,面向HDR编码与面向SDR编码的码率差别在10%以内。

(2)国内已有至少3家公司支持AVS2编码器生产,可支持4K 50P、10bit、BT.2020编码,码率可支持30M-36M,延时特性基本满足需求。

(3)下一步计划构建基于云计算的AVS2在线编码云平台。

7.2 音频编码

(1)建立16通道三维声传输体系,与现有6通道环绕声传输体系兼容并存

(2)中国3D Audio标准传输编码与MPEG-H契合,因此海外节目互联网服务的编码适配不存在障碍。

8. HDR元数据与AVS2承载关系

HDR标准通过审查后,将启动AVS2国标对应内容的修改更新工作。

9. 中国HDR标准与HEVC的适配

国内的海外节目互联网服务,对中国HDR标准提出适配HEVC编码的潜在需求。中国HDR标准考虑在ITU-T T.35的体制下适配HEVC编码体系。

10. 内容保护

图9 AVS2行标中对HDR元数据的描述

4K制作成本增高使内容市场对版权保护需求更加迫切;ChinaDRM已形成完整的标准和生态体系,能有效对4K节目实现版权保护;ChinaDRM已得到好莱坞认可,国内产业化进程正在按部就班推进。中国的版权保护体系见图11。

11. 终端产业适配

支持中国HDR标准的芯片基本具备,支持中国3D Audio标准的芯片计划今年下半年推出,支持China DRM Enhance Profile的高安全芯片已经具备。HDR、3D Audio引入,将会带动新一轮面向50P/60P、HDR、3D Audio的设备升级,运营商(有线运营商、IPTV运营商、直播星运营商)和OTT机顶盒提供商需指定设备更新的规划和准备。

厂家应按照中国HDR的需求和标准推出新一代4K电视机,电视机厂家和屏幕生产厂家要共同解决高亮度屏的支持问题

图11 中国的版权保护体系

图12 央视2018世界杯4K HDR+3D Audio实验系统实景

图13 2018世界杯HDR+3D Audio测试流程图

12.央视新址2018世界杯实验系统

在央视新址,工作组联合飞利浦+特艺、动听(Fraunhofer)、捷成(Auro 3D)、Junger、柯维新、海思、创维公司共同搭建完成了4K HDR+3D Audio的端到端实验环境。目前已打通全部技术环节,集成和验证中国HDR和3D Audio标准的应用方法。

2018世界杯HDR+3D Audio测试流程见图12。

图13中:

(1)P&T提供基于服务器的HDR动态元数据生成方案,日后也应集成入AVS2编码器

(2)Fraunhofer、Auro 3D、Junger三家已完成3D Audio直播和后期制作Metadata数据生成的集成

(3)3D Audio编码功能已经集成入柯维新AVS2编码器

(4)海思机顶盒芯片已可支持中国HDR、3D Audio标准(草案),创维基于海思芯片已完成IPTV/OTT机顶盒的集成

(5)Auro 3D渲染功能已集成入Fraunhofer AVR设备,可有效完成3D Audio音频的解码和渲染

13.总结

中国HDR、3D Audio标准即将颁布,将有效引领中国超高清产业发展,并带动消费电子终端产业发展。中国推广4K/UHD所需的产业化条件基本具备,2018年下半年将会加快产业部署行动。4K/UHD节目制作需积累经验,相关制作规范要逐步完善,但总体而言没有不可克服的障碍,应该立即实施。

未来5年是中国4K/UHD发展的黄金时期,广电界应抓住机遇,携手产业链相关各方共同推动产业加速发展。

猜你喜欢
世界杯编码标准
2022 年3 月实施的工程建设标准
基于SAR-SIFT和快速稀疏编码的合成孔径雷达图像配准
《全元诗》未编码疑难字考辨十五则
子带编码在图像压缩编码中的应用
忠诚的标准
美还是丑?
Genome and healthcare
多彩世界杯
一家之言:新标准将解决快递业“成长中的烦恼”
世界杯搞笑来袭