电影频道超高清节目视频质量优化

(中央宣传部电影卫星频道节目制作中心技术部,北京 100088)

1 引言

随着超高清技术的成熟与发展,中央宣传部电影卫星频道(以下简称:电影频道)作为国家级播出平台,同时也作为国内最具权威性的电影专业频道,响应上级单位发布的 《关于推动广播电视和网络视听产业高质量发展的意见》的指示精神,针对节目的制作特点规划了超高清节目制作系统的整体架构。力争在短时间内,实现超高清节目的制作和播出,提高电影频道的竞争力,为广大人民群众提供更好的视听享受。

2 超高清制作系统架构

电影频道超高清制作系统计划是基于现有的制作系统进行改造,使现有的制作系统具备超高清节目制作能力。由于超高清视频在色彩空间和HDR方面与高清制作系统存在很大的差异,特别是在节目制作时需要配置与HDR 匹配的监视设备,因此除了增加现有制作系统的后台处理能力以外,应独立出满足需要的超高清节目的制作节点。

为了解决超高清节目与传统高清节目的兼容性问题,以及电影节目源在色彩空间和HDR 的多样性问题,需要在现有制作系统中增加视频处理中心和音频处理中心(如图1所示)。其中视频处理中心主要包括超高清节目的帧率转换、分辨率转换、色彩空间转换、HDR 转换、编码优化以及图像增强。音频处理中心主要解决杜比全景声、多声道音频以及双声道立体声的相互转换问题,本文主要介绍视频处理中心部分。

图1 制作系统流程图

3 视频质量优化

如图2所示,视频处理中心主要包含帧率转换、分辨率转换、色域转换、HDR 转换以及编码优化几个节点。

图2 视频处理中心

3.1 帧率转换

由于电影频道播出的节目主要以电影为主,而节目源的帧率主要有以下几种,一种是传统的电影,其帧率为24P/48P;一种是高清电视电影 (用电视的手法拍摄电影),其帧率是25P/50i;还有一种是超高清节目,其帧率是50P。前两种帧率与超高清节目的50P都存在一定的差异,因此在进行超高清节目制作前,需要进行帧率转换。

图3 帧率转换节点

如图3所示,帧率转换节点主要包含去隔行子节点和帧率调整子节点。首先要将输入视频进行去隔行处理。针对电影频道的视频源特点,去隔行子节点只针对帧率为50i的视频进行去隔行处理,将50i的视频转换为50P 的视频。帧率调整子节点针对24P/48P以及25P的视频,通过帧率调整功能将24P/48P以及25P的视频统一调整为50P视频。要实现上述功能,需要帧率转换节点能够自动识别输入视频的元数据 (XML),从而对不同的输入源选择对应的帧率转换方式。

3.1.1去隔行

从隔行到逐行的扫描转换过程称为去隔行,去隔行技术主要通过内插的方法,将每个场信号转换为帧信号。帧率转换节点中的去隔行子节点的去隔行方法主要包含了场间时域去隔行法和运动自适应去隔行法。由于电影频道节目内容的特点等因素,目前存储在媒资里的高清素材大部分为50i格式,但是这些视频单帧中的奇偶场很可能存在相同时序。因此,采用最简单的场间时域去隔行方法将奇偶场合并为一帧,可以得到最优的单帧图像质量。

对于视频单帧中的奇偶场来自于不同时序的视频,如果单纯的采用场间时域去隔行方法,在处理存在快速运动的图像时,会产生明显的混叠现象。这时,就需要采用运动自适应去隔行法,简单来说就是通过前后场的运动轨迹预测需要补充的像素,并通过运动滤波的方式来消除混叠现象,这样可以得到相对可靠的图像质量。

图4 运动自适应去隔行

3.1.2帧率调整

帧率调整的目的是将24P/48P视频以及25P视频的帧率调整为50P。目前,针对24P/48P的视频可采用两种方式进行帧率调整,一种是24+1插值法,另一种是速率调整法。

采用24+1 的变换方式,就是每24 帧插入1帧,即每秒钟增加1 帧。使用这种方法的优点是:节目的时长保持不变,声音会保持正常的播放速度,音质会得到有效的保障。缺点是:每一秒钟插入一帧,对于静态镜头不会有太大的问题,但是对于动态镜头,特别是对于摄像机移动的镜头,则会明显感觉画面抖动,影响视觉效果。即使插入的帧是采用类似运动补偿等方法生成,也会影响摄像机运动的平滑性。

将24P转成25P 最为普通的方法就是通过将24P的视频播放速度提高到25P,也就是将播放速度提高4.1%,然后再进行帧到帧的转换。这样,整部节目的时长会减少4.1%。带来的问题是,声音的播放速度也提高4.1%,这样做会使音频的声调提高大概半个音阶。为了更好地还原音频质量,需要将采用“速率调整法”进行帧率调整的视频节目所对应的音频内容提交到“音频处理中心”进行相应的处理。

接下来就是将25P 的视频帧率调整为50P。如图5所示,帧率调整的算法很多,其中比较简单的算法就是复制每一个帧以达到帧率倍增的目的,这种简单的复制对于静态场景的效果很好,对于视频中的静态区域有比较好的表现,但是对于视频中的动态区域的表现则比较糟糕。

图5 帧率调整

在帧率调整子节点中对视频进行帧率调整时,首先将视频帧根据图像运动向量参数划分为静态帧和动态帧,对于静态帧的展现,采用简单的帧复制的方式,以求得到更高的清晰度,而对于动态帧的展现,则通过运动补偿的方式用MC 内插来合成新的视频帧。虽然运动估计的准确性能够引发MC 内插产生误差,从而造成空域的细节模糊,但是由于帧率调整子节点提供足够的缓存,且运动估计技术已经比较成熟,能够确保帧率调整子节点对于运动估计的准确性。

3.2 分辨率转换

4K 电影和4K 电视的分辨率存在差异,4K 电影的分辨率为4096×2160,而4K 电视的分辨率为3840×2160,而且面对4K 节目资源的匮乏,需要将大量的高清电视节目上变换为4K 的分辨率,以满足超高清频道播出的要求。

图6 分辨率转换

如图6所示,虽然4K 电影的分辨率和4K 电视的分辨率存在差异,但是只是在图像的垂直方向相差200多个像素点,大约是垂直方向总像素点的1/20,占比并不是很大,因此在上变换时,可以采用类似于标清到高清的上变换的切换方式,将200多个像素点切除,这样既可以保证分辨率变换后的效果,画面内容损失的部分也不影响观看效果。

高清上变换4K 的算法中,目前最为热门的当属超分辨率(SR)的算法。所谓超分辨率,简单的讲,就是在视频上变换时,通过将同一场景的多个低分辨率图像(LR)进行分析,尽可能恢复丢失的细节部分,由于LR 图像中存在混叠现象,即高频信号在已经存在的频率上的折叠,SR 图像就能够通过多个存在像素平移的LR 图像恢复出所需要的高频信息,从而重建高清晰度的图像。目前市面上已经有一些成熟的超分辨率转换软件产品,转换效果也已经被证明其明显优于其他上变换算法,对视频质量的提升确实起到了很大的作用。因此,电影频道的分辨率转换节点将主要采用超分辨率算法对高清到4K 的视频节目进行上变换。

3.3 色域转换

目前,在电视行业常用的色域是BT.709 和BT.2020,而电影行业通用的色域则是DCI-P3,IT行业则有Adobe RGB和sRGB,为了超高清视频能够在这些色域间进行转换,电影频道的色域转换模块将采用ACES色域作为制作域的标准色域。如图7所示,由于ACES色域远比其他色域宽,而且比人眼的可见光范围还要大,因此以ACES色域作为制作域的标准色域可以更好地实现各色域间的自由转换。

图7 制作传输域

一般情况下,在将低色域视频向高色域视频进行转换时,不进行色域的扩展。首先是因为现在电影频道存储的高清节目均为8比特存储,能显示的色阶有限,如果算法使用不当,扩展色域很可能会导致画面色彩出现割裂。其次,盲目的扩展色域,有可能会改变镜头语言,影响影片的创作意图。

在将高色域视频向低色域视频进行转换时,应特别注意色彩的偏色问题,目前市面上的色域转换产品在处理这类问题时,或多或少都存在偏色的问题。因此,应使用监视器及调色软件对转换后的视频颜色进行矫正。

3.4 HDR转换

电影频道存储的部分高清影片是通过对胶片进行低反差拷贝并进行数字化得到的。由于高清节目的动态范围远低于电影胶片的动态范围(反差),因此将电影胶片的动态范围进行压缩并转换为高清节目是一个很好的选择,但是对于高动态范围的超高清电视而言,低反差拷贝已经不能满足电影频道对于超高清节目的高动态范围 (HDR)的要求。因此,最为有效的方式就是对原始胶片重新进行扫描,转换为高反差的电影文件,然后根据影片文件的伽马曲线直接转换为制作域伽马。而且,无论是超16毫米胶片还是35毫米胶片,如果胶片的规格和保存得当,完全可以扫描出分辨率更高、更清晰的超高清视频文件,有效提升节目画质。由于国家广播电视总局定义了HLG 为超高清节目制作的HDR,因此暂不考虑PQ 曲线的转换。

图8 HDR 转换

如图8所示,电影频道的节目源可能包含多种输入伽马,为了能够更好地完成各种伽马之间的映射,需要HDR 转换节点能够支持多种伽马。所有输入伽马都是OETF曲线,并且大多数都具有较宽的动态范围,且至少为10 比特量化,因此在高于100%动态范围的区间,都具有较多的比特分配。转换为HLG 比较简单,效果也能够得到保障。

目前电影频道存储的高清影片,绝大部分都是通过非线性编辑系统实时上载得到的。由于非编板卡对于电平的限制,使得高于700mv的电平全部被削波,导致的结果就是,通过非编上载得到的高清影片,没有任何高动态范围。在曲线映射时只能以“场景参考映射”的方式进行“直接映射”。对于没有采用非编上载的高清文件,动态范围可能达到600%,但是由于采用8比特量化存储,在高动态范围部分(拐点部分)可用的比特较少,如果采用上映射方式,高动态范围部分会扩展数倍,但是灰阶数量却不能增加。扩展后很可能出现亮度失真以及条带现象。因此也只能以“场景参考映射”的方式进行“直接映射”。

对于胶片重新扫描后的超高清文件,由于胶片伽马等元数据的缺失,需要对扫描后的视频文件重新调色以便对伽马进行矫正。相比于其它伽马,此种方式效率不高,但是却能有效提升超高清频道的节目质量。

3.5 图像增强

图像增强指的是对输入图像进行处理,通过增强对比度、锐度或者提高信噪比,其目的是使得图像的视觉效果更好,得到更好看的输出图像。对于对比度差的图像,要求得到具有高对比度和清晰细节的图像,对于高动态图像实施动态范围压缩,以在标准显示设备上更好地补偿亮度和暗部的细节。图像增强的工作主要由人工完成,类似于胶片的修复工作,从而避免不要的增强效果破环镜头语言。

图像增强节点首先将RGB 图像转换到YCbCr后,仅对亮度分量进行处理,最终再将结果转换回RGB进行显示。这是因为,一方面对RGB 分量进行单独处理,可能会改变色彩的平衡。另一方面,人类视觉系统对于色度分量中的高频部分并不敏感。

图9 图像增强模块

如图9所示,图像增强模块主要包含三个部分:噪声处理、对比度增强和图像锐化。

噪声除了会让图像不好看,遮蔽图像的细节之外,噪声还会给图像处理带来严重的问题。在视频压缩中,噪声增加了熵,从而妨碍了压缩效率的提升。欠曝或过曝镜头的对比度不好,对比度拉伸(又称直方图均衡)是比例调整像素亮度值以便更好地利用0～255灰度范围的一种处理方法。用于图像锐化的空间滤波能够突出图像空域频率的中频部分,从而令图像更为清爽。

3.6 编码优化

超高清节目具有高分辨率和高比特量化的特点,如果不经过压缩,一部超高清电影文件所需的存储空间是一部同时长高清电影文件所需空间的10倍以上,因此需要对超高清文件进行有效的压缩。为了能够更好地保留超高清图像质量,在编码前对文件进行编码优化处理。

编码优化处理主要是基于人眼视觉模型对超高清基带信号进行一定的滤波处理,使人眼敏感的高频部分尽可能的保留,滤除低频带中人眼不敏感的信息,从而到达节省带宽的目的。目前在市面上的编码优化功能能够将编码效率提升20%～30%左右,在节省存储容量的同时确保了压缩视频的图像质量。

4 结束语

电影频道正在逐步完善和规划超高清制播系统的建设,而人工智能已经悄悄地走进广播电视行业,基于人工智能的音视频内容识别、超分辨率、视觉无损、智能修复等已经逐步成熟。下一步,电影频道将紧紧抓住人工智能这个机遇,规划和落实超高清系统的建设及增值业务的扩展,不断提升超高清视听质量和市场效益。❖