AVS2标准及未来展望

◎北京大学黄铁军

AVS2标准及未来展望

◎北京大学黄铁军

概要介绍了AVS2国家标准《信息技术 高效多媒体编码》系统、视频、音频三个部分，分析了AVS2与AVS1以及AVC/H.264和HEVC/H.265在编码效率上的对比，具体阐释了帧结构、块结构、帧内预测、帧间预测、变换、熵编码、环路滤波等为AVS2带来的编码增益。介绍了AVS2的特色功能——场景视频编码的概念、思路及优势。最后展望了AVS3云媒体编码标准。

AVS2；AVS3；视频编码；场景视频

AVS2标准进展

AVS2国家标准《信息技术高效多媒体编码》是AVS1之后新一代的标准（见图1），第二代AVS国标包括三个部分，即视频、音频以及系统。本文详细介绍视频部分。

图1 AVS发展过程

1.AVS2标准三个部分的进展

AVS2-P1（系统部分）在2014年9月立项，国标计划号为20141192-T-469，中心任务是制定面向互联网（例如OTT）的流媒体标准，预计2015年上半年完成。

AVS2-P2（视频部分）在2011年国标立项，国标计划号为20110149-T-469，2014年7月编辑会完成征求意见稿，随后向全体成员单位和全社会开放征求意见，公开了标准文本和参考软件。

AVS2-P3（音频部分）在2013年7月立项，国标计划号为 20130368-T-469。其中，无损音频编码已经在2012年制定完成，2013年8月和AVS1音频一起颁布为IEEE 1857.2—2013标准。高保真音频编码标准尚在制订中，初步测试表明192 kbit/s的5.1环绕声超过4.5分，处于国际领先水平。

2.AVS2标准视频部分

1）AVS2标准视频部分介绍

国际上从1994年的MPEG-2到2003年的AVC/H.264再到近两年的HEVC/H.265，总的发展趋势是每10年编码效率提高1倍，如图2所示。

AVS2视频的目标（引自AVS-N1924）为：在主流技术可实现的前提下，当重建视频主观质量相同时，至少在高清或更高分辨率下编码效率比AVS1的最好性能提高1倍以上。在主流配置下，编码效率优于最新的国际标准。AVS现在主要有三个标准化渠道：IEEE、广电行业标准以及国家标准。

AVS2对于常规视频的编码效率与最新国际标准HEVC/H.265相当，比上一代国家标准AVS1以及国际标准AVC/H.264的效率提高1倍；对于监控视频等场景类视频，AVS2压缩效率又翻了一番，达到AVC/H.264的4倍。考虑到监控视频已经成为全球数据中规模最大的一部分，因此AVS2在压缩这类视频中具有重大产业价值，这项技术标准如果在视频监控领域有效推广，仅在我国就能够节省数千亿元的存储成本。

分析过去三代视频编码标准，采用方法总体上可分为三大类：变换编码、预测编码和熵编码。变换编码和熵编码的变化不是太大，对压缩效率提升的贡献不是很明显，贡献最大的是预测编码。图3显示了三代标准中预测编码越来越精细复杂，这是效率提升最大的来源。

图2 三代标准预测编码的变化

图3 H.264，H.256与AVS的比较

2）各部分增益比较

AVS2比AVS+编码效率翻了一番，具体增益来源请见表1和图4。帧结构降低码率5%～10%，块结构降低3%～20%，帧内预测降低6%～10%，帧间预测降低10%，新的变换降低3%，熵编码降低3%～5%，将上述增益加在一起，码率降低超过50%，即编码效率提高了一倍，主要的增益体现在帧内预测方面。

AVS2划分的最大块结构是64× 64，在超高清画面中，这个区域并不是很大，当然也可以划分到4×4的小块，这样划分块的目的主要就是适应视频画面里不同区域信息的复杂程度不一样，复杂地方就用小块，平坦地方就用大块，这些块的尺寸除了正方形的块之外还有竖条、长条以适应视频画面的变化。

表1 不同技术对性能增益的贡献

上文提到预测增益主要来自于两个技术，一是帧内预测，根据一个画面内部的相似性进行块间预测参考，提高效率。在预测模式方面，新一代的标准AVS2有33种预测模式，1/32精度的子像素插值，从而提高编码效率。另一个是帧间预测，包括对称预测、非对称预测、直接模式、跳过模式。双向预测包括前向、后向、对称、双向预测模式，一般化双向预测（F帧）是指两个帧间预测块来自同一时域方向，预测精度进一步提高，还有方向性多假设预测。

3）AVS2编码效果

关于AVS2的编码效果，本文分别对电视视频以及电影视频进行测试。

图4 新一代高效视频编码框架AVS2

对于电视视频，使用AVS2RD8.0.1与HEVC的HM13进行比较，在逐行方面，HEVC高出AVS2约1.7%；隔行方面（即 1 080i），AVS2高出HEVC约4.2%。对于电影视频，AVS2领先0.2%。

AVS2具有一个新的模式——场景模式（见图5），这是HEVC所没有的。对于这一类视频，如监控视频，若打开场景模式就意味着利用建模背景可以把码率再降50%，所以AVS2虽然对于电影电视视频和HEVC相当，但是在场景视频方面，明显高于HEVC。另外，AVS2参考软件的优化还有不少潜力空间，从今年8月份开始，已经开始集中精力进行优化，优化之后的效率还将有所提高。

图5 AVS2场景模式编码比较

AVS2特色—场景视频编码

场景视频编码作为AVS2的特色，在2009年研究之初便被提出，并在HEVC制定时也建议过，但并没有得到充分重视。当时普遍的思路是视频编码主要面向电视电影，较少关注监控视频。不过当时笔者就认为监控比电视电影的数量要多，2012年IDC的大数据报告也验证了这一判断。

监控摄像头的快速增长已经成为一个全球现象，我国安装的摄像头数量已经达到3 000万，这些摄像头产生了海量的视频数据。根据IDC 2012年底发布的大数据报告（见图6），全球数据总量每两年翻一番，2010年全球大数据50%是监控视频，2015年将增长到65%。相比之下，从1993年到2013年，视频编码标准更新了两代，每代编码效率提升1倍，也就是10年才翻一番，进步速度已远远落后于IT行业摩尔定律的节奏，全球数据量每两年翻一番就是摩尔定律的外在表现之一。照此测算，我国监控视频的存储规模达到60 Ebyte，成本数千亿元。如果压缩效率提高1倍，则存储成本节省一半。AVS方面在2007年就注意到这个问题并开展了相关研究，申请了973课题《面向智能监控的视频编码方法》并获得支持（图7）。

监控摄像头和电视不一样，它是长期“观看”一个场景，那么能不能利用场景信息来增加压缩率？这实际上是AVS2提高这类视频编码效率的基本出发点，即在编码过程中引入场景模型，因为场景模型是相对固定不变的，通过分析哪里是背景，哪里是前景，用这个方法把编码和分析结合在一起，开展基于场景模型的编码（图8）。

具体来说，基于在图像分析方面的工作基础，AVS2采用基于背景建模的监控视频编码方法。监控视频通常是在固定场景拍摄的，可以采用背景建模的方法构造出高质量的背景，这样就可以把视频分成背景和前景两个部分。一旦有了背景和前景，预测编码的空间就拓宽了。编码理论的核心是率失真优化。预测编码本质上通过寻找相似度高或者失真度低的图像块来进行率失真优化。传统预测编码是在前背景混合的图像帧之间进行的。新方法相当于增加了一个预测维度：编码块分为前景快、背景块和混合块三类，背景块可能在构造的背景帧中进行预测，混合块可以在差分帧中进行预测，这样，预测性能明显提高。图9是前景背景分离条件下的新编码标准方案。

图6 IDC对于大数据中视频的统计

图7 面向智能监控的视频编码方法

图8 基于场景模型的编码

把基于背景建模的新方法加入现有视频编码标准方法，整体压缩效率提高了1倍。这里有个概念需要澄清，AVS2并不是只对监控视频有效，其他场景类视频压缩效果也很好。场景视频包括监控视频、法庭审判视频、课堂教学视频等，这些视频的共性特点是场景相对固定，可以通过场景建模提高编码效率。电视媒体也在从传统的频道栏向全天候网络直播扩展，电视采编将成特例，场景视频将成为未来媒体的最大的组成部分，因此AVS2已经把支持场景视频作为基本功能之一，打开场景模式，电视视频压缩效率也可以得到有效提高。

图9 基于背景建模的监控视频编码方法

鉴于场景视频越发广泛地被使用，新一轮973的科研方向也更加重视这个方向。除了服务于广播电视，也在研究能否采用场景模式进一步降低码率，例如在常规互联网带宽条件下把超高清的节目传递给用户。

AVS3—云编码

云计算时代编码模型会发生变化，上文提及互联网带来的影响，但云计算会给编码带来更大的影响。AVS3计划根据云计算时代的需要，利用云计算的能力，实现更高效率的编码。图10是今年已经启动的AVS3云编码项目。

简单来说，比如在天安门拍一张照片需要上传，在云计算的时候如果发现照片与原有资源完全一样，那么直接发一个链接就好了，没必要再发一张一两兆的照片。如果云中有类似图像，则云中图像可以用于预测编码，从而提高编码效率。

具体来说，拟从大量数据里提取共性的对象，形成大家共享的视觉词典，个人只上传与词典有差异的内容即可。残差部分利用稀疏编码+传统方法来解决。AVS云媒体编码标准的基本思路见图11。

AVS3云媒体编码的功能如下：

1）基本功能——新一代有损编码标准。通过视觉词典提高预测效率，实现压缩效率翻倍乃至更高。

2）全新功能——减少编码损失的近保真解码。允许解码器开放地从云中获得更多信息源，在不改变图像既有结构的情况下补充更多细节。

3）超清晰功能。根据显示能力，允许解码器利用云媒体资源最大限度地提高视觉质量；编码端和解码端都尽力而为，一劳永逸。

总结

总体来说，视频编码的需求和存储带宽之间的矛盾长期存在着，视频编码效率10年翻一番，这是全球技术领域的进展，但远远赶不上需求的发展，因此还有大量研究工作要开展。AVS2标准总体上编码效率比AVS1提升了1倍，与国际标准的编码效率相当，在场景视频里编码方法比同期国际标准效率高1倍，占了一些先机，希望产业界抓住这个机会。

在新媒体时代，笔者正在研究更高效率的图象视频编码标准AVS3，思路在国际上领先，有望取得新突破。

黄铁军，北京大学信息科学技术学院教授、博士生导师，北京大学信息科学技术学院数字媒体研究所所长、数字视频编解码技术国家工程实验室副主任，国家数字音视频编解码技术标准工作组(AVS)和AVS产业技术创新战略联盟秘书长，主要研究领域为数字媒体技术，包括视频编码、图像理解、媒体安全以及数字版权管理、数字图书馆等。

图10 云环境下的图像视频群体协同表达与处理

图11 AVS云媒体编码标准

TN911.73

A

【本文献信息】黄铁军.AVS2标准及未来展望[J].电视技术，2014，38（22）.