H.265/HEVC在安防行业的应用

□ 文 /吴参毅

视频编解码标准现状

目前市面存在多个视频编解码标准，每个视频编解码标准都由不同的组织制定，标准组织的水平基本上代表了其视频编解码标准的水平。如下罗列的几个组织：

ISO/IEC MPEG（运动图像专家组）：即ISO/IEC JTC1/SG29/WG11。

其中文含义为：国际标准化组织和国际电工委员会第1联合技术委员会/第29小组委员会/第11工作小组。

ITU-T VCEG（视频编码专家组）：即ITU-T SG16/Q.6。

其中文含义为：国际电信联盟-电信标准化部门第16研究组（多媒体编码、系统和应用）/第3工作组（媒体编码）中的第6问题组（视觉编码）。

第（1）和第（2）国际组织在不同的时期都成立了联合工作组制定视频编解码标准，这些联合工作组几乎囊括了国际上在视频编解码领域的研究机构和企业单位。这三个联合工作组分别为：

①JVT：中文含义为：MPEG＆VCEG成立的“联合视频团队”协作团队，负责开发AVC/H.264（2009年解散）。

②JCT-VC：中文含义为：MPEG＆VCEG成立的“视频编码联合协作团队”，负责开发HEVC/H.265（2010年1月成立）。

③JVET：中文含义为：“联合视频探索团队”，探索HEVC以外新技术的潜力（2015年10月成立），后来更名“联合视频专家团队”，从2018年4月发负责开发VVC/H.266。

ISO/IEC和ITU-T这两个国际视频图像编码组织自从上世纪80年代开始，制定了一系列的视频编解码标准，如图1所示。

▲图1 国际视频编解码标准历史（1985～2020）

AOMedia：即开源媒体联盟，主要由Google、Amazon、Netflix、Intel、Cisco、Mozilla等公司发起成立的开源组织。其于2018年3月正式发布AV1。

AVS工作组：AVS工作组是数字音视频编解码技术工作组的简称，由国家工信部域2006年6月批准成立，工作组的任务是面向我国的信息产业需求，联合国内企业和科研机构，制（修）订数字音视频的压缩、解压缩、处理和表示等共性技术标准。由高文院士担任组长，目前有近100家会员单位，会员单位既包含企业单位，也包含科研机构。该组织于2006年发布国标GB/T 20090.2-2006（AVS1），并于后来基于新版的AVS1发布国际标准IEEE P1857；并于2016年发布了国标GB/T 33475.2-2016（AVS2），行标GY/T 299.1-2016，和国际标准IEEE 18574。

SVAC工作组:SVAC工作组，是由中星微电子公司和公安部第一研究所成立的，联合国内40多家企业、科研机构成立SVAC企业联盟推广SVAC标准。SVAC全称为“安全防范监控数字视音频编解码技术标准，SVAC工作组于2011年发布了GB/T 25724-2011，于2016年发布了第二版GB/T 25724-2016。

▲图2 国际视频图像编码标准的编码效率对比

由以上可见，在国际标准范围内就目前来看H.265/HEVC当属编码效率最高的标准，同时也是在全球范围内参与标准制定企业和科研机构数目最多的，同时国际影响力也是最大的。这些因素促使H.265/HEVC不仅仅在视频监控领域，也在移动互联网、网络流媒体、电视广播等领域产业链逐渐完备的视频编解码标准。

虽然开源的AV1号称压缩效率高于H.265/HEVC，但由于其刚刚发布，且在视频监控领域也没有芯片可支持AV1的编码和解码。国内的AVS2/SVAC虽然号称其编码效率和H.265/HEVC相当，但是在视频监控领域仍未出现编解码芯片。

就目前而言，相比H.265/HEVC，其它的诸如AV1、AVS2、SVAC视频编解码标准，在技术先进性、编码效率高效性、标准参与度、市场影响力、编解码芯片的成熟度、专利许可、产业链完备性等诸方面，虽然在某个方面具有优势，或者某个应用领域带有强制性，但是就在整体方面来看，目前都无法完全取代H.265。

不同于其他应用领域，可能只需要视频解码器，或者只需要视频编码器。但是对视频监控应用来讲，在整个系统中，既需要视频编码器，由需要解码器。同时还需要多种形态的视频编解码器。同时现在视频监控的的编码器大都集成在IPC中，这就意味着IPC的SOC芯片中视频编码功能只是一个功能而已，尤其是对带有视觉智能功能的IPC，视频编码功能不再是一个决定性的功能。这也就意味着，在现有编解码方案已经成熟且满足应用的情况下，使用视频编解码代替方案动力更加不足。

但从另一个角度来讲，AV1、AVS2、SVAC目前来看，还没有出现能够应用于IPC的集成其视频编码器的SOC芯片，以及后端NVR和解码器/拼控器的多路视频解码器的相配套的视频监控方案级别的视频编码芯片以及视频解码芯片。只有编码芯片或者只有解码芯片，对视频监控领域应用来讲，是没有意义的。

H.265/HEVC技术特点

若H.264/AVC转为标清分辨率（SD，最大分辨率为720×576）而设计的话，则H.265/HEVC专门为高清（HD，最大分辨率1920×1080）甚至超高清分辨率（UHD，分辨率为4K/3840×2160和8K/7680×4320）一点也不过分。

H.265/HEVC自2013发布首个版本之后，截止2016年，共发布4个版本：

Version 1：2013年4月发布，包含Main、Main10、Main Still Picture框架（Profile）。

Version 2：2014年10月发布，主要增加了21个色度空间深度（range）扩展框架、2个可伸缩（scalable）扩展框架、1个多目（multi-view）扩展框架。

Version 3：2015年4月发布，主要增加了3D Main框架。

Version 4：2016年11月发布，主要增加了7个屏幕内容编码扩展框架，3个高通量扩展框架和4个可伸缩扩展框架。

虽然记录一代视频编码标准H.261过去了30多年，虽然在这30多年的时间里，视频编解码发展迅速，但是目前最先进的视频编解码标准H.265/HEVC仍然采用如同第一代视频编解码器相同的混合编码框架，如图3所。H.265/HEVC的编码框架如图4所示。图3和图4比较，主要算法模块几乎相同。图4的H.265/HEVC编码模块相比图5的H.264/AVC编码模块有多出几个几个算法模块，同时即便是名字相同的算法模块，比如帧内预测、运动估计、变换与反变换、去块滤波器，其中的算法细节已经进行了许多优化，大不相同。

虽然H.265/HEVC的编码框架没有发生本质变化，但是其编码效率确取得了显著提升。着重选择几个主要算法提升点说明如下：

▲图3 混合编码框架图

▲图4 H.265/HEVC编码器框架图

▲图5 H.264/AVC编码框架图

相比于以前的视频编码器的最大编码图像块/编码树单元）为16×16，H.265/HEVC把最大编码图像块提升到64×64。之所以这么大是因为对高清、超高清视频来讲，平坦区域无纹理更大，使用更大尺寸的编码图像块，相比于把平坦区域无纹理区域划分为16×16的块进行编码，更能节省比特数。同时相比于与H.264/AVC帧内预测对编码图像块对称性划分(如图6所示)，H.265/HEVC的帧内预测（如图7所示）对最大编码图像块的划分模式更加丰富，同时对一个最大编码图像块的二叉树分割深度可以图像块的具体纹理细节随意分割。同时H.265/HEVC使用多大33种帧内预测模式（如图8所示），所示其I帧的编码效率很高，兼容Main Still Picture框架的H.265/HEVC图片其编码效率相比JPEG提高一倍，相比JPEG200提高20%，图表1所示。

▲图6 H.264/AVC 帧内预测块划分模式

▲图7 H.265/HEVC的帧内预测块划分模式

▲图8 H.265/HEVC 33种帧内预测模式

表1 H.265/HEVC图片格式在相同PSNR/MOS下的比特率降低量

SAO：即样点自适应偏移滤波器，SAO是H.265/HEVC编码标准中新增的一项重要压缩技术。如图4中的H.265/HEVC编码框架图所示，SAO位于去块滤波器deblocking filter之后，如图9所示(a)。图像经过压缩和解码后，精度都会损失，通过计算去块滤波器之后重构YUV数据和原始YUV数据之间的差值决定压缩码流的信噪比（PSNR），信噪比越小说明去块滤波重构YUV越偏离原始YUV图像，解码重构图像的主观质量越低。所以最直观的想法就是要想提高信噪比，就必须把去块滤波之后的重构YUV数据和原始YUV数据中每个相同像素位置的像素值的差值进行编码，把这个差值放入码流中传输到解码器，解码器去块滤波器输出的YUV数据再把这个差值叠加上去，进一步得到的重构YUV数据就会更加接近原始YUV数据，信噪比会更高，解码图像的主观效果更好。

▲图9 SAO滤波器框图

并行处理工具：tile和WPP。在H.265/HEVC之前的视频编解码标准中，对图像中的图像块，总是以光栅扫描顺序进行的，即上一行的图像块从首个块开始，从左到右依次编码，到达最后一个图像块后，然后继续从下一行的左边首个图像块开始，从左到右依次编码。在视频图像码流中，当前图像块的码流比特解码，必须依赖于之前图像块的码流解码结果。

H.265/HEVC主要面向于高清和超高清分辨率视频图像编解码。对于大分辨率图像编解码，传统的CPU或者编解码芯片来说，使用单颗加速引擎完成整个图像的编码或者解码时间太久，同时现在的硬件平台大都是多核的，所以有必要在设计H.265/HEVC码流时，在码流层面就可以实现并行处理能力。

如图10所示，左边是把图片进行水平等分切割和竖直等分切割，每个区域称为一个tile，每个tile边界处的图像块之间没有依赖关系，这样如图10左边图像划分为6个tile，则可以使用6个线程同步编码或者同步解码。图10右边则打破每个图像块行的最末图像块和下个图像块行首个图像块熵码流的概率依赖关系，这样每个图像块行就可以同步编码或者同步解码。图10的左右两种同步工具一起使用的话，对一个高清或者超高清图像，实际每个线程，或者每个加速引擎处理的只是几分之一的的图像，整幅图像的编码、解码时间大大缩短，达到实时要求。

▲图10 并行处理工具

H.265/HEVC专利风险

▲图11 H.265/HEVC的专利池分布图（截止2018）

目前已知的H.265/HEVC的专利持有人情况如图6所示：共有43家公司持有H.265/HEVC专利，其中17家公司在MPEG-LA专利池中，8家公司在HEVC Advance专利池中，5家公司在Velos Media专利池中，2家公司同时加入了MPEG-LA和HEVC Advance专利池，还有15家公司没有加入任何专利池。MPEG LA和HEVC Advance已发布H.265/HEVC的专利权使用费和许可政策，Velos Media, Technicolor和另外14家公司暂时没有公布自己的收费政策。

HEVC Adavance

HEVC Advance成立于2015年3月份，由杜比、飞利浦、三菱、通用电气、Technicolor等公司组建，声称拥有500多项H.265/HEVC技术专利。后来Technicolor公司因自身原因脱离HEVC Advance，独立授权。经过多次修订后，HEVC Advance现行的H.265/HEVC许可费率和结构如下：

▲图12 标准的设备抓力使用费率

MPEG LA

MPEG LA公司是全球领先的各种标准和其他技术平台的一站式许可证提供商，从20世纪90年代开始就开创了现代专利池，上一代应用最广泛的标准H.264也是由该公司来提供许可授权的。

总之，MPEG LA的许可政策一直都比较稳定，每次更新都只更新了许可人信息，许可费率并未改动。HEVC Advance自成立以来对许可框架已经进行了至少3次大的调整。从目前的许可费率来看，对于设备制造商，在合规的情况下，专利封顶年费在6500万美元左右；如果不合规，则执行标准费率，无封顶年费。

此外，还有大量的专利持有人公司没有加入到任何专利池，也没有公布自己的许可政策，后续还会不会出现另外的针对H.265/HEVC的专利池，只能拭目以待。同时在国外还存在一些所谓的专利流氓公司，专门针对海外销售的产品打专利官司索要钱财，这也是一个很大的风险，尤其现在国内的视频监控厂家把大量的IPC和NVR等产品销售到海外市场。