一种优化的多视点视频编码预测结构

袁梅冷，杨 张，2a，雷海军

(1.深圳职业技术学院，广东 深圳 518055；2.深圳大学 a.信息工程学院；b.计算机与软件学院；c.广东省普及型高性能计算机重点实验室；

一种优化的多视点视频编码预测结构

袁梅冷1，杨 张1，2a，雷海军2b，2c，2d

(1.深圳职业技术学院，广东 深圳 518055；2.深圳大学 a.信息工程学院；b.计算机与软件学院；c.广东省普及型高性能计算机重点实验室；

d.深圳市服务计算与应用重点实验室，广东 深圳 518060)

首先分析了JMVC的参考预测结构，利用1个GoP(Group of Picture)中不同时间层上的帧与其参考帧之间的相关度不同和不同时间层上的帧数目也不同的特点，提出了去除奇数视点最高和次高时间层的视点间预测，并增加偶数视点非关键帧的最低和次低时间层的视点间预测的预测结构。实验结果表明，提出的预测结构基本不影响视频质量，且表现出了更加出色的编码效率，编码的复杂度减少幅度高达15%，输出码率也有所减少，较好地改善了编码的实时性能。

多视点视频编码；参考帧；预测结构；编码复杂度

2d.ShenzhenKeyLaboratoryofServiceComputingandApplicationinShenzhen，ShenzhenUniversityShenzhen518060，China)

当前主流的视频编码标准均采用预测编码结构，所以一个好的预测结构对提高视频编解码效率起着至关重要的作用。预测结构设计的合理与否不仅会影响视频的质量、压缩性能，还会影响随机读取性能、快速解码性能、可伸缩性和可并行性等，所以本文将对预测编码结构进行重点研究。

为了提高视频压缩效率，设计出性能优良的预测结构是很有必要的，优良的预测结构能有效去除时域、空域和各视点间的冗余信息。现阶段，主流的预测结构有顺序预测结构、GoP 预测结构、优化改进的预测结构、分层B帧预测结构和最小代价树结构[1-3]。为提高视频帧的随机访问性能，日本的NTT 实验室通过设置Inter GoP多个参考帧的策略，提出了GoP预测结构[1]，但是该预测结构采用了多个I帧预测编码，因而存在编码效率不高且计算复杂度高等缺点。顺序预测结构[2]通过使用多参考帧的顺序预测，有效地减少了相邻帧和相邻视点间的冗余信息，与GoP预测结构相比，顺序预测结构的编码效率相对较高，但是随机访问性能较差，且易导致误差累积和错误传递等问题。德国HHI研究所的Merkle等人根据多视点视频在时间和视点方向上的相关性设计了4种MVC预测结构：SIMULCAST，KS_IPP，KS_IBP，HBP[3]。对这4种预测结构的研究结果表明，被选为宏块最佳参考帧次数最多的方向依次为：时间方向、视点方向、时域和视点间混合方向，使用视点间预测与没有使用视点间预测的情况相比，编码率失真性能有明显提高。由于混合方向预测结构对率失真性能的提高作用不大，且选用多个参考帧会增加帧间预测的计算复杂度，因而多视点编码预测结构只选用时间方向和视点方向的参考帧。后续Merkle等人又提出了两种利用视点间相关性的预测结构，分别是AS_IPP结构和AS_IBP结构，与KS_IPP和KS_IBP预测结构比较，区别在于在非锚时刻的不同视点间是否有参考关系，前者有，而后者没有。大量实验结果表明，基于分层B帧的时域预测和视点间预测相结合的编码预测结构HBP具有较高的编码效率，因此多视点视频编码选用这两种预测结构作为参考预测结构[4]。

近年来，国内外众多学者对MVC参考预测结构进行了优化和改进。文献[5]提出了一种最小生成树预测结构，该预测结构的PSNR有一定的提高。文献[6]利用基本视点的编码信息在增强层视点的非关键帧使用双向视点间预测，选择最佳的预测方向，减少了编码复杂度，但是这种预测结构由于引入了非关键帧双向视点间预测，提高的编码效率有限。文献[7-9]深入研究了多视点视频编码中各视点在时间和空间上的预测关系，统计出多视点视频序列，提出优化策略降低计算复杂度，提高编码效率。

1 多视点视频编码预测结构

1.1 分层B帧预测结构

分层B帧预测结构由德国HHI实验室提出，具有良好的编码性能，因而被JVT选作多视点视频测试软件JMVC的参考预测结构。多视点视频编码的帧类型与传统的单路视频一样，包括I帧、P帧和B帧三种类型，它们分别采用帧内预测、单向帧间预测和双向帧间预测方式进行编码。图1给出了GoP=12的分层B帧预测结构的时间分层示意图，从中可以看出分层次B帧预测结构中，包含了一个关键帧(通常为I帧或P帧)和若干个B帧[10]。图像按照当前帧与其时间参考帧的时间间隔长短分成不同的时间层(Temporal Layer，TL)，不同颜色的B帧处于不同时间层上，处于低时间层上的B帧可以使用较高时间层上的已编码帧做参考。假设关键帧图像的时间层最高，设为TL=0，1个GoP=12的分组长度内B帧可分成4个层次，那么T6为B1，处于时间层TL=1上，水平方向参考帧为T0和T12；T3和T9为B2，处于时间层TL=2上，水平方向参考帧分别为T0、T6和T12和T6；时间层TL=3和TL=4的图像及其参考关系依次类推。

图1 GoP=12分层B帧预测结构示意图

由于在分层次的预测结构中图像编码顺序和显示顺序是独立的，关键帧的编码顺序和显示顺序相同，非关键帧按照其所处的时间层顺序从低至高进行编码，显示则按照实际的图像顺序进行显示。

2 JMVC参考预测结构分析和改进

2.1 JMVC参考预测结构分析

JMVC的预测结构使用的是Hierarchical B预测结构，与Simulcast结构的MVC编码方案相比，JMVC采用的Hierarchical B预测结构的编码性能显著提升，是因为在非基本视点的I/P帧引入了视点间预测编码，以及对非关键帧B帧也进行相邻视点间预测。但它通过增加视点间预测来提高编码效率的同时，也相应增大了编码复杂度，降低了随机访问性能等，因此，有必要对JMVC 的预测结构进行优化。

由图1给出了的分层B帧时间分级示意图可知，不同时间层上的非关键帧与参考帧之间的间隔是有差别，时间层TL值越大，它们的时间间隔越短。同时由图1也容易看出，不同时间层上图像的数目也是不一样的。当GoP=12时，TLmax=4，TL值为4，3，2，1，0的图像数目分别为4，4，2，1，1。TL=3和TL=4的图像数目比例各占有33%，二者加起来共占到总的图像数目的66%。对于分层B帧结构而言，TL的值越大，当前编码帧与参考帧的间隔越短，时间相关性就越强。而对于视点间预测，由于录制多视点视频的各摄像头间距离保持不变，因此当前编码帧与相邻视点之间的参考关系也保持不变，不会跟随时间层的变化而改变。表1给出了最佳参考图像在不同时间层的分布情况。

表1 最佳参考帧的分布情况

从表1可以看出，Ballroom和Exit两个序列75%以上的编码最佳参考图像来自时间参考帧，随着TL的增加，时间参考的比例越来越大，视点间参考的比例随之减小。当TL=4时，时间参考比例达到了90%以上，视点间参考的比例小于10%，而Exit序列选用视点间参考的比例接近零，像此类情况便可只进行时间预测，从而减少编码时间。

2.2 参考预测结构优化

从上节分析可知，一个GoP中不同时间层上的帧与其参考帧之间的相关度是不同的，TL值越大，在时间方向上当前编码帧与参考帧的间隔越小，它们之间的相关性越强，这时时间预测的准确性就越高；不同时间层上图像的数目也是不一样的，TL值越大，图像数目越多。在设计预测结构时若能有效地利用这两种差异，就能够提高多视点视频的编码性能。据此，本文提出了如图2所示的预测结构。

图2 改进的预测结构图

由图2知，对B视点时间层为TL=3和TL=4的帧，其时间相关性很强，图像数目占的比例高达66%，如不采用视点间预测，仅采用时间预测的改进预测结构，可以较好地降低计算复杂度，提高随机访问性能。

通过Hierarchical B预测结构图示分析可知，偶数视点在垂直方向上仅加入了关键帧的视点间参考，对非关键帧只有水平方向上时间预测，视点间的相关性也没有达到充分的利用。为了减轻对预测结构的简化带来的编码效率下降，在此基础上，对所有P视点的非关键帧时间层TL=1和TL=2增加视点间的预测，即参考上一个I/P视点同一时刻的图像。由于时间层TL=1和TL=2上的图像会作为B视点的视点间参考，如果将P视点在两个时间层上的图像预测精度提高，则可以减少B视点累积误差，这将在一定程度上提高编码效率。而且TL=1和TL=2上的图像数目比例只占25%，小于TL=3和TL=4上的图像数目比例66%，不会增加太大的编码复杂度。

3 实验仿真及结果分析

3.1 实验条件配置

本文实验的视频序列采用了经典的Ballroom和Exit序列，由MERL机构提供，测试条件配置如表2所示。本文采用的多视点视频编码软件测试平台是JMVC8.5，实验平台为Win864位操作系统，主机的配置是：内存4Gbyte，Intel(R) Core(TM)i3-3227U CPU @1.90GHz。

表2 测试条件配置表

3.2 实验结果及分析

表3和表4分别给出了优化预测结构(A)与JMVC参考预测结构的编码效率和编码复杂度比较数据。

图3为测试序列的率失真曲线，其中JMVC表示MVC参考预测结构，本文算法表示优化后的预测结构。由表3、表4和图3可以看出，对BallRoom序列无论在码率、峰值信噪比，还是在编码复杂度，优化后的预测结构都明显要优于参考预测结构，其中码率降低了约2%，峰值信噪比提升了0.002 7～0.0063dB，编码时间减少了5.23%～15.61%。而对Exit序列，优化后的预测结构与参考预测结构相比，在峰值信噪比降低幅度非常小的情况下获得了较好的码率和编码复杂度，其中峰值信噪比减少幅度不超过0.005dB，码率降低了0.6%～0.8%，编码时间减少了10.75%～14.19%。

表3 编码效率对比

表4 编码复杂度对比

图3 率失真曲线对比图

4 小结

本文分析了多视点视频编码标准的分层B帧预测结构，介绍了常见的预测结构SIMULCAST，KS_IPP，KS_IBP和Hierarchical_IBP，并提出了一种优化的预测结构。在多视点视频编码测试平台下，使用MERL机构提供的两个视频序列Ballroom和Exit进行实验测试，并对比分析了优化的预测结构和JMVC参考预测结构在编码时间、峰值信噪比和码率方面的性能。实验结果表明：优化后的预测结构表现出了更加出色的编码效率，编码的复杂度减少幅度高达15%，较好地改善了编码的实时性能。

[1]ISO/IEC JTC1/SC29/WG11，Subjective test results for the CfP on multi-view video coding[S].2006.

[2]ISO/IEC JTC1/SC29/WG11，Survey of algorithms used for MVC[S].2005.

[3]MERKLE P，SMOLIC A，MULLER K，et al..Effieient Prediction structures for multiview video coding[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17(11)：1461-1473.

[4]ISO/IEC JTC1/SC29/WG11，Requirements on multi-view video coding[S].2005.

[5]LI D X，ZHENG W，XIE X H，et al.Optimizing inter-view prediction structure for multiview video coding with minimum spanning tree[J].Electronics Letters，2007，43(23)：1269-1271.

[6]LIN J P，TANG A C W.A fast direction predictor of inter frame prediction for multi-view video coding[C]//Proc.IEEE International Symposium on Circuits and Systems(ISCAS).[S.l.]：IEEE Press，2009：2589-2592.

[7]OH K J，HO Y S.Multi-view video coding based on the lattice-like pyramid GoP structure[C]//Proc.Picture Coding Symp.，PCS 2006.Beijing，China：IEEE Press，2006：127-131.[8]CHENG X，SUN L，YANG S.A multiview video coding scheme using shared key frames for high interactive application[C]//Proc.Picture Coding Symp.，PCS 2006.Beijing，China：IEEE Press，2006：251-254.[9]YANG Y，JIANG G，YU M，et al.Hyper-space based multiview video coding scheme for free viewpoint television[C]//Proc.Picture Coding Symp.，PCS 2006.Beijing，China：IEEE Press，2006：169-174.

[10]黄俊钧.多视点视频编码预测结构评估与立体视频编码器优化[D].杭州：浙江大学，2012.

袁梅冷，硕士，副教授，主要研究方向为计算机应用；

杨 张，博士生，助理研究员，主要研究方向为信号处理、智能计算；

雷海军，博士后，副教授，研究领域为为图像处理、嵌入式系统、并行计算等。

责任编辑：时 雯

Research and Improvement of Prediction Structure on Multi-view Coding

YUAN Meileng1，YANG Zhang1，2a，LEI Haijun2b，2c，2d

(1．ShenzhenPolytechnic，Shenzhen518055，China；2a．CollegeofInformationEngineering；2b．CollegeofComputerScience&SoftwareEngineering；2c.GuangdongKeyLaboratoryofPopularHighPerformanceComputer；

JMVC reference prediction structure is analyzed in this paper.In a Group of Picture (GoP)，the correlation between the reference frame and different time’s layer frame is different，and the number of frames on the different time’s layer is also different.These characteristics are used to adjust the MVC prediction structure by adding some inter-view prediction in even views and removing some inter-view prediction in odd views.Experimental results show that the proposed prediction structure of the multi-view video almost does not influence the quality，showing a more excellent coding efficiency，reducing the complexity of coding as much as 15%，output rate also is decreased，and the better time performance in encoding.

MVC；reference frames； prediction Structure； complexity of coding

【本文献信息】袁梅冷，杨张，雷海军.一种优化的多视点视频编码预测结构[J].电视技术,2015，39(3).

国家自然科学基金广东联合重点项目(U1301252)；国家“863”计划项目(2012AA01A309)；广东省部产学研项目(2012B091100495)；深圳市战略性新兴产业发展专项资金项目(JCYJ20120613113419607)；深圳大学重点项目(2213k3190007)

TN919.81

A

10.16280/j.videoe.2015.03.007

2014-01-28