面向３６０°全景视频的帧内预测编码的快速算法

摘 要：为了节省３６０°全景视频的编码时间，对通用视频编码标准中的编码单元划分决策过程进行了研究，提出了一种面向３６０°全景视频的帧内预测编码的快速算法。通过优化编码树单元（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ，ＣＴＵ） 的编码深度范围和编码单元的划分模式的选择过程，减少编码时间。实验结果表明，在全帧内模式下，所提算法比原始算法平均可以节省３４． ３３％ 的时间复杂度，同时带来的ＢＤＢＲ 平均增量仅为１． ６６５％ ，ＢＤＰＳＮＲ 的平均降低量仅为０． ０７６ ｄＢ。

关键词：通用视频编码；３６０°全景视频；帧内编码；快速算法

中图分类号：ＴＰ７５１． １ 文献标志码：Ａ 开放科学（资源服务）标识码（ＯＳＩＤ）：

文章编号：１００３－３１０６（２０２４）０５－１０７４－０９

０ 引言

在通信技术和数字技术的推动下，普通二维视频和标清视频已无法满足人们日益增长的视频需求，视频应用的多样性和高清化的趋势对视频编码性能提出了更高的要求［１］。为此，国际电信联盟电信标准化部门（Ｉｎｔｅｒｎａｔｉｏｎａｌ ＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎ-Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ，ＩＴＵ-Ｔ）与国际标准化组织（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒＳｔａｎｄａｒｄｉｚａｔｉｏｎ，ＩＳＯ）和国际电工委员会会（Ｉｎｔｅｒｎａ-ｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ，ＩＥＣ ）合作，于２０２０ 年７ 月正式发布了最新的视频编码标准，即通用视频编码（Ｈ． ２６６ ／ ＶＶＣ）标准［２］，为已有和新兴的视频应用（如３６０°全景视频）提供更加强大的压缩性能及更加灵活易用的功能［３］。

３６０°全景视频是一种包含全方位视觉信息的球体视频，具有高帧率、高分辨率和高位深等特点［４］，能够给人们带来更真实、更鲜活、更丰富的体验感，但与此同时，也使得视频数据量成倍增长，需要花费的编码时间大大增加，影响了３６０°全景视频在实时性场景中的应用［５］。此外，由于目前尚不支持对３６０°全景视频直接进行编码，需要将３６０°全景视频的球面图像投影成二维平面图像，然后利用传统的视频编码标准框架来完成剩余的编码工作［６］。因此，面向３６０°全景视频的快速编码算法需在视频编码标准的基础上进行研究。

Ｗａｎｇ 等［７］在高效视频编码（Ｈ． ２６５ ／ ＨＥＶＣ）标准的基础上结合等矩形投影（Ｅｑｕｉ-Ｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ，ＥＲＰ）格式的视频特点，利用深度信息和空间相关性对最可能模式（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ，ＭＰＭ）过程进行了优化，减少了帧内预测模式中候选模式的数量，并利用相邻预测单元（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ，ＰＵ）的深度信息和绝对变换差之和（Ｓｕｍ ｏｆ ＡｂｓｏｌｕｔｅＴｒａｎｓｆｏｒｍ Ｄｉｆｆｅｒｅｎｃｅ，ＳＡＴＤ）的相关性，提出了一种对ＰＵ 提前跳过和终止划分的操作算法。Ｗａｎｇ等［８］分析了ＥＲＰ 格式的采样密度的特点，基于ＨＥＶＣ 标准提出去除一些大于编号１８ 的冗余角度模式，并扩展小于编号１８ 的角度模式，同时修改了最可能模式的推导方法，实现了针对ＥＲＰ 格式视频的帧内角度模式的快速算法。Ｌｉｕ 等［９］基于ＨＥＶＣ标准对立方体投影格式下ＶＲ ３６０°视频编码的编码参数进行统计分析，提出了一种基于粗略模式决策（Ｒｏｕｇｈ Ｍｏｄｅ Ｄｅｃｉｓｉｏｎ，ＲＭＤ）和ＭＰＭ 之间的候选模式修剪方法。Ｌｉｎ 等［１０］通过分析ＥＲＰ 格式的纬度特性对ＨＥＶＣ 标准中的帧内模式决策的影响，考虑了帧内依赖关系和率失真模型，将全局复杂度分配到所有纬度区域的问题公式化，提出了一种基于纬度的帧内编码复杂度优化算法。Ｂｅｌｉｎｇ 等［１１］利用ＥＲＰ 格式的拉伸模型，提出在ＨＥＶＣ 标准的帧内编码树单元（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ，ＣＴＵ）划分过程中进行自适应地提前终止。Ｚｈａｎｇ 等［１２］在ＨＥＶＣ 标准的基础上，根据ＥＲＰ 过程中的像素坐标进行自适应修正量化参数补偿，并基于深度范围和空间相关性预测实现ＣＵ 划分的提前终止，以及采用ｐｒｅｗｉｔｔ 算子自适应模式选择算法来减少编码时间。Ｓｔｏｒｃｈ等［１３］利用３６０°全景视频的空间特性，通过减少基于帧区域评估帧内预测模式的数量，提出一种自适应的编码帧区域的评估技术。

综上可知，面向３６０°全景视频提出的帧内预测编码的快速算法都基于ＨＥＶＣ 标准，目前针对３６０°全景视频基于最新一代的视频编码标准ＶＶＣ 的研究正处于初始阶段。因此，借鉴前人工作，本文在ＶＶＣ 标准的基础上，结合３６０°全景视频在ＥＲＰ 格式映射过程中采样不均匀的特点，从ＣＴＵ 编码深度和ＣＵ 划分模式两方面出发，提出面向３６０°全景视频的帧内预测编码的快速算法。

１ ＶＶＣ 标准ＣＵ 划分模式

ＣＵ 划分模式是指对ＣＵ 进行分割的方式。根据不同类型的视频内容选择不同的划分模式可以提高视频的编码效率和预测精度。因此，为了满足高清、超高清等新兴视频的编码需求，ＶＶＣ 标准不仅将ＣＴＵ 尺寸扩展为１２８ × １２８，还提供了更灵活的ＣＵ 划分模式［１４］。

在ＶＶＣ 标准中，共有６ 种ＣＵ 划分模式，分别是四叉树（Ｑｕａｄ Ｔｒｅｅ，ＱＴ）、水平二叉树（ＨｏｒｉｚｏｎｔａｌＢｉｎａｒｙ-ｔｒｅｅ，ＢＨ）、垂直二叉树（Ｖｅｒｔｉｃａｌ Ｂｉｎａｒｙｔｒｅｅ，ＢＶ）、水平三叉树（Ｈｏｒｉｚｏｎｔａｌ Ｔｅｒｎａｒｙ-ｔｒｅｅ，ＴＨ）、垂直三叉树（Ｖｅｒｔｉｃａｌ Ｔｅｒｎａｒｙ-ｔｒｅｅ，ＴＶ）和不划分。其中，ＢＨ和ＢＶ 统称为二叉树，是将一个ＣＵ 分成２ 个大小相等的子ＣＵ；ＴＨ 和ＴＶ 统称为三叉树，是在水平或垂直方向产生３ 个比例为１ ∶ ２ ∶ １ 的子ＣＵ［１５］，如图１ 所示。

确定ＣＴＵ 内部最优ＣＵ 划分模式的判别过程是递归过程，ＶＶＣ 在递归划分ＣＵ 时需要依次计算采用不划分、ＱＴ 划分、ＰＨ 划分、ＢＶ 划分、ＴＨ 划分和ＴＶ 划分的率失真代价（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｓｔ，ＲＤ-ｃｏｓｔ），并选择ＲＤ-ｃｏｓｔ 最小的划分模式作为最优的划分方式。通过ＣＵ 划分模式判别，一帧视频图像会被划分为多个能够覆盖全帧且不重叠的ＣＴＵ，并将每个ＣＴＵ 作为根节点，再执行递归划分操作，得到多个ＣＵ。一个ＣＴＵ 通过递归划分为多个ＣＵ 的示例如图２ 所示，其中，图２ （ａ）展示了ＶＶＣ 标准中某个大小为１２８ ×１２８ 的ＣＴＵ 在经历复杂的帧内预测和划分模式等过程后根据ＲＤ-ｃｏｓｔ 选出的最优划分结果；图２ （ｂ）是对应于图２（ａ）的ＣＵ 划分结构的树形图，其中，黑线表示ＱＴ 划分，蓝色线表示ＢＴ 划分，黄色线表示ＴＴ划分。

２ 提出的算法

该算法首先利用ＥＲＰ 格式的采样特点、ＣＴＵ 的纹理复杂度以及空间相关性，对编码深度范围进行优化，以实现ＣＵ 划分过程中的提前终止；然后，针对大小为３２×３２ 的ＣＵ 利用纹理方向信息，优化ＣＵ的划分模式的选择过程，以进一步实现对ＣＵ 划分过程的简化操作。

２． １ 基于纬度的ＣＴＵ 深度决策方法

３６０°全景视频在映射为ＥＲＰ 格式的过程中，为了保证球面采样的等角特性，在不同纬度区域均采用了相同的采样点［１６］，造成３６０°全景视频在球面不同纬度区域存在不同程度的拉伸。这导致采用传统的视频编码方法对３６０°全景视频压缩效果并不理想，需要在传统视频编码的基础上，针对其特点进行编码优化。因此对ＥＲＰ 格式的３６０°全景视频进行分析总结：越靠近两极，拉伸程度越重，采样率越高，且视频内容常为天空或大地，编码深度较小，编码块较大；越靠近赤道，拉伸程度越轻，采样率越低，且视频内容越丰富，编码深度较大，编码块较小；对于中间区域，情况较复杂，无法直接判定出编码块大小，但此区域的图像内容通常较为复杂，应兼顾深度较小和深度较大的情况。

基于上述分析，提出对ＥＲＰ 格式的３６０°全景视频进行区域划分，通过ＣＴＵ 所处区域判定其编码深度的范围。首先，将ＥＲＰ 格式的整幅图像划分为３ 个区域，分别是两极区域、赤道区域以及中间区域；然后，以ＣＴＵ 的权重值作为判断当前ＣＴＵ 所处区域的依据。

获取权重值的思想是以ＣＴＵ 为基本单元，计算每一行像素的权重值，再将其求和并取平均，最终得到的值即为该ＣＴＵ 的权重值。其中，每一行权重值ｗｊ 的计算方法如式（１）所示，ｊ 为每个ＣＴＵ 最左侧一列像素的纵坐标，Ｈ 为视频帧的高度；第ｉ 个ＣＴＵ 的权重值ωｉ 的计算方法如式（２）所示，ＣＴＵＨ为ＣＴＵ 的高度。

通过大量实验得出ωｉ 取０． ４、０． ９ 作为３ 种区域的阈值时，可以在编码效率和编码质量之间取得较好的平衡，则ＣＴＵ 所属区域如下：

式中：ＣＴＵｉ 表示第ｉ 个ＣＴＵ，ＰＯＬＥ、ＭＩＤ、ＥＱＵＡ 分别表示ＣＴＵ 所处的区域为两极区域、中间区域和赤道区域。

在ＶＶＣ 标准中，ＣＴＵ 默认的最大编码深度为６，最小为０。因此，将两极区域的编码深度设置为Ｄ１ ＝ ［０，４］，中间区域的编码深度设置为Ｄ２ ＝ ［２，５］，赤道区域的编码深度设置为Ｄ３ ＝ ［３，６］。由于每个ＣＴＵ 必然会有一个区域与之相对应，因此将ＣＴＵ 所属区域的编码深度区间作为当前ＣＴＵ 的编码深度区间，则每个ＣＴＵ 的深度ＤＮ１ 可由式（４）确定：

２． ２ 基于方差的ＣＴＵ 深度决策方法

由于３６０°全景视频通常包含很多如天空、海平面或草地等形式的平坦区域，且经实验发现在平坦区域中判断纹理复杂度时采用方差法获得的结果较为准确，因此选用方差法计算每个ＣＴＵ 的纹理复杂度。具体计算方法如下：

式中：ｖａｒ 为方差值，（ｉ，ｊ）为当前ＣＴＵ 中的左上顶点像素的坐标值，ＣＵ＿Ｗ 和ＣＵ＿Ｈ 为最大ＣＵ 的宽度和高度。

根据每个视频的图像内容自适应地选择判断纹理复杂度的阈值，并根据视频序列的帧率进行更新阈值。将ＣＴＵ 根据纹理复杂程度区分为３ 类，分别为简单ＣＴＵ、一般ＣＴＵ 和复杂ＣＴＵ。当ＣＴＵ 的方差高于上阈值（Ｔｔ）时，可以判定该ＣＴＵ 具有丰富的图像细节，可直接计算小尺寸ＣＵ 的ＲＤ-ｃｏｓｔ 值，而不考虑适用于简单纹理的大尺寸ＣＵ；当ＣＴＵ 的方差值低于下阈值（Ｔｌ）时，判定该ＣＴＵ 位于图像平滑区域，此时可以终止ＣＴＵ 递归到更高的编码深度，跳过对划分结构复杂和编码深度较大的ＣＵ 进行ＲＤ-ｃｏｓｔ 值的计算。

具体算法是首先将视频序列分为原始算法帧和算法优化帧，间隔为当前视频的帧率值；然后，在原始算法帧中，按照ＶＶＣ 标准的帧内预测的原始算法进行编码，并在编码完成后，计算所有ＣＴＵ 的方差值以及存储各个ＣＴＵ 内所有ＣＵ 的深度值；最后，在算法优化帧中，去除相同的方差值，并在计算上阈值时，将去重后的方差值按照从小到大的顺序进行排列，表示为［ＮＰｍｉｎ，ＮＰｍａｘ ］，而在计算下阈值时，将去重后的方差值按照从大到小的顺序进行排列，表示为［ＮＰｍａｘ，ＮＰｍｉｎ］。

获取上阈值的方法是首先遍历［ＮＰｍｉｎ，ＮＰｍａｘ ］，以当前ＮＰ 作为上阈值，统计满足所有ＣＴＵ 的方差值大于等于当前ＣＴＵ 的方差值且当前ＣＴＵ 内的ＣＵ深度大于２ 的ＣＵ 个数，以及不满足的ＣＵ 个数，从而计算当前ＮＰ 的划分准确率Ａ。Ａ 的计算如式（６）所示。式中：Ｒ 为正确划分数，指满足条件的ＣＵ 个数；Ｅ 为错误划分数，指不满足条件的ＣＵ 个数。Ｒ 和Ｅ 的初始值均为０，在原始算法帧编码结束后，根据式（７）和式（８）计算上阈值的Ｒ 和Ｅ。

获取下阈值的方法和上阈值的相类似。不同之处是遍历［ＮＰｍａｘ，ＮＰｍｉｎ ］，以当前ＮＰ 作为下阈值，统计满足所有ＣＴＵ 的方差值小于等于当前ＣＴＵ 的方差值且当前ＣＴＵ 内的ＣＵ 深度小于５ 的ＣＵ 个数，以及不满足的ＣＵ 个数。

当Ａ 首次满足准确率的条件时，终止遍历，并选取当前的ＮＰ 的值为新的阈值，直到下一原始算法帧，重新计算ＮＰ 。为了权衡编码时间和视频质量，在产生尽可能少的失真的同时，可以最大程度地节省编码时间，本文通过大量实验总结得出不同ＱＰ下的划分准确率的条件，如表１ 所示。

将简单ＣＴＵ 的编码深度设置为Ｄ４ ＝ ［０，４］，复杂ＣＴＵ 的编码深度设置为Ｄ５ ＝ ［３，６］，不更改一般ＣＴＵ 的编码深度区间，则此时各个ＣＴＵ 的编码深度区间可以通过式（９）确定。

式中：Ｄ４ 、Ｄ５ 为前文所定义的区间，ＤＮ２ 为当前ＣＴＵ的编码深度区间，ＳＩＭＰＬＥ、ＧＥＮＥＲＡＬ 和ＣＯＭＰＬＥＸ分别为简单ＣＴＵ、一般ＣＴＵ 和复杂ＣＴＵ。

２． ３ 基于空间相关性的ＣＴＵ 深度决策方法

由于同一帧中的空间相邻ＣＵ 通常具有相同或相似的纹理，故编码深度具有较强的空间相关性。在ＶＶＣ 标准中，帧内预测按照Ｚ 字形顺序对ＣＵ 进行编码，在对当前ＣＴＵ 进行编码时，其左侧相邻的ＣＴＵ 与上方相邻的ＣＴＵ 已经完成编码，因此可以利用这２ 个相邻ＣＴＵ 的深度信息预测当前ＣＴＵ 的编码深度范围，以进一步缩小当前ＣＴＵ 的编码深度范围，从而实现减少ＲＤｃｏｓｔ 的计算次数，缩短编码时间。

当左侧相邻的ＣＴＵ 与上方相邻的ＣＴＵ 的最大编码深度均小于等于５，且当前ＣＴＵ 的最大编码深度大于４ 时，将当前ＣＴＵ 的最大编码深度减１，最小编码深度不变；而当左侧相邻的ＣＴＵ 与上方相邻的ＣＴＵ 的最小编码深度均大于等于３，且当前ＣＴＵ 的最小编码深度小于４ 时，将当前ＣＴＵ 的最小编码深度加１，最大编码深度不变。此时各个ＣＴＵ 的编码深度区间表示方法如下：

式中：ＤＮ３ 为当前ＣＴＵ 的编码深度区间，Ｄｌ＿ｍａｘ和Ｄａ＿ｍａｘ 分别为左侧和上方相邻ＣＴＵ 的最大编码深度，Ｄｌ＿ｍｉｎ 和Ｄａ＿ｍｉｎ 分别为左侧和上方相邻ＣＴＵ 的最小编码深度，ｏｔｈｅｒ 为除上述条件外的其他情况。

２． ４ 基于梯度的ＣＵ 划分模式决策方法

鉴于最大二叉树尺寸和最大三叉树尺寸都是３２，且小ＣＵ 不会占用太多编码时间，因此针对大小为３２×３２ 的ＣＵ 做进一步优化。利用Ｓｏｂｅｌ 梯度算子提取出的边缘特征决定是否跳过垂直或水平划分模式。

Ｓｏｂｅｌ 算子使用２ 个３×３ 的卷积核，分别对图像进行水平和垂直方向的卷积运算。值得注意的是Ｓｏｂｅｌ 算子在卷积运算时，无法对最外一圈的像素值做运算，因此，在计算梯度前先对原始视频图像的最外圈进行像素值的填充。填充方法是对最顶行、最底行、最左列和最右列中的像素采用最近原则进行填充，即在需要填充像素值的位置使用距离最近的像素值进行填充，如图３ 所示，其中，Ｗ 和Ｈ 为原始视频大小的宽和高，阴影部分表示原始视频，白色部分为填充部分，每个小方块均代表一个像素。

由Ｓｏｂｅｌ 算子提取边缘特征，得到边缘图后，将在边缘图中坐标为（ｘ，ｙ）的像素值记录为ｓｏｂｅｌ（ｘ，ｙ）。如果ｓｏｂｅｌ（ｘ，ｙ）不等于０，则将ｓｏｂｅｌ（ｘ，ｙ）设为１，否则设为０；然后，使用ＶＥ 和ＨＥ 的比值来表示纹理方向的趋势是水平或垂直。

ＶＥ 和ＨＥ 的计算如下：

式中：ｖｅｉ 和ｈｅｉ 分别为ｙ ＝ ｉ 和ｘ ＝ ｉ 时ｓｏｂｅｌ（ｘ，ｙ）不为０ 的边缘点的数量，ＶＥ 为垂直方向上的边缘长度，ＨＥ 为水平方向上的边缘长度。

当ＶＥ／ＨＥ＞１ 时，说明该ＣＵ 内更多存在的是垂直方向上的纹理，更有可能采用垂直划分模式进行划分该ＣＵ，因而，提前跳过水平划分模式，即跳过ＢＨ 和ＴＨ 的划分方式；当ＨＥ／ＶＥ ＞１ 时，说明该ＣＵ 的水平方向的纹理趋势较强于垂直方向的纹理趋势，提前跳过垂直划分模式，即跳过ＢＶ 和ＴＶ 的划分方式。

综上所述，本文所提算法的流程如图４ 所示。判断３６０°全景视频的ＥＲＰ 格式视频序列的当前帧是否为算法优化帧。若当前帧不是算法优化帧，即为原始算法帧，采用ＶＶＣ 标准的原始算法。若当前帧为算法优化帧，则首先根据当前ＣＴＵ 的权重值ωｉ判断出当前ＣＴＵ 所处区域，初步确定当前ＣＴＵ 的深度范围为ＤＮ１ ；其次判断ＣＴＵ 的方差ｖａｒ 与下阈值（Ｔｌ）和上阈值（Ｔｔ ）的关系，从而判定出当前ＣＴＵ的纹理复杂度，得到当前ＣＴＵ 的深度范围为ＤＮ２ ；然后结合左侧相邻的ＣＴＵ、上方相邻的ＣＴＵ 和当前ＣＴＵ 的编码深度，进一步判断出当前ＣＴＵ 的深度范围为ＤＮ３ ；最后判断当前ＣＵ 尺寸是否为３２×３２，若是，则继续判断ＶＥ 和ＨＥ 之间的比值关系，并据此抉择出是否跳过垂直或水平划分模式，若否，则本文算法至此结束。

３ 实验结果

为验证本文方法的性能，将本文提出的算法在ＪＶＥＴ 提供的集成了３６０Ｌｉｂ 的官方参考软件３６０Ｌｉｂ１２． ０-ＶＴＭ１１． ０ 上进行测试。在全帧内模式和通用测试条件［１７］下对ＪＶＥＴ 推荐的３６０°全景视频序列进行测试。编码配置的量化参数ＱＰｓ 指定为｛２２，２７，３２，３７｝。采用被广泛认可的客观评价指标ＢＤＰＳＮＲ 和ＢＤＢＲ 来评价本文提出的算法的编码性能，同时，采用Ｔｉｍｅ Ｒｅｄｕｃｔｉｏｎ（ＴＲ）来表示编码器复杂度的降低［１８］，计算如下：

式中：ＴＶＴＭ１１． ０ 表示原始算法的ＶＶＣ 编码器所耗费的编码时间，ＴＰ 表示所提算法的ＶＶＣ 编码器所耗费的编码时间。

所提算法和原始算法的对比结果如表２ 所示。可以看出，相对于原始算法，所提算法在ＢＤＢＲ 平均增加１． ６６５％ 和ＢＤＰＳＮＲ 平均损失０． ０７６ ｄＢ 的前提下，编码时间平均缩减了３４． ３３％ 。在编码效率损失方面，所提算法的编码效率损失最低为０． ９２４％ ，最高为２． ２５６％ ；在时间节省方面，所提算法的时间节省最低为２５． ２１％ ，最高为４４． ５０％ ，平均为３４． ３３％ ，说明所提算法针对不同类型的视频序列均可以有效降低编码的计算复杂度，提升编码速度，并保证图像质量几乎不变。

为了更直观地表示编码器性能的损失，将所提算法与ＶＶＣ 原始算法的率失真曲线进行比较，如图５ 所示。与ＶＴＭ１１． ０ 标准算法相比，所提算法的率失真曲线和原始算法的率失真曲线非常接近。这表明对于不同分辨率大小且视频内容完全不同的测试序列，该算法对编码时间均有不同程度的缩减，都降低了编码复杂度，且视频质量损失可忽略不计。

人眼是视频信号的最终接收方，因此，除客观质量评价指标外，视频的主观质量评价也较为重要。由于ＱＰ 越大，视频质量越低，使得通过主观判断原始算法和本文所提算法之间的差异越困难，本文截取了ＰｏｌｅＶａｕｌｔ＿ｌｅ 测试序列在ＱＰ 为２２ 时的解码帧图像，如图６ 所示。从图６ 中的原始算法和本文所提算法的解码帧的对比图以及相对应的细节放大图中，可以看出天空、房屋、树木、人物及车辆等部分几乎完全一样。说明使用本文所提算法进行编解码的视频序列在视频质量方面所造成的影响微乎其微。

４ 结束语

为解决３６０°全景视频编码时间过长的问题，本文在ＶＶＣ 标准的基础上结合３６０°全景视频在ＥＲＰ格式映射过程中采样不均匀的特点，提出了一种面向３６０°全景视频的帧内预测编码的快速算法。该算法首先将视频划分为３ 个区域，根据ＣＴＵ 所处区域初步判定当前ＣＴＵ 的编码深度范围；然后，根据各个ＣＴＵ 的方差值和自适应更新的双阈值对每个ＣＴＵ 按照纹理复杂度进行分类，以进一步限制当前ＣＴＵ 的编码深度范围；最后，利用编码深度信息的空间相关性，将相邻ＣＴＵ 的深度范围作为参考，完成对当前ＣＴＵ 编码深度范围的最终决策。同时，针对大小为３２ ×３２ 的ＣＵ，利用纹理信息跳过垂直或水平划分模式，以优化ＣＵ 划分模式的选择过程。实验结果表明，与原始算法相比，在全帧内模式下，该算法有效简化了３６０°全景视频的帧内编码ＣＵ 划分决策过程，平均可以节省３４． ３３％ 的时间复杂度，同时带来的ＢＤＢＲ 平均增量仅为１． ６６５％ ，ＢＤＰＳＮＲ的平均降低量仅为０． ０７６ ｄＢ。在几乎不损失视频质量的情况下，所提算法降低了３６０°全景视频的编码复杂度，有效缩短了编码时间。

参考文献

［１］ 帅鑫，卿粼波，何小海，等． 一种基于卷积神经网络的ＶＶＣ 去压缩伪影半盲方法［Ｊ］． 无线电工程，２０２２，５２（１０）：１７０２－１７０９．

［２］ ＺＨＡＮＧ Ｈ Ｃ，ＹＵ Ｌ，ＬＩ Ｔ Ｓ，ｅｔ ａｌ． Ｆａｓｔ ＧＬＣＭｂａｓｅｄ ＩｎｔｒａＢｌｏｃｋ Ｐａｒｔｉｔｉｏｎ ｆｏｒ ＶＶＣ ［Ｃ］∥ ２０２１ Ｄａｔａ ＣｏｍｐｒｅｓｓｉｏｎＣｏｎｆｅｒｅｎｃｅ （ＤＣＣ）． Ｓｎｏｗｂｉｒｄ：ＩＥＥＥ，２０２１：３８２．

［３］ 万帅，霍俊彦，马彦卓，等． 新一代通用视频编码Ｈ．２６６ ／ ＶＶＣ：原理，标准与实现［Ｍ］． 北京：电子工业出版社，２０２２．

［４］ ＴＳＡＮＧ Ｓ Ｈ，ＣＨＡＮ Ｙ Ｌ． ３６０ｄｅｇｒｅｅ Ｉｎｔｒａ Ｃｏｄｉｎｇ Ｍｏｄｅｆｏｒ Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ Ｆｏｒｍａｔ Ｖｉｄｅｏｓ［Ｃ］∥２０２０ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＳＣＡＳ）． Ｓｅｖｉｌｌｅ：ＩＥＥＥ，２０２０：１－５．

［５］ 吴志强，郁梅，姜浩，等． 基于感兴趣区域的３６０° 全景视频编码［Ｊ］． 激光与光电子学进展，２０１８，５５ （６）：１９１－１９７．

［６］ ＨＥ Ｙ，ＶＩＳＨＷＡＮＡＴＨ Ｂ． ＡＨＧ８：Ａｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆＩｎｔｅｒｄｉｇｉｔａｌ’ｓ Ｐｒｏｊｅｃｔｉｏｎ Ｆｏｒｍａｔ Ｃｏｎｖｅｒｓｉｏｎ Ｔｏｏｌ （ＰＣＴ３６０）［Ｃ］∥Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ （ＪＶＥＴ）ｏｆ ＩＴＵＴ ＳＧ１６ ＷＰ ３ ａｎｄ ＩＳＯ／ ＩＥＣ ＪＴＣ １／ ＳＣ ２９／ ＷＧ １１． Ｃｈｅｎｇｄｕ：［ｓ．ｎ． ］，２０１６：５６０－５６９．

［７］ ＷＡＮＧ Ｙ Ｂ，ＬＩ Ｙ Ｍ，ＹＡＮＧ Ｄ Ｑ，ｅｔ ａｌ． Ａ Ｆａｓｔ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ３６０ｄｅｇｒｅｅ Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ ＰａｎｏｒａｍｉｃＶｉｄｅｏ［Ｃ］∥２０１７ ＩＥＥＥ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ ＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ （ＶＣＩＰ）． Ｓｔ． Ｐｅｔｅｒｓｂｕｒｇ：ＩＥＥＥ，２０１８：１－４．

［８］ ＷＡＮＧ Ｙ Ｂ，ＣＨＥＮ Ｚ Ｚ，ＬＩＵ Ｓ． ＥｑｕｉｒｅｃｔａｎｇｕｌａｒＰｒｏｊｅｃｔｉｏｎ Ｏｒｉｅｎｔｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ３６０ｄｅｇｒｅｅ ＶｉｄｅｏＣｏｄｉｎｇ［Ｃ］∥２０２０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＶＣＩＰ ）．Ｍａｃａｕ：ＩＥＥＥ，２０２０：４８３－４８６．

［９］ ＬＩＵ Ｚ，ＸＵ Ｃ，ＺＨＡＮＧ Ｍ Ｍ，ｅｔ ａｌ． Ｆａｓｔ Ｉｎｔｒａ ＰｒｅｄｉｃｔｉｏｎＡｌｇｏｒｉｔｈｍ ｆｏｒ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ ３６０ Ｄｅｇｒｅｅ Ｖｉｄｅｏ Ｂａｓｅｄ ｏｎＩｍｐｒｏｖｅｄ ＲＭＤ［Ｃ］∥２０１９ Ｄａｔａ Ｃｏｍｐｒｅｓｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ（ＤＣＣ）． Ｓｎｏｗｂｉｒｄ：ＩＥＥＥ，２０１９：５９３．

［１０］ ＬＩＮ Ｊ Ｌ，ＬＩＮ Ｌ Ｑ，ＬＩ Ｗ Ｍ，ｅｔ ａｌ． Ｌａｔｉｔｕｄｅｂａｓｅｄ ＦｌｅｘｉｂｌｅＣｏｍｐｌｅｘｉｔｙ Ａｌｌｏｃａｔｉｏｎ ｆｏｒ ３６０ｄｅｇｒｅｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｂｒｏａｄｃａｓｔｉｎｇ，２０２２，６８ （３ ）：５７２－５８１．

［１１］ ＢＥＬＩＮＧ Ｂ，ＳＴＯＲＣＨ Ｉ，ＡＧＯＳＴＩＮＩ Ｌ，ｅｔ ａｌ． ＥＲＰｂａｓｅｄＣＴＵ Ｓｐｌｉｔｔｉｎｇ Ｅａｒｌｙ Ｔｅｒｍｉｎａｔｉｏｎ ｆｏｒ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｏｆ３６０ Ｖｉｄｅｏｓ［Ｃ］∥２０２０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＶｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＶＣＩＰ ）．Ｍａｃａｕ：ＩＥＥＥ，２０２０：３５９－３６２．

［１２］ ＺＨＡＮＧ Ｍ Ｍ，ＺＨＡＮＧ Ｊ，ＬＩＵ Ｚ，ｅｔ ａｌ． Ａｎ ＥｆｆｉｃｉｅｎｔＣｏｄｉｎｇ Ａｌｇｏｒｉｔｈｍ Ｆｏｒ ３６０ｄｅｇｒｅｅ Ｖｉｄｅｏ Ｂａｓｅｄ ｏｎＩｍｐｒｏｖｅｄ Ａｄａｐｔｉｖｅ ＱＰ Ｃｏｍｐｅｎｓａｔｉｏｎ ａｎｄ Ｅａｒｌｙ ＣＵ Ｐａｒｔｉｔｉｏｎ Ｔｅｒｍｉｎａｔｉｏｎ［Ｊ］． Ｍｕｌｔｉｍｅｄｉａ Ｔｏｏｌｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，２０１９，７８（１）：１０８１－１１０１．

［１３］ ＳＴＯＲＣＨ Ｉ，ＺＡＴＴ Ｂ，ＡＧＯＳＴＩＮＩ Ｌ，ｅｔ ａｌ． ＳｐａｔｉａｌｌｙＡｄａｐｔｉｖｅ Ｉｎｔｒａ Ｍｏｄｅ Ｐｒｅｓｅｌｅｃｔｉｏｎ ｆｏｒ ＥＲＰ ３６０ ＶｉｄｅｏＣｏｄｉｎｇ ［Ｃ ］∥ ２０２０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＡｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）． Ｂａｒｃｅｌｏｎａ：ＩＥＥＥ，２０２０：２１７８－２１８２．

［１４］ ＬＩ Ｗ，ＦＡＮ Ｃ Ｘ，ＲＥＮ Ｐ． Ｆａｓｔ Ｉｎｔｒａｐｉｃｔｕｒｅ Ｐａｒｔｉｔｉｏｎｉｎｇｆｏｒ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ［Ｃ］∥２０２０ ＩＥＥＥ ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｉｇｎａｌ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＳＩＰ）． Ｎａｎｊｉｎｇ：ＩＥＥＥ，２０２０：１０８－１１１．

［１５］ ＢＯＳＳＥＮ Ｆ，ＳＵＨＲＩＮＧ Ｋ，ＷＩＥＣＫＯＷＳＫＩ Ａ，ｅｔ ａｌ． ＶＶＣＣｏｍｐｌｅｘｉｔｙ ａｎｄ Ｓｏｆｔｗａｒｅ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ Ａｎａｌｙｓｉｓ ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ ＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，２０２１，３１（１０）：３７６５－３７７８．

［１６］ ＹＥ Ｙ，ＢＯＹＣＥ Ｊ Ｍ，ＨＡＮＨＡＲＴ Ｐ． Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ３６０°Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ ｉｎ Ｒｅｓｐｏｎｓｅｓ ｔｏ ｔｈｅ Ｊｏｉｎｔ Ｃａｌｌｆｏｒ Ｐｒｏｐｏｓａｌｓ ｏｎ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ＣａｐａｂｉｌｉｔｙＢｅｙｏｎｄ ＨＥＶＣ ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄＳｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，２０１９，３０（５）：１２４１－１２５２

［１７］ ＢＯＹＣＥ Ｊ Ｍ，ＡＬＳＨＩＮＡ Ｅ，ＡＢＢＡＳ Ａ，ｅｔ ａｌ． ＪＶＥＴＤ１０３０：ＪＶＥＴ Ｃｏｍｍｏｎ Ｔｅｓｔ Ｃｏｎｄｉｔｉｏｎｓ ａｎｄ ＥｖａｌｕａｔｉｏｎＰｒｏｃｅｄｕｒｅｓ ｆｏｒ ３６０° Ｖｉｄｅｏ［Ｃ］∥ＩＴＵＴ ＳＧ １６ ＷＰ ３ ａｎｄＩＳＯ ／ ＩＥＣ ＪＴＣ １ ／ ＳＣ ２９ ／ ＷＧ １１ ７ｔｈ Ｍｅｅｔｉｎｇ． Ｔｏｒｉｎｏ：［ｓ．ｎ． ］，２０１６：１２０５－１２１３．

［１８］ ＺＨＡＮＧ Ｍ Ｌ，ＣＨＥＮ Ｙ Ｓ，ＬＵ Ｘ，ｅｔ ａｌ． Ｆａｓｔ Ｃｏｄｉｎｇ ＵｎｉｔＰａｒｔｉｔｉｏｎ Ｄｅｃｉｓｉｏｎ ｆｏｒ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｉｎ Ｖｅｒｓａｔｉｌｅ ＶｉｄｅｏＣｏｄｉｎｇ［Ｃ］∥Ｔｈｅ １１ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅａｎｄ Ｇｒａｐｈｉｃｓ （ＩＣＩＧ ２０２１）． Ｈａｉｋｏｕ：ＡＣＭ，２０２１：７００－７１１．

作者简介

金雪松 男，（１９７５—），博士，教授。主要研究方向：图像处理与模式识别、深度学习。

王田田 女，（１９９７—），硕士研究生。主要研究方向：视频编码。

基金项目：黑龙江省自然科学基金（Ｆ２０１８０２０）