立体视频质量评价方法的研究综述

李思原，都腾跃，马亚男，吴健

（上海大学通信与信息工程学院新媒体工程研究中心，上海200072）

立体视频质量评价方法的研究综述

李思原，都腾跃，马亚男，吴健

（上海大学通信与信息工程学院新媒体工程研究中心，上海200072）

立体视频能够使观众获得更好的视觉体验，立体视频技术具有广阔的应用前景，目前已成为视觉信号分析领域的研究热点。然而，立体视频不仅在拍摄、编码、压缩、传输、解码和显示等过程中产生失真，还会出现影响视觉体验的立体视频所特有的质量问题，立体视频质量下降会影响观看时的效果，产生视觉疲劳。因此，立体视频的质量在人们的三维感知和立体体验过程中起着非常重要的作用。简述了立体视频质量评价的研究现状与重要性、立体视频质量评价的两类方法，进一步分析了影响立体视频质量的主要因素。

立体视频；主观舒适度；主观评价；客观评价

近年来，随着数字图像处理技术的进步，立体视频技术取得了重大发展，与传统二维视频相比较，立体视频的深度立体感能给观众带来全新的视觉感受，让观众获得非常真实自然的视觉体验。

立体视频的发展速度较快。影响人眼主观舒适度的原因非常复杂，立体视频在采集、编码、传输、解码以及显示等多个步骤都可能引入噪声导致失真，进而使立体视频系统性能的下降。

视屏质量的下降会造成观看体验变差，从而影响观看者的主观舒适度，使得观看者出现眼睛干涩、红肿、恶心、头痛甚至失明等问题[1]。因此，准确地对立体视频质量进行评价对提高立体视频系统的性能，增强观众的视觉体验有着重要的意义[1]。在研究立体视频舒适度评价时，不论是摄录、压缩、传输中产生的噪声，以及立体视频内容本身所包含的亮度、色彩、对比度、纹理、目标的运动、视差等都是应该考虑到的[1]。

立体视频质量评价对于提高立体视频系统性能有着非常重要的意义，在实际中的许多场景都有着丰富的应用前景：立体视频质量评价技术可以实时地对立体视频系统进行分析，并根据测试结果实时地修正立体视频的质量；在立体视频通信系统中，可以通过质量评价调整系统处理算法和相关参数，优化整个立体视频通信系统；在立体视频系统的解码端，图像重建、误码掩盖、图像修复和图像后处理等算法可以根据立体视频质量评价的结果来进行优化；通过建立有效的质量评价模型，可以可靠地对立体视频系统的性能进行准确评价。

对立体视频质量评价的研究目前依然处于起步的阶段，且很多针对立体视频质量进行评价的方法都是在通过对传统二维视频的相关特性进行研究与分析并加以改进，将传统二维视频系统质量评价的方法移植到立体视频系统上来，与传统二维视频相比，在评价立体视频时还应更多考虑立体视频中特有的因素，比如可视质量、深度质量以及立体视觉主观舒适度等特征。三维视频和二维视频处理过程的关系如图1所示。

图1 3D视频处理过程与2D视频处理过程对比

在二维视频中的许多特征都在立体视频中得以体现，立体视频与传统二维视频许多特征十分相似，立体视频基于传统二维视频，比传统二维视频多了一个维度，可以认为立体视频是传统二维视频的扩展。由于传统二维的视频质量评价方法对人眼立体视觉感知特性和立体视频中的立体特征因素缺乏相应的分析与研究，因此，需要充分研究与人眼立体舒适度相关的特征，从而设计出一套针对立体视频质量评价的可靠评价方法。除了传统二维视频所包含的视频质量问题，立体视频还引入了以下问题：在采集立体信号时出现的立体视频失真、左右视点不同步、拍摄系统不稳定导致的垂直视差等问题；显示过程中，显示设备的色彩和亮度不规范；左右视点颜色、对比度、视差的不同步会造成双目竞争。

可以将立体视频质量评价方法分为主观评价方法和客观评价方法[2]。

1 立体视频质量主观评价方法

立体视频质量主观评价需要按照一定方法设计主观评价实验，安排测试人员依照规定的评分等级对观看立体视频时感受到的视觉舒适度情况进行打分，得到的主观分值作为实验结果，能很好地体现立体视频在舒适度方面的差异。然而，在主观实验中存在许多不稳定因素会干扰主观评价实验结果，使得实验结果可信度降低。这些不稳定因素包括测试者的挑选和数量、实验数据筛选和处理、主观评价实验设备和环境、主观评价试验流程设计等重要的影响因素。

为了降低在主观评价实验中的不稳定因素对主观实验结果可靠性的干扰，规范主观评价实验流程，国际电信联盟ITU公布了一系列主观评价实验的标准，如ITU-RBT.1438、ITU-RBT.500-11、ITU-T P.910和ITU-RBT.1788等。这些标准对进行主观评价实验的参与者、评分等级、实验设备、实验环境、实验流程以及数据分析等进行了规定[3]。

通过大量主观舒适度实验得到的主观舒适度分值，可以体现人类的立体视频视觉感知特性，同时，为之后的立体视频质量评价的研究奠定基础。图2为立体主观评价方法的测试过程。

图2 主观评价方法的测试过程

按照是否存在参考视频和实验中视频是否随机播放，将立体视频主观质量评价方法划分为4大类：单激励法（SSIS）、单激励连续质量分级法（SSCQE）、双激励损伤度分级法（DSIS）、双激励连续质量分级法（DSCQS）[3]。

立体视频数据库主观舒适度分值能够验证相关客观评价方法的合理性与可靠性，因此，当前的立体视频质量评价通常都围绕一些立体视频库开展研究，对立体视频库进行分析，得到影响立体视频质量的规律，并建立能够普遍适用于其他立体视频的评价模型。目前，已经建立了非常丰富的图像与视频数据库，这些数据库中每幅失真图像都有相应的主观评价分值，比如LIVE[4]、Cornell A57[5]、韩国高等研究院三维图片库[6]、TID2008[7]、VQEG[8]、IRCCy N/IVC数据库等带有立体视频主观分值的图像与视频数据库[9]。对于三维立体图像与视频质量评价，MOBILE 3DTV建立了1个包含6种包含不同的失真类型的立体视频库、韩国延世大学建立的立体视频库共包含67个视屏序列。以上数据库不包含主观评分[10]。

2 立体视频质量评价客观评价方法

在立体视频主观评价方法中，主观舒适度对实验流程、实验具体的环境、显示及播放等实验设备及测评者数量和素质等方面具有很高的要求，实验过程易受到不稳定因素的影响，导致实验结果可靠性降低，主观评价实验结果难以移植到其他的评价系统，且不能立即得出结果。而客观评价法不存在上述问题，客观评价方法通过建立算法模型来模拟人眼对立体视频的视觉特性，评价立体视频质量的好坏，评价结果以数据的形式来体现视频质量差异，通常可以按照失真视频与原始视频之间的相关性大小将客观质量评价方法分为全参考法、部分参考法、无参考法。图3为这3类评价方法的分类及关系图。

图3 客观评价方法分类

立体视频质量评价除了需要考虑传统二维视频质量评价所包含的视频图像质量因素以外，还要对人眼舒适度、画面深度感、自然性等因素加以分析，建立计算机算法以及数学模型的方法分析立体视频的质量。由于主观实验得到的主观舒适度分值可以反映观测者对立体视频质量的主观感受，客观评价结果需要和人类视觉特性保持一致，因此，使用主观舒适度的实验结果主观舒适度分值可以验证相关客观评价方法的合理性。

视频由一帧帧图像组成，图像中很多特性在视频中同样存在，通过对立体图像评价方法的研究，可以总结出针对立体视频的客观评价方法，Jin等使用块匹配方法来确定左右2个视点的最佳匹配块，构造出块匹配的三维矩阵，然后对构造出的匹配矩阵进行三维离散余弦变换，再结合视频亮度同步掩蔽效应，提出一种基于3D-DCT的客观评价方法[11]。Hewage等通过分析立体视频左右视点之间的视差估取立体视频深度图，提取出深度图边缘信息以及彩色图像边缘的邻近信息，分析得出相关的立体特征，提出一种部分参考的立体视频质量客观评价方法[12]。

国内宁波大学邵峰等对立体视频的显著性区域进行了分析，结合亮度、对比度等因素，提出了一种基于部分参考的客观评价方法[13]。上海大学张艳等分析了立体视频中亮度信息，对立体视频质量的影响，在双目亮度关系的基础上，结合峰值信噪比提出了一种基于视觉感知的立体视频质量的评价方法BPSPNR[14]。

除了对立体视频质量评价基于多视点视频进行研究，也有学者基于单一视点视频对立体视频质量展开研究。Yasakethu等将SSIM、PSNR和VQM方法结合立体视频左右视点平均的方法应用到立体视频质量评价，将彩色视频与估取到的深度信息进行结合，进行了研究分析，提出了部分参考的客观质量评价算法[15]。Joveluro等基于视频亮度掩蔽效应对立体视频质量评价算法进行研究，分析亮度对立体视频质量的影响规律，重点考虑了亮度因素的影响规律，在单一视点视频质量评价的方法的基础之上加以改进，提出了基于视觉感知的客观评价方法PQM[16]。

3 结束语

由于人眼视觉系统复杂性强，而目前对人眼视觉感知特性和各种深度特征的研究与认识还不够深入。要想提高立体视频质量评价系统可靠性，需要对立体成像的原理和人类立体视觉感知心理和行为特性进行更进一步研究。

另外，对立体视频质量评价现有的方法进行分析并加以改进具有重大意义，改良相关的评价方法可以提升立体视频系统性能。比如，制作立体视频质量评价中的立体视频库时引入更丰富的客观因素和更多的场景内容，使立体视频库可以适应更多的立体视频质量评价研究。主观测试实验应更加科学、严谨，以保证立体视频库主观分值的可靠性；需要进一步分析和提取更多影响人类视觉舒适度的因素，尤其和人眼立体视觉感知的相关特征；在客观另加时对相关立体特征进行提取时适用更可靠的算法。

总之，立体视频质量评价目前还处于探索阶段，对立体视频质量评价进行更进一步的探索和研究可以提高整个立体视频系统的性能。

［1］孔真真.基于视觉感知的立体图像质量客观评价方法研究［D］.宁波：宁波大学，2014.

［2］Seshadrinathan K，Soundararajan R，Bovik A C，et al.Study of subjective and objective quality assessment of video.IEEE Transactions on Image Processing，2010，19（06）.

［3］张艳.立体视频质量评价关键技术研究［D］.上海：上海大学，2013.

［4］Sheikh H R，Sabir M F，Bovik A C.Astatistical evaluation of recent full reference image quality assessment algorithms.IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2006，15（11）.

［5］Chandler D M，Hemami S S.VSNR：a wavelet-based visual signal-to-noise ratio for natural images.IEEE Transactions on Image Processing，2007，16（09）.

［6］Jung C，Wang S.Visual comfort assessment in stereoscopic 3D images using salient object disparity.Electronics Letters，2015，51（06）.

［7］Ponomarenko N，Lukin V，Zelensky A，et al.TID2008-A Database for Evaluation of Full-Reference Visual Quality Assessment Metrics.Adv Modern Radioelectron，2009（10）.

［8］Masry M A，Hemami S S.A metric for continuous quality evaluation of compressed video with severe distortions.Signal Processing Image Communication，2004，19（02）.

［9］Lin W，Kuo C C J.Perceptual visual quality metrics：A survey.Journal of Visual Communication&Image Representation，2011，22（04）.

［10］Moorthy A K，Su C C，Mittal A，et al.Subjective evaluation of stereoscopic image quality.Signal Processing Image Communication，2013，28（08）.

［11］Jin L，Boev A，Gotchev A，et al.3D-DCT based perceptual quality assessment of stereo video.IEEE International Conference on Image Processing.IEEE，2011.

［12］Ekmekcioglu E，Worrall S，Silva D D，et al.Depth Based Perceptual Quality Assessment for Synthesised Camera Viewpoints.User Centric Media.Springer Berlin Heidelberg，2010.

［13］邵枫，姜求平，蒋刚毅，等.基于显著性分析的立体图像视觉舒适度预测［J］.光学精密工程，2014，22（06）.

［14］Zhou Y，Zhang Y.Modeling Abstract Behavior：A Dynamic Logic Approach.Ai 2009：Advances in Artificial Intelligence，Australasian Joint Conference，Melbourne，Australia，December 1-4，2009.Proceedings.DBLP，2009.

［15］Yasakethu S L P，Hewage C T E R，Fernando WA C，et al.Quality analysis for 3D video using 2D video quality models.IEEE Transactions on Consumer Electronics，2008，54（04）.

［16］Yilmaz G N.A no reference depth perception assessment metric for 3D video.Multimedia Tools and Applications，2015，74（17）.

〔编辑：张思楠〕

TP391.41

A

10.15913/j.cnki.kjycx.2017.14.013

2095－6835（2017）14－0013－03

李思原（1994—），男，研究方向为立体视频质量评价。都腾跃（1993—），男，研究方向为立体三维成像与裸眼3D。