3D电视视频质量主客观评价最新技术研究

成于庆，姜秀华

(中国传媒大学信息工程学院，北京 100024)

3D电视视频质量主客观评价最新技术研究

成于庆，姜秀华

(中国传媒大学信息工程学院，北京 100024)

3D电视视频质量从评价指标角度可以分为单眼平面视频质量和双眼立体视频质量两大类;从评价方法角度可分为主观和客观两种。本文首先从3D电视技术链的角度分析了3D视频从制作到播出共六大环节对视频质量分别造成的损伤，然后提出了针对不同损伤的视频质量主客观评价指标和测评方法，最后分析了客观评价的最新技术。

3D电视;视频质量影响因素;主客观评价方法

1 引言

3D电视也称立体电视，与普通2D画面相比，最重要的视觉特点是图像不再局限于屏幕平面上，仿佛能够走到屏幕外面，让观众有身临其境的感觉。为了获得更好的立体视觉体验，对3D电视视频质量相应提出了要求。

从评价方法角度，3D电视视频质量评价可以分为主观评价和客观平均两种方法;从评价指标角度，3D电视视频质量评价可以分为两大类:单眼图像质量评价和双眼立体质量评价。前者同2D视频，需要达到左、右眼的高质量、高清晰画面，这是优质3D图像的基础;而后者则是安全、舒适地观看立体画面的保证。

目前关于立体电视视频质量评价尚未出现科学体系和行业统一的测定标准，国内外部分学者已开始关注研究。笔者将目前已提出的最新3D电视视频质量主、客观评价指标和主要技术进行了分析、比较和归纳。

2 3D视频质量影响因素及评价指标

2.1 双眼立体视觉原理

要分析立体电视视频质量，首先要了解双眼立体视觉原理，这是立体成像的基础。双眼立体视觉包括两部分:汇聚角和双眼视差。人在观看近距离物体时，双眼视线会向内侧汇聚，大脑从而通过左右眼视线汇聚角度得到深度信息(有效范围:20米);人的双眼水平间距约65 mm，看到的图像存在微小差异，虽然差距很小，但经视网膜传到大脑后就用这微小的差距，产生远近的深度，从而产生深度知觉(Depth perception)(敏感度:1/60°)。根据这一原理，如果把同一景像，用两只眼睛视角的差距制造出两个影像，然后让两只眼睛一边一个，各看到自己一边的影像，透过视网膜就可以使大脑产生景深的立体感了［1］。

2.2 3D视频质量影响因素及解决方法

从3D电视技术链的角度，一段3D视频的诞生一般都需经过拍摄录制、制作处理、发端压缩编码、信号传输、收端硬件解码和立体显示这六大环节，如图2-1所示，最后观众通过佩戴立体眼镜或者裸眼方式看到立体视频。每个环节的处理都可能造成视频质量的损伤，影响最后的立体效果。有的损伤可以直接通过观看者主观观看发现，而有的必须借助专业测量仪器和数学建立评测模型等客观方式评测出。

图2-1 3D视频技术链

2.2.1 摄录系统

3D场景的拍摄需用立体摄像机(stereo camera)，通过视觉定位的差异对相同画面分别拍摄左眼和右眼画面，从而形成逼真的3D画面。拍摄同时需记录两摄像机间距、摄像机与两条摄像机主光轴会聚点之间的会聚距离以及摄像机的焦距，帮助调整3D图像的水平视差和空间深度。

由于最终在监视器上看到的立体画面实际上是在平面上呈现的，现场拍摄时必须要确定两台摄像机的汇聚平面重合，汇聚平面是观众区分前景物体和背景物体的标尺，汇聚平面相差太大，立体感完全丧失，后期编辑也无法挽救。

不同焦距对空间的复制有不同的效果，比如长焦适合压缩空间，短焦适合夸张空间感，这都是在2D画面中常常使用的创作手法。而在3D画面中，观众需要在心中建立一个正常、统一、始终存在的空间。在真实3D空间中，我们的双眼对焦到哪，都会清晰的看到物体，因此是不讲景深的。所以，尽量不要反复切换使用不同焦距镜头拍摄的画面，否则拍摄出来的3D画面突兀，有不真实感。

此外，连接两路高清摄像机和摄像控制单元的光纤质量是很容易忽视的一个小环节，目前使用SMPET标准光纤，传输视频、Intercom、控制信号和电源，确保机组正常工作。

存储方面，需要高质量双流记录录像机，从而既保证视频质量，又解决分左右眼记录时的同步问题。存储介质目前选择传统的磁带方式，因为目前尚未出现同时存两路的光盘。

2.2.2 编播系统

3D视频拍摄时比较难处理的地方是使左右眼两路图像达到同步，即使拍摄前期对摄像机、机架进行了精密的调整，也很难达到两路图像在摄像机推拉摇移时色温、光线、聚焦变焦等完美的协调，而人眼对这些细微的差别非常敏感，这就需要后期进行相应的误差校正，包括双眼剪接、画面叠加、亮度和彩色校正、特效合成、节目包装等，使播出的3D视频更加完美逼真。许多公司针对这一环节进行了专门的研发，目前已有设备包括SONY MPE-200 3D图像实时处理器(3D魔箱)、3D切换台、字幕机、3D非编系统，Quantel公司sQ400服务器、收录工作站(sQRecord)和播出工作站(sQplay)，实现实时同步采集和播出多轨立体高清素材［2］。

制作平台的好坏对最终视频质量有很大的影响，比如在3D播出时，不当的画面切换(如拍摄主体所处焦点位置相差较大)会让观看者眼睛跟着不断调整焦距，因而产生眼睛疲劳、不适感。

不过，后期的数字处理技术校正的视差范围不能太大，因为校正范围越大，2D画面的分辨率损失就越大，所以还应尽可能在拍摄前计算、设置好间距，并调整好会聚角。

2.2.3 编解码系统

EBU的R124建议书曾指出在制作和发射中，保持图像质量最重要因素是选择合适的码率［3］。目前立体视频编码主要有三种思路:一是左右两路分别编码，码率相当于一路视频码率的两倍;二是编码器将切换台输出的左右两路信号合成一路含左右标志的复合信号(两路视频各降低一半分辨率，可以是左右拼接、上下拼接或场拼接等)，码率相当于一路视频;三是一路(通常是左视)进行独立2D编码，另一路参考已编码的码流，码率相当于一路视频码率的约1.4-1.7倍。现实中，由于一、三两种方法需要重新设计编码器和解码芯片，因此多选用第二种做法，这样做虽然降低了信号的分辨率，但弥补了两路分别传送时的链路延时问题。如果左右路信号播出时不同步，显示端将会看到偏差，人眼对偏差的敏感度要远远大于对分辨率下降的敏感度。在接收端，通过相应解码器将信号还原为左右两路，配合双路立体监视器即可观看。

此外，不同的压缩编码格式及算法是影响制作、传输效率、存储带宽占用、技术质量优劣的重要因素，在满足后期制作的前提下，应选择开放性好、编码效率高、带宽尽可能小的编码格式。

2.2.4 传输、发行系统

用户端获取3D信号主要有三种渠道:蓝光碟、流媒体、卫星或有线电视。3D蓝光碟虽然昂贵而且片源少，却是最佳效果的必然渠道，但这种渠道要求额外配置3D蓝光机，而且电视必须具备HDMI 1.4版本接口。排除蓝光碟，传输3D高清信号大致有两种方式:一是采用两个HD-SDI通道分别传左右眼数据，这需要两倍的高清带宽(1.5*2=3G)，这一方式可保证左右两眼看到完全独立的高清画面，但保证两通道同步比较困难;第二是采用时间压缩方式，左右信号被挤压进一帧，传输只需一个HDSDI通道或一个DVI-D通道，带宽降低，且不存在同步问题，但导致一帧内两幅画面上下并排或左右并排，使得垂直或水平分辨率减半。两种方法各有利弊，基于目前传输带宽和设备，主要选择第二种方法。因此通过传输通道后，视频清晰度只有原先的一半。

2.2.5 显示系统

3D影像显示方式分为裸眼式和眼镜式两大类。裸眼式实现困难，代价高昂，一时难以普及。眼镜式又分为色分法、光分法、时分法三种技术，色分法应用最早，最便宜，但偏色严重，3D效果也最差;光分法即偏光式3D技术，效果好于色分法，但是以牺牲分辨率换来的，亮度也较低;时分法又称主动快门式3D技术，画面效果最优，但画面有闪烁感，且眼镜较重且价格昂贵。

不论采用哪种显示原理，3D电视显示都可以从刷新频率(闪烁感)、亮度、对比度、分辨率、动态清晰度、色彩表达能力、远近层次感和可视角度等方面进行评判。

刷新率:刷新率是决定电视画面质量特别是动态画面质量的重要指标。刷新率越高，图像稳定性越高，对眼睛的伤害也越小。眼镜式3D电视因为需要佩戴3D眼镜，左右眼每秒分别接收的画面帧数只有原先的一半，刷新率需要翻番才能不产生闪烁。目前LED电视刷新频率最大为480Hz，等离子电视机为600Hz。所以从刷新频率来说，等离子电视画面质量最高。

亮度、色度、分辨率损失:分色技术使用颜色较深的滤色镜，亮度损失理所当然，同时它还会损失一部分颜色信息，另外显示彩色画面时，如果镜片颜色不够深，很可能导致滤色不彻底，会影响观看效果;分光技术要用到偏光片，它会吸收特定角度偏振光以外的所有光，亮度损失很严重;分时技术虽然在任意一个时刻只有一只眼睛能看到光线，但由于人眼的视觉暂留特性，所以这并不是它损失亮度的主要原因，之所以损失亮度，是因为液晶门眼镜中也包含偏光片，所以它和分光技术是一样的;至于裸眼光栅技术，视差障碍使每只眼睛只能接收到原来一半的光线，因此亮度损失一半，同时水平分辨率也只有原来的一半。

舒适性:眼镜式3D电视需要佩戴3D眼镜，好在观看位置较宽;光栅技术虽然不需要配戴眼镜，但观众必须在特定的范围内才能正常观看。

总之，3D电视机需具有比一般电视机更精确的图像细节处理能力，灰阶、色阶还原能力，以及更高的响应速度，以保证无论在显示静态还是动态影像时，都能有同样出色的3D效果。

2.3 3D视频质量评价指标

3D电视视频质量评价从评价指标角度可以分为两大类:单眼平面视频质量和双眼立体视频质量。

2.3.1 单眼平面视频质量指标

高质量3D制作的基础是两个高质量的高清左、右眼电视图像。良好的2D画质会对3D效果产生正面影响。这种影响对于细节的立体感刻画尤为重要，否则仅仅依靠拍摄时获得的景深，就算能显示出再多的层次，仍然不能成为有吸引力的3D画面。好的3D画面并不是由很多层图像叠加构成的，而应该表现出身处前景、中景、后景中不同元素各自不同的透视效果和位置关系。

单眼图像质量同2D高清视频，应遵循高清电视节目制作播出质量行业标准，包括摄像机分辨率、灵敏度、色域、聚焦焦距、光圈数、色温、取景构图;视频取样结构、码率等软硬件因素。可以说，没有达到高清2D水平的单眼视频完全没有换3D观看的意义。

2.3.2 双眼3D视频质量指标

双眼3D视频有众多局限性，需要兼顾双眼视差、拍摄误差并且避免出现视野冲突，这些都是安全、舒适地观看立体画面的保证。

主观评估:根据ITU-R BT.1438标准，主观评估要素包括深度分辨率、深度运动清晰度、木偶效应(Puppet theatre effect)和纸板效应(Cardboard effect)四项［4］。有参考图像时，评估方法为双刺激连续质量标度法或双刺激损伤标度法;无参考图像时，评估方法为绝对判别法。《Visual Experience of 3DTV》阐述了六个主观评价项目:图像质量(包括清晰度、色度、亮度等指标)、图像深度、立体感是否存在、立体感是否自然、立体感是否符合视觉经验、立体感舒适程度［5］。

客观评估:客观评估尚未出台国际标准。《立体电视图像质量测试方法》意见稿提出左右眼亮度差、3D亮度均匀性、3D色度均匀性、左右眼交叉干扰(串扰率)、3D关断比、左右眼对比度、闪烁、视变角、安全性等指标;天津大学提出人眼视觉信噪比SNR、客观保真度、深度保真度等指标［6］;北京牡丹提出串扰率指标。

3 3D电视视频质量主观评价方法

3.1 主观评价一般要求

主观评价结果不仅与3D视频本身质量有关，还与评价所选素材、观看条件、3D眼镜质量、观看员质量、评分方法、数据统计方法和结果表达方式等因素有关。为使评价结果的可变因素仅限于3D视频本身质量，在主观评价中必须对上述影响因素作严格的规定。

3.1.1 观看条件

测试应在不受来自外界电磁场干扰的室内进行。测试亮度、色度时应在暗室中进行。观看员的座位布局应在水平方向中垂线±30°内，距离屏幕距离约3倍屏幕高度。

3.1.2 人员条件

参与主观评价的人员需具备正常视力以及立体视觉能力(参见ITU-R BT.500标准，正常立体视觉能力测试素材可参见ITU-R BT.1438附件1)，兼顾3D专业人员和业余观众，年龄覆盖面尽可能广。

3.1.3 测试素材

测试素材分为专门素材和普通素材两类:专门素材针对立体图像各方面问题专门选择，如针对清晰度的楔形条纹信号、针对对比度的黑白窗口信号等;普通素材为随机挑选的使用专门立体摄像机拍摄的3D素材，注重3D整体特性。

3.1.4 3D眼镜

立体眼镜有很多种，分别对应不同的立体显示技术，目前在用的主要有红蓝眼镜、偏振眼镜和主动快门眼镜三种，三种眼镜观看立体视频效果各有优劣，在视频质量评价时要分清所用3D显示技术，佩戴正确的3D眼镜。

3.2 主观评价方法

按照2000年国际电信联盟发布的ITU-R BT.1438立体电视图像主观评价准则，主观评价图像质量分成5级，即优秀(Excellent)、良好(Good)、一般(Fair)、不好(Poor)、坏(Bad)五个级别。评价方法沿用高清电视质量主观评价所用的双刺激连续质量标度法(DSCQS)。

综合各方意见，一种针对立体视频立体感的可操作的主观评价评分标准建议如下表。

表3-1 立体视频立体感主观评价评分标准

针对立体感的说明:立体视频的前景和背景不可避免会产生重影，在保证清晰度的前提下(即重影在可容许的范围内)，人眼感觉前景到背景的最大立体深度是可测量的。在这里，立体深度指视频的景深而不是被拍摄场景的实际深度。

视变角:以立体图片上一点为观察中心，单眼左右移动时，图片会产生多次的跳跃，两次跳跃之间眼睛移动的角度为立体图片的视变角。视变角越大观看越舒适，但视变角大往往意味立体感减弱，视变角并不代表立体图片的视场角，视场角一般都在90度以上。

近年，国内外学者针对主观立体质量感知设计了一些立体影像主观评价实验。但尚未从根本上解决立体视频质量主观评价问题。这一方面是由于人们对人类视觉系统所知甚少，另一方面也因为影响立体视频主观感知的因素众多，而已有的探索性感知实验只针对一些比较显著的因素进行分析。

4 立体视频质量客观评价方法

4.1 平面视频与立体视频客观评价方法异同

立体视频客观评测方法的最终目的是利用客观的数学评测模型进行视频质量的预测，以达到与主观评测方法一致的效果。3D电视显示并非采用了全新的屏幕，只是在普通液晶电视的处理模组上加入了支持3D显示的结构，另外再加入支持3D解码和播放的3D芯片，所以3D电视应该可以兼容2D画面的播放，两种画面之间也可以快速方便的转换。因此，对于平面图像的客观评价方法，诸如通过峰值信噪比(PSNR)、信息熵等信息建立数学模型后评价图像质量的方法也可以转移至3D图像上。

但是，PSNR等信息只能评价同一个视点编码前与解码后的图像质量关系，而立体图像在相邻视点之间存在人眼标准视差的高度相关性。如果两个相邻视点各自的PSNR值都比较高，但是视点间视差成分很少甚至反相，人眼能欣赏到的立体感将大打折扣。毕竟立体图像的立体感是立体图像质量评价的主要因素之一。因此，不能将传统平面视频质量评价方法简单地移植到立体视频评价中，必须建立一种基于人眼视差立体感的客观评价标准。

此外，立体图像的质量评价不但要考虑左右两视点的质量失真情况和立体感知，还需兼顾观察者视觉疲劳等因素，所以建立一个全面完整的评价系统非常复杂。

4.2 立体视频客观评价最新方法

目前，还没有统一的立体视频客观评价标准，但大量实验已表明，同一时刻，两相邻视点之间的图像数据有高度的相关性，具有人眼标准视差的视点对的绝对差图像是一幅图像的轮廓线，这幅差值图像包含了立体视差的相关信息。如果绝对差值图为一幅零值(全黑)图像，则说明两幅图像完全一样，由人眼视差获得立体感原理，这样的视点对不存在双眼视差，无法让人眼获得立体感。据此，基于双视点立体成像系统，定义左右视点间差值图的峰值信噪比(PPSNR:Parallax Peak Signal-to-Noise Ratio)，利用这一指标评价立体图像质量。

因此，压缩后视点对的绝对差值图越接近原始图像绝对差值图，那么双眼视差的质量就越好，立体感觉也就越好。

给定一幅大小为M×N的数字化灰度图像f(x，y)和参考图像 f0(x，y)，f(x，y)l，f(x，y)r分别代表给定图像的左右视图，f0(x，y)l，f0(x，y)r则代表参考图像的左右视图;

则图像f(x，y)的PPSNR定义为:

其中，PMSE(Parallax Mean Squared Error)为处理前和处理后左右视点:

fmax=2n-1为函数f(x，y)的最大灰度值，例如8bit灰度图像的fmax=28-1=255。

对于彩色图像，参考PSNR的定义，有

PPSNR值越大，表示左右视点之间的视差在处理前后图像变化越小，视点对保留原来视点之间视差的质量就越高。借助PPSNR值可以用于辅助分析立体图像主观测试结果［6］。

5 小结与展望

近年来，立体视频质量评价技术的研究虽然不断进步，但一直未形成一个完整的体系。中国电子技术标准化研究所已经着手研究、制定处于电视发展初期的3D相关标准。目前，国家标准《立体电视术语》、行业标准《立体电视图像质量测试方法》已进入针对性测试阶段。

3D电视在显示原理、收看方式上大大颠覆了传统电视，因此测评标准也与传统电视不同。目前市面上的3D电视大都需要佩戴主动快门式眼镜观看，通过左右眼画面的高频率切换，形成3D立体视觉，而裸眼3D电视尚处于实验阶段。在对3D电视进行性能测试时，左、右眼获得的测试数据一般会有轻微差异，而这个差异越小则说明性能越稳定，这将是对3D电视性能考查很重要的一项。松下、三星等大品牌的3D电视也特别注重左右眼交叉干扰、3D对比度、亮度均匀性等指标。

未来，通过设计主观质量评价实验，了解影响立体视频质量的主要因素，并将各因素通过数学建模综合起来形成可靠的客观质量评价模型是今后的一个研究方向。此外，还可多考虑结合人眼特殊的生理结构，充分研究人眼视觉系统特性，减少视觉疲劳，增强观看3D图像的舒适度;以主观评价实验所得的数据为基准，开发立体图像客观评价软硬件，充分推动3D产品的研发与普及，创造崭新的视觉体验。

［1］赖小波.机器人双目立体视觉若干关键理论问题及其技术实现研究［C］.浙江大学2010年博士学位论文.

［2］索尼公司产品手册.http://pro.sony.com.cn/productinfo/cc/13632.htm.

［3］EBU R 124，Choice of HDTV Compression Algorithm and Bitrate for Acquisition，Production＆ Distribution，2008，12.

［4］RECOMMENDATION ITU-R BT.1438，SUBJECTIVE ASSESSMENT OF STEREOSCOPIC TELEVISION PICTURES，2000.

［5］Pieter J H.Seuntiens，Visual Experience of 3D TV，2006.

［6］王鹏.立体图像质量客观评价方法的研究［C］.天津大学硕士学位论文，2009，05.

Latest Research Result of Subjective and Objective Evaluation Methodology for the Video Quality of 3DTV

CHENG Yu-qing，JIANG Xiu-hua
(Information Engineering School，Communication University of China，Beijing 100024，China)

From the perspective of evaluation criteria，3DTV video quality evaluation can be divided into two categories-monocular and binocular video quality;from the perspective of evaluation methods，3DTV video quality evaluation can also be divided into two categories-subjective and objective quality.In this article，after analyzing the impact of six parts of stereoscopic television，the latest subjective and objective video quality evaluation methods are respectively represented.

3DTV;Quality influencing factor;Subjective and Objective Evaluation Methodology

TP349.6

A

1673-4793(2012)01-0031-06

2011-09-16

国家广播电影电视总局科研项目(2011)

成于庆(1987-)，女，江苏人，中国传媒大学硕士研究生.E-mail:cheng yu qing@cuc.edu.cn

(责任编辑

:宋金宝)