基于人类视觉系统的立体图像质量评价方法

王海亮等

摘要：随着立体图像的大规模发展，很多应用场合需要能够迅速有效地完成对立体图像的质量评价工作，以便于后续应用，而对其进行主观质量评价在效率上很难满足要求。因此，提出了一种感知质量评价算法，并结合了一些人类视觉系统的特性。首先需要得到视差图，然后通过边界图和显著图来对视差图进行加权调整。接着使用Minkowski融合方法将加权后的视差图整合成感知分数。最后，使用多尺度分析来得到最终的感知质量分数。通过使用EPFL立体质量评价数据库来验证文中的立体图像感知质量评价算法。实验显示算法最后得到的客观分数和EPFL数据库中的主观分数具有高度的一致性和单调性，证明了文中的立体图像感知质量评价算法是有效的。

关键词：立体图像； 无参考质量评价； 视差； 边缘检测； 多尺度

中图分类号：TP391.41 文献标识码：A文章编号：2095-2163（2014）01-0050-04

0引言

近些年来，得益于娱乐、军事以及工业等众多领域的蓬勃发展，立体图像技术得到了广泛的应用。和传统的二维图像相比，立体图像可以额外提供图像的深度信息，带给观看者身临其境的感受，从而可以帮助观看者对图像所呈现的信息产生更加精细的准确理解。如何能够迅速、准确、有效地对这些立体图像进行评估便随之成为一个具有高度必要性和重要性的研究课题。由于立体图像独有的一些特征，例如串扰、调节——聚散冲突、梯形失真、深度感知不一致、鬼影效应、硬纸板效应等等[1]，也都会影响到立体图像的最终质量。所以，立体图像和二维图像的质量评价是有较大差别的，取得的成果也较为有限。当前的研究仍然处于摸索探索阶段，只是确立了大致的轮廓框架。即使是影响视觉舒适度的因素，也尚未取得一致，形成定论。但是仍然有一些因素是较受认可的，比如调节——聚散冲突、串扰、梯形失真、鬼影效应等因素对视觉不舒适度造成的影响已经获得了清晰明确的研究结论。只是相关的实验主要是使用眼动仪来评估人眼的疲劳程度，而将这些影响因素引入到立体图像的客观质量评价中来实现无人工干预的自动化评价的工作量，迄至目前也仍然很少。

本文通过分析EPFL立体图像质量评价数据库，直观地找到影响立体感知质量的主要因素：视差量。然后基于视差和人类视觉系统的一些特征提出了一种无参考的立体感知质量评价算法。在这个算法中，视差量、边缘检测、显著性检测和多尺度分析等各种方法都发挥了重要作用。最后，通过EPFL立体质量评价数据库验证了所提出的立体感知质量评价算法，实验结果表明该质量评价算法可以准确有效地预测主观分数，验证了所提出方法的合理性和实用性。

1基于人类视觉系统的评价方法

和二维图像质量不同，立体图像质量还特别强调立体视觉的质量，而不仅仅是观看的立体图像和采集的立体图像之间的失真差异。在某些特定的情况下，现场采集的立体图像或许在图像质量上可认定为没有失真，但是在立体视觉上却并非尽善尽美，即使这些立体图像没有经过压缩编码。因此，立体图像的感知质量评价适合采用无参考的评价方法。本节提出的感知质量评价算法的主要贡献有两点：寻找对立体图像的感知质量影响最大的因子和应用一些人类视觉系统（HVS）的特性。图1描述了该算法的主要步骤。此处的立体图像是以左视和右视的形式给出的。

人的两眼视轴之间的距离大约为65mm。在观看立体图像的时候，图像在两眼视网膜上的映像会出现水平差异，这个水平方向上的位置差异就是视差。由人眼的双视视差结合已有的经验知识，在大脑中可以形成深度感知，从而产生立体视觉。双视视差在感知质量评价算法中扮演着重要的角色。观看一幅立体图像实际上是一个把左视和右视对应部分进行融合匹配的过程。由于视差代表双视之间对应像素位置的距离差异，可以用来描述人眼把物体视像汇聚成一个对象的融合协调程度。

根据Goldmann对EPFL数据库的分析[2]，摄像机之间的基准距离和主观分数之间是存在着一定的关系的。图2展示了在名为“moped”的场景中摄像机之间的基准距离和主观分数之间的关系。由图2中可以看出，随着摄像机之间距离的不断增加，主观质量分数呈现减小的趋势。对于EFPL数据库中的其他场景，主观质量分数和摄像机距离的大体趋势也极为类似，只是两者之间具体的对应关系不同。因此，使用视差值来预测立体图像的主观分数是有一定理论依据的。而这两者之间的具体对应关系则由已经提出的感知质量评价算法得到。

鉴定只能计算在水平方向上的视差值，就决定了立体图像的左视和右视必须首先正确地对齐，因此在执行视差计算之前就要进行图像矫正。而其后的视差估计算法主要是通过分别提取立体图像中左视图和右视图内部的对应特征来进图2 “moped”场景中摄像机距离和质量分数

的对应关系[2]

1.2边缘检测

基于人眼对边缘非常敏感的特性，人类视觉系统（HVS）更加易于提取结构和边缘信息[5]。而且根据前面提到的HVS的一些特性，寻找左、右视中对应部分的过程实际上相当于一个寻找对应边缘的过程，其后匹配的边界就可以融合为一个感知对象。这就是立体视觉的形成过程。因此，图像的边缘点所对应的视差值应该被赋予较高的权值，而非边缘点所对应的视差值则要被赋予较小的权值。

当前，有许多方法能用于边缘检测，可以将其分为基于搜索和基于零交叉的检测方法。这些方法分别通过梯度和二阶导数的零交叉点来得到图像的边缘。此处选择最为常用的canny算子[6]来提取边缘。使用canny算子得到的边界图中，每个像素点的值为0或1；将值为1的像素点的值保持不变，而对于值为0的像素点，其值则更新为一个较小的权值，该数值可由经验得到，此处为0.8。最终，得到的边界图记为EM。

1.3显著性检测

由于立体图像的信息量远比单视图像要多，人们不可能在短时间内立刻匹配所有的特征边缘。大多数人在短时间内只能关注到那些“重要的区域”，通过提取这些区域中对象的边界，再最终匹配这些对应的边界来形成立体视觉。研究的进一步开展将需要HVS的这一特性在感知质量评价算法中得到充分体现。因此，将显著性检测加入到所提的算法中即与HVS的工作原理是一致的。

2实验结果及分析

由于立体图像质量评价的研究起步较晚且内容较复杂，当前的研究进展比较缓慢，因此公开的且各项指标均合格的数据库则少之又少。在当前仅有的适用于立体图像质量评价的数据库中，由瑞士洛桑理工学院（EPFL）的多媒体信号处理研究组（MMSPG）创建的立体图像质量评价数据库[2]最适合进行感知质量评价，因为EPFL数据库在建立的过程中尽可能地避免了各种类型的失真，由此采集的图像的失真程度很小、质量较高，可以近似认为没有失真，即能够最高程度地避免由于图像降质带来的主观质量分数的变化。

EPFL数据库中所有的立体图像都是由两台完全一样的高清摄像机（Cannon HG-20）采集的。摄像机镜头的光轴是平行的，并且两台摄像机镜头之间的距离可以保证连续调整，调整范围设定为7cm到50cm。通过调整两台摄像机之间的水平距离可以改变视差。摄像机水平距离的变化直接导致了立体图像的不同主观分数。本文提出的立体感知质量评价主要依托于视差变量，非常适于评价EPFL数据库中的立体图像序列。

3结束语

针对立体图像的成像原理，本文提出了一种感知质量评价算法，主要评价感知质量，而非采集的立体图像和参考的立体图像之间的失真质量。首先得到视差图，然后计算边界图和显著图，分别对其进行加权调整，并将加权调整后的边界图和显著图的每个像素点作为权值来对视差图进行加权，接着使用Minkowski融合方法将加权后的视差图整合成一个单一的感知分数。稍后，使用多尺度处理来得到不同尺度下的感知分数，并加权相乘得到最终的感知质量分数。最后，通过EPFL立体质量评价数据库验证了本文中的立体图像感知质量评价算法。相关的评价指标以及主观分数和客观分数之间的散点图都证明了感知质量评价算法的有效性。这说明了双视视差确实可以作为衡量感知质量的标准，并且图像中物体的结构边缘以及显著图中的显著区域相对于其它区域而言，在立体视觉的形成过程中扮演了更为重要的角色。而且，多尺度处理也提高了感知质量评价算法的精度。

参考文献：

[1]KOOI F L， TOET A. Visual comfort of binocular and 3D displays[J]. Displays， 2004， 25（2）： 99-108.

[2]GOLDMANN L， DE SIMONE F， EBRAHIMI T. Impact of acquisition distortions on the quality of stereoscopic images[C]//Fifth International Workshop on Video Processing and Quality Metrics for Consumer Electronics-VPQM 2010，2010.

[3]AKHTER R. Perceived Image Quality Assessment for Stereoscopic Vision[D]. The University of Manitoba， 2011： 14-15.

[4]ALAGOZ B B. Obtaining depth maps from color images by region based stereo matching algorithms[J]. arXiv preprint arXiv：0812.1340， 2008.

[5]WANG Z， BOVIK A C， LU L. Why is image quality assessment so difficult？[C]//Acoustics， Speech， and Signal Processing （ICASSP）， 2002 IEEE International Conference on. IEEE， 2002， 4： 3313-3316.

[6]CANNY J. A computational approach to edge detection[J]. Pattern Analysis and Machine Intelligence， IEEE Transactions on， 1986 （6）： 679-698.

[7]HAREL J， KOCH C， PERONA P. Graph-based visual saliency[J]. 2007： 2-4.