基于双目能量模型立体图像质量客观评价方法

张引玉，王 慈

(上海交通大学 电子工程系，上海200240)

在娱乐行业和科学应用的推动下，3D影像成为近年来重要的研究对象。彩色立体图像质量评价(Stereo Color Image Quality Assessment，SCIQA)可以给出人眼观看立体图片真实度的判断依据。

图像质量评价分为主观和客观质量评价两种。图像质量的主观评价(Subjective Measurement，Mean Opinion Score，MOS)应用广泛，但也存在显而易见的缺点，如耗时耗力、成本昂贵。相反，图像质量的客观评价能在很短时间内客观地给出图像质量的衡量结果，这在实时应用中是非常重要的。

3D图像的质量评价比传统的2D图像质量评价更为复杂。它不仅需要考虑影响视觉的2D因素，如压缩损失、块效应、模糊等，还要考虑3D图像显示大小和显示技术等因素给观察者带来的影响。研究表明，3D视频的显示格式和对应的编码方法也与感知的立体效果有着紧密联系［1-2］。

早期的研究试图将传统2D图像质量评价方法直接应用于对3D图像的质量评价，对左右通道的图像分别使用2D评价方法进行评价，然后计算两个通道的均值得到3D图像的质量评价结果。但是这种评价方法与人眼视觉系统HVS的双目感知机理是不吻合的，所以评价结果也很难与立体图像的主观评价结果进行拟合［3］。由此可知，在立体图像质量评价过程中充分考虑人眼视觉对3D因素的感知特性对于准确地评价3D图像是非常重要的。

现阶段大多数立体图像质量客观评价方法都集中在信号处理方面。主要有以下两个途径:将深度信息与二维质量评价方法结合;将由左右图像产生的差距图和cyclopean图的评价结果结合。Benoit等在文献［4-5］中试图将深度信息与2D质量评价方法结合起来，利用深度信息度量差距图的失真，并通过分别取左右图像失真的平均值来度量2D图像失真，最后将二者结合产生一种新的SIQA(Stereo Image Quality Assessment)方法。Malaouf等在文献［6-7］中分别产生了原始图像和失真图像的差距图和cyclopean图，并将这两者的评价值结合起来与主观评价的MOS值进行拟合。

近年来，随着对人眼视觉系统研究的不断深入，对立体图像客观质量评价的研究也由传统的误差统计方法转到考虑视觉感知特性的方法上来，出现了许多基于人眼基本视觉特性的图像质量评价模型，于是也产生了一些基于人眼视觉特征的立体图像质量客观评价方法。Yang等在文献［8］中分析了影响人类立体视觉的因素，通过沿用基于人眼视觉的图像质量评价模型，提出了一种评价立体图像的方法，该方法分图像质量和图像立体感两部分对立体图像进行客观评价，实验结果与主观评价结果基本一致，能够反映图像质量和立体感的优劣。Rafik等在文献［9］中提出了一种针对彩色立体图像的利用视觉能量模型的质量评价方法。

1 双目能量模型

双眼视差(Binocular Disparity)简称视差，两眼从稍有不同的两个角度去观察客观三维世界的景物，景物像点落在左右两眼视网膜上的像就在不同的位置上。这种两眼视网膜上位置的差异称为双眼视差，它反映了客观景物的深度，大脑的视觉系统正是利用上述视差才能够感知立体感。视差经脑部区域融合，产生立体视觉，双眼视差的大小由双眼视差角的大小决定。

3D图像在HVS系统中的重建质量首先取决于人单眼视网膜上接收到的图像信息，这些信息之后从视网膜传入视觉皮层进行双目信息的融合，获得感知的3D景象。JCA Read等人提出的V1细胞双目视觉能量模型［10］如图1所示。在视觉皮层，分别有简单细胞和复杂细胞来负责处理双目接收信息的融合工作，这些细胞的接收场有特定的方向和大小。其中，简单细胞又分为单目简单细胞(Monocular Simple Cells，MS)和双目简单细胞(Binocular Simple Cells，BS)。图像被人眼接收后，先经过单目简单细胞的处理，单目简单细胞的接收场可以用二维Gabor函数描述，将视网膜中的图像与接收场函数内积之后，产生一个响应强度信号，这个强度信号被馈入双目简单细胞进行能量计算，之后两对双目简单细胞的输出被送入复杂细胞(Complex Cells，CX)进行V1细胞的综合响应能量计算。

图1 V1细胞双目视觉能量模型

2 本文算法

2.1 简单细胞

简单细胞接收场的响应函数可以用一个空间线性滤波器ρ(x，y)来描述，它代表了在视网膜上位置为(x，y)处单位亮度刺激能引起的响应大小。ρ(x，y)的正值部分代表了接收场中的ON区域，负值部分代表了接收场中的OFF区域。在ON区域，亮的刺激使接收场的响应增大;而在OFF区域，暗的刺激使响应增大。如果使用I(x，y)表示视网膜中感受到的图像，其中，I(x，y)的正值代表图像中亮的刺激，而负值代表暗的刺激，于是一个线性单目简单细胞(MS)对该图像刺激的响应就是视网膜图像与接收场函数的内积，如式(1)所示

在本文算法中，首先将彩色图像从RGB空间转换到CIEL*a*b*空间，这是因为后者能正确地表示HVS感知图像信息的色彩组成。于是，立体图像的左图和右图就分别被一个亮度分量L*和两个正交的色度分量a*和b*代表，如图2所示。

图2 图像CIEL*a*b*空间显示结果

因为视觉系统中存在单目和双目两种信息，与之对应，在视觉皮层中也存在两种简单细胞——单目简单细胞和双目简单细胞。单目简单细胞负责分别接收左右视网膜中的图像信息，而双目简单细胞具有双目的接收场，且由大小、相位和方向这几个特性来表征。每对双目简单细胞之间有90°的相位差，一对单目简单细胞的输出连接到一个单目复杂细胞，而一对双目简单细胞的输出连接到一个双目复杂细胞。

一对简单细胞的响应通常是如下形式:C(x)=ρ(x)eφ(x)，为了表示细胞的这种兼具大小、幅度、相位和方向的空间—频率特性，需要选取一种合适的方向小波，它需具有多分辨率、空间定位、无冗余等特性。本文采用以下3种数学模型来模拟细胞的这种特性，分别是复杂小波变换(CWT)、离散小波变换(DWT)和Bandelet变换。

Kingsbury［11］在1999年提出了DT-CWT(对偶树复小波变换变换，Dual Tree-Complex Wavelet Transform)，它是基于实数小波变换实现复数小波变换，通过2个并行的实数滤波器组计算得到实部和虚部系数。相较于传统的实离散小波变换(2d-DWT)，DT-CWT具有近似平移不变性、良好的方向选择性、有限的数据冗余4∶1、完备重构及计算复杂度低等优点。本文采用DT-CWT在每一个尺度下分解生成6个复系数高频带子图，分别代表±15°，±45°和±75°方向的脉冲响应。

对图像的亮度分量(L*)使用CWT变换得到亮度分量的实部和虚部，同时对两个色度分量分别使用DWT，得到色度分量(a*，b*)的实部和虚部，结果如图3所示。

图3 图像亮度CWT结果和图像色度DWT结果显示

对于几何正则图像，小波分解的高频子带大幅值系数主要沿图像的几何流分布，为了得到更多的零系数，Mallat和Peyre在2006年提出Bandelet变换［12］，对各高频子带实施Bandelet化，实现小波系数的进一步压缩。Bandelet化是在二维小波变换的基础上，沿着高频子带系数的几何流对小波系数进行重采样，得到一维信号，再对一维信号做小波变换，并在局部区域用一组平行直线逼近该区域的几何流走向。由于不同区域内几何流方向不同，因此必须对高频子带进行分割。经过Bandelet变换之后，得到与简单细胞对应的四叉分割结果和每个分割块的方向信息。

于是，对于一幅彩色立体图像的左图或者右图，经过CWT，DWT和Bandelet变换之后，可以使用如下4个分量来表示，即Re［CWT(L*)］，lm［CWT(L*)］，DWT［C(a*)］和DWT［C(b*)］。

2.2 复杂细胞

复杂细胞的大小跟简单细胞是一致的，区别在于它们对方向和位置信息不敏感。经过CWT和Bandelet变换确定图像小波系数的分块和每块的方向之后，需要根据得到的方向进行左右图像中对应块的匹配，本文采用的是在同一水平位置的搜索方法。对右边的某幅图像，如果有特定的方向，就在左图中跟它同一水平位置找到相近的对应匹配块。对于那些没有明显方向的块，选择不进行匹配。图4为其中一对图像在最大小波分解层次时水平方向的匹配块对应图。

图4 左右小波匹配块对应图

将左右图中的对应块全部匹配好之后，需要模拟复杂细胞的工作模式，进行最终的能量计算。可以用Cl(x)=ρl(x)eφl(x)和Cr(x)=ρr(x)eφr(x)分别代表左右对应匹配块的响应值，用E(x)表示一个双目复杂细胞的响应能量值。

匹配块之间的位置和方向关系有以下3种情况:

1)左右图像间的2个匹配块具有相同的位置和方向，双目响应能量为

其中，ρi(x)是单目响应幅度，由亮度或色度分量的实部和虚部通过以下公式计算得到)

Δφ(x)表示左右对应像素间的相位差，Δφ(x)=φl(x)-φr(x)。单目响应相位是匹配块除大小、位置和方向之外另一个重要特征描述量，通过式(4)计算得到

2)左右图像间两个匹配块的方向相同位置不同，存在双目水平差距d，Cr(x)是Cl(x)平移之后的值，即Cr(x)=Cl(x-d)。因为文章只考虑校正过的图像，所以双目差距只存在水平方向的位移。于是，相位关系为φr(x)=φl(x-d)，对双目相位差进行泰勒展开，即

双目响应能量为

3)当双目水平差距d继续增大，左右图像间的两个匹配块不仅位置不同，方向也会发生改变，这使得双目相位差需要用差距d和方向改变Δω来表示，如式(7)所示

双目响应能量为

2.3 双目能量和评价分数计算

本文进行全参考图像的立体图像客观质量评价。其中失真图像与参考图像的匹配块具有相同的位置和大小，但是两者的方向却是不一样的。这是因为图像失真导致图像的几何流方向有所改变，同时简单细胞的感知方向也有所相应的改变。同时，由于小波变换的系数跟空间失真是有直接关系的，所以失真图像的实部和虚部系数相对于参考图像是有改变的，于是在计算双目能量的时候，幅度ρ(x)和相位φ(x)都跟参考图像的对应结果存在差别。

在本文中，最终的质量评价是通过比较失真图像和参考图像的双目能量实现的

将图像小波分解为L个等级，于是小波分解的子带总数为S=(3×L)+1;Ni是对应第i个子带中简单细胞，即匹配块的个数;C是色彩空间分量个数，在该算法中，C=2，分别对应亮度分量和色度分量。

3 实验结果

本文在评估算法时采用文献［13］的立体图像库。由于数据库的限制，只评价了JPEG压缩对彩色立体图像质量的影响。首先使用由VQEG［14］建议的方法，根据得到的客观评价值和主观分数进行非线性映射，映射公式为

式中:s是输入的客观评价值，在本文算法中就是由式(9)计算出的能量分数值;M(s)是得到的映射分数;β1，β2，β3，β4是在曲线拟合过程中决定的自由参数。然后根据M(s)和主观评价值做线性拟合，如图5所示，图中横坐标为得到的M(s)，纵坐标为主观MOS值。

图5 本文算法拟合结果

本文使用的图像库中，JPEG压缩有7个质量等级(Quality Score，QS)，分别为QS=10，15，27，37，55，79，100，QS越高，图像质量越好。一共采用了11组图像，所以图中存在77个数据点。图6为仿真文献［11］的算法并且使用相同的拟合方法得到的数据结果。可以看到，图5比图6在拟合效果上更好。

图6 文献［11］算法拟合结果

通过计算由VQEG建议的4个统计参数值来评估本文算法结果跟主观评价值的一致性，分别是非线性回归条件下的线性相关系数(Correlation Coefficient，CC)、Spearman排序相关系数(Spearman Rank Order Correlation Coefficient，SROCC)、绝对误差均值(Mean Absolute Error，MAE)和均方差的平方根(Root Mean Squared Error，RMSE)。同时比较了本文算法与仿真文献［11］中算法得到的数据，结果见表1。

表1 不同算法结果数据的比较

根据以上结果可以看到，本文算法相较于文献［11］中的算法与主观评价值具有更好的拟合度，即具有更大的CC和ROCC，更小的MAE和RMAE。

4 小结

本文提出一种针对彩色立体图像的全参考图像质量客观评价算法，通过模拟视觉系统对视网膜图像的响应达到评价图像质量的目的。首先通过用复杂小波变换、离散小波变换来模拟视觉皮层细胞接收场的作用，再通过Bandelet变换来模拟视觉系统中简单细胞的组成结构，继而根据视觉系统中简单细胞和复杂细胞的合作方式构建出能量模型，最终将能量计算结果作为人脑对彩色立体图像的响应大小，并判断这个能量响应大小与主观评价值的相符性。实验结果表明，该算法的结果与引用图像库的主观评价结果有较好的拟合度，能较好地评价彩色立体图像质量。

［1］LAMBOOIJ M，IJSSELSTEIJN W，HEYNDERICKX I.Visual discomfort in stereoscopic displays:a review［C］//Proc.SPIE 6490，Stereoscopic Displays and Virtual Reality Systems XIV.San Jose，CA，USA:SPIE Press，2007:1-13.

［2］成于庆，姜秀华.立体电视视频质量影响因素分析［J］.电视技术，2011，35(12):80-83.

［3］CAMPISI P，CALLET P L，MARINI E.Stereoscopic images quality assessment［EB/OL］.［2012-11-02］.http://www.irccyn.ec-nantes.fr/～lecallet/paper/lecallet-Eusipco07.pdf.

［4］BENOIT A，CALLET P L，CAMPISI P，et al.Using disparity for quality assessment of stereoscopic images［C］//Proc.ICIP’08.［S.l.］:IEEE Press，2008:389-392.

［5］BENOIT A，CALLET P L，CAMPISI P，et al.Quality assessment of stereoscopic images［EB/OL］.［2012-11-02］.http://www.irccyn.ecnantes.fr/～lecallet/paper/lecallet-Eusipco07.pdf.

［6］MAALOUF A，LARABI M C.CYCLOP:a stereo color image quality assessment metric［C］//Proc.ICASSP 2011.［S.l.］:IEEE Press，2011:1161-1164.

［7］BOEV A，GOTCHEV A，EGIAZARIAN K.Towards compound stereovideo quality metric:a specific encoder-based framework［C］//Proc.IEEE Southwest Symposium Image Analysis and Interpretation.Denver，CO，USA:IEEE Press，2006:218-222.

［8］YANG J，HOU C，ZHOU Y，et al.Objective quality assessment method of stereo images［C］//Proc.IEEE 3DTV Conference.Potsdam，Germany:IEEE Press，2009:1-4.

［9］BENSALMA R，CHAKER M.Towards a perceptual quality metric for color stereo images［C］//Proc.IEEE 17th International Conferences on Image Processing.Hong Kong:IEEE Press，2010:26-29.

［10］READ J，PARKER A J，CUMMING B G.A simple model accounts for the response of disparity-tuned V1 neurons to anticorrelated images［J］.Visual Neuroscience，2002(19):735-753.

［11］KINGSBURY N.The dual-tree complex wavelet transform:a new technique for shift invariance and directional filters［C］//Proc.8th IEEE DSP Workshop.Bryce Canyon，USA:IEEE Press，1998:319-322.

［12］PEYRE G，MALLAT S.Surface compression with geometric bandelets［J］.ACM Transactions on Graphics，2005，24(3):601-608.

［13］SAZZAD Z，YAMANAKA S，KAWAYOKE Y，et al.Stereoscopic image quality prediction［C］//Proc.IEEE QoMEX.San Diego，CA，USA:IEEE Press，2009:29-31.

［14］VQEG final report of FR-TV phase II validation test 2003［EB/OL］.［2012-11-02］.http://www.vqeg.org.