基于图像内容视觉感知的图像质量客观评价方法∗

姚军财 刘贵忠

1)(西安交通大学电子与信息工程学院,西安 710049)

2)(陕西理工大学物理与电信工程学院,汉中 723000)

1 引 言

随着光电、信息和通信技术的快速发展,图像技术的应用日益广泛.但是,在图像的获取、存储、传输和处理过程中均会发生不同程度的改变,导致图像有一定的失真,直接影响了观察者的主观感知效果和服务质量.因此,需要一种有效而又实用的度量失真图像质量的评价方法.有效可靠的图像质量客观评价方法不仅能自动评价其优劣,而且还能对图像进行质量监控,指导参数设置和优化模块算法,指导和控制网络传输等.目前,虽然图像质量评价方面的研究工作取得了较多的成果,但还远远不能满足实际应用的要求和需要,主要是因为其客观质量评价与主观感知结果存在一定的差距.因此,研究尽可能逼近人眼主观感知、有效且方便的图像质量客观评价方法非常必要,具有重要的理论研究意义和实际应用价值[1−3].

近些年,国内外的许多专家学者对图像质量客观评价方法做了大量的研究工作,提出了较多的评价模型[3−12],其中代表性的有MSE(mean square error),PSNR(peak signal-to-noise ratio),SSIM(structural similarity index)[3],VSNR(visual signal-to-noise ratio)[4],FSIM(feature similarity index)[5],GMSD(gradient magnitude similarity deviation)[6]和VSI(visual saliency-induced index)[7].但分析其评价模型,仍存在些许的不足[5,12,13],其主要表现如下.

1)模型只是计算图像间的数值差异,完全没有考虑人类感知因素,致使图像主客观评价结果差异较大.如PSNR和MSE等基于像素域的评价方法,但该方法计算简单,以致目前仍是最为普遍的评价方法之一.

2)考虑了部分人眼视觉特性,但主客观评价结果仍存在一定程度的差异.国内外在此方面做了大量的研究,得出了较多的成果[3−10],其中普遍认同的是Wang等[3,4]提出的SSIM评价模型.该模型是利用人眼对图像结构信息的感知特性,从亮度、对比度和结构三个方面构建的评价模型.综合考虑模型计算复杂度、评价精度和实时性等因素,其评价效果优于SNR,PSNR,VSNR,FSIM,GMSD和VSI.但该模型主要是基于人眼对图像中的结构信息可以自适应这一特征提出的,没有考虑图像中的视觉冗余[5],即人眼对图像的失真存在一定的阈值,当失真量低于阈值时,人眼不能感知,则主观评价分数基本不变;但对于SSIM来说,只要有失真,其评价分数便有变化,从而导致了主客观评价的不一致性.

3)没有考虑图像本身内容的感知和复杂度的影响.目前的评价方法主要是针对压缩和传输等外在因素影响而进行的评价,如块效应、模糊和振铃效应等,很少考虑图像内容本身的感知,并且基本上没有考虑图像内容复杂度的影响,致使主客观评价结果存在一定程度上的不一致[10,13−15].目前,这方面的研究已成为热点.

4)评价模型比较复杂.此问题是目前结合人眼视觉特性进行图像质量评价研究中的一个难点问题,结合人眼视觉特性及其数学模型在很大程度上会增加评价模型的计算复杂度,如VSNR,FSIM和VSI等.一般评价方法是通过提取和分析图像中引起失真的特征因素、根据视觉特性和权重构建评价模型.此类方法评价效果虽然较为显著,但其针对性较强;且为了提高评价准确度,需要提取更多的有效特征,使得计算更加复杂[4,5].

基于以上的不足,本文结合图像内容的复杂性特征和人眼对亮度感知的非线性、掩蔽特性以及对比敏感度特性,提出了一种基于人眼对图像内容感知的质量客观评价方法,采用LIVE,TID2008和CSIQ三个数据库中的共47幅参考图像和1549幅测试图像进行仿真实验,并与PSNR,SSIM和VSNR等典型的图像质量客观评价模型进行了对比分析.结果表明:在图像质量客观评价中,考虑人眼对图像内容和复杂度的感知有助于提高图像质量主客观评价的一致性,评价精度可得到进一步的提高.

2 视觉模型及其在图像质量评价中的应用

2.1 对比敏感度视觉模型

用户体验是图像质量客观评价的四大关键因素之一.目前的评价方法最主要不足之处是没有较好地结合人眼视觉特性,导致主客观评价的不一致[3−7].人眼对比敏感特性是4个重要的空间视觉特性之一,国内外专家学者对其进行了大量的研究,提出了较多的数学模型,其模型一般称之为人眼对比敏感度函数(contrast sensitivity function,CSF),该函数主要描述人眼对比敏感度值(一般采用人眼对比觉察阈值的倒数来定量描述)与角频率(fθ)之间的函数关系[16−18].综合考虑图像质量评价算法的复杂性、CSF模型反映感知特性的效果等方面,分析前人的视觉模型.本文选用由Stephen等[16]提出的人眼亮度对比敏感度函数(CSFL),以及由Nadenau[17]提出的人眼红绿(rg)和蓝黄(by)对立色对比敏感度函数(CSFrg和CSFby),其表达如(1)—(3)式:

1)人眼亮度对比敏感度函数

式中,

其中CL表示人眼觉察亮度目标光栅的对比敏感度阈值;L表示光栅的平均亮度;fθ为人眼观察光栅时的角频率,单位为cpd(cycle per degree);w表示觉察时空间视角对应的刺激瞳孔的大小[16].

2)人眼红绿和蓝黄对立色对比敏感度函数

式中Crg和Cby分别是定量描述人眼对红绿和蓝黄对立色光栅的彩色对比敏感度阈值[17,18].

2.2 视觉模型在图像评价中的应用

在结合人眼视觉特性的图像质量评价中,最为关键的一点是构建视觉模型与图像数据之间的关系[12,16],而两者之间的联系即为频率.在图像技术中,图像经变换后得到频谱图,其频率称之为空间频率.而在CSF模型中的频率是角频率,其定义为单位视角内刺激人眼的光栅条纹的周期数目,表达式为[18]

式中N为视角范围内目标光栅条纹的周期数目,θ为观察视角.则要将视觉模型CSF应用到图像数据中,需要构建两频率之间的关系.具体的计算方法如下.

图像经离散余弦变换(DCT)后得到的频谱图上任意一点的频谱坐标(fx,fy)即为该点的空间频率,且其任意一点经逆变换后得到空域图.通过实验发现:任意一点对应的空域图均是竖直或水平或两者共存的条纹光栅,且光栅与原频谱图大小相同,光栅的周期数目为.则可以把图像看成是由若干个光栅合并而成;而人眼是最好的频谱滤波器,则人眼观察频谱图像上的点时,可以等效为观看其点对应的光栅.基于此特点,当人眼观察图像时,人眼即是觉察周期数目为的光栅,观察视角为图像大小范围所对应的视角;结合(4)式,则人眼观察图像时,图像上任意一点的角频率计算如(5)式,则其较好地将两频率联系起来.

根据以上关系,当人眼观察图像时,图像中任意一点的角频率都可通过(5)式计算获得;再代入到CSF视觉模型(1),(2)和(3)式中,则可以计算获得人眼觉察图像中任意一像素点的对比敏感度阈值,包括亮度和色度的阈值.从而将CSF用在图像评价中.

3 图像质量客观评价模型构建方法

人眼接收到的图像信息主要是对图像的亮度和色度信息的感知,则可以把人眼感知到的图像的亮度和色度作为人眼感知图像的初步信息.而人眼感知图像每一点的亮度和色度信息受到两个方面的影响:一是该点小范围内其他各点引起的亮度和色度对比对其的影响,即局部对比度的影响;二是人眼对目标本身的敏感程度的影响.考虑二者的影响,以人眼的敏感程度和局部平均对比度作为感知初步信息的权重来求和,其信息之和作为人眼感知图像的信息内容(即感知图像),以此思想构建图像内容感知模型.并以此模型求源图像和失真图像之间的强度差,以该差作为图像质量客观评价的分数,从而构建图像质量客观评价模型,模型构建思路流程如图1.

图1 提出的图像质量客观评价方法流程图Fig.1.The architecture for proposed objective evaluation method of image quality.

1)图像信息强度感知

图像是由亮度和色度混合而成,但无论是亮度,还是色度,对外的表现均是其能量强度的呈现,人眼对其的感知亦是对其强度的感知.在目前的图像质量评价方法中,表现图像差异的方法主要是用强度差来描述.但人眼对能量强度的感知是按对数形式变化,从而导致主客观评价的不一致.基于此,采用人眼对光强度的感知模型((6)式),分别计算人眼对图像的亮度、色度的强度感知值S,以此作为人眼感知图像亮度和色度的信息.

式中I为彩色图像的亮度(L)、红绿(rg)和蓝黄(by)三个分量图中各点的能量强度值,K为常数.

具体操作为:将图像从RGB色空间转换到YCbCr色空间描述,进行亮度和色度分离,得到亮度、红绿和蓝黄三个分量图;并分别对其进行8 pixels×8 pixels大小子块划分.利用(6)式,分别计算三个分量图中所有子块的每一点的亮度对应的主观感知强度值S,分别记为SL,Srg和Sby.

2)人眼对图像信息强度的敏感

同一目标在不同的空间位置或具有不同的强度,给人眼的感知敏感程度是不同的.研究表明,在观察图像时,最为引起人眼注意的范围是58个像素点的区域[16,17].则在图像技术中,为了方便处理,一般将关注的范围定为8 pixels×8 pixels大小子块.结合此特性和人眼对比敏感度特性,计算图像每一子块中每一像素点的敏感程度.具体操作如下.

①对所有子块进行离散余弦变换,并将每个子块频谱图的频谱进行平移,使其零频移至频谱中心.计算每个子块频谱图中每一点的空间频率.根据前面的说明,则f为反离散余弦变换空域图上呈现光栅的条纹的周期数目,即(4)式中的N.

②以8 pixels×8 pixels大小子块为每次人眼关注的目标,计算其空间视角θ;根据⃝1中得出的N值,将N和θ代入(5)式,计算所有子块中每一点的角频率fθ.

③将角频率fθ代入到人眼对比敏感度视觉模型(即(1),(2)和(3)式)中,分别计算出人眼对图像中每一点的敏感程度值CL,Crg和Cby.

④4分别对SL,Srg和Sby进行DCT变换,以CL,Crg和Cby为权重因子,对其变换域值加权,再对其做反离散余弦变换(IDCT),并将所有子块(数目为M)合成(CATblock),并排序恢复整幅图像(Trefresh),其结果为人眼主观感知图像亮度和色度的值;并依据YCbCr和RGB之间的经典转换(TYCC-RGB)关系式转换到RGB色空间中,得到人眼主观感知图像的R,G,B分量图,记为Rsubject,Gsubject,Bsubject,如(7)式:

3)局部环境对感知图像信息强度的影响

当人眼观看图像时,人眼感知图像中的每一点都受到该点周围多个像素点的影响.则为了考虑此影响,对RGB图像分别以R,G,B三分量图中每一点自身为中心,计算该点与周围最邻近的8个点之间的对比度值,并求其平均值Cmean.以此值作为感知该点受到局部周围环境的影响因子.

4)图像内容感知模型

以Cmean为权重因子,分别与主观感知的Rsubject,Gsubject,Bsubject三分量图中对应的各点幅值求积.依据RGB色空间颜色混合法则,将求积后的R,G,B值按比例关系混合(CATRGB)得到RGB彩色图像,其即为人眼主观感知的图像(表述为感知图像),记为RGBsubject.计算如(8)式,其即为人眼感知图像内容模型.

式中Cm_R,Cm_G和Cm_B为Cmean对应于R,G,B分量图中的局部对比度平均值.

5)图像质量客观评价模型

按照以上的图像内容感知模型,分别处理,计算获得原始图像的感知图像RGBsubject-original和失真图像的感知图像RGBsubject-distortion,并按对应像素点计算其平均强度差.基于峰值信噪比(PSNR)的定义式,用平均强度差代替PSNR中的均方误差(MSE)值计算,计算结果则可作为图像质量客观评价分数.其分数值越大,表明图像质量越好,反之则越差.计算如(9)式,其即为基于人眼对图像内容感知的图像质量客观评价模型,记为LCCM(image quality evaluation model based on luminance,contrast influence and contrast perception).

4 实验结果与讨论

4.1 实验结果

依据上述的图像质量客观评价方法,采用LIVE[19,20],TID2008[21,22]和CSIQ[23,24]三个数据库中的共47幅参考图像(如图2,图3和图4)和1549幅测试(失真)图像进行仿真实验,对其进行评价,获得图像质量客观评价分数LCCM值.其中,测试图像来源于对参考图像进行不同失真类型、失真程度的处理而获得,3个图像数据库来源及参数说明如表1.

为了说明图像质量客观评价结果的准确性,一般将其与主观评价分数MOS(mean opinion score)或DMOS(difference mean opinion score)值做相关性分析.相关性分析一般包括:1)做质量主客观评价分数的散点图,2)计算相关性参数.其中,散点图主要是从直观上反映主客观评价结果的一致性程度;一般散点图的纵坐标是质量主观评价分数MOS或DMOS值,横坐标是采用模型评价得出的客观评价分数;为了更好地说明主客观评价分数的一致性,采用最小二乘法对主客观评价分数进行拟合,得出拟合曲线;则当散点图中的散点越靠近拟合曲线(即离散程度越低),曲线的单调性越好,表明主客观评价分数的相关性越好,一致性越高,则其评价模型就越好,反之则越差.相关性参数主要是从量化上反映主客观评价结果的一致性程度;相关性参数主要有:Pearson线性相关系数(Pearson linear correlation coefficient,LCC),Spearman秩相关系数(Spearman rank order correlation coefficient,SROCC),均方根误差(root mean square error,RMSE)和散点图的离出率(outlier ratio,OR)[25,26].其中LCC和SROCC值越接近于1,表明相关性越好,评价模型越好,反之则越差;RMSE和OR越小,表明主客观评价结果偏差越小,评价结果越好,反之则越差.此4个参数值能够较好地从数值上衡量主客观评价结果的一致性程度.

表1 3个图像数据库及参数说明Table 1.Three image databases and the parameters description.

图2 LIVE数据库中提供的12幅参考图像Fig.2.Twelve reference images proposed by LIVE database.

图3 TID2008数据库中提供的5幅参考图像Fig.3.Five reference images provided by TID2008 database.

图4 CSIQ数据库中提供的30参考图像Fig.4.Thirty reference images proposed by CSIQ database.

为了说明提出的LCCM图像质量客观评价模型的优劣,将其评价1549幅图像的结果与LIVE,TID2008和CSIQ三个数据库中提供的主观评价分数MOS或DMOS值做相关性分析,且与SSIM,VSNR,PSNRHVS和FSIM模型的评价结果进行对比,结果如图5,计算的4个参数值如表2.

图5 LCCM,SSIM,VSNR和PSNRHVS模型评价的结果与3个数据库中提供的主观评价分数MOS或DMOS值之间的散点图 (a)LIVE-LCCM;(b)LIVE-SSIM;(c)CSIQ-LCCM;(d)CSIQ-SSIM;(e)TID2008-LCCM;(f)TID2008-VSNR;(g)TID2008-SSIM;(h)TID2008-PSNRHVSFig.5.Scatter plots of LCCM,VSNR,SSIM and PSNRHVS versus MOS or DMOS provided by the LIVE,CSIQ and TID2008 databases:(a)LIVE-LCCM;(b)LIVE-SSIM;(c)CSIQ-LCCM;(d)CSIQ-SSIM;(e)TID2008-LCCM;(f)TID2008-VSNR;(g)TID2008-SSIM;(h)TID2008-PSNRHVS.

表2 衡量图像主客观评价一致性的4个参数值Table 2.Four parameters to measure the consistency between subjective and objective evaluations of images.

图5中的横坐标为采用LCCM,SSIM,VSNR和PSNRHVS模型评价的质量分数,纵坐标为主观评价分数.从图5中可以直观地发现,相对于SSIM,VSNR和PSNRHVS的评价分数,LCCM评价结果的离散程度明显偏小,曲线的单调性好于其他三种方法的结果.从相关性量化数值上,表2中的结果表明,LCCM模型的评价分数与DMOS或MOS的相关性系数LCC和SROCC值比SSIM的均得到了一定程度的提高,提高幅度分别平均为9.5402%和3.2852%;比VSNR和PSNRHVS提高幅度更大.

4.2 讨 论

为了探讨图像内容复杂性和失真类型对图像质量评价准确度的影响,以及结合人眼感知特性提高评价精度的途径,从两个方面将LCCM模型评价结果与3个数据库中提供的主观评价结果进行相关性分析.

4.2.1 图像内容复杂性对质量评价的影响

分析每一幅源图像在不同的失真下的LCCM评价结果与主观评价结果的相关性,并与SSIM评价结果进行对比分析,探讨图像内容的复杂性对质量客观评价准确度的影响.结果如图6—图10.其中,图6是TID2008数据库中5幅源图像(TID-01—TID-05)经过17种类型、不同程度失真后,采用LCCM和SSIM模型对其评价的结果与MOS值之间的散点图;图7是LIVE数据库中12幅源图像(buildings,fountain,dancers,church,womanhat,sailing1,bikes,carnivaldools,building2,cemetery,lighthouse,caps)经过5种类型、不同程度失真后,采用LCCM和SSIM模型对每幅源图像失真后的系列图像的评价结果与DMOS值之间的散点图;图8和图9是CSIQ数据库中30幅源图像(Image01—Image30)经过6种类型、不同程度失真后,分别采用LCCM和SSIM模型对其评价的结果与DMOS值之间的散点图;图10是3个数据库中每幅源图像经过不同失真后,采用LCCM和SSIM模型对其评价的质量分数与主观评价分数之间的相关性参数的对比.

图6 TID2008数据库中5幅源图像每幅经过17种类型的失真后采用LCCM和SSIM模型对其评价的结果与MOS值之间的散点图 (a)—(e)TID-I01-LCCM—TID-I05-LCCM;(f)—(j)TID-I01-SSIM—TID-I05-SSIMFig.6.Scatter plots between MOS and the objective evaluation scores obtained by using the LCCM and SSIM models to evaluate the tested images from any of five reference images in TID2008 database being distorted with 17 types:(a)–(e)TIDI01-LCCM–TID-I05-LCCM;(f)–(j)TID-I01-SSIM–TID-I05-SSIM.

图6—图9中的横坐标为针对三个数据库中的失真视频、采用LCCM或SSIM模型评价的质量分数,纵坐标为其视频主观评价分数.通过对比各散点图的离散程度和拟合曲线的单调性,可以直观地分析主客观评价分数的一致性(即相关性),从而判断评价模型的优劣.结合3个数据库中源图像的内容特征,对比分析图6—图9上的散点分布和图10中的相关性计算结果可以发现:1)当源图像本身比较模糊时,如LIVE库中的图I03和CSIQ库中的图I05,I10,I24,LCCM评价结果与主观评价结果的相关性明显高于SSIM评价结果的相关性;2)当源图像的纹理不复杂、图像内容场景较少、大面积单色调或相近色或平坦区域时,如LIVE库中的图I05,I06,I08,I11,I12,CSIQ库中的图I06,I11,I14,I26,以及TID2008库中的I01,I02,I03,LCCM评价精度在一定程度上高于SSIM的评价结果;而当纹理复杂、场景较多、颜色丰富的图像,LCCM评价效果相近或差于SSIM.

图7 LIVE数据库中12幅源图像每幅经过5种类型的失真后采用LCCM和SSIM模型对其评价的结果与DMOS值之间的散点图(a)buildings-LCCM;(b)fountain-LCCM;(c)dancers-LCCM;(d)church-LCCM;(e)woman hat-LCCM;(f)sailing1-LCCM;(g)bikes-LCCM;(h)carnival dolls-LCCM;(i)buildings2-LCCM;(j)cemetry-LCCM;(k)lighthouse-LCCM;(l)caps-LCCM;(m)buildings-SSIM;(n)fountain-SSIM;(o)dancers-SSIM;(p)church-SSIM;(q)womanhat-SSIM;(r)sailing1-SSIM;(s)bikes-SSIM;(t)carnival dolls-SSIM;(u)buildings2-SSIM;(v)cemetry-SSIM;(w)lighthouse-SSIM;(x)caps-SSIMFig.7.Scatter plots between DMOSand the objective evaluationscoresobtainedbyusing the LCCMand SSIMmodelstoevaluatethe testedimagesfromany of12reference imagesinLIVE databasebeing distorted with5 types:(a)buildings-LCCM;(b)fountain-LCCM;(c)dancers-LCCM;(d)church-LCCM;(e)womanhat-LCCM;(f)sailing1-LCCM;(g)bikes-LCCM;(h)carnivaldolls-LCCM;(i)buildings2-LCCM;(j)cemetry-LCCM;(k)lighthouse-LCCM;(l)caps-LCCM;(m)buildings-SSIM;(n)fountain-SSIM;(o)dancers-SSIM;(p)church-SSIM;(q)woman hat-SSIM;(r)sailing1-SSIM;(s)bikes-SSIM;(t)carnival dolls-SSIM;(u)buildings2-SSIM;(v)cemetry-SSIM;(w)lighthouse-SSIM;(x)caps-SSIM.

图8 CSIQ数据库中30幅源图像每幅经过6种类型的失真后采用LCCM模型对其评价的结果与DMOS值之间的散点图(a)—(ad)Image01—Image30Fig.8.Scatter plots between DMOS and the objective evaluation scores obtained by using the LCCM model stoevaluate the tested images from any of30reference imagesinCSIQ database being distorted with6 types:(a)–(ad)Image01–Image30.

图9 CSIQ数据库中30幅源图像每幅经过6种类型的失真后采用SSIM模型对其评价的结果与DMOS值之间的散点图(a)—(ad)Image01—Image30Fig.9.Scatter plots between DMOS and the objective evaluation scores obtained by using the SSIM models to evaluate the tested images from any of 30 eference images in CSIQ database being distorted with 6 types:(a)—(ad)Image01—Image30.

图10 3个数据库中每幅源图像经过不同失真后采用LCCM和SSIM模型评价的质量分数与主观评价分数之间相关性的对比 (a)LIVE;(b)TID2008;(c)CSIQFig.10.Comparing correlation between the subjective scores and the objective results from evaluating all distorted images of each reference image in there databases with LCCM and SSIM respectively:(a)LIVE;(b)TID2008;(c)CSIQ.

分析其原因主要是对于本身模糊、纹理不复杂、场景较少、大面积平坦区域等特征的源图像,存在更多的视觉冗余,人眼感知其失真的阈值更大;而在图像质量评价时,只有当图像失真量超过阈值时,人眼才能感知,但对于SSIM等模型的评价,只要有失真,其评价结果便会发生变化;更大的失真感知阈值增加了SSIM等客观评价模型的主客观评价的不一致,导致其模型的评价误差更大.这需要采用结合更多视觉特性的评价模型来评价.而LCCM模型考虑了人眼感知亮度的非线性、掩蔽特性和对比度敏感特性,相对来说,其结合了更多的人眼视觉特性,所以对于此类图像的评价效果要优于SSIM,PSNRHVS和MSE等模型.具体的原因分析如下.

1)掩蔽特性.当以上此类源图像失真时,因为掩蔽特性使得人眼感知其失真的阈值变大,原本能够感知的图像失真,因为感知失真阈值的增加而现在不能被感知;人眼容忍图像失真的程度增加,则使得更大范围内的失真图像的主观评价分数基本不发生变化(图像的失真不超过感知失真阈值);但对于SSIM等模型,只要有失真,其评价结果就要发生变化;而且由于感知失真阈值的增加,主观分数基本不变的失真图像的客观评价分数变化更大,所以,人眼掩蔽特性是导致主客观评价不一致的原因之一.而LCCM模型结合了人眼对比敏感度特性,当失真量没有超过感知失真阈值时,人眼敏感值非常小或者为零,感知图像上几乎没有差异,从而LCCM模型能够很好地减少因人眼掩蔽特性和图像视觉冗余带来的质量评价结果的误差,提高了其评价精度.

2)人眼感知亮度的非线性.人眼对亮度(或能量强度)的感知是非线性的,呈对数变化趋势,即人眼感知到的失真量比实际的失真量要小.但对于SSIM等模型是按照实际的失真量来评价图像间的差异,所以其也是导致主客观评价不一致的原因之一.而LCCM模型在构建时,将图像的亮度和色度的强度均按照人眼感知强度模型((6)式)进行了转换,从而使其评价分数能够有效地避免此视觉特性带来的误差.

3)人眼对比敏感度特性.人眼对目标的敏感程度主要受到周围环境和空间频率的影响,即相同的目标在不同的环境中、不同的空间位置,其人眼感知是不同的.则基于此特性,当图像有相同的失真量时,不同的图像,人眼感知的结果是不同的,但对于SSIM等模型,相同的失真量其评价结果即相同,从而导致了主客观评价的不一致.所以,人眼敏感特性也是导致主客观评价不一致的原因之一.而在LCCM模型的构建中,是以对比敏感度特性值作为感知亮度的权重因子,所以能够较好地克服评价过程中其带来的误差,提高了评价结果的精度.

4.2.2 失真类型对质量评价的影响

分析每一种类型、不同程度的失真下所有图像的LCCM评价结果与主观评价结果的相关性,并与SSIM进行对比分析,探讨图像的失真方式对质量客观评价准确度的影响.结果如图11—图14.其中,图11—图13中的横坐标为采用LCCM或SSIM模型评价三个数据库中所有类型、不同失真程度的视频的质量分数,纵坐标为其相应视频质量主观评价分数.图中每一个子图代表一种失真类型的评价结果,子图中的曲线为采用最小二乘法拟合的结果.

图11 TID2008数据库中17种失真类型的图像分别采用LCCM 和SSIM模型评价的分数与MOS之间的散点图 (a)AGNLCCM;(b)AN-LCCM;(c)SCN-LCCM;(d)MN-LCCM;(e)HFN-LCCM;(f)IN-LCCM;(g)QN-LCCM;(h)GB-LCCM;(i)ID-LCCM;(j)JC-LCCM;(k)J2K-LCCM;(l)JT-LCCM;(m)J2KT-SSIM;(n)NEPN-SSIM;(o)LBWI-SSIM;(p)MISSSIM;(q)CC-SSIM;(r)AGN-SSIM;(s)AN-SSIM;(t)SCN-SSIM;(u)MN-SSIM;(v)HFN-SSIM;(w)IN-SSIM;(x)QNSSIM;(y)GB-SSIM;(z)ID-SSIM;(aa)JC-SSIM;(ab)J2K-SSIM;(ac)JT-SSIM;(ad)J2 KT-SSIM;(ae)NEPN-SSIM;(af)LBWI-SSIM;(ag)MIS-SSIM;(ah)CC-SSIMFig.11.Scatter plots between the MOS and the objective evaluation scores obtained by evaluating the images with 17 distortions using the LCCM and SSIM models in TID2008 database:(a)AGN-LCCM;(b)AN-LCCM;(c)SCN-LCCM;(d)MN-LCCM;(e)HFN-LCCM;(f)IN-LCCM;(g)QN-LCCM;(h)GB-LCCM;(i)ID-LCCM;(j)JC-LCCM;(k)J2KLCCM;(l)JT-LCCM;(m)J2KT-SSIM;(n)NEPN-SSIM;(o)LBWI-SSIM;(p)MIS-SSIM;(q)CC-SSIM;(r)AGN-SSIM;(s)AN-SSIM;(t)SCN-SSIM;(u)MN-SSIM;(v)HFN-SSIM;(w)IN-SSIM;(x)QN-SSIM;(y)GB-SSIM;(z)ID-SSIM;(aa)JC-SSIM;(ab)J2K-SSIM;(ac)JT-SSIM;(ad)J2KT-SSIM;(ae)NEPN-SSIM;(af)LBWI-SSIM;(ag)MIS-SSIM;(ah)CC-SSIM.

图12 LIVE数据库中5种失真类型的图像分别采用LCCM和SSIM模型评价的分数与DMOS之间的散点图 (a)jpeg2k-LCCM;(b)fastfading-LCCM;(c)Gaussianblur-LCCM;(d)jpeg-LCCM;(e)whitenoise-LCCM;(f)jpeg2k-SSIM;(g)fastfading-SSIM;(h)Gaussianblur-SSIM;(i)jpeg-SSIM;(j)whitenoise-SSIMFig.12.Scatter plots between the DMOS and the objective evaluation scores obtained by evaluating images with 5 distortions using the LCCM and SSIM models in LIVE database:(a)jpeg2k-LCCM;(b)fastfading-LCCM;(c)Gaussianblur-LCCM;(d)jpeg-LCCM;(e)whitenoise-LCCM;(f)jpeg2k-SSIM;(g)fastfading-SSIM;(h)Gaussianblur-SSIM;(i)jpeg-SSIM;(j)whitenoise-SSIM.

基于散点图的离散程度和拟合曲线的单调性,对比分析图11—图13中各种不同类型失真下的图像质量评价结果的散点图,并结合图14中计算的相关性参数值,可以发现:LCCM对由AGN,MN,NEPN,HFN,MIS,CC类型失真的图像的质量评价分数与主观评价分数的相关性明显高于SSIM的;而对由SCN,QN,JTE,J2 KTE,LBWD类型失真的图像的评价结果与主观评价结果的一致性低于或接近于SSIM评价结果的一致性.

结合不同失真类型的特征和人眼感知特性,分析其原因主要为:1)AGN等6种类型的失真均是对图像每个小区域进行了相近程度的失真,图像中不会出现局部对比度明显变化,因此,图像存在较多的视觉冗余,人眼能够感知到的失真量上限仍比较大,从而给SSIM等模型的评价结果带来了较大的误差;而LCCM模型结合了人眼对比敏感度特性,较好地克服了由此给质量评价带来的误差,从而提高了评价精度;反之,SCN等5种失真对图像局部破坏较大,致使图像局部对比度改变明显,人眼对其失真非常敏感,图像的失真量均能被较好地感知,主客观评价分数已经达到了各自的最佳精度,一致性很难再得到提升;2)人眼对色度的敏感程度低于对亮度的敏感程度,当颜色有较小的失真时,人眼不能感知或敏感度较低,从而也成为评价一致性较差的原因之一.

图13 CSIQ数据库中6种失真类型的图像分别采用LCCM和SSIM模型评价的分数与DMOS之间的散点图 (a)agwn-LCCM;(b)blur-LCCM;(c)fnoise-LCCM;(d)jpeg-LCCM;(e)jpeg2k-LCCM;(f)contrast-LCCM;(g)agwn-SSIM;(h)blur-SSIM;(i)fnoise-SSIM;(j)jpeg-SSIM;(k)jpeg2k-SSIM;(l)contrast-SSIMFig.13.Scatter plots between the DMOS and the objective evaluation scores obtained by evaluating images with 6 distortions using the LCCM and SSIM models in CSIQ database:(a)agwn-LCCM;(b)blur-LCCM;(c)fnoise-LCCM;(d)jpeg-LCCM;(e)jpeg2k-LCCM;(f)contrast-LCCM;(g)agwn-SSIM;(h)blur-SSIM;(i)fnoise-SSIM;(j)jpeg-SSIM;(k)jpeg2k-SSIM;(l)contrast-SSIM.

图14 三个数据库中的图像经过每种类型的失真后分别采用LCCM和SSIM评价的结果与主观评价结果之间相关性的对比 (a)LIVE;(b)CSIQ;(c)TID2008Fig.14.Comparing LCC and SROCC between the subjective evaluation scores and the objective evaluation scores obtained using the LCCM and SSIM models to evaluate the images processed with every type of distortion in LIVE,TID2008 and CSIQ database:(a)LIVE;(b)CSIQ;(c)TID2008.

另外,提出的LCCM评价方法还能较好地避免因为拍摄焦点的不同而对质量评价结果带来的影响.在拍摄图像时,对于同一景物,焦点不同,图像的表现效果不同,则其质量评价的结果不同.提出的质量评价算法由于采用8 pixels×8 pixels大小的子块的评价结果的平均值,即每次评价主要聚焦的是图像中一个非常小的部分,从而能够较好地避免因为拍摄时焦点不同而带来的影响.为了验证所提评价方法的有效性,对LIVE和TID2008数据库中同一景物但不同的拍摄焦点的3幅图像(LIVE库中的I05,I07,I12与TID2008库中I03,I04,I05是同一景物,但拍摄的焦点不同)进行计算,得出LCCM值和SSIM值,并与其数据库中提供的MOS值进行对比分析,计算得出线性相关性系数,结果如图15.

图15 采用LCCM和SSIM模型对3幅不同拍摄焦点的图像的质量评价结果Fig.15.Quality evaluation of three images focused differently using the LCCM and SSIM models.

从图15中可以看到:对于3幅图像,采用LCCM方法评价得出的结果与主观评价分数的相关性比SSIM方法评价的相关性明显偏高.

5 结 论

结合人眼空间感知特性和图像的复杂性特征,提出了一种基于人眼对图像内容感知的图像质量客观评价方法.该方法首先结合人眼对亮度感知的非线性、掩蔽特性和对比度敏感特性,构建了一种图像内容感知模型;再以此模型分别模拟人眼感知源图像和失真图像,并计算其强度差;最后基于强度差构建图像质量客观评价模型.采用LIVE,TID2008和CSIQ三个数据库中的共47幅参考图像和1549幅测试图像进行仿真实验,并与SSIM,PSNRHVS和VSNR等典型的图像质量客观评价模型进行对比分析.结果表明:所提方法的评价分数与主观评价分数的Pearson线性相关性系数和Spearman秩相关系数值比SSIM的评价结果均有一定程度的提高,提高幅度分别平均为9.5402%和3.2852%,比PSNRHVS和VSNR提高幅度更大.表明在图像质量客观评价中,考虑人眼对图像内容的感知和复杂度的分析有助于提高图像质量主客观评价的一致性,评价精度可得到进一步的提高.

[1]Wang Y Q 2014J.Nanjing Univ.(Nat.Sci.Ed.)50 361(in Chinese)[王元庆2014南京大学学报(自然科学版)50 361]

[2]Zhuang J Y,Chen Q,He W J,Mao T Y 2016Acta Phys.Sin.65 040501(in Chinese)[庄佳衍,陈钱,何伟基,冒添逸2016物理学报65 040501]

[3]Wang Z,Bovik A C,Sheikh H R,Simoncelli E P 2004IEEE Trans.Image Process.13 600

[4]Chandler D M,Hemami S S 2007IEEE Trans.Image Process.16 2284

[5]Zhang L,Zhang L,Mou X,Zhang D 2011IEEE Trans.Image Process.20 2378

[6]Xue W,Zhang L,Mou X,Bovik A C 2014IEEE Trans.Image Process.23 684

[7]Zhang L,Shen Y,Li H 2014IEEE Trans.Image Process.23 4270

[8]Paudyal P,Battisti F,Sjöström M,Olsson R,Carli M 2017IEEE Trans.Broadcast.63 507

[9]Bae S H,Kim M 2016IEEE Trans.Image Process.25 2392.

[10]Gu K,Wang S,Zhai G,Ma S,Yang X 2016Signal Image Video Process.10 803

[11]Wang X L,Wu D W,Li X,Zhu H N,Chen K,Fang G 2017Acta Phys.Sin.66 230302(in Chinese)[王湘林,吴德伟,李响,朱浩男,陈坤,方冠2017物理学报66 230302]

[12]Akamine W Y L,Farias M C Q 2014J.Electron.Imaging23 061107

[13]Li C F,Bovik A C 2010J.Electron.Imaging19 143

[14]Guo J,Hu G,Xu W,Huang L 2017J.Vis.Commun.Image Represent.43 50

[15]Hou W,Mei F H,Chen G J,Deng X W 2015Acta Phys.Sin.64 024202(in Chinese)[侯旺,梅风华,陈国军,邓喜文2015物理学报64 024202]

[16]Stephen W,Huw O,Vien C,Iain P S 2006Color Res.Appl.31 315

[17]Nadenau M 2000Ph.D.Dissertation(Lausanne:École Polytechnique Fédérale de Lausanne)

[18]Yao J C,Shen J,Wang J H 2008Acta Phys.Sin.57 4034(in Chinese)[姚军财,申静,王剑华 2008物理学报57 4034]

[19]Sheikh H R,Wang Z,Cormack L LIVE Image Quality Assessment Database Release 2 http://live.ece.utexas.edu/research/quality[2017-12-17]

[20]Sheikh H R,Sabir M F,Bovik A C 2006IEEE Trans.Image Process.15 3440

[21]Nikolay N P Tampere Image Database 2008 TID2008,version 1.0 http://www.ponomarenko.info/tid2008.htm[2017-12-17]

[22]Nikolay P,Vladimir L,Alexander Z,Karen E,Jaakko A,Marco C,Federica B 2009Adv.Modern Radioelectron.10 30

[23]Larson E C The CSIQ image database http://vision.okstate.edu/?loc=csiq[2017-12-17]

[24]Larson E C,Chandler D M 2010J.Electron.Imaging19 011006

[25]Zhang F,Bull D R 2013Proceedings of the 20th IEEE Interatinonal Conference on Image Processing(ICIP)Melbourne,Australia,September 15–18,2013 p39

[26]Gu K,Wang S,Zhai G,Lin W,Yang X,Zhang W 2016IEEE Trans.Image Process.62 446