基于视觉感知特征融合的图像质量评价

唐梽森,郑元林,廖开阳,王 玮

(1.西安理工大学印刷包装与数字媒体学院,陕西西安710048;2.西安理工大学陕西省印刷包装工程重点实验室,陕西西安710048)

随着图像处理与多媒体技术的发展,图像质量评价在图像工程学中有着极其重要的意义。由于不可避免的因素,图像在获取,存储,传输,压缩与增强过程中会导致不同程度的失真,导致最终获取的图像存在一定程度降质。人眼是图像的最终接收者,一个好的图像质量评价应该符合人眼视觉感知特性。由于主观质量评价耗时长,成本高,可移植性差。因此,利用计算机设计一种与人眼主观评价具有一致性的客观图像质量评价算法显得至关重要。根据参考图像信息的可利用程度,客观图像质量评价分为三类:全参考图像质量评价,半参考图像质量评价与无参考图像质量评价。全参考图像质量评价是本文所讨论的范围。

传统的图像质量评价算法通过比较参考图像和失真图像相应像素点的差异性来确定失真图像的质量。例如:均方误差(Mean Squared Error,MSE)和峰值信噪比(Peak Signal-to-Noise Ratio,PSNR),由于其算法简易性而得到广泛应用。但是由MSE与PSNR所预测的图像质量分数不能与人眼主观感知具有良好的相关性。因此,大量与人眼主观感知具有一致性的图像质量评价算法被提出。例如:Structural Similarity Index Method(SSIM)[1]假设人眼高度自适应提取视觉场景中的结构信息,利用局部结构相似性分亮度,对比度,结构三个层次来度量图像的质量。事实上人眼对图像中不同区域的敏感程度不同,而平均加权平等对待了图像中的每个局部区域。为此,IW-SSIM[2]提出了基于信息内容加权策略来获得图像质量得分。相比之下,IW-SSIM[2]比SSIM[1]有更好的评价效果。大多数自顶向下的图像质量评价模型从图像中提取出符合HVS的特征后,进行加权计算得到质量得分。SSIM[1]将图像每一个局部区域的单个质量得分采取平均加权。GMSD[3]以图像局部梯度图来反映图像局部结构特征,并采用标准差加权方式处理局部梯度图,以此计算图像质量得分,取得了较好的结果,同时算法具有较低的复杂性。

本文提取出参考图像与对应失真图像的视觉显著性相似图,梯度相似性与颜色相似性图,采用平均偏差加权方式融合上述特征相似图得到最终质量得分。

1 算法设计

本文提出了一种新的全参考图像质量评价算法。首先,将输入信号的颜色空间由RGB转换到YHM[4]三个通道。在亮度Y通道中提取出梯度特征与在H和M两个色度通道中提取的颜色特征来作为视觉显著特征的互补特征,融合参考图像与对应的失真图像的亮度通道F,并提取其梯度图;然后,计算视觉显著性相似性和颜色相似性,并分别计算亮度通道F的梯度图与参考图像/失真图像梯度图之间的相似性;最后,通过平均偏差加权方式对上述特征加权计算得到最终质量分数。总体算法框架图如图1所示。

图1 提出算法VFDP计算流程Fig.1 The computational process of the proposed IQA index VFDP

1.1 视觉显著性特征相似性

由于视觉显著图能直观地向HVS反映图像局部显著区域,加之超阈值失真可以很好地反映在视觉显著图上,近年来,已经建立了大量用于图像质量评价中的显著性检测模型。为降低算法复杂性,本文采用[5]中提出的一种名为SDSP的简易高效算法来检测视觉显著图。图2反映了视觉显著图与图像失真之间的关系。

图2 图像失真与视觉显著性变化的关系Fig.2 The relationship between the quality distortions and VS changes

图2所使用的图片来源于TID2013数据库,图2(a)是参考图像,图2(b)与图2(c)分别是参考图像所对应的两种失真图像。图2(d),(e)与(f)分别是图2(a),(b)与(c)的视觉显著图。图2(c)的主观质量比图2(b)的质量更差,相对于参考图像的视觉显著图,图2(c)的视觉显著图图2(f)的变化比图2(b)的视觉显著图图2(e)的变化更大。通过上述分析,视觉显著图可以较好地反映图像失真。因此,本文采用视觉显著特征来度量图像的局部质量。

结构相似性SSIM[1]算法被提出之后,大多数图像质量评价算法通过一种固有形式来计算相似性指标,该固有形式为(2ab+c)/(a2+b2+c)。这种计算相似性指标的形式具有掩模能力,因此,本文采用这种固有形式来计算参考图像与对应失真图像视觉显著特征之间相似性。VS1与VS2分别表示从参考图像f1与失真图像f2中提取出的视觉显著图。VS1(x)与VS2(x)之间视觉显著性相似性被定义为:

(1)

式中:C1为一个正常量,C1=1.27,用于稳定SVS,防止分母为零的现象发生;x为视觉显著图中像素点的空间位置。本文公式中涉及的矩阵相乘运算均为点乘。

1.2 梯度相似性

梯度特征可有效捕获到图像因结构和对比度失真引起的变化。再者,视觉显著图不能较好地分辨对比度变化引起的图像失真,因此,本文结合梯度特征的优势,通过梯度特征与视觉显著性特征两种互补特征来描述图像局部结构。本文采用Prewitt梯度算子提取图像的梯度特征来计算质量得分达到的效果最好。使用Prewitt梯度算子,图像f(x)的水平梯度分量Gx(x)与垂直梯度分量Gy(x)分别被计算为:

(2)

图3 参考图像与对比度失真图像的视觉显著图与梯度图Fig.3 VS map and GM map when the image’s contrast changed

图3(a)与图3(d)分别为参考图像与失真图像,图3(b)与图3(e)为参考图像与失真图像对应的视觉显著图,图3(c)与图3(f)分别为参考图像与失真图像对应的梯度图。类似视觉显著相似性计算原理,本文采用相同方式计算参考图像与对应失真图像梯度特征之间的相似性。GR与GD分别表示从参考图像f1与失真图像f2中提取出的梯度图。GR(x)与GD(x)之间梯度相似性被定义为:

(3)

式中：C2为一个正常量,C2=140,用于稳定SG(x),防止分母为零。

1.3 改进梯度相似性

当失真图像产生多余边缘的像素点颜色与参考图像相应位置像素点的颜色有较大差别,那么传统算法计算的梯度图将会误判,认为该边缘是参考图像经失真后保留下来的正确边缘。因此,传统梯度图计算过程中存在一定缺陷,本文按文献[6]中所提出的新的计算图像梯度图的方法,有效避免了传统梯度图计算过程的缺陷,其大致过程如下所述。

首先根据式(4)平均加权融合参考图像与失真图像的亮度通道Y,同理于式(2),使用Prewitt梯度算子的水平和垂直分量模板分别对融合后的亮度通道F进行卷积运算,并计算其梯度幅值特征。此外,同样效仿结构相似性SSIM[1]中计算特征相似性的方式,即按式(5)计算出融合亮度通道后的图像梯度特征与参考图像梯度特征之间的相似性。同理,根据式(6)计算出融合后亮度通道的梯度特征与失真图像梯度特征之间的相似性。

(4)

(5)

(6)

GS(x)=SG(x)+[GSDF(x)-GSRF(x)]

(7)

公式增加部分[GSDF(x)-GSRF(x)]将高度强调参考图像失真后所减少的边缘多过于失真图像所增加的边缘,同时降低对平滑边缘强调。

1.4 颜色相似性

事实上,当颜色饱和度变化引起图像失真时,失真不能较好地反映在视觉显著图上。由于梯度图的计算过程是在图像的亮度通道中进行,因此,图像的颜色失真也不能由梯度特征来描述。为使IQA算法具有处理图像颜色失真的能力,本文将RGB图像进行颜色空间转换[4],采用中通道Y来描述亮度信息,除此之外,另外采用两个H与M色度通道来描述颜色信息。颜色空间转换形式如下:

(8)

HR与HD分别表示参考图像与失真图像的H通道,矩阵MR与MD分别表示参考图像与失真图像的M通道。本文根据文献[6]中所定义的计算方式,即式(9)来计算出参考图像与失真图像的颜色相似性:

CS(x)=

(9)

式中:C4是一个正常量,C4=550, 用于稳定矩阵CS(x),防止公式分母为零。

此外,在文献[6]中已表明,对不同特征赋予相应的权重因子进行求和是一种有效的融合方式。因此可以通过式(10)对梯度相似图与颜色相似图赋予权重因子求和来进行特征融合:

GCS(x)=α·GS(x)+(1-α)·CS(x)

(10)

式中,0≤α≤1,参数α为权重因子,α=0.6用于调节梯度相似图GS与颜色相似图CS在HVS中的相对重要性。同理,类似式(7),可以通过式(11),对视觉显著相似图SVS与GCS各自赋予权重因子进行特征融合:

VGCS(x)=α·SVS(x)+(1-α)·GCS(x)

(11)

式中:0≤α≤1,参数α为权重因子,α=0.6用于调节视觉显著相似图VS与GCS在HVS中的相对重要性。

1.5 偏差加权

HVS对图像失真严重的区域比失真轻微的区域更加敏感,因此,本文通过融入视觉显著性特征,梯度特征与颜色特征获得的VGCS图来评价彩色图像局部质量,并采用平均偏差加权来获得最终质量得分。因此,所提出算法最终质量得分被定义为:

Q=VFDP=

(12)

需要注意,最终质量得分Q为一个正常量。所提出方法预测出的质量得分越大表明图像失真越严重,预测质量得分越小表明图像失真越轻微,当Q为零时表明此时图像无任何失真,所预测质量达到最佳,即失真图像与参考图像相比无任何变化。

2 实验结果与分析

2.1 数据库与对比算法

实验在应用最广泛的三个图像质量评价数据库上进行,即TID2013[7],TID2008[8],LIVE[9]。表1归纳了这三个图像质量评价数据库的重要信息。

表1 图像质量评价数据库相关信息Tab.1 Benchmark datasets for evaluating IQA indices

本文采用三个常用指标来表征图像质量评价性能,即Spearman秩相关系数(Spearman Rank-order Correlation Coefficient,SROCC),Kendall次秩相关系数(Kendall Rank-order Correlation Coefficient,KROCC)与Pearson线性相关系数(Pearson Linear Correlation Coefficient,PLCC)。其中,SROCC与KROCC表征算法预测单调性,PLCC描述平均主观分数(MOS)与客观预测分数非线性回归后的线性相关性。类似文献[6，10-11],本文使用逻辑回归函数来对MOS与客观预测分数进行非线性回归:

(13)

其中,βi=1,2,3,…,5,为固定参数。

本文所提出的算法性能将和8种图像质量评价主流算法的性能作比较,分别是SSIM[1],IW-SSIM[2],GMSD[3],VSI[10],FSIMc[11],GSM[12],MAD[13]与SFF[14]。

2.2 算法总体性能评价

将本文所提出算法分别在三个图像数据库上进行测试，所得SROCC,KROCC,PLCC性能指标见表2。为了测试算法在三个图像数据库上的综合性能表现,对三个图像数据库采取加权平均,权重因子依赖于各数据库失真图像数量,所得加权平均(Weighted average,W.A)SROCC,KROCC,PLCC性能指标见表2。对于每个性能指标的计算值,排名前三位的图像质量评价算法所计算的结果被加粗。

表2 9种IQA算法在三个数据库上的总体性能比较Tab.2 Performance comparison of 9 IQA indices on three benchmark datasets

由表2可知,本文提出算法VFDP在三个数据库上的性能表现出良好的一致性。其中,在TID2008数据库上,VFDP表现最好,在TID2013数据库上所计算的PLCC最高,SROCC与KROCC结果也接近最好的算法VSI。

对比其他算法,有些算法虽然能在某一个数据库上表现最佳,但在其他数据库上却表现平平。由表2能看出本文提出的算法在TID2013与TID2008数据库上明显优于GSM[12],FSIMc[11],GMSD[3],MAD[13]与SFF[14]等主流算法。

由表2可知,不管是哪种IQA性能指标,本文所

提出算法性能都优于其他IQA算法,即VFDP在三个数据库上能获得最好的综合结果,其预测的PLCC与SROCC准确率高达90%以上。因此,由VFDP预测出的客观分数与主观分数能保持更好的相关性。

2.3 单一失真类型性能比较

为了综合评价IQA算法对特定失真类型图像质量的预测准确性,本文提出算法将与其他主流算法在每种特定失真类型下进行SROCC性能指标比较。表3所列为TID2013,TID2008和LIVE等三个数据库上每一种特定失真类型下各算法计算所得SROCC值,排名最高的三个SROCC值被加粗表示。

表3 每种失真类型下IQA的SROCC值Tab.3 SROCC values of IQA indices for each type of distortions

续表3

数据库失真类型各算法下的SROCC值SSIMIW-SSIMMADGSMVSIFSIMcVFDPTID2013MGN0.780 30.772 80.840 90.834 80.911 70.856 90.888 7CN0.856 60.876 20.906 40.912 40.924 30.913 50.919 0LCNI0.905 70.903 70.944 30.956 30.956 40.948 50.955 6ICQD0.854 20.840 10.874 50.897 30.883 90.881 50.913 8CHA0.877 50.868 20.831 00.882 30.890 60.892 50.882 7SSR0.946 10.947 40.956 70.966 80.962 80.957 60.963 5AGN0.810 70.786 90.838 60.860 60.922 90.875 80.926 9ANC0.802 90.792 00.825 50.809 10.911 80.893 10.921 7SCN0.814 40.771 40.867 80.894 10.929 60.871 10.945 2MN0.779 50.808 70.733 60.745 20.773 40.826 40.821 3HFN0.872 90.866 20.886 40.894 50.925 30.915 60.915 4IN0.673 20.646 50.065 00.723 50.829 80.771 90.830 2QN0.853 10.817 70.816 00.880 00.873 10.872 60.902 5GB0.954 40.963 60.919 60.960 00.952 90.947 20.945 5TID2008DEN0.953 00.947 30.943 30.972 50.969 30.961 80.971 8JPEG0.925 20.918 40.927 50.939 30.961 60.929 40.953 2JP2K0.962 50.973 80.970 70.975 80.984 80.978 00.978 2JGTE0.867 80.858 80.866 10.879 00.916 00.875 60.891 2J2TE0.857 70.820 30.839 40.893 60.894 20.855 50.880 5NEPN0.710 70.772 40.828 70.738 60.769 90.751 40.753 9Block0.846 20.762 30.797 00.886 20.629 50.846 40.872 4MS0.723 10.706 70.516 30.719 00.671 40.655 40.638 8CTC0.524 60.630 10.272 30.669 10.655 70.651 00.613 8JP2K0.961 40.964 90.967 60.970 00.960 40.972 40.956 3JPEG0.976 40.980 80.976 40.977 80.976 10.984 00.909 6LIVEAWGN0.969 40.966 70.984 40.977 40.983 50.971 60.986 2GB0.951 70.972 00.946 50.951 80.952 70.970 80.967 1FF0.955 60.944 20.956 90.940 20.943 00.951 90.947 1

由表3可知,本文提出的算法有33次排进前三名,胜过其他主流算法排进前三名的次数。因此,可以得出结论:不管是综合性能表现还是单一失真类型性能比较,VFDP的所表现出的结果都胜过其他主流算法。

3 结 语

本文提出了一种基于视觉感知特征融合的图像质量评价方法。在视觉显著性基础上,结合改进的梯度特征与颜色特征来度量彩色图像局部质量。提出算法采用新的方式计算梯度相似性,通过融合参考图像与失真图像的亮度通道,并计算该通道的梯度图与参考/失真图像的梯度图之间的相似性。此外,用偏差加权处理上述三个独立特征来获得最终的质量分数。本文提出的VFDP算法在三个图像数据库上与广泛的主流算法进行比较。结果表明,本文提出的VFDP算法预测精度胜过其他主流算法,其预测结果与人眼主观评价有较好的一致性。