基于支持向量回归的无参考屏幕内容图像质量评估

童 冰

(漳州职业技术学院信息工程学院,福建 漳州 363000)

随着多媒体应用的迅速发展与普及,屏幕内容图像(screen content image,SCD)的处理和传输变得越来越重要. 屏幕内容图像(screen content image,SCI)是一种合成图像,不仅包含计算机生成的图形和文本,还包含数码相机拍摄的自然图像. 自然图像具有丰富的颜色以及少量的颜色变化,而屏幕内容图像具有更多的细线、清晰的边缘以及少量的颜色变化,在屏幕内容图像的获取、压缩及传输等过程中不可避免地产生各种失真. 例如,在传输阶段会产生噪声失真;在不同设备中进行屏幕分享时,会产生对比度变化失真;在图像压缩时会产生伪像现象. 由此,有必要提出一种有效的图像质量评估算法来处理屏幕内容图像. 根据参考原始图像信息的程度,图像质量评估算法可分为3种类型:无参考(no reference,NR)型、半参考(reduce reference,RR)型以及全参考(full reference,FR)型.

如何客观地评估图像质量,并确保从算法中得到的结果与人类视觉系统的感知具有较高的一致性,是图像质量评估算法的关键所在. 峰值信噪比(PSNR)算法和均方误差(MSE)算法仅考虑像素强度之间的差异,未考虑人类视觉系统的特点,得出的结果不能与主观感知产生较高的一致性[1-2]. 结构相似性度量(SSIM)[2]、梯度相似性度量(GSIM)[3]、特征相似性度量(FSIM)[4]及信息加权的SSIM(IW-SSIM)[5]等算法加入了对人类视觉系统特点的考虑. 进一步考虑到具有清晰边缘和轮廓的图像内容对人类视觉系统更为敏感,许多学者提出基于边缘信息的图像质量评估算法[6-8]. Xue等[7]提出了梯度幅度相似度偏差(GMSD)的算法,仅使用梯度幅度相似度来表示图像质量,复杂度非常低. Sheikh等[9]通过量化图像信息的丢失及丢失的信息与图像质量之间的关系,提出一种视觉信息保真度算法(VIF). 根据屏幕内容图像的特点,Yang等[10]构建了一个用于屏幕内容图像质量评估算法研究的大型数据集SIQAD,通过分析文本区域和图像区域的特点,提出全参考算法SPQA. Fang等[11]提出SFUW算法,将图像分割为图像区域和文本区域,分别提取亮度特征和结构特征,进行相似度计算以获得图像的视觉质量. Ni等[12]构建了一个更大型的数据集SCID,并利用边缘的3种特性计算失真图像和参考图像的相似性,得到图像的质量分数. Gu等[13]在SSIM算法的基础上加入对结构退化的测量,提出SIQM算法. 以上算法均为全参考算法,可与主观感知产生较高的一致性,然而需要完整的原图信息,在实际应用中存在较大的局限性.

无参考算法不需要任何原始图像的信息,具有更大的应用前景. Fang等[14]结合局部纹理特征和全局亮度特征来表示失真图像信息,提出一种无参考算法NRLT. Gu等[15]分别提取图像复杂度、亮度信息、清晰度及屏幕内容统计信息4类特征,来评估失真图像的质量. Shao等[16]利用稀疏表示框架提出一种无参考算法BLIQUP-SCI.

本文结合边缘与亮度对图像质量的影响,提出一种新的无参考屏幕内容图像质量评估算法NRSVR. 由于人类视觉系统对边缘信息高度敏感[17-18],而边缘是屏幕内容图像中文本区域和图像区域中高频部分的基础组成成分,因此,NRSVR算法利用两个具有不同标准差的高斯核提取失真图像的边缘信息,利用频率分布直方图统计图像的边缘特征. 同时,因亮度信息的变化也与图像的视觉感知高度相关[19-20],故本算法通过局部归一化失真图像,去除视觉场景中的冗余信息[21],提取图像的亮度信息,利用频率分布直方图统计图像的亮度特征. 最后,选择支持向量回归作为映射函数,将提取的质量感知特征映射为主观质量分数. 在两个数据集上的实验结果表明,所提的NRSVR算法可与主观感知产生较高的一致性,效果比现有的大部分图像质量评估算法更优秀.

1 NRSVR无参考算法

屏幕内容图像亮度和边缘信息的变化会影响图像的视觉质量[10,12]. 屏幕内容图像和自然图像的主要差别是屏幕内容图像中存在文本区域,人们容易关注并理解图像中的文字部分. 因此,本文利用边缘和亮度信息来捕捉图像的失真信息,算法框架如图1所示. 首先,通过高斯差分函数计算失真图像的边缘图,统计得到图像的边缘特征;接着,利用局部归一化算法计算失真图像的亮度图,统计得到失真图像的亮度特征;最后,利用支持向量回归训练感知质量特征到主观质量分数的映射函数. 在特征提取中,根据特征提取的先后顺序,边缘特征提取比亮度特征提取更为重要,因而实际过程中先从边缘特征提取出发.

图1 NRSVR算法框架Fig.1 Framework of NRSVR algorithm

1.1 提取边缘特征

文献[22]表明,利用高斯差分函数可有效提取图像的边缘信息. 将带有不同标准差的高斯核相减,并将相减后的结果与失真图像进行卷积运算,由此获得失真图像的边缘图,计算公式如下:

E(x,y)=|Gσ1,σ2(x,y)⊗I(x,y)|,

(1)

式中,“⊗”表示卷积运算;I(x,y)表示图像中位置(x,y)处的像素值;E表示得到的边缘图;σ1和σ2为高斯核的标准差;Gσ1,σ2(x,y)表示带有不同标准差的高斯核的差,计算公式为:

Gσ1,σ2(x,y)=G(x,y;σ1)-G(x,y;σ2).

(2)

G(x,y;σ)表示带有标准差σ的高斯核,计算公式为:

(3)

直接利用频率分布直方图对图1的绝对值进行统计,得到失真图像的边缘特征. 将直方图分组个数设置为10,可用一个10维向量{f1,f2,…,f10}来表示边缘特征,计算公式如下:

(4)

(5)

式中,k表示特征向量中的第k个元素,范围是[1,10];X和Y分别表示图像的长度和宽度;z(k)表示直方图第k个分组的取值范围.

1.2 提取亮度特征

亮度信息可很好地反映出图像的失真信息,进而捕捉到图像质量的变化[14]. 本文利用局部归一化计算图像的亮度图:

(6)

(7)

(8)

式中,(x,y)为像素位置;I(x,y)为位置(x,y)处图像I的像素值;I′(x,y)为图像I归一化后位置(x,y)处图像I的像素值;C为常数,防止分母为零;M和L为归一化窗口大小,设M=L=7;ω(m,l)是一个二维圆形对称高斯加权函数.

利用频率分布直方图对图I′的绝对值进行统计,得到失真图像的亮度特征. 同样将直方图的分组个数设置为10,用一个10维向量{t1,t2,…,t10}来表示亮度特征,用式(4)和(5)来计算向量中的元素.

由于方向信息也可表示视觉场景中的内容[23-24],且相邻像素间的规律也会因失真的出现而发生变化[21],因此,在提取亮度特征时加入对相邻像素间关系的考虑. 将图I′中的像素点沿水平、垂直、主对角线和副对角线4个方向相乘,如图2所示,可得4张亮度图,计算公式为:

图2 像素对沿4方向的乘积Fig.2 The product of pixel pairs in four directions

H(x,y)=I′(x,y)I′(x,y+1),

(9)

V(x,y)=I′(x,y)I′(x+1,y),

(10)

D1(x,y)=I′(x,y)I′(x+1,y+1),

(11)

D2(x,y)=I′(x,y)I′(x+1,y-1).

(12)

利用式(4)和(5)对图H、V、D1和D2进行特征统计,式(4)中x∈{1,2,…,X-1},y∈{1,2,…,Y-1},因而可得40维特征向量,加上上一步骤的10维向量,对于每张失真图像,可用一个50维向量来表示图像的亮度信息. 图3显示了一张典型的屏幕内容图像以及3种失真类型图像,及其各自对应的边缘图、亮度图和特征直方图.

图3 特征图和直方图示例Fig.3 Example of characteristic graph and histogram

1.3 质量评估回归模型

由上述计算方法,一张失真屏幕内容图像可在一个尺度上得到一个60维的特征向量,分别包括一个10维边缘特征向量和一个50维亮度特征向量. 由于人类视觉系统获取图像内容过程是由粗略到细致[25],要更好地表示图像特征,需从3个尺度上对图像进行特征提取,总共可得一个180维的特征向量来表示失真图像信息. 选择具有径向基函数内核的SVR作为映射函数,将所提取的质量感知特征映射为质量分数. 操作中,随机选择数据集中80%的数据(16张原始图像对应的失真图)作为训练集,剩余的(4张原始图像对应的失真图)作为测试集. 实验执行1 000次,将所得数据的中位数作为图像的最终质量分数.

2 实验及结果

2.1 数据集和评估指标

SIQAD数据集[10]包含20张参考图像和980张失真图像,共分为7种失真类型(即JPEG压缩(JPEG)、高斯噪声(GN)、基于层划分的压缩(LSC)、JPEG2000压缩(J2K)、高斯模糊(GB)、运动模糊(MB)和对比度变化(CC)),每种失真类型又有7种失真等级. SCID数据集[6]包含40张参考图像及1 800张失真图像,共分为9种失真类型(即GN、GB、MB、CC、JPEG、J2K、具有抖动的颜色量化(CQD)、高效视频编码-屏幕内容编码(HEVC-SCC)和颜色饱和度变化(CSC)),每种失真类型又有5种失真等级.

如图3所示,a为屏幕内容图像,其中a(1)是参考图像,a(2)～a(4)分别为高斯噪声图、高斯模糊图、JPEG图;b和d分别为与a一一对应的边缘图和亮度图;c和e分别是与a一一对应图像的边缘特征直方图和亮度特征直方图.

本文使用皮尔森线性相关系数(PLCC)、斯皮尔曼等级相关系数(SROCC)和根均方误差(RMSE)来评估算法的性能. PLCC、SRCC和RMSE可评估预测结果的准确性、单调性和一致性. 其中,PLCC和SRCC值越高,算法的性能越好;而RMSE的值越低,算法性能越好. 3个指标的计算公式如下:

(13)

(14)

(15)

由于不同的图像质量评估方法会产生不同的分数范围,本文使用逻辑斯蒂函数将图像质量分数非线性回归到共同的分数空间:

(16)

式中,a1、a2、a3、a4、a5表示5个拟合参数.

2.2 对比实验

为了验证NRSVR算法的优越性,将NRSVR算法与其他经典图像质量评估算法在SIQAD数据集和SCID数据集上进行对比,算法分别为:PSNR、SSIM[2]、VIF[9]、SPQA[10]、GSS[26]、ESIM[12]、NIQE[27]、DIIVINE[28]、BRISQUE[21]、BQMS[29]、SIQE[15]、ASIQE[15]、IL-NIQE[30]、BLIINDS-II[31]、BLIQUP-SCI[16]和NRLT[14].

表1中所示为NRSVR算法与其他无参考算法在SCID数据集上的实验结果. 从表1可以看出,针对屏幕内容图像设计的算法BLIQUP-SCI、BQMS、SIQE、ASIQE、NRLT和NRSVR均取得了比其余针对自然图像设计的算法更好的性能,说明由于两者在图像内容上存在明显差别,因此针对自然图像设计的算法不能直接应用于屏幕内容图像. 同时,NRSVR算法在3个指标上均取得最优值,且PLLC值比其他算法中的最优值高了将近20%.

表1 NRSVR算法与其他无参考算法在SCID数据集上的实验结果Table 1 Experimental results of NRSVR algorithm and other unreferenced algorithms on SCID dataset

将NRSVR算法与其他算法在SIQAD数据集上进行比较,如表2所示. 表2不仅列出了算法的整体性能,还列出了每种失真类型的实验结果,其中”ALL”一行表示将所有失真类型混合在一起时的整体性能.

从表2可以看出,全参考算法算法普遍可以取得比无参考算法更好的性能,这是由于全参考算法使用了参考图像的信息,其中ESIM算法的3个指标在所有对比方法中最优. NRSVR算法的整体性能在所有无参考算法中最优,超过了大部分的全参考算法,且在单个失真类型上的性能在无参考算法中大部分也是最优的.

表2 NRSVR算法与其他全参考或无参考算法在SIQAD数据集上的实验结果Table 2 Experimental results of NRSVR algorithm and other all reference or no reference algorithms on SIQAD dataset

2.3 特征验证

将质量感知特征分为边缘特征和亮度特征,单独利用这两个特征来训练评估模型,实验结果如表3所示. 从表3可以看出,当结合使用两个特征时,算法性能最好.

表3 两个数据集上不同特征的实验结果Table 3 Experimental results of different features on two datasets

3 结论

本文根据人类视觉系统对图像中边缘和亮度信息敏感的特点,提出一种基于SVR的无参考屏幕内容图像质量评估算法NRSVR,利用高斯差分函数计算失真图像的边缘图,通过局部归一化计算失真图像的亮度图,使用频率分布直方图对边缘图和亮度图进行特征提取,利用支持向量回归将提取的质量感知特征映射为主观质量分数. 实验结果表明,在预测失真图像质量上,NRSVR算法可以取得比大部分算法更高的准确性.