基于多尺度特征的无参考屏幕内容图像质量评估

2022-02-18 13:53林冠妙魏乐松牛玉贞
小型微型计算机系统 2022年2期
关键词:集上亮度尺度

林冠妙,魏乐松,牛玉贞

(福州大学 数学与计算机科学学院,福州 350105)

1 引 言

近几年,随着移动设备和多媒体应用的快速发展,屏幕内容图像(Screen Content Image,SCI)越来越频繁地出现在人们的生活中.这是一种由计算机生成的新的图像类型,不同于传统自然图像的是,这种新的图像类型中具有更多的结构布局信息和统计特征,锐利边缘数量远超过自然图像,而颜色信息少于自然图像.

为了实现便捷的设备间信息互传共享和远程计算,移动智能手机、各类电脑等设备作为各类多媒体应用的传递媒介,承担着为用户们提供丰富且清晰的图形服务的任务.然而,在实时变化的屏幕内容图像进行渲染、压缩等处理的过程中,由于技术或硬件局限性等原因,不可避免引入各种失真.当屏幕内容图像受到不同强度的各种失真类型作用时,它们会呈现出不同程度的质量下降,低质量的屏幕内容图像必然影响用户体验和交互性能.因此,在图像服务过程中,能够获取屏幕内容图像感知质量的图像质量评估方法是非常需要的,同时它们也为设计和优化高级图像/视频处理算法提供了一种可行的途径[1].传统的图像质量评价方法有两大类,分别为主观评价和客观评价.但在当前数据量爆炸式增长的时代,对数以万计的图像数据进行主观实验是不现实的,因此需要发展精确可靠的客观质量评价方法来弥补主观评价方法的不足.

目前常用的传统评估指标多是需要完整原始图像信息的全参考方法,例如,峰值信噪比(PSNR),结构相似性(SSIM)[2],均方误差(MSE)等等,且多针对于自然图像,包括梯度幅度相似性偏差(GMSD)算法[3],自然图像质量评估(NIQE)算法[4],以及盲/无参考图像空间质量评估(BRISQUE)算法[5]、ERGNN-BIQA算法[6]等等.然而现实中,对于原始图像的全部或部分信息的获取需要高代价,甚至无法获取.相较于全参考方法,不需要任何原始图像信息的无参考方法可能存在与主观感知的一致性较低的问题[7,8].但是其使用条件低、实用性更强,因而有更广阔的使用与发展前景.另外,针对自然图像设计的方法,对于布局结构相较特殊的屏幕内容图像来说,实际评估效果显然较差.

现有算法中,部分算法只考虑对部分图像特征加以利用,但并未周全考虑图像的其他特征.例如,基于屏幕内容图像中存在的边缘高度敏感特性,Ni等人[9]针对人类视觉系统(Human Visual System,HVS)而提出的边缘相似度算法(ESIM).Wei等人[10]利用图像的边缘结构信息提出了BES算法.虽然算法考虑到了屏幕内容图像的锐利边缘性质,但却容易忽视了图像的其他可用的重要特征.还有一些自然图像评估算法仅针对一些特定的失真类型,如模糊[11]、JPEG编码[12]等,相较混合失真学习通用能力稍显不足[13].

综合上述分析,目前针对屏幕内容图像提出的算法存在如下问题:实用性更强的无参考质量评估方法比较缺失,且已有的无参考方法实际评估效果与主观感知一致性较低;对于屏幕内容图像的特征利用不足;对于人类视觉系统特点考虑不周全.

为了解决上述提到的问题,本文依据人类视觉系统从粗略到细致的特点,以及屏幕内容图像中所蕴含的多个重要的显著特征进行考虑,提出了一种基于多尺度特征的无参考屏幕内容图像质量评估方法.本文中所提出的方法是根据屏幕内容图像具有丰富且纤细的边缘,特殊布局,以及人类视觉系统对亮度敏感的特点,在多个尺度的失真图像上分别提取边缘、结构、亮度这3类特征,来共同表示失真图像的质量感知特征.本文所提出的算法,对比其他无参考图像质量评估算法,能实现对屏幕内容图像所包含特征信息的充分利用,得以获得更加精确的质量分数,更加符合主观感知.

2 相关工作

图像质量评价主要是通过对目标图像的特征进行研究,然后对目标图像质量给出优劣(即目标图像的失真程度)的评价.目前大多数图像质量评估算法是专门为自然图像设计的,但屏幕内容图像的特征相较自然图像存在巨大差异.屏幕内容图像包括重复的图案、细线和锐利的边缘,而自然图像通常包括平滑的边缘、粗线和更多的颜色信息.因此,针对自然图像设计的质量评估算法对屏幕内容图像并不适用.

近年来,学者们根据屏幕内容图像和人类视觉系统的特点,提出了许多有效的质量评估算法.为了研究屏幕内容图像的视觉质量,Yang等人[14]进行了一项用户研究,构建了用于屏幕内容图像质量评估的主观数据库SIQAD,并提出了SPQA算法.后来,Ni等人[9]建立了一个新的屏幕内容图像数据集,称为SCID,并且提出一种全参考图像质量评估模型(ESIM).Ni等人[15]还提出了一种基于Gabor变换的有效的全参考图像质量评估模型(GFM).Wang等人[16]考虑视野自适应和局部信息内容加权,提出了一种基于结构相似度的局部质量评估方法(SQI).Wang等人[1]考虑屏幕内容图像的视觉感知,设计了弱参考图像质量评估(RR-IQA)方法.Huang等人[17]从视觉内容理解的角度出发,考虑到屏幕内容图像的视觉内容理解主要来自轮廓宽度较窄但对比度却较高的文本区域,提出了一种弱参考的感知哈希算法.

上述提到的方法都需要原始图像的全部或者部分信息作为参考信息,但是原始图像的信息在实际应用中经常是得不到的,因此需要为屏幕内容图像设计有效的质量评估方法.Shao等人[18]提出的BLIQUP-SCI算法是利用稀疏表示框架在文本区域和图像区域先后分别进行了局部和全局的稀疏表示,而后映射得到特征与质量分数之间的关系.Gu等人[19]提出了一种屏幕内容图像的盲质量度量方法(BQMS),利用1000幅图像来构建屏幕内容图片统计模型,通过全参考的SIQM[20]评分对100,000张失真图像进行评估/标记,学习了一个固定的回归模块,消除了创建模型的主观测试需要的同时,也导致了该方法过于依赖于全参考方法的评分准确性,可能引起误差放大化.类似的Gu等人[21]提出了不需要依赖人为评分的无参考屏幕内容图像的SIQE通用框架,但剥离主观评分的同时也容易造成主客观不相一致的问题.Fang等人[22]用直方图来量化屏幕内容图像中局部及全局的亮度特征和纹理特征,提出了一种无参考质量评估方法(NRLT),但屏幕内容图像中存在的大量文字对亮度的敏感度低于图像部分,导致该方法性能受限.

目前针对屏幕内容图像提出的无参考算法还比较少,且现有算法结果与主观感知还有较为明显的差距.而本文则依据屏幕内容图像的特点,提取符合人类视觉系统特点的特征,来表示失真屏幕内容图像的信息,基于多尺度机制,提出了一种更加有效的无参考屏幕内容图像质量评估算法.

3 方 法

本文提出的结合多个特征的屏幕内容图像质量评估方法的算法流程图如图1所示,主要由边缘、结构、亮度3类特征提取分支组成.本文算法步骤如下:

图1 算法流程图Fig.1 Flowchart of the algorithm

1)对失真的屏幕内容图像进行双三次插值预处理,平滑失真图像;

2)在各尺度上分别提取失真图像的3类特征(边缘、结构、亮度):使用Gabor滤波器对图像进行边缘特征提取;利用Scharr滤波器和LBP算子(Local Binary Pattern)共同来提取图像的结构特征;利用局部归一化算法来提取图像的亮度特征;

3)利用随机森林回归方法建立质量感知特征与失真图像质量分数之间的关系,映射得到质量感知分数.

3.1 特征提取

文献[23]中,Guo等人通过研究发现,经过双三次插值处理后的失真屏幕内容图像和自然图像之间的统计特征差异得以减少,在统计特征上更加类似于自然图像,以此能够更好地表示图像.因此,我们对失真屏幕内容图像进行双三次插值的预处理.失真图像3类特征提取示例如图2所示.

图2 失真屏幕内容图像及其相对应的3类特征图和特征直方图提取示例Fig.2 Examples of distorted SCI and its corresponding three typesoffeature maps and feature histograms

3.1.1 边缘特征

根据心理物理学和生理学实验发现,位于哺乳动物初级视觉皮层中的简单细胞的感受区域的轮廓与Gabor过滤器的频率响应形状非常相似[24,25].一个二维Gabor滤波器在空域中可被定义为由正弦平面波调制的高斯核函数.而Ni等人[8]则通过实验验证了具有奇对称性质的Gabor滤波器虚部在提取边缘信息时的有效性.由于人类视觉系统对边缘信息高度敏感并且典型的屏幕内容图像包含丰富的边缘信息,因此,选用Gabor滤波器虚部对屏幕内容图像进行边缘特征识别提取是有效且鲁棒的边缘检测方法[26].

根据方向参数θ指定特定方向的Gabor滤波器.显然,选取的方向越多,所需的计算复杂度就越高.与其他方向相比,水平方向或垂直方向的视觉灵敏度更高[26],为了在表示效果和计算效率之间的达到平衡,我们只选择θ= 0和θ=π/2以获得水平和垂直方向的Gabor滤波器虚部Gh(x,y)、Gv(x,y).

面向人类视觉系统的针对性优化需求,可由LMN颜色空间的转换权重实现[27],因此我们首先对失真的屏幕内容图像进行LMN颜色空间转换处理[28],而后其中的亮度分量通过双三次插值完成图像中锐利边缘的平滑处理后,再与选定的两个方向的Gabor滤波器虚部进行卷积计算,以获得相应方向上的边缘图,卷积计算公式如下所示:

Eh(x,y)=Gh(x,y)⊗l(x,y)

(1)

Ev(x,y)=Gv(x,y)⊗l(x,y)

(2)

式中:“⊗”表示卷积计算,(x,y)表示图像中像素的坐标,Eh(x,y)表示水平梯度图,Ev(x,y)表示垂直梯度图,l(x,y)表示通过双三次插值预处理过的输入失真图像的亮度分量.由两个方向的梯度图相加,即Eh(x,y)、Ev(x,y)二者的加和为所求的最终梯度图E(x,y),如下所示:

E(x,y)=Eh(x,y)+Ev(x,y)

(3)

因此,输入失真图像的边缘特征则由所得的最终梯度图E(x,y)的绝对值直方图量化表示,设定直方图分组数为10,即边缘特征由一个10维向量fn表示,第n(1 ≤n≤10)个元素由如下公式计算可得:

(4)

(5)

式中:Q(n)表示第n个分组的取值范围,M和N表示图像中的长度和宽度,MN乘积即为图像像素总数,(i,j)表示图像中像素的坐标.

3.1.2 结构特征

考虑到有效利用图像结构信息能够较大程度上地帮助图像的感知质量评估[16],本文方法利用Scharr梯度滤波器来捕捉图像像素的某个邻域内的灰度变化,以此获得图像的梯度信息.此处的梯度图将由双三次插值预处理后的失真输入图像,经选定的水平、垂直的Scharr滤波器卷积计算后获得,公式如下:

th(x,y)=sh⊗p(x,y)

(6)

tv(x,y)=sv⊗p(x,y)

(7)

(8)

式中:“⊗”表示卷积计算,(x,y)表示图像中像素的坐标,sh和sv分别表示水平和垂直方向的Scharr滤波器;p(x,y)表示输入失真图像双三次插值预处理后的图像像素;th(x,y)和tv(x,y)分别表示水平和垂直方向的梯度图;t(x,y)为最终的梯度图.

LBP算子[29]通过计算灰度差来描述中心像素与其周围像素之间的关系,并且这种图像微观结构模式可以有效地捕获不同失真带来的变化.因此,基于已得梯度图,利用LBP算子来提取图像的结构信息.常规的LBP算子表达式为:

(9)

(10)

式中:R表示邻域的半径,I表示周围像素数量,则ti表示局部区域的周围像素邻域点的梯度值,tc表示局部区域的中心像素点的梯度值.为保证同一局部区域取样后最小值的一致性,即旋转不变性,有如下的局部旋转不变均匀LBP算子定义[29]:

(11)

(12)

式中:ρ表示为按位旋转的像素数量.不同的LBP模式表示不同的局部梯度模式,由图像梯度图中的中心像素与其周围像素间的差异导出,因此,同一模式对于中心像素值(即该位置处的梯度幅值)是不变的,该LBP具有I+2种模式.

为了有效地捕获图像中的对比度和结构信息,我们将梯度图中的像素梯度值按照同一LBP模式进行分组累加[30]后作为结构特征,计算公式如下:

(13)

(14)

式中:M和N表示图像中的长度和宽度,m(i,j)表示LBP模式的权重,在本文中,设置I=8,邻域半径设置为R=1,则可能的LBP模式有k∈[0,9]共10种,即可用一个10维向量w(k)来表示结构特征.

3.1.3 亮度特征

通过局部归一化计算图像亮度,可以有效的表征图像特点,进而捕捉图像质量的变化[22].对图像进行局部非线性运算可以去除局部平均位移,并且对局部方差进行归一化处理具有去相关效应[31].因此,失真图像在双三次插值之后,利用局部归一化计算亮度特征,计算公式如下所示:

(15)

式中:S(i,j)和S′(i,j)分别表示插值后的失真图像亮度图和局部归一化的亮度图,(i,j)表示图像像素的位置.C是常数,防止分母趋近0,式子不能计算.μs和σs分别表示图像中每个像素点的局部加权平均值和局部加权标准差.

文献[32,33]中研究表明,方向信息可以很好的描绘出视觉场景中的视觉信息.因此,我们在提取特征时考虑对相邻像素之间的统计关系,虽然经过局部归一化处理后,图像

变得更加的均匀,但是相邻像素点的亮度值信息也展现出一定规律的结构,该结构在引入失真后会受到一定程度的影响.如图3所示,沿着4个方向:水平、垂直、主对角线和副对角线,对局部归一化后的相邻像素点的亮度值进行相乘,相邻像素点的亮度值相乘运算公式如下所示:

MH(i,j)=S′(i,j)S′(i,j+1)

(16)

MD1(i,j)=S′(i,j)S′(i+1,j+1)

(17)

MV(i,j)=S′(i,j)S′(i+1,j)

(18)

MD2(i,j)=S′(i,j)S′(i+1,j-1)

(19)

式中:MH(i,j)、MD1(i,j)、MV(i,j)、MD2(i,j)分别表示与水平、对角线、垂直、副对角线相邻像素点亮度值相乘后结果.

图3 4个方向:水平、垂直、主对角线和副对角线Fig.3 Four directions:horizontal,vertical,main diagonal and sub-diagonal

由于自然图像经过局部归一化处理后的亮度S′(i,j)符合广义高斯分布,但是屏幕内容图像不满足这一规律.对此,我们采用文献[22]中的提出的方法,将输入失真图像局部归一化后的亮度S′(i,j)结果进行绝对值频数统计,设定直方图的分组数设置为10,以统计后的频率分布直方图来表示图像的全局亮度信息,即可用一个10维向量gn来表示亮度特征,向量中第n(1≤n≤10)个元素的计算如下所示:

(20)

(21)

式中:Q(n)表示第n个分组的取值范围,M和N表示图像中的长度和宽度,(i,j)表示图像中像素点的坐标.

同理,在4个方向上计算所得的4个亮度特征分别转为10维特征,可得40维特征,结合亮度局部归一化后的10维特征,共有50维亮度特征.

3.2 回归模型

为保证训练集和测试集之间不会出现数据重叠,在实验中,将数据集以参考图像为基准划分,随机在数据集中,以参考图像为基准,按照4∶1的比例选定其所对应的不同程度失真图像分别作为训练集和测试集,保证了实验结果的正确性.

为了更好地表示失真图像特征,我们选定在包含原尺度及3次下采样共4个尺度上提取特征.对于一尺度下的一张失真屏幕内容图像,我们用10维向量表示图像边缘特征,10维向量表示图像结构特征,50维向量表示图像亮度特征,总共用70维向量表示当前尺度下图像的感知质量特征.因此,对每一张失真图像在4个尺度上可以得到280维的特征向量.

随机森林回归模型是由多棵回归决策树组成,回归树将特征空间划分成若干单元,每一个划分单元有一个特定的输出.模型最终输出由每一棵互不相关联的回归的决策树共同决定,每棵树的结果平均值决定最后的结果.

结合数据集已有的主观质量分数,我们使用随机森林回归算法作为映射函数,将提取的感知质量特征回归映射为屏幕内容图像的客观质量分数.

4 实 验

4.1 数据集

本文中使用两种针对屏幕内容图像质量评估算法进行研究的数据集:SIQAD[14]和SCID[9],两个数据集中的每幅失真图像都有通过主观评分的方法计算得到的主观质量分数(DMOS或者MOS).两个数据集的具体信息介绍如表1所示.

表1 两个数据集的信息Table 1 Information of two datasets

4.2 测试指标

本文实验中,选用了皮尔逊线性相关系数(PLCC)、斯皮尔曼秩序相关系数(SRCC)、均方根误差(RMSE)3个指标来评估图像质量评估算法性能.其中,SRCC和PLCC这两个指标与主观感知表现为正相关关系,即由图像质量评估算法所得评分与主观评分的相关性越高,则指标绝对值就越大,说明算法的性能越好.RMSE指标是计算图像质量客观评分和主观评分之间的均方根误差,其值越低则说明主客观评分间的相关性越好,说明该算法的性能越好,反之则反.

4.3 方法对比

本文算法将与以下经典的质量评估算法进行比较以证明所提出算法的性能优势:PSNR、SSIM[2]、GMSD[3]、SPQA[14]、SQI[16]、ESIM[9]、GFM[15]、MAD[34]、IFC[35]、GSIM[36]、NIQE[4]、BRISQUE[5]、GWH-GLBP[30]、BQMS[19]、SIQE[21]及NRLT[22].其中共有7个算法是针对屏幕内容图像所设计:SPQA、SQI、ESIM、GFM、BQMS、SIQE、NRLT,其余算法均为针对自然图像所设计.

为了更加全面和精准地评估所提算法的性能,在两个数据集上,我们对数据集中包含的每种失真类型以及整体性能进行测试.表2和表3分别为本文算法在SIQAD和SCID数据集上的实验对比结果.表中,各测量指标的最优性能,在全参考(FR)算法中,由黑体表示;在无参考(NR)算法中,由黑体加下划线表示.部分对照算法数据来源于文献[10],符号“-”表明在算法原论文中没有说明此数据.

表2 SIQAD数据集上的实验结果对比Table 2 Comparison of experimental results on the SIQAD dataset

表2中,在SIQAD数据集上,我们所提出的算法在整体性能上明显优于专门为屏幕内容图像提出的无参考算法BQMS、SIQE和NRLT,甚至超过了全参考算法SPQA、SQI及ESIM,虽然性能略低于全参考算法GFM,但已经很接近了.而相比较针对自然图像提出的算法,无论全参考还是无参考,我们所提出的算法性能都远远超过它们了.在单个失真类型上,本文所提出的算法也都超过列出的无参考算法,在与全参考算法对比中,所提出的算法在单个失真类型上也优于大部分全参考算法.相比较优的针对屏幕内容图像的无参考方法NRLT,我们的方法在整体性能上3个指标分别提升了4.36%、4.27%、9.99%.

表3中,在SCID数据集上,在整体性能的对比中,我们所提出的算法在3个指标上均优于所有对比方法.在单个失真类型上,除了在GN、J2K、CSC这3种失真类型上的性能略低于个别算法外,本文所提出算法的性能均优于其它对比的无参考算法;在与全参考算法对比中,本文所提出算法在单个失真类型上的性能也优于大部分全参考算法.相比较优的针对屏幕内容图像的无参考方法NRLT,我们的方法在整体性能上3个指标分别提升了13.97%、13.88%、15.49%.

表3 SCID数据集上的实验结果对比Table 3 Comparison of experimental results on the SCID dataset

4.4 消融验证

为证明本文所提出的方法设置的有效性,在失真图像提取特征的过程,对其中所涉及的图像从以下4个方面进行消融实验:自然化预处理、特征类型、尺度选择、直方图设置,在表4-表8的实验结果中,各指标的最优结果均用黑体加下划线显示.

4.4.1 自然化

在提取失真屏幕内容图像的各类特征之前,我们通过双三次插值方法对其进行预处理,目的是平滑图像,减小屏幕

内容图像的统计特征与自然图像之间的差异[23].在表4中列出,所提出算法在有/无双三次插值时在SIQAD和SCID两个数据集上的性能,从表中可以看出,在两个数据集上,经过双三次插值算法预处理后,再对图像提取特征,PLCC、SRCC和RMSE3个指标的实验结果都有了明显的提高,说明算法中加入双3次插值是可以明显提高算法预测失真图像质量的准确性.

表4 在SIQAD和SCID数据集上,本文提出方法插值前后实验结果Table 4 Experimental results of the proposed method on the SIQAD and the SCID datasets before and after interpolation

4.4.2 特征消融

该实验中,我们选择提取了失真屏幕内容图像的3类特征:边缘特征、结构特征、亮度特征.针对这3类特征,我们进行了特征功能验证,以证明各类特征的有效性及特征组合后的评价处理能力.

表5 在SIQAD和SCID数据集上进行特征消融的实验结果Table 5 Experimental results of the feature ablation on the SIQAD and the SCID dataset

我们在SIQAD和SCID两个数据集上都进行特征消融重组实验,从表5中的实验结果可以发现,在两个数据集上,

表6 在SIQAD和SCID数据集上进行尺度层次消融的实验结果Table 6 Experimental results of ablation of scale-level on the SIQAD and the SCID dataset

我们所选的3类特征—边缘特征、结构特征、亮度特征,两两组合后的性能均超过了组合前单类特征的性能,特征能力能够有效加和,取得的性能提升幅度明显,如在SIQAD数据集上,边缘特征与结构特征的组合,组合后相较单独边缘特征3个指标性能分别提升:30.79%,42.26%,34.15%,相较单独结构特征3个指标性能分别提升:3.43%,4.78%,8.40%,对应散点图如图4所示.可以见得,此3类特征无互相抵消的情况,均为可提升整体图像评价能力的有效特征.

表7 在SIQAD和SCID数据集上进行尺度个数消融的实验结果Table 7 Experimental results of ablation of the number of scales on the SIQAD and the SCID dataset

表8 在SIQAD和SCID数据集上进行直方图分组数的实验结果Table 8 Experimental results of the number of histogram groupings on the SIQAD and the SCID dataset

4.4.3 尺度层次与个数

本文方法中,我们在4个尺度上分别对失真屏幕内容图像提取所需的各类特征.我们选择以0.8为一个基本尺度单位,各尺度层次的图像每次以一个基本尺度单位进行下采样得到下一尺度层次,记原图像的大小为第1尺度层次,每个尺度层次分别记为一个尺度,层次叠加个数为尺度个数,即本文方法中所定义使用的4个尺度为叠加4个连续的不同尺度层次所得.

考虑各尺度层次的能力和尺度个数的选择,我们在SIQAD和SCID数据集上分别进行5个尺度和5个尺度层次的消融实验,其中,尺度个数默认为从第1尺度层次开始向下连续叠加.从表6中可以看到,在SIQAD数据上,第3尺度层次性能最优;另外,在第4尺度层次上,PLCC指标上达到了等同于最优第3层次的同时,SRCC和RMSE两个指标也达到了仅次于其的次优性能;在SCID数据上最优性能则出现

图4 在SIQAD数据集上特征消融示例散点图(横轴表示不同特征选择预测的客观得分,纵轴表示对应的DMOS)Fig.4 Sample scatter plots of feature ablation on the SIQAD dataset(the horizontal axis represents the objective score predicted by different feature selection,while the vertical axis represents the corresponding DMOS)

在第4尺度层次,第3尺度层次性能次优.因此,依据各尺度层次的能力,在选择尺度个数时,我们至少可以考虑3或4个尺度,即选用从第1尺度层次开始连续向下叠加至第3或第4尺度层次.从表7中SIQAD、SCID两个数据集上的情况可以进一步看到,当尺度个数为4时,即从第1尺度层次开始连续叠加至第4尺度层次时,整体性能是最优的.

结合表6、表7,我们可以发现,在两个数据集上的第5尺度层次的性能虽非最优,但也展现了全部或部分指标优于第1、第2层次的优势,因此小尺度上所拥有的大视野信息是可用的.然而5个尺度时的性能反而效果一般,甚至不如仅3个尺度时候的情况.这是因为第3、第4尺度层次上的大视野信息已经足够,更大视野反而导致了部分细节信息的模糊化,对于图像评估增加了更多不确定因素.所以,第5尺度层次的加入反而会对4个尺度的最优情况带来有偏差甚至错误的信息,继而造成了性能的下降.

本文方法选定的4个尺度是默认从第1尺度层次开始向下连续选择,虽然第5尺度层次的能力高于第1尺度层次的能力,但从表7中的两种4个尺度的选择方法结果,可以看出第1尺度层次是必不可少的,因为它包含了最完整的细节原始信息.

综上可知,本文方法所选定的4个尺度(第1-第4尺度层次)情况性能最优.

4.4.4 直方图分组数

在本文方法中,采用10维的直方图分组数来分别表示3种提取到的失真图像的统计特征.一般而言,设置过多的直方图分组数来表示特征,会导致特征分散波动,而用少量直方图分组数来表示特征,却也可能过度聚合特征数据,降低了表示精准度.过多或者过少的分组都难以较好表示特征分布的特点.因此,分别选取5、10、15、20这4个直方图分组数来进行对比.从表8中可以看出,当直方图分组个数设置为10时,实验结果相较更优于其他分组情况.

5 结 论

本文提出了一种基于多尺度特征的无参考屏幕内容图像质量评估算法.人类视觉系统在捕捉图像信息时,遵循全局优先原则,即先观察整体信息,再观察局部信息.因此,本文加入多尺度机制,从多个尺度上提取失真屏幕内容图像的结构、边缘和亮度3类特征,然后将多个尺度上提取的特征进行组合,并放入随机森林回归算法中,将其映射为质量感知分数.实验结果表明,所提算法相比较目前最新的基于机器学习的无参考算法,在预测失真图像质量分数时可以与主观感知取得更高的一致性,甚至超过了部分针对屏幕内容图像提出的全参考算法.未来工作将思考与深度学习方法结合的可行性,进一步提高该图像的质量评估效果.

猜你喜欢
集上亮度尺度
用于遥感影像亮度均衡的亮度补偿方法
环境史衰败论叙事的正误及其评判尺度
关于短文本匹配的泛化性和迁移性的研究分析
一招让显示器好用百倍
本本亮度巧调节,工作护眼两不误
亮度一样吗?
师如明灯,清凉温润
以长时间尺度看世界
9
几道导数题引发的解题思考