结合清晰度的无参考图像质量评价*

曹 欣李战明胡文瑾

（1.兰州理工大学电气工程与信息工程学院 兰州 730050）（2.西北民族大学数学与计算机科学学院 兰州 730000）

1 引言

借助最近推出的设备（例如摄像机，电脑，手机），人们可以轻松地分享他们的生活照片。然而，捕获，压缩和发布图像到网站的过程中，会不可避免地造成原始图像质量不同程度的下降。为了能够保持令人满意的数字图像感知质量［1］，我们必须首先确定每个阶段的失真水平，然后提高质量。判断图像质量（或失真度）的过程称为图像质量评估。此外，人们希望找到一种省时的方法，可以自动评估图像质量而无需人工干预。因此，客观的图像质量评价被引入以满足需要。客观IQA方法可分为三类：全参考（Full-Reference，FR）、部分参考（Reduce-Reference，RR）、无参考（No-Reference，NR）。

然而，在许多实际应用中，图像质量评价系统不能或很难获取参考图像。因此，有必要建立一种可对图像质量进行盲评价的方法，即无参考图像质量评价方法。现有的图像质量评价方法主要分为特定应用型评价和通用型评价。特定应用评价是专门为了处理特定的失真类型而设计的，一般不能处理其他类型的失真。而通用型评价与失真类型无关，因此近几年越来越多的通用型评价方法被提出。

通用型无参考图像质量评价方法分为基于学习的方法和基于距离的方法。基于学习的方法没有参考图像作为对比，需要通过学习特征为模型提供经验，然后借助学习的经验预测图像质量。目前最为经典的无参考图像质量评价方法有BIQI［2］和DIIVINE［3］，其相同之处都是在空间或时间域的基础上，分析待评价图像的统计特征，建立统计特征与主观评价之间的映射关系，进而对图像质量进行评价。随后基于DIIVINE的算法被提出，Saad等［4］开发了一种有效的、通用的、无参考图像质量评价算法BLIINDS-II，通过提取离散余弦变换系数的自然场景统计特征，利用贝叶斯模型预测图像质量。Mittal等［5］提出了基于图像空间域的盲图像质量评估（BRISQE）算法，该模型不计算失真特定的特征，而是使用来自局部归一化亮度系数的场景统计作为特征，以量化由于失真的存在而在图像中自然损失的可能性。此外，该方法不需要将图像变换到另一个域，这可以大大降低计算复杂度，使其适合于实时应用。Mittal还推出另一种无参考图像质量评价模型，该模型仅使用自然图像中观察到的统计规律性的可测量偏差，而不需要在人为失真的图像上进行训练。我们称之为自然图像质量评估器（NIQE）［6］，它基于从空间域自然场景统计模型中提取统计特征。DLIQA［7］是另一种基于自然场景统计的无参考图像质量评价模型。该方法与其他方法的主要区别在于其是基于分类的框架，而不是回归模型。首先，图像由自然场景统计特征表示，可以分为5个等级，分别对应5个定性描述（优秀，良好，一般，差）通过一个深度分类器，然后将质量标签及其相应的概率置信度通过质量池转换为数值评分。Zhang等利用五种类型的自然图像统计特征，从原始的自然图像集学习图像块的多元高斯模型。利用所学习的多元高斯模型，采用类巴氏距离来度量每个图像块的质量，然后通过平均池得到整体质量分数。这种方法不需要任何失真图像和训练的主观质量评分，称为IL-NIQE［8］。近年，Ghadiyaram等［9］开发了一种无参考图像质量评价模型FRIQUEE，它结合了多个域上的大量统计特征来训练一个能够盲目预测图像质量的回归器。虽然这两种方法使用高度多样化的特征集，并且可以对具有多个失真或真实失真的图像进行良好的处理，但是它们不能准确地估计具有多种失真类型的数据库的图像质量。随后Ye等［11］提出了另一种基于特征学习的方法，称为CORNIA。首先，使用原始图像块局部描述符。其次，他们使用基于码本的方法自动学习功能。码本是通过对从未标记训练图像提取的局部特征进行K均值聚类而构建的。第三，他们使用软编码和最大的编码池。该过程无参数且计算效率高。最后，采用线性核的SVR进行质量评估。与之前的方法（CBIQ［10］）相比，CORNIA不需要标签来构建密码本。它还能够通过使用较小的码本更准确地估计质量。Liu等［12］利用curvelet子带系数的非对称广义高斯分布模型参数、子带方向及子带尺度能量分布作为特征进行图像质量评价。Li等［13］利用Shearlet子带系数的振幅均值评价图像质量。综上所述，虽然现有的无参考图像质量评价已取得显著的效果，但是对于各种复杂的失真类型还有很大的提升空间。

在前人工作的基础上，本文提出以提取梯度特征与多尺度能量来衡量图像的清晰度，首先提取图像的梯度特征，然后进行多尺度小波分解，进而提取各尺度高频系数，并将低频系数进行量化编码作为高频系数的一部分，根据高频系数计算能量。此外，考虑到人眼的视觉特性，提取图像的LBP以及Lαβ色彩空间的颜色特征；最后通过支持向量回归建立评价模型。

2 基于特征提取与能量分解的无参考图像质量评价方法

2.1 清晰度分析

图像的清晰度是指人眼宏观看到的图像的清晰程度，是衡量图像质量的重要指标之一。当人眼主观感觉对一幅图像进行定量测试时，往往会被明亮和引人注目的区域吸引，也就是说对于图像清晰度的判断取决于图像中清晰区域，如果图片中的局部区域足够清晰则认为该图像质量很好。所以在计算图像质量时，我们会选取图像中清晰度高的区域作为基准，这样不仅可以突出显著性对象，还能够表达出图片中的重要信息。而清晰度由高频区域的空间细节内容和边缘决定。

2.1.1 梯度特征提取

边缘是图像最基本的特征，是人眼识别目标的重要信息。为了突出图像的边缘来更好地评价图像清晰度，本文利用Prewitt边缘检测算子提取图像边缘信息，Prewitt滤波器沿水平方向（x）和垂直方向（y）被定义为如下式：

计算梯度幅值GM1，定义如下式：

其中Hx是水平方向滤波器，Hy是垂直方向滤波器，f(x)是待评价图像，⊗是线性卷积运算。

梯度幅值GM1的特征由其均值ave_grad1和标准差std_grad1来表示。

图像的一阶与二阶导数在图像边缘提取中十分重要。图像中大部分边缘都不是突变的而是慢慢变化的，一阶导数将斜坡（斜坡区域是图像中最常见的区域）变成了粗线，二阶导数将斜坡变成了细线；二阶导数比一阶导数有更好的细节增强，基于此，本文在一阶导数的基础上提取二阶导数如下：梯度幅值GM2的特征由其均值ave_grad2和标准差std_grad2来表示。

虽然二阶导数对精细细节，如细线、孤立点有更好的增强表现但是对噪声也有较强的响应，虽然本文选取了对噪声有抑制作用的Prewitt算子，但是为了进一步减少噪声的影响，我们提取三阶导数对图像进行处理如下：

梯度幅值GM3的特征由其均值ave_grad3和标准差std_grad3来表示。

综合以上可以得到待测图像的梯度特征即：

2.1.2 能量计算

图像的清晰程度一般可由高频信息反映出来，图像的高频信息占比越大，能量也越大，则表示图像清晰度越高，反之图像越模糊，则包含的高频信息就越少，能量就越低，则清晰度就低。而小波变换可将一幅图像分解成近似（低频成分）和细节（高频成分）图像。基于此，本文提出以小波变换为基础计算能量来判断图像清晰度，其具体计算过程如下：

1）对待评价图像f（x）进行灰度化；

2）利用二维离散小波对灰度化后的图像进行3层分解；

3）得到3个不同尺度的高频系数和低频系数；

4）接下来对高频系数进行放大处理，并抑制低频系数；

5）最后对各部分高频信息进行能量计算，利用加权融合方法得到总的能量Fish_feat。

最终，待测图像的清晰度用如下特征来表示：

2.2 统一化LBP直方图特征

局部二进制模式（Local Binary Pattern，LBP）是一种有效的描述图像局部纹理特征的算子。对任意空间给定位置（xc，yc），将其与相邻的8个像素的灰度值进行比较，可产生8位二进制数，该二进制数对应的十进制数被定义为LBP如下所示：

其中ic表示中心像素（xc，yc）的灰度值，in是其8个相临位置的灰度值。

我们知道8bit的LBP的特征维数为2^8=256，向量维数非常高，使其计算和存储受到限制。

为了解决这种问题，对LBP算子扩展为统一模式，这里的统一化模式就是一种降维方式。所谓统一模式是指一个二进制序列从0到1或者是从1到0的变换最多只包含两次，通过二进制数首尾相连，所有8位二进制数中共有58种变化，将58种变化即58维等价模式归为一类，除了58维等价模式以外的模式都归为另外一类，称之为混合类，即将值分为59维，58维为一类，其它的所有值为第59维。

这样原始的直方图从256维减少为59维，大大的降低了其特征维数，且不会丢失重要的纹理信息，同时减少了高频噪声的影响，与其它的LBP算子相比，统一化模式LBP算子具有明显的优势。

最终，待测图像的59维纹理特征通过LBP直方图表示如下式所示：

其中，n等于59，表示含有59个bin的直方图。

2.3 色度统计特征

色彩空间将颜色从人们的主观感受量化为具体的表达，因此，色彩空间的选取要符合人眼的视觉感知，本文选择在lαβ空间进行图像的处理，lαβ色彩空间各通道具有最小的相关性，而且能够将图像的灰度信息和颜色信息分离开，这样以便于对三个通道进行独立运算，且不会影响原图像的效果。我们需要将图像从RGB空间转换到lαβ空间。从RGB空间到lαβ空间的转换如下：

为了使数据分布更加聚敛，且更符合人类对颜色的感知，进一步将LMS空间转换到以10为底的对数空间。

从LMS空间到lαβ空间的转换可由下式得到。

其中，l表示亮度分量，α表示黄一蓝通道，β表示红一绿通道。

经过以上步骤就完成了从RGB空间到lαβ空间的转换，对蓝黄通道和红绿通道进行非对称广义高斯分布拟合，其表达式如下：

式中：

提取到形状参数υ，左右方差σl2，σr2，另外也提取其峰态（Kurtosi）和偏态参数（Skewness）。

最终，待测图像的色度统计特征可用如下特征向量表示：

3 基于SVR的无参考图像质量评价模型

本文所提算法由清晰度（7维，其中包含梯度特征6维，不同尺度能量1维），以及统一化模式的LBP直方图（59维）和lαβ颜色空间下红绿通道和蓝黄通道系数分布参数（10维），共76维特征。然后以76维特征作为输入，利用支持向量回归得到预测模型，对待评价图像进行质量预测。

支持向量机是由Vapnik首先提出的，根据有限的样本信息在模型的复杂性和学习能力之间寻找最佳的预测模型。通过引入核函数，将低维原始特征映射到高维特征空间中有效地进行非线性分类，从而避免了高维空间中的复杂运算。

4 实验结果与分析

4.1 实验数据库

本文选择在LIVE数据库上验证所提无参考图像质量评价模型的有效性。LIVE数据库中包含29张参考图像和779张失真图像，其包含5种（JPEG压缩、JPEG2000压缩、白噪声、高斯模糊、快速衰落）失真类型，每张图片存在5～6个失真等级。数据库中都给出了每幅图像相应DMOS值，这些DMOS值是由161个观察者主观评价方法得出的，取值范围为0～100，其值越大相应图像的失真程度越大。

4.2 IQA性能评价指标

为了评价预测结果，视频质量专家组提出了皮尔森线性相关系数（Pearson Linear Correlation Coefficient，PLCC）、斯皮尔曼秩相关系数（Spearman’s Rank Correlation Coefficient，SROCC）。SROCC用来反映客观评价方法的单调性，其值越接近于1，算法的单调性越好。计算PLCC之前需要先对客观质量评价算法与DMOS进行非线性回归分析。PLCC用于反映客观评价方法的预测精度，其值越接近于1表示，则算法的精确性越高。

非线性回归采用logistic回归函数。logistic回归函数公式如下式：

式中β1、β2、β3、β4和β5是回归模型的参数。

4.3 实验结果

为了与目前的无参考图像质量评价方法BRISQUE、BLIINDS-II、DIIVINE、C-DIIVINE、CORNIA、IL-NIQE、BIQI、MIQA、GRNN及SHANIA等进行比较。本文采用支持向量回归进行测试。测试方法主要步骤如下：

1）提取LIVE数据库中所有图像的特征及其相应的主观评分（DMOS）；

2）将LIVE数据库中29张参考图像随机分为80%和20%，从而找到相应失真图像80%的训练集和20%的测试集，以此训练集和测试集中没有任何重合的图像；

3）利用训练集对应的特征及其相应DMOS训练评价模型，并利用测试集中各图像提取的特征预测图像质量得分；

4）计算测试集中所预测得分与其相应DMOS之间的SROCC和PLCC值；

5）重复以上2），3），4）步骤1000次，保证了不会因为训练的空域内容导致的偏差，然后以1000次测试结果SROCC和PLCC的中值作为本文所提算法最终评价指标。

表1～2为各无参考质量评价方法1000次迭代测试中SROCC及PLCC的中值。

表1 1000次迭代测试中各评价方法SROCC中值

表2 1000次迭代测试中各评价方法PLCC中值

由表1和表2可以看出，不同无参考图像质量评价方法的评价结果在各种失真类型上的性能比较结果。在这里用SROCC和PLCC做比较，从各失真类型评价结果看，本文在大多数失真类型上都取得较好效果，但对不同失真类型的评价结果稍有差别，总体上对JP2K、WN、FF失真类型评价中优势比较明显。

4.4 算法的鲁棒性

由于训练集和测试集的不同划分会影响图像质量评价模型最终的评价和识别效果。为了分析不同划分比例对不同失真类型的识别以及对模型整体预测精度的影响，将LIVE数据库按照表3和表4所示的比例分为训练集和测试集。图像质量评价模型以及不同失真类型识别模型在不同测试集和训练集下的实验结果如表3和表4所示。

表3 不同训练和测试比例情况下的1000次迭代测试的SROCC中值

表4 不同训练和测试比例情况下的1000次迭代测试的PLCC中值

从上述表3和表4可以看出，随着训练集比例的减少，不同失真类型以及整体的评价结果SROCC和PLCC在该模型上同时也出现了下降，但下降的幅度并不显著。当训练集的比例仅为50%时，对整个LIVE图像库的评价结果SROCC及PLCC依然可达到0.9以上，该测试表明本文所提模型评估结果与主观评价间可以保持较高的一致性。

4.5 计算复杂性分析

实际应用中我们在设计或选用评价模型时往往希望具有比较低的复杂度，以便于应用于实时系统中。在这里我们只统计各方法在提取两张分辨率为512×512的图像特征时所花费的时间。从表5可知本文算法具有较低的复杂度。

表5 各无参考图像质量评价算法运行时间比较

从表5可以看出，在上述5种评价方法中，本文方法的计算复杂性虽优于BLIINDS-Ⅱ和DIIVINE，但稍差于BRISQUE和CurveletQA。其原因如下：1）BRISQUE仅仅在空间域进行简单的广义高斯函数拟合提取统计特征，中间没有太多的计算环节；2）CurveletQA只有12个特征，只需要进行Curvelet分解和计算方向能量及子带能量分布。

5 结语

为了提高无参考图像质量评价方法与人眼视觉感知结果的一致性，本文介绍了一种结合清晰度来评价图像质量的模型。首先提取梯度特征及其多尺度下的子带能量；进而提取统一化模式的LBP直方图特征；然后提取lαβ颜色空间下蓝黄通道和红绿通道系数分布参数；最后运用支持向量回归建立图像质量评价模型。梯度特征和纹理特征可以互相补充，多尺度能量和颜色空间下红绿通道和蓝黄通道系数分布参数可以互相补充，比较全面地反映各种失真对图像结构，视觉等信息的影响，实验结果表明本文所提评价模型在LIVE数据库上基本和人类主观评价相一致，另外在评价效果以及算法复杂度上同样取得了比较理想的结果。但是，该算法在纹理特征提取上还存在很大的改进空间，所以，在后面的研究中，可以在彩色空间进行纹理特征的提取，同时提高纹理特征提取的效率，从而使算法性能得到进一步提高。