基于空域和频域特征的无参考图像质量评价方法

张 寅，吕向阳，闫钧华，马 越，侯 平，王高飞

（1.南京航空航天大学空间光电探测与感知工业和信息化部重点实验室，江苏南京 211106；2.南京航空航天大学航天学院，江苏南京 211106）

随着科技的发展与时代的进步，人们对于图像质量水平有着越来越高的需求，无论是在光学遥感领域、医疗卫生领域还是生活娱乐领域，高质量的图像都能给我们带来极大的帮助与便利，因此，对图像的质量水平进行评价已成为当前科学研究的一个重要课题。

目前，无参考图像质量评价方法主要分为两类[1]，一类是基于特征提取的方法，如：胡义坦等人[2]针对彩色图像，基于边缘检测算法和图像亮度特征，评价图像的失真程度。该算法对于压缩失真的评价效果较差。贺勇洁等人[3]基于波前理论，建立像差模型，评价失真图像质量水平。闫钧华等人[4]融合图像的多元特征，对失真遥感图像进行有效评价。另一类为基于深度学习的方法[5]，如：Yi 和Hua 等人提出了OGIQA 算法，基于图像的梯度信息和AdaBoosting 神经网络来预测图像分数[6]。Kim Jongyoo 等人提出DIQA 算法，利用卷积神经网络对图像质量进行评价[7]。Zhang Yin 等人提出FDSVIQA 算法，融合了图像统计视觉特征和卷积神经网络深度特征，具有较高的主客观一致性[8]。

基于深度学习的方法通常需要复杂的网络设计和庞大的训练数据库，且训练时间较长，因此，文中基于融合空域和频域特征的方法对失真图像进行质量评价。文中融合36 维空域特征向量和6 维频域特征向量构建了42 维的图像特征向量,其中为4 维空域特征向量，为32 维空域特征向量。

1 SFIQA方法框图

文中提出的融合空域和频域特征的SFIQA 方法框图如图1 所示。首先对失真图像分别提取36 维空域特征向量和6维频域特征向量。提 取的方法是对失真图像进行可操控金字塔分解，得到0.5 倍原始图像；分别对原始图像和0.5 倍原始图像这两个尺度的图像进行局部亮度归一化处理，得到归一化亮度MSCN（Mean Subtracted Contrast Normalized）系数；基于广义高斯模型对MSCN 系数进行拟合，得到空域特征；基于非对称的广义高斯模型拟合4 个方向相邻MSCN系数乘积，得到空域特征。提取的方法：对失真图像进行可操控金字塔分解，得到0.5 倍原始图像和0.25 倍原始图像；分别对原始图像、0.5 倍原始图像和0.25 倍原始图像3 个尺度的图像进行分割操作，得到8×8 的图像块；做离散余弦变换，得到每个图像块的DCT 系数；对DCT 系数进行局部频域熵计算，得到频域特征。然后融合36 维空域特征向量和6 维频域特征向量，构建42 维的图像特征向量。最后利用SVM 对42 维的图像特征向量进行训练与预测，输出SFIQA 评分。

图1 SFIQA方法框图

2 图像空域特征提取

失真图像相较于未失真的参考图像，其空间信息会发生明显的改变，因此，利用图像的空域特征，能够对图像的失真程度做出判定。文中算法分别在原始图像和0.5 倍原始图像两个尺度的图像上，提取4 维GGD 特征和32 维AGGD 特征[9]，构建36 维的空域特征向量

2.1 GGD特征提取

从LIVE 数据库中，任意选取不同失真程度的图像，计算其MSCN 系数分布，如图2 所示。图2 表明，随机选取的6 幅图像MSCN 系数分布形状有着显著的区别，因此，采用图像的MSCN 系数可以反映其失真程度。

图2 不同失真程度图像的MSCN系数分布

广义高斯模型GGD 的定义如下：

文中利用α和σ2来表征图像的MSCN 系数分布，即空域GGD 特征，α和σ2的取值范围都为(0,3)。在原始图像和0.5 倍原始图像这两个尺度上分别提取图像的空域GGD特征，记为=(f1,f2,∙∙∙,f4)。GGD 特征内每个元素的具体表达含义如表1 所示。

表1 GGD特征内元素表达含义

2.2 AGGD特征提取

用非对称的广义高斯模型AGGD 对4 个方向上相邻MSCN 系数乘积进行拟合，得到空域AGGD 特征。这4 个方向分别为水平方向H、竖直方向V、主对角线方向D1和次对角线方向D2，其具体表达式如式（3）～（6）所示：

从LIVE 数据库中，任意选取不同失真程度图像的H、V、D1、D2的直方图分布如图3 所示。图3 表明，不同失真程度图像的H、V、D1、D2和原始图像的H、V、D1、D2，其分布形状有着显著的区别，并且产生了不同的左右不对称现象，因此采用图像的H、V、D1、D2可以反映其失真程度。

图3 不同失真程度图像的H、V、D1、D2的直方图分布

利用非对称性广义高斯分布AGGD 对图像的H、V、D1、D2进行拟合，AGGD 分布的定义如下：

式（7）中，α是形状参数，是左方差，是右方差。μ是均值参数，定义如下：

文中利用α、μ、来表征图像的H、V、D1、D2分布，即空域AGGD 特征，α、μ、的取值范围都为(0,3)。在原始图像和0.5 倍原始图像这两个尺度上分别提取图像的空域AGGD 特征，记为=(f5,f6,∙∙∙,f36)。AGGD 特征内每个元素具体表达含义如表2 所示。

表2 AGGD特征内元素表达含义

3 图像频域特征提取

图像的频域特征是从图像的频谱图上提取的，频谱图包含了大量特征信息，图像失真会造成频谱图特征信息的变化。因此，利用图像的频域特征对图像的失真程度作出判定。文中算法分别对原始图像、0.5 倍原始图像和0.25 倍原始图像3 个尺度的图像进行图像分割操作，得到8×8 的图像块，然后做DCT 变换，得到各图像块的DCT 系数，最后计算DCT系数的局部频域熵[10]，构建6 维的频域特征向量

为了减少变换系数的边缘块效应，对每个图像块的DCT 系数C作标准化处理，其概率分布表达式如式（11）所示：

则图像块的局部频域熵为：

从LIVE 数据库中，任意选取不同失真程度图像频域熵值的直方图分布如图4 所示。图4 表明，不同失真程度图像的频域熵值和原始图像的频域熵值，其分布形状有着显著的区别，因此采用图像的频域熵值可以反映其失真程度。

图4 原始图像和不同失真程度图像频域熵值的直方图分布

文中利用均值和偏度来表征图像频域熵值的直方图分布，即频域特征，均值和偏度的取值范围为(-4,5)。在原始图像、0.5 倍原始图像和0.25 倍原始图像3 个尺度上分别提取图像的频域特征，记为=(f37,f38,∙∙∙,f42) 。频域特征内每个元素具体表达含义如表3 所示。

表3 频域特征内元素表达含义

4 基于SVM实现无参考图像质量评价

文中基于SVM 实现无参考图像质量评分[11]。将36 维空域特征和6 维频域特征线性融合，归一化为(-1,1)后输入到SVM 中进行训练评分。

文中算法在训练过程中，首先从训练集图像中提取得到归一化后的42 维特征向量，然后将特征向量与对应的失真类型标签label 和主观分数DMOS(Differential Mean Opinion Score)进行组合，得到训练样本数据，将训练数据分别输入SVM 分类器与SVM 评分器中进行训练，最终通过多次训练得到最优SVM 评分器。将测试集中的失真图像输入到最优SVM 评分器中，得到待评价失真图像的客观评分SFIQA。

5 实验结果与分析

为验证文中提出的SFIQA 的主客观一致性，分别在LIVEMD 数据库[12]和RBORSID 数据库[13]上进行实验。将文中方法与其他无参考评价方法进行对比，验证算法性能。实验中使用的算法性能验证指标分别为均方误差RMSE、线性皮尔斯系数LPCC、斯皮尔曼系数SROCC 和肯德尔系数KROCC。文中实验环境如下：E5-2620 处理器，操作系统为Win7，实验软件为MATLAB。

5.1 SFIQA 方法在LIVEMD 数据库上的主客观一致性

文中算法对LIVEMD 数据库图像进行测试，将SFIQA 评分与主观分数DMOS 进行回归拟合，得到SFIQA 方法的主客观一致性评价值。

如图5 所示，从LIVEMD 数据库中任意选取3 幅参考图像对应的3 幅失真图像，计算出每幅失真图像的SFIQA 评分和主观分数DMOS。图5 表明，对于LIVEMD 数据库遥感图像，SFIQA 评分和主观分数DMOS 相差不大，且基本保持一致的单调性，文中提出的SFIQA 方法具有较高的主客观一致性。

图5 SFIQA方法的主客观一致性

5.2 SFIQA方法与其他方法在LIVEMD数据库上的主客观一致性比较

文中选择7 种不同的评价方法：SSEQ[10]、BRISQUE[14]、BLIINDS-II[15]、BIQA[16]、OGIQA[6]、DIQA[7]、FDSVDIQA[8]与该文SFIQA 方法进行主客观一致性对比，实验结果如表4 所示。

表4 在LIVEMD数据库上不同评价方法的性能对比

表4 表明，在LIVEMD 数据库上，FDSVDIQA 和DIQA 两种基于深度学习的图像质量评价方法的评价指标高于传统基于特征提取的评价方法。但是，基于深度学习的方法需要更大量的样本，训练时间更长，效率比传统方法低。文中方法需要的训练样本少，训练时间较短。在传统的基于图像特征的评价方法中，文中SFIQA 方法有3 项指标处于第一的位置，只有LPCC 指标略低于BRISQUE 方法，说明SFIQA 方法具有较高的主客观一致性。

图6 为8 种评价方法中性能较好的4 种评价方法的拟合散点图。图6 表明，文中提出的SFIQA 方法相较于其他方法，散点分布更为集中，且基本处于拟合曲线附近，SFIQA 方法的主客观一致性较高。

图6 在LIVEMD数据库上不同评价方法的拟合散点图

5.3 SFIQA 方法与其他方法在RBORSID 数据库上的主客观一致性比较

将文中的SFIQA 方法与6 种不同的评价方法在RBORSID 数据库上进行性能对比，结果如表5 所示。

表5 在RBORSID数据库上不同评价方法的性能对比

表5 表明，在RBORSID 数据库上，基于深度学习的评价方法FDSVDIQA 的评价指标高于传统的基于特征提取的评价方法。但是，基于深度学习的方法需要更大量的样本，训练时间更长，效率比传统方法低。文中方法需要的训练样本少，训练时间较短。在这6 种传统的评价方法中，文中SFIQA 方法有4 项指标都处于第一的位置，说明SFIQA 方法具有较高的主客观一致性。

图7 为上述7 种评价方法中性能较好的4 种评价方法的拟合散点图。图7 表明，在4 种评价方法中，BLIINDS-II 方法的散点分布最分散，文中提出的SFIQA 方法散点分布最集中，且基本处于拟合曲线附近，SFIQA 方法的主客观一致性较高。

图7 在RBORSID数据库上不同评价方法的拟合散点图

5.4 消融实验

文中提出的无参考图像质量评价SFIQA 方法融合了图像的36 维空域特征和6 维频域特征，为了确定这两种特征的作用，分别在LIVEMD 数据库和RBORSID 数据库上进行了消融实验。在消融实验中仅使用空域特征或仅使用频域特征，其主客观一致性评价结果如表6 所示。

表6 在LIVEMD和RBORSID数据库上的消融实验结果

表6 表明，仅使用空域特征的评价方法性能优于仅使用频域特征的评价方法，在整体方法中空域相较于频域特征发挥了更大的作用。融合了空域和频域特征的SFIQA 方法，在整体上优于仅使用空域特征和仅使用频域特征的评价方法，拥有更高的主客观一致性。

5.5 计算时间对比实验

将文中提出的SFIQA 方法和基于深度学习的FDSVDIQA 方法在LIVEMD 数据库和RBORSID 数据库上进行计算时间对比实验。SFIQA 方法的计算时间为提取特征和训练1 000 次再评价的总时间；FDSVDIQA 方法的计算时间为网络训练1 000 次再评价的总时间。实验结果如表7 所示。

表7 计算时间实验结果

表7 表明在相同数据样本库下，文中提出的SFIQA 方法比FDSVDIQA 方法计算时间缩短一半以上，具有更高的计算效率[17-19]。

6 结论

文中提出的SFIQA 方法融合了图像的空域特征和频域特征，既能发挥空域特征便于表征图像全局纹理、边缘细节和形状轮廓的优势，又能发挥频域特征易于表征图像局部灰度梯度变化特点的优势，提高了无参考图像质量评分的精度。将文中SFIQA 方法与其他性能良好的无参考图像质量评价方法在LIVEMD 数据库和RBORSID 数据库上进行了主客观一致性比较实验，实验结果表明SFIQA 方法具有很高的主客观一致性。