基于多核学习和四元数小波变换的无参考图像质量评价

武利秀，姚晓峰，王 松，高 双

（1.无锡太湖学院 江苏省物联网应用技术重点建设实验室，江苏 无锡 214000；2.文思海辉元辉科技（无锡）有限公司，江苏 无锡 214000）

随着多媒体技术和数字图像技术的发展，对图像质量评价的需求也越来越高。传统的图像质量评价有两种失真度量：主观感觉评价法、客观质量评价法，主要是利用人类视觉系统（Human Visual Aystem，HVS）的某些特征来运作。其中，客观质量评价方法根据是否存在参考图像分为3类[1]：（1）全参考（Full-Reference，FR）图像质量评价方法，提前知道原图像和失真图像，通过比较两者之间的相互关联来得到失真图像质量的评价分。尽管Shao等[2]、Bensalma等[3]研究的全参考评价方法能够很好地预测图像质量，但是在实际应用中很难得到原始图像的信息。（2）部分参考（Reduced-Reference，RR）图像质量评价方法，是利用原图像的部分信息来预测失真图像的质量评价值。（3）无参考（No-Reference，NR）的图像质量评价方法，不需要获取原图像的相关信息。

近年来，具有多尺度分析特征的小波变换应运而生，应用场景广泛，如纹理分析等。传统的小波变换只是把图像分解为固定方向的平滑子带（水平、垂直、对角线），制约了对于旋转不变纹理图像的分析。因为四元数能够表示二维实值信号，所以相应的基于四元数的小波函数的构造就成为解析二维信号的关键。其中，四元数小波变换（Quaternion Wavelet Transform，QWT）是实小波的改进和复小波的推广，具有近似平移不变性，能够提供二维图像的相位信息。四元数小波变换具有旋转不变性，并且在相位表示特性和方向性方面表现较好。那么，传统小波变换在图像处理中所具有的不足都可以通过这些特性弥补。当前，国内外已将四元数小波变换应用到图像处理领域的研究。Chen等[4]分别提出了基于空间域和NSS特性的NR立体图像质量评价。熊润生等[5]为简单使用小波变换对立体图像进行评价，通过获得图像小波系数及子带能量作为图像的感知特性。

本文将QWT理论与多核学习（Multi-Kernel Learning，MKL）相结合，进行立体图像的无参考图像质量评价，主要研究的是如何运用广义高斯分布对四元数小波子带进行建模及模型参数的估计问题。通过实验分析得知，该算法适用于每一类立体失真图像，有较好的主客观一致性，且径线性相关系数（Linear Correlation Coefficient，LCC）和斯皮尔曼等级相关系数（Spearman Rank Correlation Coefficient，SROCC）最高可达到0.991和0.954。

1 相关理论基础

1.1 四元数小波变换

QWT结合了四元数代数理论、四元解析信号以及小波变换理论，是一种分析二维解析信号的多尺度工具，主要是进行由上而下的参数估计[6]，二维四元数解析信号定义为如式（1）：

其中，函数fH1和fH2为部分希尔伯特变换函数，fHi为全希尔伯特变换函数。QWT的主要思想是运用四元数代数对小波变换、全希尔伯特变换以及部分希尔伯特变换进行灵活的处理。

1.2 多核学习

在核机器学习领域研究的热点问题之一就是多核学习，通过对不同的特征采取不同的核、对不同的参数组成多个核，训练每个核的权重，选出最佳核函数组合来进行分类。要想取得很好的分类效果、对多个核函数进行组合，该形式是必然的选择，多核学习的主要作用就是解决这类问题。本文所要研究的图像内容之间具有特征矩阵分布不均匀等方面的问题，因此，选用多核学习的方法，来对各种失真图像进行分类和预测。

1.3 相位特征提取

自然图像的小波系数各子带系数值几乎都在零附近左右对称分布，在零点处达到最大值，形成一个峰值，并且有很长的拖尾，比较符合广义高斯分布（Generalized Gaussian Distribution，GGD），因此，GGD常用来对小波子带系数的分布规律进行参数化建模，并且通过估计到参数值，来衡量子带系数的分布情况。

1.4 视差信息提取

图像的深度信息可以由图像的视差图来体现，视差图信息在对立体图像质量的评价方面发挥着极其重要的作用。本文采用基于结构相似度（SSIM）匹配的算法来提取视差图，对于生成的视差，通过Matlab函数std2计算矩阵元素的标准偏差，通过mean2和entropy分别计算矩阵元素的均值和失真图像的信息熵作为特征。

2 实验步骤

本文根据失真类型的不同、失真等级的差异来评测图像质量。实验具体步骤如下：首先，将立体图像的左右视图分别输入到视差图提取算法中，获得图像的视差图。其次，将立体图像的左视图和右视图用PCA融合为一幅图像。再次，对PCA融合后的图像进行四元数小波变换，对高频子带系数用GGD方式拟合，对低频子带系数提取均值和信息熵。最后，对83维特征，随机抽取80%的图片集作为训练集，同时，输入到多核学习机上进行学习，其余的20%作为测试集，用于评定图像的质量得分。为了检验模型的可靠性，本实验重复100次，取其平均值作为最终的实验结果。

3 实验结果及分析

3.1 实验数据库

本文实验使用的是德州大学奥斯汀分校提供的LIVE3D图像质量数据库[7]（见表1）含有PhaseI库和PhaseII库，其中，PhaseI中为对称失真，即左右视图的失真等级相同，该库含有原始图像20对，其中，JPEG，JP2K，WN，FF这4种失真类型包含80对图像，GBLUR失真包含45对图像，共365幅失真图像；PhaseII为对称失真和非对称失真，该库包含8对原始立体图像，每种失真类型都含有72对失真图像，并且失真图像中存在有3对对称失真图像和6对非对称失真图像，总共360幅失真图像。两个立体图像库都提供了每对图像的DMOS值，其中，DMOS值代表图像的主观质量分。

3.2 实验结果

本文选用SROCC和LCC两个指标，来评估本文算法的预测质量得分与人类主观感知的相关性，其中，斯皮尔曼等级相关系数反映预测值与DMOS值的单调性，取值范围为[-1, 1]，绝对值越接近1，表明客观图像质量评价算法单调性越好；径线性相关系数取值范围在[0, 1]，取值越靠近1，说明客观图像评价算法越精准。本文选取立体图像数据库的80%作为训练集，20%作为测试集。具体如表2—5所示。

表1 LIVE 3D图像质量数据库

表2 LIVE 3D图像质量数据库PhaseI的SROCC

表3 LIVE 3D图像质量数据库PhaseI的LCC

表4 LIVE 3D图像质量数据库PhaseII的SROCC

表5 LIVE 3D图像质量数据库PhaseII的LCC

3.3 实验分析

从表2—5可以看出，本文所用方法无论在对称立体图像失真数据库（PhaseI）上，还是在非对称立体图像失真数据库（PhaseII）上，和图像的主观评价都有很好的一致性。相对所有列出的在该图像库中研究的最新方法，本文方法在5种失真类型中均有较好的表现，而且更加稳定。

4 结语

本文提出了一种基于相多核学习和四元数小波变换的无参考立体图像质量评价模型，利用图像融合技术对左右视图融合，对融合后的图像进行QWT，对高频子带系数用GGD方式拟合，对低频子带系数提取均值和信息熵等。主要针对立体失真图像，评价结果与人的视觉感知质量评价具有较好的一致性。