基于小波变换的多尺度SSIM算法

钱 方，孙 涛，郭 劲，王挺峰

（1.中国科学院长春光学精密机械与物理研究所激光与物质相互作用国家重点实验室，吉林 长春 130033；2.中国科学院大学，北京 100049）

1 引 言

图像质量评价的应用十分广泛，例如图像的获取、压缩、传递、重构、增强，研究客观质量评价方法的目的是为了自动预测感知图像的质量。常用的图像质量评价方法包括均方误差（MSE）、峰值信噪比（PSNR）［1－3］，这两种方法都是基于简单比较两幅图像单像素灰度值差异，没有考虑像素间的联系以及灰度变化对周围纹理、结构信息的影响，使得评价结果与主观感知相差很大。Zhou Wang等人提出了一种基于结构相似度的图像质量评价方法（SSIM）［4－5］，方法中考虑了人类视觉系统对图像结构变化的关注，分析了亮度、对比度变化对图像质量的影响，但是该算法对交叉失真图像的评价不尽人意，还需要近一步改进。近年来，研究人员相继提出了改进的SSIM算法，如基于梯度幅值的结构相似度（GSIM）［6］，该方法将梯度作为图像的主要结构信息。重视边缘区域的结构相似度（EH＿SSIM）［7］，该方法结合人眼对边缘区域和非边缘区域的感兴趣程度来度量边缘区域内显著失真的程度。基于相位一致的结构相似度（MPCSSIM）［8］，该方法比较图像的亮度、对比度以及相位一致函数，并将三者结合起来进行质量评价。以上各种方法都是从时域角度出发评价图像质量，没有考虑到图像中不同频率区域的失真对整体图像质量的影响。

本文提出了一种基于小波加权的多尺度结构相似度图像评价算法（WWMS－SSIM），该方法从频域角度出发评价图像质量，首先将原始图像和失真图像分别进行小波变换，划分成为分辨率逐渐下降且频率特征不同的子带图像，共包括1个低频子带和12个高频子带，然后在低频子带比较亮度和相关度信息，在高频子带比较对比度、相关度和结构信息，并依据对比度敏感函数响应值对不同频率的对应子带图像进行加权，得出最终的评价结果。

2 WWMS－SSIM算法分析

近年来，在图像处理中引入了多分辨率分析的思想，采用不同的分辨率分析图像的不同物理结构，这样可以更加精确的表述图像的细节信息。例如，在低分辨率下人眼观察到图像大体的轮廓、边缘信息，而在高分辨率下，图像的特定形态，灰度起伏的细节信息则更加突出。相连接的纹理和灰度级相似的区域会引起人们的注意。如果物体的尺寸很小或对比度不高，通常需要较高的分辨率才能看清；物体的尺寸很大或对比度较高，就只需要较低的分辨率。一幅图像中常存在细节尺寸大小和对比度高低不均的情况，这时以多分辨率的方法来处理图像具有一定的优势。

图像多分辨率分析过程通常采用倍频程划分，在实际应用中，可以将图像分解到不同的频带上单独处理，进而实现这一过程。随着小波理论的逐步完善，可以发现在图像处理中应用小波分析的具有以下优点［9－12］：

（1）多尺度特性。通过小波分解，图像会被分解成4个不同频带的子带图像，对应于通道LL，LH，HL，HH的输出，分别给出了不同方向的边缘结构信息。

（2）方向敏感特性。LL包括了图像的低频特征，LH包括了垂直方向高频特征，HL包括了水平方向高频信息，HH包括了对角线方向的高频信息。

（3）局部分析特性。小波变换可以放大图像中的边缘或框架信息，其频谱可以体现图像的局部空间频率。

通过以上分析可知，在图像质量评价中，小波分解可以很好地模拟人类视觉系统特性，实现对图像的多分辨率处理，进而可以清晰准确地知道图像在各个不同频带，不同结构尺度下的失真情况。因此，本文提出了基于小波分解的多尺度SSIM算法。

2.1 图像小波分解

分别对原始图像和失真图像进行小波变换，小波变换示意图如图1。

图1 小波变换方框图Fig.1 Wavelet transform map

尺寸为M×N的图像f（x，y）的二维小波变换为：

通过小波逆变换得到重构后的f（x，y）：

大量的实验结果表明，5～6级小波分解更加符合人眼视觉系统对图像的观测过程，但其运算数据量过大，因此，一般认为四级小波变换在保证精确性的前提下运算复杂性不高。本文将原始图像和失真图像分别进行四级二维小波变换，并采用sym8作为小波基函数，分解后得到13个分辨率不同的子带图像，其中包括一个低频子带和12个不同方向的高频子带。LL子带包含了图像的低频部分信息，图像的绝大部分能量以及细节信息，LH子带包含了图像的垂直边缘信息，HL子带包含了图像的水平边缘信息，HH子带包含了图像沿对角线方向的边缘信息。小波分解过程中，其低频子图像被逐次分解为一系列分辨率逐渐降低的次级子图像，如图2所示。图3和图4为实际图片的小波分解图。

图2 四级小波变换分解示意图Fig.2 Four－scale wavelet transform map

图3 四级小波变换分解实例图Fig.3 Four－scale wavelet transform of lena image

图4 图像四级小波分解低频子图像Fig.4 Four－scale wavelet transform of LL

2.2 多尺度WSSIM算法

在图像质量评估中，有许多因素将影响最终的评价结果。一般包括图像的亮度、对比度、粗糙度。亮度过强或过弱都会使人眼细节分辨能力下降，同样，对比度过强或过弱时，人眼分辨亮度差异的能力就会下降，同样导致细节清晰度下降，图像质量下降。从频域的角度来看，高频分量不足图像将变得模糊，而高频分量过多会造成图像的粗糙。此外，图像中的边缘、纹理等结构不仅与单像素的灰度值有关，同时通过像素点间的灰度相关性体现出来。小波结构相似度（WSSIM）算法在原有的SSIM算法基础上，引入相关度比较函数，充分考虑原始图像与失真图像间的相关性。

将原始图像和失真图像经小波变换后得到各自的子带图像，子带图像的小波结构相似度评价算法WSSIM包含4个部分，j为小波分解级数，i为小波分解方向，公式为：

亮度比较函数为：

对比度比较函数为：

结构比较函数为：

相关度比较函数为：

其中，μx和μy表示图像块x和y的平均灰度值，σx和σy分别表示图像块x和y的灰度标准差，σxy则表示图像块x和y之间的灰度协方差，p（x），p（y）分别表示图像块x和y的灰度矩阵。C1，C2，C3为很小的正数，防止分母为零或接近零造成的不稳定。

图5 一组不同失真类型Lena图像Fig.5 Lena images with different types of distortions

图5中（a）是原始图像，（b）是亮度失真图像，（c）是对比度失真图像，均为非结构性失真图像，（d）～（f）分别是白噪声、模糊、JPG压缩失真图像，均为结构性失真图像。运用SSIM算法对图5中图像低频和高频部分分别计算亮度比较函数l，对比度比较函数c，结构比较函数s，为了方便计算，高频部分通过公式（10）进行计算，计算结果见表1。

通过表1结果可以看出，在图像的低频分量中，亮度的改变对结果影响较大，而对比度和结构失真的影响较小，但在高频分量中，对比度和结构的改变影响较大，而对亮度改变不敏感。通常图像的低频部分灰度起伏不明显，对图像细节内容和结构的决定作用较小；中频、高频部分主要组成了图像的边缘，决定了图像的细节和结构信息。基于以上考虑，只在低频部分计算亮度比较函数和相关度比较函数，在高频部分计算对比度比较函数、结构比较函数和相关度比较函数。

表1 不同类型降质图像评价结果Tab.1 Different types of images quality assessment

小波结构相似度（WSSIM）定义为：

参数α＞0，β＞0，γ＞0，主要用来调整3个部分的相对重要性，一般取α＝β＝γ＝1。

2.3 加权值的计算

人类视觉系统对不同方向和不同频率的刺激存在不同的感知程度。对比度敏感函数（CSF，contrast sensitivity function）可以用来描述人类视觉系统对不同的空间、频率所具有的不同敏感程度。大量实验结果表明，对比敏感度是空间频率的函数，且具有带通滤波器的特性，其高频端和低频端对比敏感度响应值较低［13］。CSF函数的表达形式为：

其中：r为空间频率。

对于一幅大小为M×N的图像，行频定义为：

列频定义为：

空间频率定义为：

当Rf＝0或Cf＝0，则r＝Cf或r＝Rf，得到垂直或水平方向的CSF曲线，曲线形式与式（13）相同。当Rf＝Cf，得到的即为对角线方向的空间频率，代入式（13）得到对角线方向的CSF曲线，定义为：

通过公式（13）和（17），可以计算出水平或垂直和对角线方向的CSF曲线响应值。图6和图7分别是水平（垂直）和对角线方向的CSF曲线。本文中对图像进行了四级小波分解，整幅图像划分为13个频带，据此将CSF特性曲线划分为5个不同取值区间，即每个方向的子带图像对应取5个加权值（文中将HL和LH看作同一频带处理）。

图6 水平／垂直方向CSF特性曲线Fig.6 CSF curve in HL／LH direction

图7 对角线方向CSF特性曲线Fig.7 CSF curve in HH direction

从图6和图7中可以看出，对比敏感度曲线在低频和高频区域的取值较小，而在中频区域取值较大。在实际图像中，低频部分包括大面积的平滑区域，形成了局部区域的基本灰度等级，但对细节信息的反映不多，中频部分包括了图像中的主要边缘、细节信息，是灰度变化明显的区域，是人类视觉系统主要关注的区域，高频部分是中频部分的细化和补充，包含了次要的边缘等信息。采用对比敏感度对评价结果进行加权，突出了视觉系统更为关注的中频信息在图像中的影响，使评价结果和主观感知更好的保持一致。

2.4 基于小波加权的多尺度SSIM算法

算法首先对原始图像和失真图像分别进行小波变换，在低频子图像上计算亮度比较函数和相关度比较函数，在高频子图像上计算对比度、结构和相关度比较函数，并在不同频带比较结果上乘以不同加权值，最后得到归一化的评价结果。图8为算法流程图。

图8 算法原理图Fig.8 Diagram of the measurement system

3 实验结果分析

3.1 不同失真类型图像质量评价

图9中为不同失真类型的Einstein图像，它们的MSE和PSNR评价值相同，但从主观角度出发，它们的失真效果并不相同。运用SSIM算法和本文算法 WWMS－SSIM对图9中图片进行质量评价，结果见表2。

图9 一组不同失真类型Einstein图像Fig.9 Einstein images with different types of distortions

表2 不同类型Einstein降质图像评价结果Tab.2 Different types of Einstein images quality assessment

表2是对图9所示的失真图像进行分析的结果。从表2中可以清楚地看到图像的降质程度并不相同，但MSE、PSNR的评价结果却相同，说明这种基于灰度误差的方法并不能给出正确的评价结果，而SSIM和WWMS－SSIM则与主观评价更加符合。

运用SSIM算法和本文算法对图5中Lena不同失真类型图片进行质量评价，结果见表3。从主观视觉角度观察，图（d）的质量要好过图（e），但是SSIM算法却认为图（e）的质量要更好，做出了错误的判定，而 WWMS－SSIM算法则与主观实际判断一致。原因在于小波变换的特征与人类视觉系统的特征非常相近，小波各子带图像间加权因子的不同更凸显了图像的边缘和纹理细节。

表3 不同类型降质Lena图像评价结果Tab.3 Different types of Lena images quality assessment

从表2和表3的数据中可以看出，在对于高斯白噪声和模糊失真等交叉失真图像的质量评价过程中，有时SSIM算法会出现误差。这是由于该方法计算过程中使用8×8的窗口从图像的左上角至右下角逐个像素遍历，这使得图像出现人为造成的“块效应”。此外，虽然噪声等干扰因素均匀的分布于图像中，但是人眼对图像中不同区域的关注程度不同，SSIM算法是通过取所有“块”中评价因子的平均值作为最终结果，所以该方法没有考虑不同区域失真对人类主观视觉感知的影响程度，导致评价结果与主观评价不同。而本文算法采用多分辨率的思想，在不同的频率区域采用不同的人类视觉敏感度加权值，使评价结果体现了区域视觉重要性，同时与主观感知保持一致。

3.2 标准数据库图像质量评价

LIVE图像数据库提供了原始图像和原图的5种失真图像（JPEG、JPEG2000、高斯噪声、高斯模糊、快速衰减失真图像）。目前，国际上通用的对客观图像质量评价算法的评价标准是VQEG制定的基于统计学的评价标准。研究人员给出了5种失真图像的主观评价值（DMOS），通过比较各种图像客观质量评价值与DMOS的对应关系，得出对该方法准确性的评估。当客观评价值与DMOS不是成线性关系时，采用多参数非线性方程对客观评价值进行拟合，使经过转化的图像客观质量Quality（x）与DMOS的关系近似线性，便于进行比较。VQEG Phase II给出了非线性回归拟合函数的形式［13］：

客观质量评价值、拟合客观质量Quality（x）和主观质量DMOS的关系可以通过散点图表示。散点图中的每一个点表示一幅待评价图像，其横坐标表示客观图像质量评价算法对该图像的评定值，纵坐标代表相应的DMOS值。理想情况下，客观评价值和DMOS有一一对应的关系，表现在散点图上是一条直线或在一定非线性范围内的曲线。图中分布的散点越收敛到一条直线或曲线附近，表明算法越能真实反映图像的质量［13］。图10为不同算法的散点图和拟合曲线图。

除散点图外，基于统计学的评价算法标准还有线性相关系数（Correlation Coefficients，CC）、均方根误差（Root Mean Square Error，RMSE）、平均绝对误差（Mean Absolute Error，MAE）和误点率（Outlier Ratio，OR）［13］，它们可以定量的反映客观评价算法的准确性。

图10 主观评价散点图Fig.10 Scatter plots of DMOS

表4 图像客观质量评价指标Tab.4 Objective quality assessment

从表4中数据可知，与其他5种方法相比，WWMS－SSIM的CC值最大，说明该方法的质量评价值与图像主观评价DMOS值的相关性最好，更能准确的反映人眼主观感受。而其MAE、RMSE和OR值最小，说明该方法的评价值误差最小，更能真实的反映图像的质量变化情况。

基于小波加权的多尺度（WWMS－SSIM）质量评价方法对图像进行小波变换，体现了多分辨率的思想，突出了图像的边缘、细节信息在图像中的重要作用，以及信息损失对图像质量的影响，而根据CSF曲线确定加权值，对图像不同频带、不同空间频率的区域采用不同视觉权重，突出了中频信息变化对图像质量的影响，使评价结果更接近人类主观感知。使用 WWMS－SSIM 方法对Live数据库图像进行评价，可以看出该算法的评估结果与主观评价具有较高一致性。

4 结 论

主观图像质量评价算法因受到多种条件限制不利于在实际中广泛应用；传统的客观评价算法基于像素灰度误差，没有考虑人眼视觉特性，与主观评价存在差异；基于结构相似度算法对交叉失真图像评价也存在缺陷。本文提出了一种新的基于小波分解的多尺度结构相似度评价算法（WWMS－SSIM）。通过对不同类型失真图像和Live数据库图像的评价，表明本文提出的算法相对传统的客观评价算法（MSE、PSNR）、图像结构相似度评价算法（SSIM）以及改进的SSIM 算法（GSIM，EH＿SSIM，MPCSSIM），其评价结果更符合人类的主观感知。

［1］ 王宇庆，朱明.评价彩色图像质量的四元数矩阵最大奇异值方法［J］.光学精密工程 ，2013，21（2）：470－471.Wang Y Q，Zhu M.Maximum singular value method of quaternion matrix for evaluating color image quality［J］.Opt.Precision Eng，2013，21（2）：470－471.（in Chinese）

［2］ 陈勇，李愿，吕霞付，等.视觉感知的彩色图像质量积极评价［J］.光学精密工程，2013，21（3）：742－750.Chen Y，Li Y，Lv X F，et al.Active assessment of color image quality based on visual perception［J］.Opt.Precision Eng，2013，21（6）：742－750.（in Chinese）

［3］ 郁梅，孔真真，朱江英.基于视觉阈值及通道融合的立体图像质量评价［J］.光学精密工程 ，2013，21（6）：1605－1612.Yu M，Kong Z Z，Zhu J Y.Stereoscopic image quality assessment based on visual threshold and channel fusion［J］.Opt.Precision Eng，2013，21（6）：1605－1612.（in Chinese）

［4］ Wang Z，Bovik A C，Hamid R S，et al.Image quality assessment：from error visibility to structural similarity［J］.IEEE Trans.Image Processing，2004，13（4）：600－612.

［5］ Wang Z，Simoncelli E P，Bovik A C.Multi－scale structural similarity for image quality assessment［C］.IEEE Asilomar Conf.singnals，2003：1－4.

［6］ 杨春玲，旷开智，陈冠豪，等.基于梯度的结构相似度的图像质量评价方法［J］.华南理工大学学报：自然科学版，2006，34（9）：22－25.Yang C L，Kuang K Z，Chen G H，et al.Image quality assessment based on gradient structural similarity ［J］.Journal of South China University of Technology：Natural Science Edition，2006，34（9）：22－25.（in Chinese）

［7］ 杨春玲，徐小琳.重视边缘区域的结构相似度图像质量评价［J］.中国图像图形学报，2011，16（12）：2133－2139.Yang C L，Xu X L.Structural similarity highlighting edge regions for image quality assessment［J］.Journal of Image and Graphics，2011，16（12）：2133－2139.（in Chinese）

［8］ 苏媛媛，桑庆兵.基于相位一致结构相似度的图像质量评价方法［J］.计算机应用，2012，32（8）：2283－2287.Su Y Y，Sang Q B.Image quality assessment based on phase congruency structural similarity［J］.Journal of Computer Applications，2012，32（8）：2283－2287.（in Chinese）

［9］ Cermak G W.Consumer opinions about frequency of artifacts in digital video［J］.IEEE J.of Selected Topics in Singnal Processing，2009，3（2）：336－343.

［10］ Tsai M J，Shen C H.Wavelet tree group modulation（WTGM）or digital image watermarking［C］.International Conference on Acoustics，Speech and Signal Processing，2007（2）：173－176.

［11］ Chandler D M，Hemami S S.A wavelet based visual signal－to－noise ratio for natural images［J］.IEEE Tran.on Image Processing，2007，6（9）：2284－2298.

［12］ Marcus J N，Julien R，Murat K.Wavelet－based color image compression：exploiting the contrast sensitivity function［J］.IEEE Trans.on Image Processing，2003，12（1）：58－69.

［13］ 钱方，郭劲，孙涛，等.基于小波加权的激光干扰效果评估［J］.液晶与显示，2013，28（5）：781－787.Qian F，Guo J，Sun T，et al.Assessment of laser－dazzling effects based on weighted wavelet transforms［J］.Chinese Journal of Liquid Crystals and Displays，2013，28 （5）：781－787.（in Chinese）