基于Riesz变换的结构相似度图像质量评价方法

卢彦飞，张 涛

（1.中国科学院长春光学精密机械与物理研究所，吉林长春130033；

2.中国科学院大学，北京100049；

3.中国科学院苏州生物医学工程技术研究所，江苏苏州215163）

基于Riesz变换的结构相似度图像质量评价方法

卢彦飞1，2，3，张 涛1∗

（1.中国科学院长春光学精密机械与物理研究所，吉林长春130033；

2.中国科学院大学，北京100049；

3.中国科学院苏州生物医学工程技术研究所，江苏苏州215163）

不同的图像处理过程，会对图像引入各种各样的失真，如何对图像的质量进行评价成为一个热点问题.针对传统的基于像素差值统计的峰值信噪比方法及结构相似度方法与人眼主观评价不够符合的情况，本文提出了一种基于Riesz变换的结构相似度图像质量评价方法.该方法先将参考图像和失真图像进行一阶Riesz变换和二阶Riesz变换，并利用得到的5组对应特征图计算出5幅相似度图和5幅权重图，利用平均法进行融合得到最终的相似度图和权重图，然后加入原参考图像和失真图像的亮度比较项，得到最终的图像质量评价指标.在LIVE图像数据库上的实验表明，本文方法对于5种失真的质量预测准确性和一致性都很高，在交叉失真实验中，本文方法也优于结构相似度方法，PLCC和SROCC值达到了0.9482和0.9532.与几种公认较好的方法相比，本文方法能够更好地预测图像质量，更加符合人眼的主观感知.

图像质量；结构相似度；Riesz变换；特征图

1　引 言

成像和显示技术的发展，使得人们越来越容易获得图像，图像和人们生活的关系愈加密切.在图像的获取、压缩、传输及显示等过程中，会引入各种失真，影响图像的视觉效果.如何评价图像的质量成一个研究热点，引起了越来越多研究者的注意.

目前的图像质量评价方法主要分为主观评价和客观评价.由于主观评价的繁琐、耗时以及不可移植性，其很难应用到工程中去，目前的研究重点集中在客观评价.根据参考图像是否存在，客观评价可以分为全参考评价、半参考评价和无参考评价.全参考评价方法［1］需要利用整幅参考图像与失真图像进行比较来评价失真程度，是目前最可靠的客观方法.部分参考评价方法只利用了参考图像的部分信息或某些特征来进行评价.无参考评价方法不需参考图像的任何信息，一般针对某些特定类型的失真进行评价.

传统的全参考评价方法如均方误差（MSE）及峰值信噪比（PSNR）等，由于其容易实现，而且物理意义明确，应用比较广泛.但是因为其只考虑了像素之间的灰度差异，而没有利用图像任何的结构信息和像素之间的相关性，不能很好地反映人眼对图像的主观感知.随着人们对人眼视觉系统（Human Visual System，HVS）认识的深入，研究者开始利用HVS的某些特性［2］来设计图像质量评价方法.一种是针对HVS的各种特性构建视觉模型，通过自底向上（Bottom-up）的方法来模拟人的视觉，其中典型的方法有NQM［3］和VSNR［4］.由于人眼的视觉特性比较复杂，很难从底层对其进行模拟，人们又提出了自顶向下（Top-down）的方法，只考虑HVS的输入与输出之间的关系，对人眼视觉特性进行建模，根据HVS对图像的感知得到图像质量测度.典型的方法有Zhou Wang等人提出SSIM［5］模型以及其改进MS-SSIM［6］和IW-SSIM［7］，Sheikh等提出的IFC［8］和VIF［9］，Lin Zhang等提出的RFSIM［10］和FSIM［11］，及A.Shnayderman［12］等提出的基于SVD分解的方法.

SSIM模型假设HVS的作用是提取图像的结构信息，并将图像的失真分为结构性失真和非结构性失真，将失真图像的亮度、对比度和结构信息与参考图像进行比较，从而得到对图像失真程度的评价.其避免了从低层次上模拟HVS的功能，计算比较简单，引起了广泛的关注.但是SSIM也存在一定的缺点，尤其是对于严重模糊的图像，SSIM的评价结果会出现较大偏差，主要是由于其对结构信息的建模过于简单.研究发现，人眼视觉对于图像的低级特征比如边缘、角点等比较敏感.当一副图像失真时，图像的边缘也会发生相应的变化.Guanhao Chen等人［13］提出了基于边缘信息的结构相似度图像质量评价方法GSSIM，此模型先利用Sobel算子得到失真图像和参考图像的边缘图像，然后计算对应边缘图像的对比度失真项和结构失真项，并替换SSIM模型中的对应项，最后得到的GSSIM模型在表现上相对于PSNR和SSIM模型有一定的改善.但是其利用的边缘信息未能充分表达图像的结构，没有考虑角点等重要特征.

本文针对SSIM模型及相关改进模型中结构信息建模过于简单的问题，利用Riesz变换能够很好的表达图像局部结构信息的特点［10］，提出了一种基于Riesz变换的结构相似度图像质量评价方法.将参考图像和失真图像进行一阶Riesz变换和二阶Riesz变换，分别得到5种特征图，利用对应的5组特征图，计算出5幅相似度图和5幅权重图，然后利用平均法进行融合得到最终的相似度图和权重图，再加入原参考图像和失真图像的亮度比较项，最后得到图像质量评价指标.利用LIVE图像数据库对该方法进行验证，实验结果表明，本文方法具有很好的图像质量预测性能.

2　结构相似度模型及分析

Zhou Wang［5］等利用图像像素间的相关特性，给出了结构信息的概念，认为其应独立于图像的亮度和对比度.此模型认为HVS的主要功能是提取图像的结构信息，将图像的失真分为结构性失真和非结构性失真，并定义了结构相似度，提出了基于结构相似度的图像质量评价方法.

假设X，Y分别代表参考图像和失真图像. X，Y的亮度和标准差分别记为μx、μy和σx、σy，X和Y的协方差记为σxy.则X和Y的亮度、对比度和结构的相似度分别定义为:

其中:系数C1，C2和C3均为很小的正数，以避免分母为零或者接近零时造成的不稳定的情况，一般取C1=（K1L）2，C2=（K2L）2，C3=C2/2，其中K1，K2取非常小的常数，L是图像像素的灰度动态范围.

两幅图像的结构相似度（SSIM）定义为:

其中:α＞0，β＞0，γ＞0，主要用来调整3个部分的相对重要性，一般均取为1.

由SSIM模型中亮度、对比度和结构项的定义可以知道，亮度与图像的结构信息关系不大，而在对比度和结构项的计算过程中，均利用到了图像的标准差，标准差可以反映图像的结构信息，所以这两部分都与图像的结构信息密切相关，计算过程中可以合并为一项［5］，从而将图像的亮度项分离出来.

在实际计算中，一般利用滑动窗口，将图像分为互不重叠的图像块，计算每个窗口对应图像块的SSIM值，然后对所有的SSIM值求平均，便可得到整幅图像的SSIM值.SSIM的值越大，说明图像的质量越高.由于部分考虑了人眼对图像的感知特性，利用了图像的结构信息，SSIM模型对图像的质量评价取得了较好的效果，与人眼的主观感知比较一致，得到了比较广泛的应用.但是这种方法对于模糊图像的评价不够理想，特别是模糊程度比较大的，评价结果与人眼的主观感知差异比较大.图1是Monarch图像及对应的两幅不同类型失真图像.

图1　Monarch图像及不同类型失真图像对比Fig.1　Comparison of“monarch”images with different types of distortions

对于图1中的3幅图，（a）为原图像，（b）和（c）分别为两幅不同类型的失真图像，其中（b）为噪声污染图像，（c）为模糊图像.从主观上来说，（b）的图像质量应该比（c）高，但是SSIM却给出了错误的评价，（b）的SSIM值为0.528 9，（c）的SSIM值为0.557 1，对于模糊程度较严重的（c）给出了偏差较大的评价结果.这是由于SSIM方法中的结构项定义过于简单，对图像低级特征的表达不够准确，未能充分利用图像的结构信息.针对这个问题，根据Riesz变换能够很好的表达图像局部结构信息的特点，利用Riesz变换提取图像特征，对结构信息进行建模，提出了一种改进的结构相似度图像质量评价方法.

3　基于Riesz变换的结构相似度图像质量评价方法

3.1Riesz变换及特征提取

自从Gabor提出了解析信号之后，Hilbert变换在信号处理领域得到了广泛的应用.Riesz变换是Hilbert变换向高维的扩展.在二维的情况下，一阶Riesz变换可以表示为:

其中:f（z）是输入信号，比如一幅图像，z=（x，y），滤波器hx和hy在频域中的响应为Hx= -jωx/‖ω‖和Hy=-jωy/‖ω‖，ω=（ωx，ωy）.Riesz核在空域中的表达为:

利用一阶Riesz变换，可以对图像的局部线性特征进行提取［11］，但是无法对图像中存在的角点和交会点等进行表达.为了更全面地表征图像中存在的各种低级特征，还需要用到高阶Riesz变换，本文利用二阶Riesz变换表达更复杂的特征.二阶Riesz变换可以通过对一阶Riesz变换得到的结果再次进行Risez变换得到:

利用一阶和二阶Riesz变换可以对图像的低级特征进行提取，如图2所示.

图2　一幅图像与其对应的一阶和二阶Riesz变换特征图Fig.2　An image and its corresponding 1st-order and 2nd-order transform feature maps

本文将一阶Riesz变换得到的特征图hx｛f｝和hy｛f｝称为一阶特征图，二阶Riesz变换得到的特征图hxx｛f｝、hxy｛f｝和hxy｛f｝称为二阶特征图，则每幅图像可以得到2种一阶特征图和3种二阶特征图.从图2可以看出，一阶特征图能够很好表达图像的边缘轮廓特征，二阶特征图能够表达更复杂的特征，比如角点等.

3.2改进的结构相似度

将参考图像和失真图像分别记为f和g，参考图像f对应的5种特征图hx｛f｝、hy｛f｝、hxx｛f｝、hxy｛f｝及hyy｛f｝分别记为f1、f2、f3、f4和f5，失真图像g对应的5种特征图hx｛g｝、hy｛g｝、hxx｛g｝、hxy｛g｝及hyy｛g｝分别记为g1、g2、g3、g4和g5.则对于5组对应的特征图｛fi，gi｝（i=1，2，…，5），与SSIM模型中的计算方法类似，其对比度比较项和结构信息比较项为:

其中σfi和σgi分别是特征图fi和gi的标准差，σfigi是特征图fi和gi之间的协方差，C2和C3均为很小的正数，以避免分母为零或者接近零时造成的不稳定的情况.取C3=C2/2，可以将对比度比较项与结构信息比较项合并为一项:

则5组特征图可以得到5幅相似度图.由于5组特征图分别代表不同的低级特征，得到的5幅相似度图也分别对应不同的低级特征之间的相似度，为了得到整体特征的相似度图，需要将5幅相似度图进行融合，得到最终的相似度图.为了简化计算，本文利用平均法进行融合，即:

由于一幅图的亮度信息中不包含结构信息，则参考图像f和失真图像g之间的亮度比较项为:

结合相似度图以及亮度比较项，得到图像质量评价测度如下:

其中:α＞0，β＞0，这两个参数是用来调整两部分的相对重要程度，一般取α=β=1.

由于此方法利用Riesz变换来提取参考图像和失真图像的一阶特征图和二阶特征图，并根据对应特征图间对比度和结构信息的相似度来衡量图像的失真程度，本文将其称为基于Riesz变换的结构相似度测度（Riesz-Transform based Structural SIMilarity，RTSSIM）.

3.3权重图的计算

人眼视觉系统对于图像不同区域的敏感程度是不同的，对于边缘和纹理区域，人眼能够感知到更多的信息，而对于平坦区域，人眼的敏感程度有所降低.因此，对于不同结构的视觉重要程度，需要分配不同的权重.图像的结构信息与其局部标准［14］差密切相关，本文利用标准差来衡量像素点的视觉重要性.

对于参考图像f和失真图像和g经过一阶和二阶Riesz变换后得到的5组对应的特征图｛fi，gi｝ （i=1，2，…，5），如果对应像素点的标准差比较大，则意味着这个像素点对于人眼视觉系统的重要程度也比较高.本文利用w（fi，gi）= max（std（fi），std（gi））作为权重来衡量对应像素点的重要性，则可以得到5幅权重图，这5幅权重图代表了不同的特征图中对应像素点的重要程度，为了得到最终的权重图，同样利用平均法进行融合，则

图3　本文所提算法的实现框图Fig.3　Flow chart of the proposed algorithm

最终的图像质量评价测度如下:

算法的实现框图如图3所示.

4　实验结果及分析

本文使用Laboratory for Image and Video Engineering（LIVE）［15］图像数据库进行实验来验证所提方法的有效性.该图像数据库包含29幅参考图像和对应的779幅失真图像，其中有5种失真类型:JPEG2000压缩（jp2k），JPEG压缩（jpeg），白噪声（wn），高斯模糊（gblur）和Rayleigh衰落道模型失真（fastfading）.该图像库给出了每幅图像的主观评价得分DMOS值，DMOS值由观测者打分后进行处理得到，DMOS值越小说明图像的主观质量越好.本文方法暂时只考虑图像的灰度信息，彩色图像可以通过以下方式转换为灰度图像:

I=0.299R+0.587G+0.114B，（16）其中:R，G，B分别表示彩色图像红、绿、蓝三通道的分量.

为了客观反映图像质量评价方法的性能，根据VQEG［16］提出的准则，通常认为在客观评价值和主观评价值之间存在非线性关系，本文采用下面的函数［1］建立这种非线性映射:

其中:x表示客观评价值，β1，β2，β3，β4和β5为模型参数.针对五种不同的失真类型，本文所提出的评价方法RTSSIM与主观DMOS的曲线拟合情况如图4（a）～（e）所示，同时给出了交叉失真实验的曲线拟合情况（图4（f））.可以看出，散点图很紧凑的分布在拟合曲线的附近.

对于不同的质量评价方法，通常使用准确性、单调性和一致性三个标准［1］来评估客观评价值和主观评价的一致程度，其中Pearson线性相关系数（PLCC）反映预测的准确性，Spearman秩相关系数（SROCC）反映预测的单调性及客观评价值与主观评价值之间的一致程度，均方根误差（RMSE）反映客观评价的一致性.PLCC和SROCC数值越大，RMSE数值越小则模型的预测能力越好.表1列出了RTSSIM评价方法与PSNR及SSIM模型在LIVE图像库中的性能指标.对于每种失真类型，每一列中PLCC和SROCC的最大值以及RMSE的最小值，均加粗标出.可以看出，本文方法的三项指标总体优于PSNR和SSIM模型.PSNR是基于像素点误差统计的评价方法，比较适合白噪声这种失真类型，而本文方法依然得到了和PSNR接近的SROCC，且PLCC值更高.对于其他失真类型，本文方法的表现均要优于PSNR和SSIM，具有最高的PLCC和SROCC，且具有较小的RMSE.在交叉失真实验中，本文方法的各项指标均优于PSNR和SSIM模型.特别的，对于图1中的两幅失真图像（b）和（c），本文方法RTSSIM给出的评价值分别为0.7353和0.3331，与人眼的主观评价一致.

图4　本文所提出的图像质量评价方法（RTSSIM）与主观DMOS的曲线拟合图Fig.4　Curve fitting map of the proposed RTSSIM with DMOS

表1　本文提出的RTSSIM方法与其他方法性能比较Tab.1　Performance comparison of the proposed RTSSIM and other methods

表2列出了本文所提方法的SROCC值与几种性能公认较好的评价方法对比.其中MSSSIM［6］，IW-SSIM［7］是以SSIM［5］为基础的改进，IFC［8］基于自然场景分析和信息论，RFSIM［11］中也用到了Riesz变换，均属于自顶向下（Topdown）的方法；VSNR［4］属于自底向上（Bottomup）的方法.表2中，对于每种失真类型，每一行中最大的3个值均加粗标出.可以看出，本文方法RTSSIM在所有5种失真类型上的表现都很好，每种类型对应的SROCC值均排名靠前.实际上，利用其他指标，例如KROCC和PLCC，也可以得到类似的结果.总体上来说，RTSSIM方法的表现比其他方法更优越，与主观评价结果具有更好的一致性.

表2　本文提出的RTSSIM方法的SROCC值与其他方法对比Tab.2　SORCC values comparison of the proposed RTSSIM and other methods

5　结 论

由于图像质量评价方法在成像系统中的应用前景，在图像处理领域得到了广泛的关注，新的评价思路层出不穷.传统的基于像素差值统计的MSE及PSNR方法没有考虑人眼的视觉特性和像素之间的相关性，评价结果不够符合人眼的主观感知.而SSIM模型假设HVS的主要提取图像的结构信息，得到了较好的评价结果.但是由于结构项的模型过于简单，其对于模糊程度比较严重的图像的评价结果偏差较大.本文根据Riesz变换能够对图像的局部结构信息进行表达的特性，利用一阶和二阶Riesz变换提取图像的低级特征，构建图像的结构信息，提出了基于Riesz变换的结构相似度图像质量评价方法.在LIVE图像数据库上的实验结果表明，本文方法对于5种失真的质量预测准确性和一致性都很高，均超过了PSNR和SSIM的表现.在交叉失真实验中，PLCC和SROCC值达到了0.948 2和0.953 2，高于PSNR和SSIM的对应值.通过SROCC比较，本文方法相对于PSNR、SSIM及其改进MS-SSIM与IW-SSIM、VSNR、IFC和RFSIM，能够更好地预测图像质量，在各种失真上均有很好的表现.本文提出的RTSSIM方法取得了很好的图像质量预测结果，更加符合人眼的主观感知.

［1］ Sheikh H R，Sabir M F，Bovik A C.A statistical evaluation of recent full reference image quality assessment algorithms［J］.IEEE Transactions on Image Processing，2006，15（11）:3440-3451.

［2］ 姚军财.基于人眼对比度敏感视觉特性的图像质量评价方法［J］.液晶与显示，2011，26（3）:390-396.

Yao J C.Image quality assessment method based on contrast sensitivity characteristics of human vision system［J］. Chinese Journal of Liquid Crystals and Displays，2011，26（3）:390-396.（in Chinese）.

［3］ Damera-Venkata N，Kite T D，Geisler W S，et al.Image quality assessment based on a degradation model［J］. IEEE Transactions on Image Processing，2000，9（4）:636-650.

［4］ Chandler D M，Hemami S S.VSNR:A wavelet-based visual signal-to-noise ratio for natural images［J］.IEEE Transactions on Image Processing，2007，16（9）:2284-2298.

［5］ Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment:from error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13（4）:600-612.

［6］ Wang Z，Simoncelli E P，Bovik A C.Multiscale structural similarity for image quality assessment［C］.IEEE Conference Record of the Thirty-Seventh Asilomar Conference on Signals，Systems and Computers，Pacific Grove，CA，USA:IEEE，2003:1398-1402.

［7］ Wang Z，Li Q.Information content weighting for perceptual image quality assessment［J］.IEEE Transactions on Image Processing，2011，20（5）:1185-1198.

［8］ Sheikh H R，Bovik A C，de Veciana G.An information fidelity criterion for image quality assessment using natural scene statistics［J］.IEEE Transactions on Image Processing，2005，14（12）:2117-2128.

［9］ Sheikh H R，Bovik A C.Image information and visual quality［J］.IEEE Transactions on Image Processing，2006，15（2）:430-444.

［10］ Zhang L，Zhang L，Mou X Q，et al.FSIM:A feature similarity index for image quality assessment［J］.IEEE Transactions on Image Processing，2011，20（8）:2378-2386.

［11］ Zhang L，Zhang D，Mou X Q.RFSIM:A feature based image quality assessment metric using Riesz transforms［C］. 2010 17th IEEE International Conference on Image Processing，Hong Kong，China:IEEE，2010:321-324.

［12］ Shnayderman A，Gusev A，Eskicioglu A M.An SVD-based grayscale image quality measure for local and global assessment［J］.IEEE Transactions on Image Processing，2006，15（2）:422-429.

［13］ Chen G H，Yang C L，Xie S L.Gradient-based structural similarity for image quality assessment［C］.IEEE International Conference on Image Processing，Atlanta，GA，USA:IEEE，2006:2929-2932.

［14］ Aja-Fernández S，Estépar R S，Alberola-López C，et al.Image quality assessment based on local variance［C］. 28th Annual International Conference of the IEEE Engineering in Medicine and Biology Society，New York City，USA:IEEE，2006:4815-4818.

［15］ Sheikh H R，Wang Z，Cormack L，et al.LIVE image quality assessment database，release 2［OL］.http://live. ece.utexas.edu/research/quality.

［16］ VQEG.Final report from the video quality experts group on the validation of objective models of video quality assessment，Phase II VQEG，Aug.2003［OL］.Available:http://www.vqeg.org/，2014.

Image quality assessment method via Riesz-transform based structural similarity

LU Yan-fei1，2，3，ZHANG Tao1∗
（1.Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；
2.University of Chinese Academy of Sciences，Beijing 100049，China；
3.Suzhou Institute of Biomedical Engineering and Technology，Chinese Academy of Sciences，Suzhou 215163，China）

Various distortions will be introduced to images during different image processing procedures，and the assessment of image quality has become a hot topic.According to the fact that the traditional pixel-difference statistics-based PSNR method and structural similarity method cannot correlate well with human subjective evaluation，a novel image quality assessment method via Riesz-Transform based structural similarity is proposed.The method firstly applies 1st-order Riesz-Transformand 2nd-order Riesz Transform to the reference image and distorted image，and 5 groups of corresponding features maps are obtained to produce 5 similarity maps and 5 weighting maps.Then the average-method fusion is performed to get the final similarity map and weighting map.Lastly，the luminance comparison of the original reference image and distorted image is considered to get the final image quality index.The experiments on the LIVE database indicate that the proposed method has high prediction accuracy and consistency on all 5 distortion types.It also outperforms the SSIM method under cross-distortion conditions and the PLCC value and SROCC value reach 0.948 2 and 0.953 2 respectively.Compared with other state-of-the-art methods，the proposed method owns good predictive performance，which indicates better consistency with human subjective perception.

image quality；structural similarity；Riesz-Transform；feature map

1007-2780（2015）06-0992-08

TP394.1

A doi:10.3788/YJYXS20153006.0992

卢彦飞（1989-），男，河南驻马店人，博士研究生，主要从事成像技术、图像处理与模式识别方面的研究. E-mail:bestluyf@163.com

2014-12-19；

2015-01-09.

国家自然科学基金项目（No.61201117，No.61301042）；国家重大科学仪器设备开发专项（No. 2011YQ040082）；国家科技支撑计划（No.2012BA113B04）；江苏省自然基金项目（No.BK2012189）

Supported by National Natural Science Foundation of China（No.61201117，No.61301042）；National Key Scientific Instrument and Equipment Development Project（No.2011YQ040082）；National Key Technology Support Program（No.2012BA113B04）；Natural Science Foundation of Jiangsu Province（No.BK2012189）

∗通信联系人，E-mail:zhangt@ciomp.ac.cn