一种基于结构相似度的部分参考型图像质量评价方法

林佳楠

(集美大学诚毅学院 信息工程系，福建 厦门 361021)



一种基于结构相似度的部分参考型图像质量评价方法

林佳楠

(集美大学诚毅学院 信息工程系，福建 厦门 361021)

图像的部分参考评价方法只需要参考图像的部分提取参数即可，不需要完整的参考图像，运用相对灵活，成为人们重点研究的对象。结构相似度算法因为其优点得到了越来越多的重视。但是结构相似度算法只能是一种全参考客观评价方法。因为要采用结构相似度算法就必须有完整的参考图像。因而，这里提出一种对结构相似度算法的改进方案，使其变为部分参考评价方法，并且保持原有结构相似度算法的良好效果与运算简便。实验结果证明，该改进方法达到了设计目的。

部分参考；全参考；客观评价

当今社会是一个网络社会，数字多媒体技术也随之飞速发展。图像的压缩、处理、传输等技术变得越来越重要。而各种图像的处理技术的好坏往往取决于最终人看到图像的感受效果。所以图像质量的客观评价变得更加重要起来。目前图像质量客观评价被分为三大类：全参考评价方法( Full- Reference, FR)，部分参考评价方法( Reduced- Reference, RR) 和无参考型方法(No- Reference, NR)。全参考客观评价方法是是三者中最精确的方法，但是由于必须要有完整的源图像，导致这种方法有许多使用局限性。而无参考型方法因为不使用源图像信息，只能通过设置各种假设前提条件，所以设计难度大，评价效果也不理想，在实际中很难应用，目前还处于发展的初级阶段。图像的部分参考评价方法只需要参考图像的部分提取参数即可，不需要完整的参考图像，运用相对灵活，成为人们重点研究的对象。

图像内在结构相似度的质量评价方法得到了越来越多的重视。相关实验结果表明，该算法要比峰值信噪比等传统指标更符合人们对图像的主观视觉感受，而且原理清晰明了，运算简便。然而该方法只能是一种全参考客观评价方法。因为要计算结构相似度就必须有完整的参考图像。因而，本文提出一种对结构相似度的改进方法，使其变为部分参考评价方法，并且保持原有结构相似度的良好效果与计算简单度。

1 结构相似度方法简介

1.1 结构相似度方法概述

图1 相同的MSE

传统峰值信噪比PSNR统计理论的逐像素对比得到相同的均方误差MSE，在结构上则具有较大差异。如图1所示，相同MSE(或者PSNR)的图像在视觉感受上确存在明显差异。

德州大学Austin分校提出的结构相似度(SSIM，Structural Similarity Image Metric)理论[1-2]是当前影响力较广的评测方法之一。它的原理是图像的各个像素点之间的结构相关性随着这些像素点空间距离的接近而变强。所以这种方法比较符合人眼的视觉感受，也是他们将结构失真引入到评价应用中，如图2所示：

图2 生成结构相似索引图

结构相似度算法, 是一种基于数理统计的客观评价方法，原理清晰易懂，如果源图像与被测图像的结构相似，则可认为被测图片质量下降较小。如图1中，当对比度变化时候, 虽然均方的误差(MSE, Mean Square Error)评价出的图像质量得分一致,然而图像给人的实际感受却迥然不同, 而结构相似度算法可以明显得体现出这种效果差异。

1.2 结构相似度的计算

结构相似度算法是先将将图像划分为 N×N 大小的图像块，共有 M个图像块，计算各部分的差异,然后将其组合实现整个结构相似索引图。其实现原理图如下图所示。

图3 结构相似度实现原理图

其中l(x,y)表示亮度比较，c(x,y)表示对比度比较，s(x,y)表示结构比较。通过对结构相似索引图求MSE得到最后的综合评价分。

SSIM(x,y)=[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ，

其中ux，uy为图像的灰度均值：

其中C1=(K1L)2，一般K1=0.01。C2=(K2L)2一般K2=0.03。L是像素值的阶数(例如每像素8比特的灰度图像，L=255)。C3=C2/2。

参数α>0，β> 0，γ>0，主要用来调整 3 个部分的相对重要性。

由此，整幅图像的平均结构相似度MSSIM定义为：

这个值越接近于1，代表待测图像的质量越好。

从某种意义上来说，结构相似度算法避免了图像自然内容的复杂问题,直接进行两信号的逐像素误差统计方法和结构相似性进行评价，结构相似度法目标是从整体上直接模拟人眼视觉系统提取视觉对象结构的视觉功能。

2 改进的方法

2.1 改进方法总体系统模型

针对结构相似度需要完整参考图像而无法运用于部分参考评价的不足之处，这里提出一种部分参考型结构相似度评价方法。部分参考型结构相似度方法总体系统模型如图4所示：

图4 本文提出的部分参考型结构相似度方法的系统模型

在该部分参考型结构相似度模型中，辅助信道传输的特征参数为参考图像的均值、方差和HVR。并且可以利用图像空间上的相关性以及视频前后帧之间的相关性进一步压缩特征参数占用的带宽。

2.2 改进方法的具体计算

从上文可知，之所以结构相似度只能是全参考模型，是因为其中的结构度量函数s(x,y)的计算依赖于参考图像和待测图像的协方差。因此要将结构相似度改进为部分参考模型，就必须改变结构度量函数s(x,y)的计算方法。

而根据人眼视觉的特点，图像的结构特征最主要是由其边缘轮廓决定的。因而本文采用边缘清晰度系数K_HV来代替s(x,y)。其具体计算方法如下。

选用Sobel水平滤波器ghorizontal(i,j)和垂直滤波器gvertical(i,j)，提取出帧图像水平和垂直边缘数据，分别记为R_edge_horizontal(i,j)和R_edge_vertical(i,j)，定义如下：

R_edge_horizontal(i,j)=Data(i,j)*ghorizontal(i,j)，

R_edge_vertical(i,j)=Data(i,j)*gvertical(i,j)，

提取边缘梯度矢量，矢量幅度记为R_edge(i,j)，即边缘能量大小，矢量角度记为θ(i,j,k)，定义如下：

计算边缘能量比值HVR(k)，定义如下：

其中，rmin=20,Δθ=0.225

图5 HV和示意图

图像边缘清晰度系数K_HV

其中HVRp(k)为待测图像的HVR，HVRs(k)为参考图像的HVR。

如果模糊化待测图像的边缘，一般会导致HVRpHVRs，因此对比图像前后的边缘分量，可以计算出待测图像清晰度K-HV。和l(x,y)亮度度量、c(x,y)对比度度量一样，K-HV值是0到1之间的。

其他的计算，包括l(x,y)亮度度量和c(x,y)对比度度量，和原结构相似度里的计算方法相同。最后综合得到改进方法的综合评价值：

3 结果与分析

本文仿真使用LIVE 图像质量评估数据库[3]。该库包含多幅高分辨率的 RGB 图像和其通过JPEG和JPEG2000 压缩得到的一系列失真图像，以及每幅图像的主观评价(MOS)等信息。计算各失真图像由客观测度得出的客观成绩，然后使用视频质量专家组(VQEG，Video Quality Expert Group)的检验标准[5]来对主客观评价的一致程度进行测算。这些指标是：(1)体现客观评价方法预测精确性的相关系数(Correlation, CC)；(2)反映客观评价成绩预测单调性的斯皮尔曼等级相关系数(RankOrderCorrelationCoefficient, ROCC)；(3)体现客观评价方法预测稳定性的离出率(OutlierRatio,OR)。

表1 本文方法与其他方法的主客观一致性评价对比

图6 文中方法对 MOS值的预测(JPEG)

图7 文中方法对 MOS值的预测(JPEG2000)

从实验结果可以看出，本文提出的改进方法，在实现部分参考即只用参考图像的部分信息的同时，基本保持了原来结构相似度的评价效果，达到了设计目的。

4 结论

本文提出的改进方法，在实现部分参考即只用参考图像的部分信息的同时，基本保持了原来结构相似度的评价效果。是一种对于经典结构相似度方法的延伸发展。在较小的改动下，将原本属于全参考型的结构相似度方法发展为部分参考型客观评价方法。

[1] Wang Z, Bovik A C, Sheikh H R，et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transaction on Image Processing, 2004, 13(4): 600-612.[2] Wang Z, Lu L, Bovik A C. Video quality assessment using structural distortion measurement[C].Proceedings of the IEEE International Conference on Image Processing, Rochester, 2002. Rochester: Signal Processing Society, 2002:65-68.

[3] A. B. Watson. DCTune: A technique for visual optimization of DCT quantization matrices for individual images [J]. In Society for Information Display Digest of Technical Papers,1993(24)：946-949.

[4] Z. Wang, H. R. Sheikh, A. C. Bovik. Objective video quality assessment[M].Handbook of Video Databases: Design and Application. Boca Raton: CRC Press, 2003.

[5] Video Quality Expert Group. RRNR-TV Group Test Plan DraftVersion1.9[R] .http://www.vqeg org. 2006, .

[6] Sheikh H R,Wang Z,Bovik A C,et al. Image and Video Quality Assessment Research at LIVE[DB/OL] .[2003-10-12].http://live.ece.utexas.edu/rese-arch/quality/.

[7] Imgeun L,Jongsik K. Wavelet Transform Image Coding Using Human Visual System[C] .IEEE Asia-PacificConference on Circuits and Systems. Taipei: IEEE, 1994.

责任编辑：程艳艳

A Reduced-Reference Picture Quality Evaluation Method Based on Structural Similarity

LIN Jianan

(Department of Information Engineering, Chengyi College of Jimei University, Xiamen 361021, China)

The reduced-reference evaluation method of image only requires to consider part of the extracted parameters, which is relatively flexible, becoming one of the focuses in image processing field. Structural similarity algorithm attracts much attention due to its advantages, but it is a full-reference objective evaluation method. Structural similarity algorithm requires a complete reference image. In this paper, an improved scheme for structural similarity algorithm is proposed, making it be a reduced-reference evaluation method, which keeps the good result of original structural similarity algorithm and the convenient calculation. Experimental results show that the proposed method has reached the design aim.

reduced-reference; full-reference; objective evaluation

2016-09-02

林佳楠(1984-)，男，福建厦门人，讲师，硕士，主要从事通信技术方面研究。

TP391.41

A

1009-3907(2016)10-0022-05