基于视觉感知的彩色图像质量评价

闻武　左凌轩

摘要：图像质量评价是图像处理与计算机视觉一个重要研究方向，近年来虽然出现了许多不同的基于人类视觉系统的评价方法，如SSIM，IFC，VSNR等。这些算法都提高了评价准确率但仍留有较大可以提升的空间，而且他们大多只针对图像的灰度信息，简单地将彩色信息丢弃，而人眼会根据图像的灰度和色彩两个方面去识别和评价图像。为了满足人眼视觉感受需要自然化归一化处理图像，并且通过色彩等多个尺度提取图像显著特征，赋予合适的权重来重新计算图像的结构相似性，最终做出更精确的图像质量评价。

关键词：彩色图像质量评价；视觉感知；自然化；显著特征；结构相似性

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2017）02-0186-03

1引言 （IQA简介）

数字图像在图像采集、分析、传输、处理和重建的过程中，非常容易发生不同程度不同类型的扭曲和失真，导致图像的视觉质量降低。而为了保持、控制和增强图像质量，在图像的采集、管理、传输和处理过程中，判断图像失真程度、识别和量化图像质量等级就显得尤为重要。经过40多年的发展，图像质量评价技术得到了充分的发展，国际上也出现了一批成熟的评价标准与评价算法。图像质量评价方法分为主观评价方法与客观评价方法。

1.1 图像质量主观评价

在大多数图像处理应用程序中，人类是最终接受者，所以最可靠的IQA方法应该是主观评价方法。针对数字图像的主观评价法在国际电信联盟（ITU）给出过中定义[1] 。根据定义，主观评价有四种评价方式：双刺激损伤分级法、双刺激连续质量分级法、单刺激分级法和单刺激连续质量分级法。

单刺激和双刺激的主要区别在于评价者是独立对图像进行评价而不存在想要的参照物，双刺激方法中评价人员将原始图像与多个待评价的图像组成‘图像对，并且先让评价人员观看无失真图像，形成一个参考基准，然后在对失真图像进行展示，在对比之后，评价人员根据待评价失真图像的主观感受给出图像质量等级。连续质量分级则是将多组原始图像和待评价图像给评价人员观看，但与直接分级不同的是，原始图像和待评价图像显示的顺序是随机的，并且一起对显示的两张图像都要进行评分，该方法采用连续分数表示，使用百分制。

目前，采用大量的观测人员进行DSCQS方法评分所得出的“平均意见分”（Mean Option Score，简称MOS）方法被认为是最佳的IQA方法。然而MOS方法的花销成本大同时速度太慢，难以实际应用。

1.2 图像质量客观评价

与主观评价相对应的图像质量客观评价方法，其本质就是一套根据人眼的主观视觉系统（HVS）的高效的图像质量自动评价系统。客观评价方法根据评价系统是否有参考对象分为全参考图像质量评价（能获取参考图像的全部信息，简称FR），参考图像质量评价（只能获取参考图像的部分信息，简称RR），无参考图像质量评价系统（简称NR）。目前FR-IQA方法已经日臻完善，RR-IQA和NR-IQA的研究热度持续上升，然而FR和RR都需要获取待测图像的对比图像的全部或者部分信息，这一点在实际应用中经常无法实现，也是IQA领域当前研究的热点，目前的NR-IQA根据适用范围大致分为两类：针对特定失真类型的算法，通用型算法。前者在使用时需要预先知道图像的失真类型，诸如模糊、噪声、压缩等，适用范围受到了限制，但失真特征易于定义和提取，但适用范围受到了限制，通用型NR-IQA的研究受到更多的重视。

在过去四十多年，图像质量评价（IQA）得到了快速的发展。而在研究初期，为了减少模型设计的复杂度，大部分的IQA算法都只针对灰度图像进行评价，而对于彩色图像，他们主要有两种处理方法：把原彩色图像转换到灰度尺度运算，或者将图像分解为R、G、B三个通道，将原图像变为三通道灰度图像进行评价。而随着人们对图像质量评价精确性的要求逐渐变高，色彩这个重要的图像质量评价指标开始被越来越多的研究人員重视，并提出一系列新的针对彩色图像的质量评价算法。

2 基于彩色图像中的灰度信息评价

人作为图像信息的主要接受载体，研究人眼的视觉原理可以对建立图像质量客观评价模型有重要意义。目前研究发现，物体成像主要在视网膜上，视网膜结构如下图所示。

从图1中，我们知道光线通过瞳孔晶状体，将光线汇聚在视网膜上。视网膜中含有两种视觉细胞，分别是负责感受光亮度强弱柱状细胞——视杆细胞、感受光的色彩的锥状细胞——视锥细胞。光线通过两种光感细胞将图像的完整信息传递给大脑。而在视网膜中，视感细胞数量远多于视锥细胞，人眼对亮度的敏感程度也大于对色彩的敏感程度。而且，只计算灰度信息会减少整个评价模型的复杂度，提高计算效率。因而出现了大量的只利用彩色图像灰度信息的质量评价算法。

最经典的有参考图像质量评价方法是MSE和PNSR[2]，他们通过直接计算失真图像与参考图像的像素欧氏距离来评价他们的相似性。这两种方法计算简单，效率极高，但是没有结合人眼的视觉特性，不能很好地与人眼的主观感受保持一致。而结构相似性（Structural Similarity， SSIM）[3]方法从亮度，对比度和结构相似度三个方面对比参考图像与失真图像，得到了很好的结果。IFC（Information Fidelity Criterion）[4]则以两幅图的共同信息的多少作为失真图像的判断依据。NQM（Noise Quality Metric）[5]从噪声的角度评价失真程度，以此给出质量评分。VSNR（Visual Signal-to-Noise Ratio）[6]则是基于视觉阈值特性提出的针对自然场景的质量评价方法。

而无参考质量质量评价现阶段有两种常见模型：即两阶段框架模型和全局框架模型。两阶段模型从图像的小波域的统计特性出发，提取图像的统计特征，之后利用分类器判断图像的失真类型，最后使用回归模型估算图像的质量。而全局框架图像质量评价方法通过分析待测图像在空域或者时域的统计特性，建立统计特征和主观评价之间的映射，进而估算图像质量。

不过，值得探究的就是作为图像质量评价本身这类问题就属于人眼主观感受，但是尚未有一个合理的视觉感知方法能够与之结合起来。本文就是探索在图像显著性感知的基础上，对色彩图像进行结构相似性评价。

3 视觉感知的色彩图像质量评价

在失真图像和参考图像提取结构性特征之前，本文加入了一种称为自然图像自然化预处理的过程。这样能够更加符合现实场景。再则引入参考图像的视觉显著性特征，结合SSIM评价方式，最后加权评估得出最后的失真图像评分。

3.1 自然化归一化图像

我们将图像进行自然化归一化处理，使其更符合人眼的视觉感知。即对于一副M*N的图像， I（i， j）表示该图像的每一个像素点的值，归一化处理方法如下式所示：

[I（i，j）=I（i，j）-μ（i，j）σ（i，j）] （1）

公式中：

[μ（i，j）=k=-KKl=-LLω（k，l）I（i+k，j+l）] （2）

[σ（i，j）=k=-KKl=-LLω（i，j）[I（i+k，j+l）-μ（i，j）]2] （3）

[ω（k，l）]是中心对称的高斯加权函数，我们取 K=L=3。

3.2 SSIM简介

王周认为待评价的图像与原图像相似度越高，其质量越高，而这种相似度需要从图像像素间提取出结构特征。人眼视觉系统的主要功能就是从图像中提取结构信息。为了更符合人眼的视觉感受，王周提出了结构相似性理论，即SSIM，具体公式如下所示：

公式中x、y分别指代原图像和待测图像，C1、C2、C3均为常量参数。在一个滑动窗口内，[μ]为图像的像素均值表示亮度，[σ]代表了标准差指代对比度。对应的[l（x，y）]、[c（x，y）]、[s（x，y）]分别指代了亮度对比度和结构三个方面的相似性。最终得到的质量评分为：

[SSIM（x，y）=lα（x，y）cβ（x，y）sγ（x，y）] （5）

其中[α，β，γ>0] ，而且[α+β+γ=1]。通过上面公式，我们对于特定的点I（i， j）我们都有了一个结构相似度估值。

3.3 基于图算法的显著特征提取[7][8]

在日常生活中我们在观看一副图像时，只会看图像中的一部分区域而不是全图。基于这中人眼的视觉特性，我们选用了基于图算法的显著区域提取算法，用来对图像的各个区域的重要性进行评分。这种模型先对所要评测的图像从9个尺度进行非均匀的采样，通过高斯金字塔和中心边缘算子进行局部的视觉反差计算，找到图像的亮度颜色和朝向特征。接着通过多尺度的图像合并和归一化得到上述三个特征的显著图，最后将显著图进行线性融合得到最终能够的视觉显著特征图。

3.4 权重设置与图像得分

通过显著区域设置重新计算各像素权重，最后权重与SSIM的值相乘得到图像最终质量得分S。

[S=w（x，y）*SSIM（x，y）] （7）

我們通过生成的显著特征图可以看出，Gbvs方法将整个彩色图像中的彩色像素点都归一化到了0-1的范围内，需要额外注意的是，特征图数值较高的部分为凸显的重点区域，而数值较低并不是结构性无关的区域，直接将特征图数值作为权重会导致评价结果误差变大。通过多次实验我们选择了0.7这个数值作为图像权重值阈值，当特征图数值超过0.7时，我们使用该数值，其他情况则直接使用0.7代替。

4 实验

为了验证本文提出的基于视觉感知的评价方法有效性，我们选择了在图像质量评价领域比较成熟的图像数据库LIVE[9]以及CSIQ[10]。在我们常见和假设的多种失真类型下主要有JPEG压缩，模糊，随机噪声，快速退化等，而其中JPEG压缩对图像结构信息的破坏时最明显的，本文把采用的数据库中的JPEG压缩失真图片单独抽出作为试验样本。

4.1 实验结果

现有的评估IQA算法的性能好坏的指标主要分为IQA 算法性能评价指标主要分为斯皮尔曼秩相关系数（Spearman rank order correlation coefficient， SROCC）、皮尔逊线性相关系数（Pearson linear correlation coefficient， PLCC）。其中SROCC用来衡量IQA算法预测结果的单调性，值越高则单调性越好。PLCC则需要先对IQA算法预测的客观质量评价分与MOS进行函数拟合，我们使用5参数logistic函数拟合。他们的表达形式如下：

[f（x）=β112-1exp（β2（x-β3））+β4x+β5] （8）

通过把预测值和数据库中对应的DMOS值在得到拟合函数后，可以利用拟合函数并以输入的客观质量评价作为自变量来得到对应的因变量，也就是预测 MOS值。PLCC用来衡量客观质量评价分与主观质量评价分之间的线性度。PLCC值越高则线性度越好，即算法越优秀。我们通过计算得到了以下两张表

4.2 实验分析

表1和表2分别是有6种图像质量评价算法所对应的SROCC系数与PLCC系数。我们可以发现，本文提出的方法不仅更符合人眼对图像的认知，相比其他几个质量评价算法在准确度上有更好的性能。图3是本文算法的数据散点图与拟合曲线，横轴为我们的预测值，纵轴为主观意见分。我们能很直观的发现我们提出的方法与主观质量评价保持了非常好的一致性。不过从表3我们能发现，因为增加了额外的图像显著区域处理操作，整个系统的耗时较高，但精确度的提高十分显著，与其他算法或多或少存在严重偏离拟合曲线的点，本文的单调性和线性度都很好。

5 结束语

本文基于图像视觉显著图和结构相似度提出一种新的全参考彩色图像质量的评价算法，在LIVE和CSQI两个权威数据库上实验，验证本文方法的有效性。从实验结果可以看出我们提出的方法可以在压缩图像失真条件下更准确的评价图像质量。不过我们也发现，引入额外的计算会使整个评价系统的开销变大，时间消耗过多，如何在满足精确度情况下快速实现是将来的工作方向。

參考文献：

[1]Rec. ITU-R BT.500-11. Methodology for the subjective assessment of the quality of television pictures[S] .

[2]WANG Z， Bovik A C， A universal image quality index[J]. IEEE Signal Processing Letters， 2002， 9 （3）： 81-84.

[3]WANG Z， Bovik A C， Sheikh H R， et al. Image quality assessment： from error visibility to structural similarity[J]. IEEE Transactions on Image Processing， 2004， 13（4）：600 - 612.

[4]Sheikh H R， Bovik A C， De Veciana G. An information fidelity criterion for image quality assessment using natural scene statistics[J]. IEEE Transactions on Image Processing， 2005， 14（12）：2117-2128.

[5]Damera-Venkata N， Kite T D， Geisler W S， et al. Image quality assessment based on a degradation model[J]. IEEE Transactions on Image Processing， 2000， 9（4）：636-650.

[6]Chandler D M， Hemami S S. VSNR： A Wavelet-Based Visual Signal-to-Noise Ratio for Natural Images[J]. IEEE Transactions on Image Processing， 2007， 16（9）：2284-2298.

[7]J. Harel， C. Koch， and P. Perona， Graph-Based Visual Saliency [C]， advances in Neural Information Processing Systems （NIPS） ， MIT Press， 2007， 545-552

[8]X. Hou， J. Harel， and C. Koch， Image Signature： Highlighting Sparse Salient Regions[J]. IEEE Trans. Pattern Anal. Mach. Intell， 2012，34（1）： 194-201.

[9]Sheikh H R， Wang Z， Cormack L， Bovik A C. LIVE Image Quality Assessment Database Release 2 [DB/OL]， available： http：//live.ece.utexas.edu/research/quality， 2006

[10]Larson E C， Chandler D M. Categorical subjective image quality CSIQ database [DB/OL]， available： http：//vision.okstate.edu/csiq/，2009.