基于FSIMc的图像质量评价模型

许俐，姜秀华

(中国传媒大学信息与通信工程学院，北京，100024)

1 引言

视觉信息能够呈现给人们生动和直观的形象，具有强大的吸引力，受到人们的广泛关注。人们对视频图像的质量要求越来越高，希望看到具有更细腻的图像细节、更强的彩色感染力的高质量视频图像。然而，高分辨率视频图像产生的庞大数据量给电视节目制作、视频处理、压缩编码、视频传输和接收等各个技术环节都带来了巨大压力，而这些处理不可避免地会给视频图像质量引入不同程度的损伤[1][2]。监测和评价视频图像的质量成为目前视频图像技术领域广泛关注的问题。

本文基于FSIMc[3]考虑饱和度感知特性，对统计颜色敏感点频率分布的计算验证模型的饱和度结果进行非线性回归分析，使用当前图片饱和度下的拟合函数值对彩色图像特征相似性指数质量评价算法FSIMc加权，在TID2013图像数据库[4]和LIVE图像数据库[5]上实现客观算法模型并检测性能。

2 考虑饱和度感知特性的FSIMc改进模型

彩色图像特征相似性指数质量评价算法FSIMc基于图像内容结构和相位相似性的质量评价算法(A Feature SIMilarity Index for Image Quality Assessment，FSIM)由L. Zhang等人提出[3]，通过分析人类视觉系统(Human Visual System，HVS)[6]的底层特征评价图像质量，算法流程如图1所示。

图1 基于图像内容结构和相位相似性的质量评价算法

其中，相位一致性(phase congruency，PC)作为算法的主要特征，对局部结构重要性进行无量纲测量。考虑到对比度信息影响人类视觉系统HVS对图像质量的感知，引入图像梯度幅度(gradient magnitude，GM)作为FSIM中的次要特征。相位一致性PC和图像梯度幅度GM在表征图像质量方面发挥互补作用。在获得局部相似度图之后，使用PC作为加权函数计算客观质量分数。

在彩色图像中，对亮度分量Y进行内容结构和相位相似性FSIM的计算，衡量色度分量I和Q的相似性并将色度和亮度信息合并，得出彩色图像特征相似性指数质量评价算法值FSIMc：

(1)

其中相位信息

(2)

梯度信息

(3)

T1、T2用于增加SPC和SG的稳定性，分别取决于PC和GM值的动态范围。

(4)

(5)

T3、T4用于增加S1和SQ的稳定性，分别取决于I和Q值的动态范围。

2.1 色差公式

色差是两个颜色在颜色度量上的差别或者距离。色差公式旨在用由两个颜色的三色系数计算得出的数值表示人眼对这两个颜色的感知差异，帮助我们量化颜色差别并通过色差值来进行基于色差的分析和研究。

1976年之前，色差公式主要基于孟塞尔数据和麦克亚当椭圆，效果都不尽如人意。国际照明委员会CIE在1976年推荐了CIE LAB色差公式：

(6)

英国染色家协会(the Society of Dyers and Colourist，SDC)的颜色测量委员会(the Society’s Color Measurement Committee，CMC)在1984年推荐了CMC(l：c)色差公式[7]：

(7)

其中，

SH=SC(F×T+1-F)

CMC(l：c)色差公式同样基于CIE LAB颜色空间，式中Ls*、Cab，s*、hab，s*均为标准色的色度参数值，引入明度权重因子l与彩度权重因子c的比率，对差异值进行加权，进而改变ΔL*、ΔCab*、ΔHab*的相对容忍度，克服了以往CIE LAB色差公式在深色及中性色区域的色差值与人眼视觉感知结果偏差较大的缺陷。CMC(l：c)色差公式主要用于工业颜色行业，于1995年被纳入纺织品应用的ISO标准。

1995年，国际照明委员会CIE的色差评估技术委员会TC1-29发布了CIE 1994(ΔL*、ΔCab*、ΔHab*)色差公式[8]，缩写为CIE 94或色差符号：

(8)

SL=1

SC=1+0.045Cab，X*

SH=1+0.015Cab，X*

CIE 94色差公式在CMC(l：c)色差公式的基础上考虑了照度、观察模式、样品尺寸、样品色差幅度、观察者视觉、样品结构等多方面因素，引入色差视觉量化值的概念，效果进一步提升。

由于CIE 94色差公式并没有充分解决感知一致性问题，国际照明委员会CIE成立色差评价的色相和明度相关修正技术委员会(Hue and Lightness Dependent Correction to Industrial Colour Difference Evaluation，TC1-47)并进一步改进公式定义，在2001年推荐了色差公式CIE 2000，简称CIEDE2000[9]：

(9)

经过技术委员会(TC1-47)对视觉感知评价数据的测试与分析，在CIE 94色差公式基础上增加了以下几项修正：引入色相旋转项(RT)，用于解决蓝色区域(色相角275°附近)的感知一致性问题；重新标定CIE LAB颜色空间近中性区域的a*轴(a*轴调整因子G)，以进行中性色补偿；进一步改进亮度补偿(SL)、色度补偿(SC)、色相补偿(SH)，以体现色相容限随颜色的色相变化而变化的规律。

CIEDE 2000色差公式的具体计算过程如下：

在CIE LAB颜色空间中计算心理彩度：

补偿中性色，修正CIE LAB颜色空间的颜色参数：

L′=L

a′=a(1+G)

b′=b

其中

计算补偿中性色后的心理彩度和心理色相角：

h′=atan2(b′，a′)mod360°

计算明度差、彩度差和色相差：

△L′=L2′-L1′

△C′=C2′-C1′

其中

计算亮度补偿(SL)、色度补偿(SC)、色相补偿(SH)，校正空间的均匀性：

其中

计算色调旋转项：

RT=-sin(2△θ)RC

其中，由色调决定的旋转角

由彩度决定的旋转幅度

最后，使用公式(6-5)计算CIEDE 2000色差值，其中KL、KC和KH通常取1。

CIEDE 2000色差公式在CMC(l：c)和CIE 94公式的基础上考虑多方面因素做了很大改进，提高了结果精度，是目前视觉评判一致性表现最好的色差公式。

2.2 算法模型整体流程

参考特征相似性指数质量评价算法提取相位和梯度幅度的思路，对参考图像和受损图像进行图像内容结构和相位相似性的度量，基于人类视觉系统HVS的低通特性消除视觉冗余。根据相位一致性PC提取信息特征，同时，考虑到PC不受对比度影响，而图像局部对比度作为人类视觉系统HVS中重要因素影响图像质量的感知，提取图像梯度幅度GM与相位信息PC进行互补，在FSIM基础上增加对色度信息进行相似度度量。根据CIEDE 2000公式计算受损图像参考图像对应像素之间的色差值，对颜色敏感点频率分布的计算验证模型中饱和度方面的实验结果进行非线性回归分析，使用当前图片饱和度下的拟合函数值对FSIMc加权。根据饱和度视觉感知特性，图像饱和度越大，损伤越容易被察觉，相应的权重越小。具体流程如图2所示。

根据公式(10)计算客观质量评价分数FSS(A Feature Similarity index combined with Saturation perception)：

(10)

3 算法模型性能检测

3.1 算法模型实验结果

分别在TID2013图像数据库和LIVE图像数据库下实现考虑饱和度感知特性的FSIMc改进算法模型，绘制客观分数与主观评分[10]的散点图。图3显示出主观评分MOS与考虑饱和度感知特性的FSIMc改进模型之间的分布关系。

3.2 相关性检测

衡量客观质量评价算法优劣的最重要的指标就是在具有不同失真的大数据集上算法结果与主观评价分数是否具有良好的一致性[11]，客观评价算法结果与主观评价结果相关度越高，说明该质量评价算法的性能越好。目前常用的衡量相关性的评价参数主要有斯皮尔曼等级相关系数SROCC、肯德尔秩相关系数KROCC、皮尔森线性相关系数PLCC和均方根误差rMSE。

图 2 考虑饱和度感知特性的FSIMc改进算法模型

图3 TID2013数据库和LIVE数据库下FSS与主观得分的一致性

TID2013LIVESROCCKROCCPLCCrMSESROCCKROCCPLCCrMSEPSNR0.69350.4700-0.0109192350.87560.68650.858539.9412SSIM0.63700.46360.65243.81100.94790.79630.829055.1023FSIMc0.85100.66650.83223.72340.95990.83660.728535.5693本文模型0.85190.66780.87750.59450.95590.81880.94987.2342

综合评估客观质量评价算法的性能，实验结果如表1所示。表中质量评价算法分别为广泛应用的峰值信噪比PSNR、结构相似度的开创算法SSIM、目前综合性能表现出色的彩色图像特征相似性指数质量评价算法FSIMc和本文提出的考虑饱和度感知特性的FSIMc改进模型。

实验结果表明，在LIVE数据库中，本文模型与FSIMc的斯皮尔曼等级相关系数和肯德尔秩相关系数均达到较高水平且差别不大，在皮尔森线性相关和均方根误差方面上考虑饱和度感知特性的改进算法较FSIMc有较大提升；在TID2013数据库中，考虑饱和度感知特性的改进算法的四个相关系数均有所提升。说明结合本文模型结合颜色损伤感知特性后，改进算法与主观感知的相关性得到提升。

4 结论

本文从颜色信息损伤角度出发，提出考虑饱和度感知特性的FSIMc的改进客观质量评价算法模型。对统计颜色敏感点频率分布的计算验证模型的饱和度结果进行非线性回归分析，使用当前图片饱和度下的拟合函数值对彩色图像特征相似性指数质量评价算法FSIMc加权。在多个数据库中检测客观模型的性能，均可以实现和人眼主观感知较好的一致性。