颜色再现图像的客观质量评价方法比较

宋超，冯英翘，王颖，刘炳陟，孟特，施秀清

(1. 华北理工大学 人工智能学院, 河北 唐山 063210；2. 唐山热力总公司, 河北 唐山 063000；3. 河北机车技师学院 机床加工实训中心, 河北 唐山 063030；4. 唐山君自科技有限公司, 河北 唐山 063000；5. 唐山工业职业技术学院 管理工程系, 河北 唐山 063000)

彩色数字图像显示设备，如智能移动终端、显示器、彩色打印机等，在人们的生活和生产中已得到广泛应用。彩色图像在上述图像设备的传递和再现过程中，不可避免地会产生不同程度的跨媒体颜色再现问题，造成同一幅图像在源显示设备和目标显示设备上的显示差异，即颜色再现失真。

对失真图像进行客观质量评价，是图像处理研究领域的重要方向之一。根据对原始图像信息的依赖程度，客观图像质量评价算法分为全参考、半参考和无参考3类[1]。全参考类方法利用源图像的全部信息，通过计算源图像与失真图像之间的感知误差综合确定两图像的相似度。该项研究仅针对全参考类型算法。目前已有的全参考客观图像质量评价算法在预测常见图像失真类型(如有损压缩、噪声污染、高斯模糊和码流丢失等)的主观感知方面表现出良好的准确性，而对跨媒体颜色再现失真类型图像的预测性能尚未进行综合验证比较[2]。

该项研究介绍了常见全参考客观图像质量评价方法以及所使用的颜色再现图像数据库，然后将常见客观图像质量方法应用于颜色再现图像并对其预测准确性进行计算和比较，最后对提高颜色再现图像客观预测准确性进行分析研究。

1全参考彩色图像质量评价方法

在过去的几十年中，研究人员提出了大量的全参考图像质量评价方法。该类方法大致可分成两大类：基于误差统计量的方法和基于人眼视觉系统的方法，其中基于误差统计量的方法数学含义清晰、计算简单、便于实现而广泛应用，但由于忽略了人眼视觉特性而在很多失真图像上的预测准确性不高。基于人眼视觉系统的方法，考虑了多通道特性、亮度非线性、掩盖效应等人眼视觉特性，对多种失真类型图像都具有较高的预测准确性。

由于受到计算机计算能力及图像获取技术的制约，大部分全参考客观图像质量评价方法仅利用了灰度图像或者彩色图像的明度分量。虽然彩色图像的主要信息都包含在明度分量，对颜色信息的忽略也在一定程度上影响了评价结果。随着计算机处理能力的进步和人们对彩色图像质量要求的提高，以及颜色再现技术的发展和应用，客观图像质量评价方法的研究中开始更多地考虑图像颜色信息，并出现了不同的彩色图像质量评价算法。

该项研究根据实际应用，将常见全参考客观图像质量评价方法分成以下几类，用于分析比较其在颜色再现图像上对主观评价结果的预测准确性。

1.1 基于图像强度差异

传统的图像质量评价方法，如峰值信噪比法(PSNR，Peak Signal-to-Noise Ratio)和均方差法(MSE，Mean Squared Error)，对图像的亮度信息直接进行处理，通过计算对应像素点强度之间的误差值来衡量图像质量。该类方法因计算复杂度低而应用广泛，但忽略了人眼视觉机制因素，在多种失真类型综合的图像上会与主观感知的质量产生较大偏差。

1.2 基于图像结构特征

Z. Wang提出的结构相似性方法(SSIM，Structure SIMilarity)在图像质量评价领域具有深远影响[3]。该算法认为自然图像像素间的从属关系形成特定的结构，而人眼能够提取其中的结构信息并对结构的改变具有很强的自适应性。算法通过对应像素的均值、方差和协方差来表征图像亮度、对比度和结构性失真信息，简单高效，仅对灰度图像进行处理。SSIM方法的多尺度扩展方法(MS-SSIM，Multi-scale SSIM)[4]将图像分解为不同的尺度，根据各个尺度对图像整体的重要性进行加权，获得比SSIM方法更加精准的主观评价预测准确性。

1.3 基于信息保真度

Sheikh等人提出了信息保真度准则(IFC，Information Fidelity Criterion)[5]和视觉信息保真度(VIF，Visual Information Fidelity)[6]2种算法，从信息论的角度出发，通过计算原始图像与失真图像之间的互信息来衡量图像失真程度。

1.4 基于图像相位一致性特征

Zhang等人根据人眼视觉特性提出FSIMc[7]方法，将图像从RGB颜色空间转换到YIQ颜色空间，对图像明度分量Y提取相位一致性特征PC和梯度特征G，直接利用图像颜色分量I和Q，参考SSIM算法架构并将相位一致性最大值作为权重函数PCm，形成了包括明度相似度SPC、SG和颜色分量相似度SI、SQ的评价公式。考虑图像颜色信息的FSIMc方法与未考虑颜色信息的FSIM方法在图像评价结果上具有明显的提升，尤其对颜色失真类型图像。

1.5 基于人类视觉系统

基于人类视觉系统(HVS，Human Visual System)的图像质量评价方法主要突出HVS对不同视觉信号(信号的亮度、对比度、频率内容和互作用)感知的程度。N. Damera-Venkata等人提出的噪声质量测量方法(NQM，Noise Quality Measure)[8]，证明了非线性NQM是一种比PSNR以及线性测量方法更好的视觉质量视觉质量评价方法；Chandler等人提出视觉信噪比方法(VSNR， Visual Signal-to-Noise Ratio)[9]，基于物理量度和视觉角度，而不是像素域，具有适应不同视觉条件的能力。

1.6 基于图像颜色差异

Lissner等人根据人眼颜色视觉，提出彩色图像差异方法(CID，Color Image Difference)[10]，将质量评价对象从灰度图像扩展到彩色图像。CID算法根据人眼视觉对比度敏感性质对彩色图像进行预处理，在LAB2000HL均匀颜色空间分别提取图像明度、对比度和结构相似特征，对彩度和色调分量分别提取源图像和失真图像的彩度差和色调差相似特征，形成多尺度彩色图像差公式，在TID2008和多个颜色再现图像库中取得优异结果。

Lee等人提出了方向统计彩色相似性方法(DSCSI，Directional Statistics-based Color Similarity Index)[11]，在CIELAB颜色空间使用方向统计的思想对图像的色调分量分别提取环形平均值和环形方差特征得到色调平均相似度和色调扩散相似度，对彩度分量分别提取加权平均值和标准方差得到彩度平均相似度和对比度相似度，对图像明度分量提取标准差和协方差特征得到明度对比度相似度和明度结构相似度，将上述获取的6个相似度分组为彩色相似度和非彩色相似度得到最终的权重质量评价公式。DSCSI算法在TID2013等图像库取得了非常理想的结果。

2颜色再现图像库和性能评价方法

用于全参考图像质量评价方法性能研究的图像库如LIVE、CSIQ、TID2008、TID2013[12]等，覆盖目前常见的失真类型图像，如噪声、压缩失真、传输失真等。对多幅参考图像的多种失真类型、每种失真类型多个失真等级的失真图像完成了大量的主观评价实验并处理获得平均主观评价分数(MOS，Mean Opinion Score)，通过对客观质量评价算法处理后的结果与MOS计算线性相关系数，来验证客观图像质量评价算法对人眼主观评价的预测准确性。

尽管在上述图像库中开始更多关注彩色失真类型图像，但目前并没有包含颜色再现失真类型，各图像质量评价算法在颜色再现失真图像上的准确性无法得以验证。因此，该项研究整理建立了已有颜色再现主观评价实验图像及相应主观评价结果。该颜色再现图像库共有4个图像集组成，包括BasicStudy(BS)、ImageGamut(IG)、LocalContrast(LC)[10]和colorlab实验室的CID：IQ图像集，其中颜色再现失真图像库收集自不同的成对对比实验，CID：IQ图像库[13]包含颜色再现失真在内的6种不同的图像失真类型。颜色再现图像库如表1所示。

2.1 颜色再现图像库

BS图像集是在对新研究的色域映射算法与传统HPminDE、SGCK算法进行颜色再现效果主观评价实验形成的。共有97幅源图像和7种色域映射算法，包括HPminDE、SGCK、NOptStar、Kolas、应用于SGCK和NOpStar的Zoliker算法、Caluori等。7种算法分别对源图像进行颜色再现处理，混序并进行对比主观评价实验，产生最后的图像集。

IG图像集是对基于图像色域的色域映射算法进行主观评价实验形成的。使用线性和S型色域映射算法、源色域分别使用sRGB设备色域和2种图像色域来构成6种颜色再现算法，与标准的HPminDE、SGCK算法对75幅图像进行色域映射并进行主观评价实验对比。

LC图像集是对含有图像细节增强的色域映射算法进行主观评价而形成的。使用HPmindDE、SGCK、SGDA和线性压缩算法，对4种算法分别进行图像细节增强处理或者保持不变，所形成的8种算法对77幅源图像进行色域映射处理并进行对比主观评价实验。

CID:IQ图像库相对于常见的LIVE、CSIQ、TID2018、TID2013等图像质量评价图像库，增加了颜色再现失真图像的主观评价实验结果。该图像库选择了覆盖面更广的图像，在进行主观评价实验时采取了2种观测距离和规定更严格的观测环境，在颜色再现失真处理中使用了CIE规定的HPminDE和SGCK 2种色域映射算法。表7为颜色再现图像库数据。

表1 颜色再现图像库

2.2 客观质量评价方法预测准确性评价

在BS、IG和LC颜色再现图像库中使用击中率Hit Rate[10]来评价客观评价算法对主观评价结果的预测准确性。该类图像集使用了对比主观评价实验，在同一显示器上同时显示1幅和2幅不同色域映射算法处理后的图像，由观测者评价两图像和源图像的相似度高低。在部分测试中，观测者认为两颜色再现图像与源图像相似度相同，该类主观评价结果在客观评价算法进行处理时被去除。

对单一图像集，C表示所有主观评价次数，S表示客观评价算法正确预测主观评价结果的次数，则击中率HR用式(1)表示。

HR= |S|/|C|

(1)

与传统图像质量评价图像库类似，CID:IQ图像库中使用MOS值来表示主观实验评价结果，并使用以客观评价结果为横坐标、以MOS值为纵坐标的散列图和客观评价结果与MOS值之间的斯皮尔曼相关系数SROCC、肯德尔相关系数KROCC和皮尔逊相关系数PLCC等来表示客观质量评价算法对主观评价结果的预测准确性。

3客观评价结果及分析

该项研究对常见的客观图像质量评价算法进行了预测准确性比较，所使用的图像库包括BS、IG、LC颜色再现图像库和CID：IQ图像库等。图像质量评价算法在BS、IG、LC颜色再现图像库中预测准确性如表2所示，由表2可以看出，在常见失真类型图像上预测准确性高的FSIMc和DSCSI等方法，在颜色再现失真类型上依然取得较好预测准确性；CID方法在颜色再现失真图像上的表现最好。

表2 图像质量评价算法在BS、IG、LC图像库的预测准确性对比

图像质量评价算法在CID:IQ图像库中预测准确性如表3和表4所示，其中表3为该图像库所有失真类型图像的处理结果，表4为图像库中颜色再现图像部分的处理结果。

表3 图像质量评价算法在CID：IQ图像库的预测准确性对比

表4 图像质量评价方法在CID：IQ图像库中颜色再现图像的预测准确性对比

可以看出MS-SSIM和CID2种方法在处理常见失真类型和颜色再现失真类型图像方面均有较好预测准确性；DSCSI虽然在处理常见失真类型图像上具有较好结果，在颜色再现失真图像上稍差；反之，VSNR在常见失真类型图像上的预测准确性较差，在颜色再现失真图像部分结果较优。FSIMc在100 cm观测距离上对常见失真类型图像取得较好的结果，在其他条件下的结果并不理想。

在CID：IQ图像库中表现较好的MS-SSIM算法和CID算法形成的散列点图如图1所示，横坐标为算法的客观评价计算值，纵坐标为主观评测MOS值，途中的曲线为拟合曲线。其中图1(a)和图1(b)为MS-SSIM算法在50 cm和100 cm观测距离上结果，图1(c)和图1(d)为CID算法在50 cm和100 cm观测距离上的结果。从图中可以看出，CID算法的整体主观结果预测准确性比MS-SSIM算法高，而CID算法在50 cm观测距离上的处理结果更优，拟合离散性低，拟合曲线线性度高。

图1 MS-SSIM算法和CID算法在CID：IQ图像库的散列点图

4结论

(1)基于图像强度差异、图像强度特征、人类视觉系统特性和图像颜色差异，分析了几类传统客观图像质量评价算法的特性，使用平均主观评价分数MOS和击中率hit rate 2种方式，在BS、IG、LC和CID：IQ等颜色再现图像上对典型的客观质量评价方法对进行了主观评价结果预测准确性计算和比较。

(2)常见失真类型图像上预测准确性高的FSIMc和DSCSI等方法，在颜色再现失真类型上依然取得较好预测准确性，但传统客观图像质量评价方法在颜色再现失真类型图像上预测准确性仍有较大提高空间。