色彩饱和度与立体图像质量的关系模型研究

王　婧，韦学辉，张　桦，周文晖，孙志海

(杭州电子科技大学计算机应用技术研究所，浙江 杭州 310018)



色彩饱和度与立体图像质量的关系模型研究

王婧，韦学辉，张桦，周文晖，孙志海

(杭州电子科技大学计算机应用技术研究所，浙江 杭州 310018)

摘要：主要研究了HSV颜色空间中色彩饱和度信息对立体图像质量的影响.首先，提取参考图与失真图每个像素点与其相邻区域像素点之间的饱和度信息对比度值；然后，把参考图与失真图8个特征向量的欧氏距离作为立体图像饱和度分量的质量评价指标，进行归一化处理，得出基于饱和度的欧氏距离与人眼主观质量分数(DMOS)之间的散点关系，通过对散点关系的分析得到色彩饱和度与DMOS的映射关系；最后，对两者之间的映射关系进行曲线拟合，得到色彩饱和度与立体图像质量关系模型.该模型反映了人眼视觉系统对饱和度信息失真程度的感知映射关系.

关键词：立体图像质量；色彩饱和度；主观质量分数；曲线拟合；相关系数

0引言

近年来，科技的高速进步带动了3D产业的发展，3D图像产品需求也在急剧增加，于是准确分析与评价立体图像质量已经成为图像处理领域的研究热点之一.现有的立体图像质量评价方法可分为主观质量评价方法与客观评价方法.主观立体图像质量评价算法通过选择一批受测者在特定环境中对测试图像进行评分[1]，但这个过程可操作性差、费时、费力；客观评价算法主要根据预先设计的算法对图像质量进行评价.立体图像质量的客观评价方法又分为两类.第一类是借助已经较为成熟的2D图像评价方法来评价立体图像.文献[2]在研究中指出，机械照搬传统2D应用到3D立体图像的质量评价上是不可靠的，存在着很多的不足；第二类是在传统质量评价方法的基础上引入了深度信息和视差信息[3-4]，文献[5]通过实验指出，色彩的度量与图像总体质量水平已经基本贴合，但深度信息对图像质量的贡献度没有色彩信息贡献度高.因此本文针对HSV颜色空间上的色彩饱和度信息，研究了立体图像主观质量与色彩饱和度质量之间的映射关系，并通过实验对基于映射关系的评价模型进行了验证.

1色彩饱和度与立体图像质量关系模型

立体图像质量评价是一个复杂的过程，影响图像质量的因素众多，其中色彩饱和度信息关乎到图像的鲜艳程度与逼真程度，高饱和度的画面可以带来丰富的视觉享受，低饱和度的画面则表现较为暗淡，图像的色彩饱和度因素直接影响图像的整体质量.

饱和度与立体图像质量关系模型构建流程如图1所示，在每张图像中，逐一提取每个像素点周围的8个方向的饱和度对比信息作为图像特征，把参考图与失真图8个特征向量之间的欧氏距离作为图像饱和度评价指标，再用11种常用曲线模型对评价指标进行曲线拟合，得到饱和度与立体图像质量关系模型.

图1　饱和度与立体图像质量关系模型构建流程图

1.1色彩模型的选取与饱和度信息的计算

人类的视网膜中具有3种圆锥细胞，他们分别对红绿蓝光有最强的敏感性，这也就决定了人们所观察的世界是丰富多彩的.在数码摄影、显示器系统最常用的就是RGB颜色空间，RGB颜色空间是通过对红绿蓝三原色进行加法叠混合出人眼所能识别的颜色.但是RGB色彩模型隐藏了大部分人类视觉信息，不适合表达人眼直观鉴别的色彩信息.在图像领域中使用的HSV(Hue,Saturation,Value)模型是基于圆柱三维坐标表示，它重新映射了RGB模型使得HSV模型在视觉上更具视觉直观性，并且具有坐标之间的心理感知独立性，所以使用HSV模型比RGB模型更能准确地描述色彩信息.本文针对HSV颜色空间中的饱和度分量S展开研究，按照HSV空间提取RGB图像饱和度分量的公式，依次提取出每张图片的饱和度信息，公式如下：

(1)

R，G，B即代表红、绿、蓝3个通道的颜色，各个取值范围为0～255级亮度.运行matlab代码，读取每张图片并提取其中的S维信息保存到一个.mat文件中.图片库共计有360幅失真图、8幅参考图，共计368个.mat文件.

1.2饱和度特征信息的提取

图像的特征信息是在像素概念下的一种抽象表达，也可以表示为各个特征的组合.选取的特征种类越多表达原图像的信息能力越强，但考虑到算法的时间空间复杂度，在对图像进行描述时应尽量选取涵盖信息量大的特征信息进行描述.根据HVS特性，人类视觉皮层的细胞对不同的视觉信息或激励有不同的敏感性，如颜色、频率和方向等.并且人眼视觉具有空间分辨率特性，即人眼对某一特征不同方向的图像细节信息具有不同的灵敏度.所以在关系模型中提取了每个像素点与周围相邻8个方向的饱和度对比度值作为图像特征信息，这8种特征分别表征人眼对不同方向不同灵敏度的结构化尺度信息.8个特征信息分别为该像素点与相邻0°，45°，90°，135°，180°，225°，270°，315°方向像素点饱和度的差值.其中0°方向特征向量为S2，45°方向特征向量为S3，90°方向特征向量为S4，135°方向特征向量为S5，180°方向特征向量为S6，225°方向特征向量为S7，270°方向特征向量为S8，315°方向特征向量为S1.

运行matlab代码，读取保存368张图片饱和度信息的.mat文件，将每张图片逐一像素点提取8个特征信息，并分别保存在.mat文件中.每个.mat文件对应1个矩阵，矩阵的大小为该图片的总像素点数×8.

该特征提取算法的优点很多，首先易于实现和理解，并且捕获了每个像素点8个方向的梯度信息涵盖了人眼对不同方向的灵敏度信息与结构化信息.在算法复杂度上相比采用小波变换分别提取低频系数的方法，该方法时间空间复杂度都较低，保证了提取特征信息时的效率.

1.3饱和度特征信息的提取

1)计算失真图和对应参考图八个特征向量间的欧氏距离.

假设失真图饱和度特征矩阵记作si=si(x,y)，参考图饱和度特征矩阵记作si′=si′(x,y)，它们之间的欧氏距离为dSi如下所示：

(2)

(3)

1.4相关性度量

评价两个事件之间的相关性，通常采用线性相关系数(Pearson Linear Correlation Coefficient, PLCC)和Spearman秩相关系数(Spearman Rank Order Correlation Coefficient, SROCC).本文通过计算以上两个相关系数来反映饱和度与立体图像质量之间是否相关以及相关程度.Pearson系数与Spearman系数都在[-1,1]范围内，当Pearson系数与Spearman系数的绝对值越接近1表明二者之间的相关性越好.

Pearson系数计算公式如下：

(4)

Spearman系数计算公式如下：

(5)

1.5曲线拟合

曲线拟合是指选择适当的曲线类型，用连续曲线近似地刻画坐标平面上客观质量值与DMOS之间的函数关系.为了使得评价方法获得的图像客观质量与主观质量(DMOS)评价保持一致性，实验中采用11种常用的曲线模型进行拟合.11种模型及方程表1所示.

表1　曲线拟合模型与方程

2实验结果与性能分析

2.1图片库的选取

针对3D立体图片展开特征分析与研究，图像质量数据库是由美国德州大学奥斯丁分校的LIVE实验室提供的LIVE 3D Image Quality Assessment DatabasePhase2[6].Phase2是非对称失真立体图像库，所用的测试图像包含8个主题，360组待评价失真图像，每组图片同时包含左视点图和右视点图.这360组图片集涵盖了5种类型不同程度的失真以及左右视点不对称失真，失真类型分别是白噪声、JPEG2000压缩、JPEG压缩、高斯模糊、快速衰减.8个主题图像的参考图如图2所示.

图2　Live图像库Phase2参考主题图像

实验中用到图2(a)-(h)，每个主题含45组失真图片，每组图片包含左右2张图像.

2.2散点图分析与曲线拟合

通过对质量指标dSi(i=1,2,…,8)与DMOS进行相关性度量，统计结果发现dSi与DMOS的Pearson相关系数在[0.221,0.254]区间，Spearman相关系数在[0.250,0.273]区间，如表2所示.

表2　dSi(i=1,2,…,8)与DMOS之间相关系数

由此可知，质量指标dSi(i=1,2,…,8)与DMOS之间相关性较差，针对这一结果展开了如下分析：

1)dSi(i=1,2,…,8)质量指标与DMOS之间的散点分布情况

通过饱和度质量指标与人眼主观质量分数(DMOS)之间的散点分布来判断二者之间的映射关系.dSi(i=1)与DMOS的散点分布如图3所示，dSi(i=1,2,…,8)与DMOS的总体散点分布如图4所示.

图3　dS1(i=1)与DMOS散点分布图

图4　dSi(i=1,2,…,8)与DMOS的总体散点分布图

从图3、图4中可以看出，8个饱和度质量指标与DMOS之间均呈现出分段特性.由图4可知在质量指标dSi=0.3处，两侧呈现出两种趋势并且为明显的非线性.dSi<0.3的质量指标与DMOS的相关性较差，而dSi≥0.3的质量指标则与DMOS的相关性较好.说明dSi≥0.3的质量指标携带着图像饱和度质量的大量信息，对图像质量的贡献量较大.

2)dSi(i=1,2,…,8)分段曲线拟合情况

通过分析质量指标dSi与DMOS的散点图可知，存在一个分断点dSi=0.3使得饱和度欧氏距离与DMOS两侧呈现出分段趋势.针对这种分段性对dSi=0.3(i=1,2,…,8)两侧分别进行曲线拟合，以dSi为例分别计算出dS1≤0.3(i=1,2,…,8)与dS1>0.3(i=1,2,…,8)两部分各个分量的11种拟合模型参数估计值，再由拟合方程求出客观预测值并计算出与DMOS的相关系数.通过对比相关系数，选取11种模型中的最优拟合模型.对比dS1的相关性系数发现，dS1的最优拟合模型为三次多项式模型，在该模型下拟合的相关性结果最好，方程如下：

(6)

dSi(i=2,3,…,8)依次按照上述方法得到所有的最优拟合方程，统计发现dS1到dS8与DMOS的映射关系在三次多项式模型拟合下达到总体最优，拟合方程如下：

(7)

对分段拟合的结果进行相关性分析可知，dSi>0.3(i=1,2,…,8)的拟合结果与DMOS的相关系数在0.8左右，例如dS5>0.3的Pearson系数与Spearman系数为0.864、0.867.dSi>0.3(i=1,2,…,8)相关系数如表3所示.

表3　dSi>0.3(i=1,2,…,8)与DMOS之间相关系数

3结束语

现有很多立体图像评价方法都失去了部分彩色信息，为了考察色彩信息对立体图像质量的影响，本文研究了HSV颜色空间的色彩饱和度与立体图像质量的关系模型.实验在德克萨斯大学公布的左右视图非对称失真立体图像库上进行验证，得到以下结论：首先，通过对各维向量散点图的分析可以得到在欧氏距离度量标准下色彩饱和度信息与DMOS之间呈现出分段性；其次，在散点图中色彩饱和度欧氏距离大于0.3部分与DMOS的相关性良好对图像质量影响较大；最后，通过对比11种拟合模型下预测值与DMOS的相关系数，得到了色彩饱和度距离与DMOS的关系比较符合三次方模型.

参考文献

[1]SHAOF,JIANGGY,YUM,etal.AsymmetricCodingofMulti-ViewVideoPlusDepthBased3-DVideoforViewRendering[J].Multimedia,IEEETransactionson, 2012, 14(1):157-167.

[2]SHAOH,CAOX,ERGH.Objectivequalityassessmentofdepthimagebasedrenderingin3DTVsystem[C]//3DTVConference:TheTrueVision-Capture,TransmissionandDisplayof3DVideo,2009.Potsdam:IEEE:1-4.

[3]东野升云,王世刚,韦健,等.人类深度感知立体图像质量评价方法[J].中国图象图形学报,2011,16(9):1758-1762.

[4]HEWAGECTER,MARTINIMG.Reduced-referencequalityassessmentfor3Dvideocompressionandtransmission[J].ConsumerElectronics,IEEETransactionson,2011,57(3):1185-1193.

[5]HEWAGECTER,WORRALLST,DOGANS,etal.Qualityevaluationofcolorplusdepthmap-basedstereoscopicvideo[J].SelectedTopicsinSignalProcessing,IEEEJournalof,2009,3(2):304-318.

[6]TheUniversityofTexasatAustin,LaboratoryforImageandVideoEngineering.ImageandvideoqualityassessmentatLIVE[EB/OL]. [2015-06-10].http://live.ece.utexas.edu/research/quality/live_3dimage_phase2.html.

Research on the Relational Model between Color Saturation and Quality of Stereoscope Images

WANG Jing, WEI Xuehui, ZHANG Hua, ZHOU Wenhui, SUN Zhihai

(InstituteofComputerApplicationTechnology,HangzhouDianziUniversity,HangzhouZhejiang310018,China)

Abstract：In the stereoscopic image quality assessment, the overwhelming majority of previous studies convert color images to gray scale images. However, the loss of color information is not conducive for color stereo pairs to make the right assessment. To solve this problem, the effects of saturation based on HSV for the quality of stereoscope image have been researched. Firstly, extracting eight directions saturation gradient value around each pixel from reference image and distorted images. Secondly, eight respectively feature vectors were gained from reference image and distorted images. Euclidean distances based on feature vectors were taken as image quality evaluation indexes. Draw a scatter plot which describes the relationship between the evaluation indexes and DMOS, and then the mapping relationship will be got by analysis the scatter plot. Finally, using curve model for fitting the mapping between image quality evaluation indexes and DMOS in order to get relational model between color saturation and quality of stereoscope images.

Key words：stereoscopic image quality; saturation;subjective quality scores;curve fitting; correlation coefficient

DOI：10.13954/j.cnki.hdu.2016.02.009

收稿日期：2015-06-25

基金项目：国家自然科学基金资助项目(61471150)；浙江省自然基金重点资助项目(LZ14F020003)；浙江省“3D产业关键技术创新团队”资助项目(2011R50009)

作者简介：王婧(1989-)，女，内蒙古呼伦贝尔人，硕士研究生，计算机应用技术.通信作者：韦学辉讲师，E-mail：weixuehui@hdu.edu.cn.

中图分类号：TP391.41

文献标识码：A

文章编号：1001-9146(2016)02-0042-06