分区域多标准的全参考图像质量评价算法

曹清洁，史再峰，张嘉平，李杭原，高 静，姚素英



分区域多标准的全参考图像质量评价算法

曹清洁1, 2，史再峰1, 3，张嘉平1，李杭原1，高 静1, 3，姚素英1

(1. 天津大学微电子学院，天津 300072；2. 天津师范大学数学科学学院，天津 300387； 3. 天津市成像与感知微电子技术重点实验室，天津 300072)

图像质量评价在图像采集、图像压缩、图像传输等领域有着广泛的应用，一直是图像处理领域的研究热点之一．本文提出了一种模拟人的视觉感知过程中的对不同区域敏感度不同的特点，针对待评图像进行分区域采用不同标准的全参考型图像质量评价算法．该算法首先对图像颜色空间由RGB转换到YIQ，使之更符合人类视觉特性；再对其亮度空间进行数学形态学的膨胀计算预处理，并用边缘检测算子标记出图像中所有的边缘像素点；根据5×5的邻域内是否包含边缘点将图像分为纹理区和平滑区域．针对包含边缘特征的纹理区域的结构参数采用梯度进行描述，参考图像和失真图像在像素点的方差表述像素点失真的敏感性；对于平滑区域的像素点采用对比度作为表征结构信息的变量，并使用基于视觉显著性的综合策略；结合失真和参考图像的视觉显著性矩阵、结构相似性矩阵SCR()、色彩饱和度相似性矩阵，可分别得到纹理区和平滑区的图像质量评价分区域结果．取两个分区域结果的均值，可得到最后的全图像质量评价指标SMC-IQA．该算法在CSIQ、TID2008和TID2013等3个通用的图像质量评价数据库上进行了实验．实验结果表明与主流的图像质量评测方法相比较，本文所提出的分区域多标准的全参考图像质量评价算法与主观评价的结果具有更好的一致性，更符合人类视觉系统的特性．

全参考图像质量评价；分区域；形态学；边缘检测

图像在采集、存储、传输过程中，噪声等各种因素会破坏图像的细节，进而导致图像质量下降且影响人眼对接收到的图像的理解[1]．因此，建立与人眼主观评价一致的图像质量评价模型，可以在图像处理算法结果比较、图像处理系统性能优化等方面发挥重要作用[2]．根据参考图像可以利用的程度，图像质量评价(image quality assessment，IQA)方法可以分为全参考评价、部分参考评价和无参考评价等3类方法．

在全参考图像质量评价中，最常用的方法是均方差(mmean squared error，MSE)和峰值信噪比(peak signal-to-noise ratio，PSNR)[3]．这两种方法是根据图像的像素级特征进行评价的，计算较简单，但是这两种方法是纯数学模型，所得结果与人眼的主观感知有较大差距．近些年来，在图像质量评价模型研究中，研究者越来越关注人类视觉系统的特性对评价结果的影响．2004年，Wang等[4]提出结构相似性指标算法(structural similarity index，SSIM)，从图像亮度、对比度和结构三方面的相似性的角度来评价失真图像的质量．随后一系列基于SSIM的改进型算法被提出，2011年，Wang等[5]提出了信息加权结构相似性(information content weighted-SSIM，IW-SSIM). Yang等[6]将韦伯-费希纳定律和SSIM相结合提出了相似度分解模型．对于结构特征，文献[7]中采用梯度来衡量图像的结构相似性，文献[8]中首先计算参考图像和失真图像的显著性图像，再计算边缘检测图像之间的汉明距离，用汉明距离来表示两幅图像间的结构相似性．Sheikh等[9]将信息论引入图像质量评价中，提出了信息保真度(information fidelity criterion index，IFC)．IFC通过比较参考图像和失真图像间的共享信息得到最终的图像质量评价结果．文献[9]将IFC与人类视觉系统(human visual system，HVS)相结合，提出了视觉信息保真(visual information fidelity，VIF)评价算法．对于彩色图像，色彩信息的变化会对图像质量评价的结果带来较大的影响[10]，不同的色彩空间可以得到不同的衡量色彩差异的变量，一些色彩空间更符合人类视觉系统的主观感知规律，如CIE、YIQ等．文献[7]从视觉注意机制角度对图像质量评价算法进行了改进，根据视觉注意前期观察具有随机性，提出了一种基于双随机窗口的图像质量评价模型．最近，基于HVS对不同视觉特征的响应不同的理论，人们提出了许多IQA指标，如视觉信噪比(visual signal-to-noise ratio，VSNR)[11]和稀疏学习方式(sparse learning way，SlW)[12]．

基于结构相似性的SSIM及其拓展的方法评价图像时，忽略了图像的边缘信息且对模糊和压缩等失真类型的评价效果较差．数字图像理论指出在重现图像亮度的时候，只要保证图像亮度对比度不变，就能给人以真实的感觉，而基于梯度相似性的图像评价方法忽略了非边缘区域的对比度特征，因此本文提出一种分区域多标准的全参考图像质量评价算法(sub-regional and multi criteria image quality assessment，SMC-IQA)．本算法的创新之处概括为以下两点：首先结合形态学膨胀的理论对图像进行预处理；再将图像划分为纹理区域和平滑区域，分别使用梯度和对比度表征结构信息．结合视觉对不同区域失真的敏感度不同，平滑区域使用方差来表示各像素点失真对最后图像质量评价的影响程度．综合纹理区域和平滑区域的图像质量评价结果，得到最后的图像质量评价参数．

1 分区域多标准的全参考图像质量评价算法

SMC-IQA算法的流程如图1所示．首先分别对参考图像和失真图像进行色彩空间的转换和图像竖直方向的膨胀，然后分别计算图像中各像素点的对比度、梯度以及色彩饱和度，最后综合纹理区和平滑区的评价结果，得到图像质量评价参数．

RGB是三原色空间，并不符合人类视觉系统对色彩的直观感知，因此本文采用文献[13]所提出色彩空间，将图像变换到YIQ色彩空间上．其中通道包含了图像的亮度信息，和通道包含了图像的色彩饱和度信息．

   (1)

人眼分辨景物细节的能力称为人眼分辨率，因为人眼的空间分辨率有限，因此对一些很细小的纹路很难看清楚．一般来说，人眼对于高亮度区域中的噪声敏感性较低[14]．因此本文分别对参考图像和失真图像的亮度通道在竖直方向上以3个像素点为单位进行线型膨胀，目的是消除纵向上长度小于3的纹路．变换后得到新的亮度变量new．预处理后，再将图像划分为纹理区域(texture region，TR)和平滑区域(smooth region，SR)，定义平滑区域为5×5的范围内未检测为边界的像素点的集合，其余区域为纹理区．考虑到Sobel算子对灰度渐变和噪声较多的图像处理效果较好，本文中使用的是Sobel边缘检测算子，如式(2)和式(3)所示．

图1 SMC-IQA方法的流程

Fig.1 Flow chart of SMC-IQA

(2)

(3)

(4)

式中：()和()分别为水平和竖直方向的梯度；new()是经过形态学变换后的亮度通道；()为综合计算水平方向和竖直方向梯度所得到的像素点的梯度幅度．

对于平滑区域的像素点采用对比度表征结构信息，其计算过程为

   (5)

   (6)

式中：BYnew()为像素点的背景亮度；CR()为像素点的对比度．

由相似性计算方程(7)，分别将参考图像的梯度、对比度、通道和通道的色彩饱和度带入r()，将失真图像的梯度、对比度、通道和通道的色彩饱和度带入d()进而分别得到参考图像和失真图像的梯度相似性矩阵G()、对比度相似性矩阵CR()和通道和通道的色彩相似性矩阵I()和Q()．

   (7)

人类视觉系统对每个像素点变化的敏感程度不同，一些像素点的特征变化更容易引起注意．每个像素点的视觉显著性不是由该像素点自身特征所决定的，而是由它与周围环境相比较所产生的特征所决定．人眼对图像边缘、轮廓信息的失真很敏感并且人眼对低频端的敏感度高于高频端[15]．因此对于纹理区域不采用视觉显著性算法，我们认为该区域中所有像素点都是图像的轮廓信息，人眼对于该区域中所有像素点失真的关注度相同．对于纹理区域本文采用如式(8)所示的方差来衡量像素点所处环境，进而表示人类对于该像素点失真的敏感性．其中，r()和d()分别是参考图像和失真图像在像素点的方差，二者的值越大越说明周围的图像结构越杂乱，杂乱区域的失真容易被人眼忽视，也就是说，VS数值越接近于1，说明该像素点的失真越容易被察觉，该像素点的视觉显著性越高．

   (8)

结合失真和参考图像的视觉显著性矩阵VS()、纹理区域的结构相似性矩阵G()、平滑区域的结构相似性矩阵CR()、色彩饱和度相似性矩阵I()和Q()，可以分别得到纹理区和平滑区的图像质量评价结果，具体如式(9)和式(10)所示．

     (9)

     (10)

式中为纹理区域中像素点的个数．对平滑区和纹理区所得评价结果取平均值，进而得到最后的失真图像质量评价结果，如式(11)所示．

     (11)

2 实验结果与分析

本实验使用3个最新的标准IQA测试库CSIQ[16]、TID2008[17]和TID2013[18]来评测该算法的总体性能，3个数据库的详细信息如表1所示．其中TID2013数据库含有的失真类型最多，参与的观察者也最多，因此该库的评测结果最具权威性．

表1 IQA测试标准库

Tab.1 Benchmark datasets for IQA indices

当失真图像与参考图像客观评价分值与主观分值(mean opinion scores，MOS)或差分主观分值(differential mean opinion scores，DMOS)接近时，则认为客观评价算法符合人类视觉系统的感知特性．图2为本文所提出的SMC-IQA算法在3个数据库中的散点图，从图中可以看出散点均集中于拟合曲线周围，这说明SMC-IQA算法评分与主观MOS评分具有较好的一致性．

为了定量地衡量出SMC-IQA评价算法的性能，本文采用视频质量专家组(video quality experts group，VQEG)[19]提出的4个评价指标来进行计算．其中斯皮尔曼等级相关系数(spearman rank-order correlation coefficient，SROCC)和肯德尔等级相关系数(kendall rank order correlation coefficient，KROCC)为预测单调性的指标，皮尔森线性相关系数(pearson linear correlation coefficient，PLCC)和均方根误差(root mean squared error，RMSE)为预测准确性的指标．其中PLCC和RMSE需要使用非线性回归方法，本文采用的非线性回归方程[18]，如式(12)所示．

图2 SMC-IQA 散点图

   (12)

一个性能好的IQA方法应具有较高的SROCC、KROCC、PLCC值和较低的RMSE值．将SMC-IQA算法和一些主要的IQA算法进行定量的比较，结果如表2所示．

由表2可以看出，本文的SMC-IQA算法在4个数据库中表现稳定且结果较好，4个指标在各数据库中均为前两名．虽然SLY评价方法在TID2008数据库中的部分指标优于本算法，但是它在其他两个数据库尤其是含有最多失真类型的TID2013数据库中表现较差．

根据数据库中失真图像的数量，对各算法指标加权平均后的结果如图3所示．蓝色为SROCC的值，红色为KROCC的值，灰色为PLCC的值，黄色为RMSE的值．从表2的6种算法的加权平均值比较结果可以看出，SMC-IQA的SROCC、KROCC、PLCC的值最高，RMSE的值最低，这说明SMC-IQA的性能优于其他评价方法．

图3 6种算法的加权平均值比较

为了进一步分析每一步处理对算法的优化，表3中列出在CSIQ数据库中无形态学重构和对于结构特征不分区域采取全梯度和全对比度评价后所得出的定量衡量结果．

表2 3个数据库上IQA指标的性能比较

Tab.2 Performance comparison of IQA indices on three benchmark databases

从表3的结果中可以看出，SMC-IQA完整算法的4个定量衡量结果均为最优，这说明形态学纵向膨胀的应用和分区域结构评价方法均对最终评价结果产生了有益的影响．

表3 SMC-IQA算法论证

Tab.3 SMC-IQA algorithm demonstration

3 结 语

本文提出了一种分区域多标准的全参考图像质量评价算法，结合形态学的理论，提出了纵向上形态学膨胀的图像预处理方法．同时，综合对比度和梯度的优势，提出了分区域多标准的结构评价方法，平滑区域的结构特征采用对比度表示，纹理区域的结构特征采用梯度表示．结合人类视觉系统特性，平滑区域使用方差表示人类视觉系统对该区域中各像素点失真的敏感度．综合平滑区域和纹理区域的图像质量评价结果，对两个区域的结果取平均值，得到最后的图像质量评价结果．3个大型数据库中的测试结果表明，SMC-IQA和其他经典图像质量评价方法和2015年提出的SLY算法相比，精确度更高，且算法中每个步骤对结果均起到了优化效果．实验结果证明，SMC-IQA与主观评价算法具有更好的相关性，更接近于人类视觉系统的实际感受．

［1］ 卫津津，金志刚. 非主观值训练的盲视频质量评价算法[J]. 天津大学学报：自然科学与工程技术版，2016，49(6)：562-566.

Wei Jinjin，Jin Zhigang. Blind video quality assessment strategy without subjective scores training[J]. Journal of Tianjin University：Science and Technology，2016，49(6)：562-566(in Chinese).

［2］ 李 钊，史再峰，李斌桥，等. 基于视觉显著性与对比度特性的图像质量评价[J]. 南开大学学报：自然科学版，2015，48(6)：46-52.

Li Zhao，Shi Zaifeng，Li Binqiao，et al. Image quality evaluation based on visual saliency and contrast characteristics[J]. Journal of Nankai University：Natural Science Edition，2015，48(6)：46-52(in Chinese).

［3］ 温 阳，夏小妹，杨 琳. 基于视觉注意的全参考彩色图像质量评价方法[J]. 计算机测量与控制，2017，25(6)：279-281.

Wen Yang，Xia Xiaomei，Yang Lin. A method of full reference color image quality assessment based on visual attention[J]. Journal of Computer Measurement and Control，2017，25(6)：279-281(in Chinese).

［4］ Wang Z，Bovik A C，Sheikh H R，et al. Image quality assessment：From error visibility to structural similarity[J]. IEEE Transactions on Image Processing，2004，13(4)：600-612.

［5］ Wang Z，Li Q. Information content weighting for perceptual image quality assessment[J]. IEEE Transactions on Image Processing，2011，20(5)：1185-1198.

［6］ Yang Y，Ming J. Image quality assessment based on the space smilarity decomposition model[J]. Signal Processing，2016，120(3)：797-805.

［7］ Shi Z F，Chen K X，Pang K，et al. A perceptual image quality index based on global and double-random window similarity[J]. Digital Signal Processing，2017，60(1)：277-286.

［8］ 闫钧华，朱 可，张婉怡，等. 基于显著性图像边缘的全参考图像质量评价[J]. 仪器仪表学报，2016，37(9)：2140-2148.

Yan Junhua，Zhu Ke，Zhang Wanyi，et al. Full reference image quality assessment based on significant image edge[J]. Journal of Instrumentation，2016，37(9)：2140-2148(in Chinese).

［9］ Sheikh H R，Bovik A C. Image information and visual quality[J]. IEEE Transactions on Image Processing，2006，15(2)：430-444.

［10］ Shi Z F，Zhang J P，Cao Q J，et al. Full-reference image quality assessment based on image segmentation with edge feature[J]. Signal Processing，2018，145(4)：99-105.

［11］ Chandler D M，Hemami S S. VSNR：A wavelet-based visual signal-to-noise ratio for natural images[J]. IEEE Transactions on Image Processing，2007，16(9)：2284-2298.

［12］ Yuan Y，Guo Q，Lu X. Image quality assessment：A sparse learning way[J]. Neurocomputing，2015，159(4)：227-241.

［13］ Yang C C，Kwok S H. Efficient gamut clipping for color image processing using LHS and YIQ[J]. Optical Engineering，2003，42(3)：701-711.

［14］ 宋琼琼，贾振红. 基于人眼视觉特性的自适应中值滤波算法[J]. 光电子·激光，2008，19(1)：128-130.

Song Qiongqiong，Jia Zhenhong. Adaptive median filter algorithm based Oil human visual system[J]. Journal of Optoelectronics·Laser，2008，19(1)：128-130(in Chinese).

［15］ 付 伟，顾晓东. 基于人眼视觉特性的EZW图像编码改进算法[J]. 微电子学与计算机，2010，27(3)：47-50.

Fu Wei，Gu Xiaodong. Improved EZW image encoding algorithm based on HVS[J]. Microellectronics & Computer，2010，27(3)：47-50(in Chinese).

［16］ Larson E C，Chandler D M. Most apparent distortion：Full-reference image quality assessment and the role of strategy[J]. Journal of Electronic Imaging，2010，19(1)：011006 1-21.

［17］ Ponomarenko N，Lukin V，Zelensky A，et al. TID2008-adatabase for evaluation of full-reference visual quality assessment metrics[J]. Advances of Modern Radioelectron，2009，10(4)：30-45.

［18］ Ponomarenko N，Ieremeiev O，Lukin V，et al. Color image database TID2013：Peculiarities and preliminary results[C]// Proceeding of European Workshop on Visual Information Processing. Paris，France，2013：106-111.

［19］ VQEG. Final Report from the Video Quality Experts Group on the Validation of Objective Models of Video Quality Assessment [EB/OL]. http：//www.vqeg.org，2000-03-15.

Sub-Regional and Multiple Criteria Full-Reference Image Quality Assessment

Cao Qingjie1, 2，Shi Zaifeng1, 3，Zhang Jiaping1，Li Hangyuan1，Gao Jing1, 3，Yao Suying1

(1. School of Microelectronics，Tianjin University，Tianjin 300072，China； 2. School of Mathematical Sciences，Tianjin Normal University，Tianjin 300387，China； 3. Tianjin Key Laboratory of Imaging and Sensing Microelectronic Technology，Tianjin 300072，China)

Image quality assessment is widely used in image collection，image compression，and image transmission. It is one of the research hotspots in image processing. This article proposes a full-reference image quality assessment algorithm，which simulates human visual perception with varying sensitivity to different regions. With this method，image color space was transformed from RGB to YIQ for consistency with the human visual system. A morphological dilation method was used during pretreatment，and all edge pixels were marked by edge detection operators. Thereafter，the image was segmented into texture region and smooth region according to whether or not the edge points were included in the 5×5 neighborhood. A gradient value was used to assess the structural parameters of the texture region. The variance in reference image and distorted image at a pixel level was used to assess pixel distortion. For pixels in the smooth region，the contrast value was used to assess the structure features，and a synthesis strategy based on visual salience was adopted. The image quality assessment results can be obtained by combining the visual saliency matrix，structure similarity matrix SCR()，and color saturation matrix of distortion and reference images. The final image quality assessment index(SMC-IQA)was the mean of the results from two kinds of regions. Experiments were conducted on the CSIQ，TID2008，and TID2013 databases. Compared with state-of-the-art image quality assessment methods，experiment results show that this algorithm is closer to subjective assessment index by the human visual system.

full-reference image quality assessment；sub-region；morphology；edge detection

10.11784/tdxbz201806030

TP391.41

A

0493-2137(2019)06-0625-06

2018-06-14；

2018-11-15.

曹清洁（1978—  ），女，博士研究生，讲师，qingjiecao@tjnu.edu.cn．

史再峰，shizaifeng@tju.edu.cn.

国家自然科学基金资助项目(61674115)；天津市自然科学基金资助项目(17JCYBJC15900).

the National Natural Science Foundation of China(No.61674115)，the Natural Science Foundation of Tianjin，China(No.17JCYBJC15900).

(责任编辑：王晓燕)