基于结构显著性的医学图像质量评价

张剑华，张自然，汪晓妍，管　秋

(浙江工业大学 计算机科学与技术学院，浙江 杭州 310014)

基于结构显著性的医学图像质量评价

张剑华，张自然，汪晓妍，管秋

(浙江工业大学 计算机科学与技术学院，浙江 杭州 310014)

摘要：为提高医学图像质量预测精度，检验和优化医学图像处理算法，提出了一种基于结构显著性的医学图像质量评价方法.首先，分别计算参考图像和失真图像的相位一致性、梯度相似性，然后计算参考图像的结构显著性图谱，最后结合两幅图像的相位一致性信息和梯度幅度信息生成局部质量图谱，并用结构显著性图谱作为视觉权重生成最终的图像质量分数.经医学影像质量基准库测试，客观评估结果与主观评估结果的Pearson相关系数达到89%，Spearman相关系数达到86%.实验结果表明该方法优于传统评价方法，具有较高的可靠性.结构显著性模型不仅能反应人眼自适应提取场景结构信息的能力，而且还能分层次地描述不同图像结构的结构性.对人眼视觉特性的研究与应用有助于提高图像质量评价方法的可靠性.

关键词：医学图像；质量评价；相位一致性；结构显著性

Medical image quality assessment based on structural saliency

ZHANG Jianhua, ZHANG Ziran, WANG Xiaoyan, GUAN Qiu

(College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310014, China)

Abstract:Aiming to improve the prediction accuracy of the quality of medical images, test and optimize the image processing algorithms, an approach based on structural saliency is proposed. Firstly, the phase congruency and gradient similarity between the reference image and the distorted image are generated. Secondly, the map of structural saliency for the reference image is computed. Finally, combining the phase congruency and gradient similarity of two images are combined to generate local mass spectrum. The structural saliency map is served as pooling strategy to produce the quality score. Extensive experiments carried on the benchmark database show that Pearson correlation coefficient between the objective scores and subjective scores reaches 89%, and the spearman-coefficient reaches 86%. The research and application of human visual characteristics can improve the accuracy and reliability of objective medical image quality assessment.

Key words:medical image; quality assessment; phase congruency; structural saliency

医学图像在疾病诊断及治疗中有着重要的临床意义.医学图像成像原理不同于普通图像，它需要在计算机辅助下通过某种数学方法重建得到[1].影像在信息采集、数学重建、后期处理、存储及传输过程中都会受到噪声干扰而影响其图像质量.图像质量将直接影响到医疗诊断的准确性.医学图像质量评价方法主要分为两类，即主观评价方法和客观评价方法.主观评价方法由专业医师对图像给出主观评价意见，其优点是可信度高，但缺点也很明显：耗时长，成本高，且不可重复.客观评价方法则是基于数学模型的自动化评价方法，其优点在于成本低、易实现，且具有可重复性的优点[2].由于医学影像设备通常会生成大量图像，所以有必要开发出一个有效的客观图像质量评价方法.该图像质量评价方法将可用于自动监督和调整图像质量，优化成像系统的算法和参数设置，同时也可作为衡量各种图像处理算法性能的重要指标.例如，古辉[3]和廖锋峰[4]通过图像质量来证明其图像编码算法具有优秀的性能，杨建锋[5]则通过图像质量来证明其提出的流媒体传输控制方案的有效性.

笔者对传统医学图像质量评价方法进行了阐述与分析，针对目前存在的问题，提出了相位一致性、梯度幅度和人眼视觉结构显著性相结合的综合性评价指标，从而提升了医学图像质量客观评价方法的可靠性.在该方法中，相位一致性和梯度幅度能有效反映图像局部细节特征，结合二者可得到图像局部质量图谱.结构显著性则能很好反映人眼视觉对结构信息的敏感性，而且对不同结构信息有不同敏感程度.最终的实验结果证明该方法的性能明显优于传统医学图像质量评价方法，对医学图像质量的评估有较高的可靠性.

1传统的医学图像质量评价方法

1.1基于统计数据图像质量评价方法

基于统计数据的图像质量评价方法主要有均方误差(Mean square error, MSE)以及峰值信噪比(Peak signal noise ratio, PSNR),这类算法物理意义明确、计算简单，是目前最常用的图像质量评价指标，MSE和PSNR分别定义为

(1)

(2)

式中：x和y分别代表参考图像和与其相对应的失真图像；图像尺寸为M×N；L为图像总灰度级数；MSE为两幅图像间的均方误差.

1.2基于结构信息的图像质量评价方法

Wang[2]提出了SSIM评价方法，该方法最初应用于自然图像上，获得了较好的效果.有研究者将其应用于医学图像上也同样获得了不错的效果[6-8].该方法对两幅图像间的结构相似性进行评价，从3个图像特征上进行描述，并给3个特征赋以不同的权重.具体包括亮度比较因子l(x,y)、对比度比较因子c(x,y)和结构比较因子s(x,y),SSIM被定义为

SSIM(x,y)=l(x,y)a·c(x,y)β·s(x,y)γ

(3)

另外，还有很多基于SSIM的改进方法，段影影等提出了医学图像质量评价中的梯度权重评价方法GWSSIM和基于梯度方向的评价方法GDSSIM[7,9],都提高了算法的准确性.另外由于人眼对不同区域具有不同的关注度，因此，也可以将图像分解成若干图像块，利用SSIM方法计算出每小块的评分，然后计算每小块分数均值得到整体图像质量分数为

(4)

式中M为图像所分的块数.

基于梯度方向的评价方法GDSSIM则是将SSIM中的对比度因子和结构因子替换为梯度大小和梯度方向因子，其具体定义为

GDSSIM(x,y)=α·l(x,y)+β·c(xG,yG)+

γ·s(xD,yD)

α+β+γ=1

(5)

式中：xG和xD分别为参考图像的梯度大小矩阵和梯度方向矩阵；参数α,β,γ用以调整3个因子的权重；x,y分别为原始参考图像和失真图像.

基于梯度加权结构相似性的评价模型GWSSIM利用梯度信息代替了SSIM中的结构比较因子，其具体定义为

(6)

该方法采用Sobel算法对图像进行梯度的计算，求出参考图像x和失真图像y的梯度信息，并计算出权值矩阵.

1.3Q指标评价方法

Q指标评价方法是一个通用的图像质量评价方法，其表达式为

(7)

式中：

Q的动态范围为[-1,1]，当y=x时，获得最佳分数值.通过对每一个图像块计算分数值，就可以得到图像的质量图谱，最终的图像质量分数定义为所有每个图像块分数Qi的平均值，即

式中M为图像所分的块数.

1.4传统方法存在的问题

基于统计数据的评价方法是单纯从数学统计的角度出发，将图像看成孤立点集合，而忽略局域像素间的相关性.这就决定了该方法在处理结构性失真时不能给出准确的质量评价结果.同时它将信号误差等同于质量的视觉感知，这也不符合HVS视觉特性.PSNR对于噪声失真能做出较准确的判断，但对于其他类型失真也并不适用.

SSIM及其改进方法主要基于人眼视觉系统高度自适应提取场景中的结构信息的特性来进行图像质量评估.SSIM方法从图像局部亮度、对比度和结构三方面来度量参考图像与失真之间的相似性，得到图像质量图谱后采用求均值的方法获得一个整体的质量分数.该类方法性能优于早期方法，但依旧达不到实际应用所需的可靠性.

2基于结构显著性医学图像质量评价

2.1图像相位一致性

Oppenhei和Lim[10]通过实验表明在表达图像特征方面相位信息比幅度信息要重要得多，其作者通过交换两幅图像的相位和梯度信息生成了两幅新图像，新图像的基本内容与其所使用的相位信息保持一致.该实验表明图像变换到频域后其相位信息包含了图像的基本特征.

Morrone和Owens[11]认为图像的特征出现在傅里叶分量的相位值最大的地方.几乎所有的特征都伴随着较高的相位一致性，而且人眼视觉皮层对相位一致性结构有较强的敏感性.另外，Kovesi[12]给出了一种相位致性的计算模型，该模型采用了在计算机视觉和感知领域里应用极为广泛的log-Gabor小波来进行计算.在2D图像中，每个像素的相位一致性可以定义为

PC(x,y)=

(8)

Δφ(x,y)=cos[φn(x,y)-φ(x,y)]-

(9)

式中：m和n分别表示方向尺度个数；Aji(x)和Φji(x)分别表示在第i个方向第j个对数尺度上的幅度和局部相位偏差；Ti表示第i个方向上的估计噪声；Wi表示第i个方向上的权重函数.

2.2梯度幅度

梯度幅度是一种空域上的低水平的图像特征，该特征虽然简单但却非常有效.梯度幅度可用卷积核来计算，常用的梯度算子有Scharr算子，Prewitt算子和Sobel算子.用GM来表示图像梯度幅度，并定义为

(10)

式中Gx和Gy分别表示图像f(x)在水平和竖直方向上的偏导数.各梯度算子间差异不大，这里采用Zhang[13]推荐的Scharr算子，其定义为

(11)

(12)

2.3结构显著性模型

由前两小节的相位一致性信息与梯度幅度信息可生成图像的质量图谱，但对于如何将质量图谱转换成一个标量的质量分数则需要科学地分析.人眼视觉具有结构显著性特性，不同的结构信息对人眼有不同的吸引程度.笔者采用全局边缘概率的方法[14]来实现该结构显著性模型，并通过实验证明该模型非常适用于表达人眼在感知图像质量时的视觉特性.

该边缘概率的方法[14]最初应用于边缘检测，其主要思想是通过计算亮度、色彩和纹理三个通道的梯度方向信息来得到边缘概率.对于亮度通道，使用被一条直径分割成两半的圆作为窗口，通过调整直径的方向，计算出两个半圆所对应的直方图g和h.用χ2表示直方图g和h之间的距离，并定义为

(13)

纹理和色彩通道也用同样的方式进行处理.同时该作者还通过多尺度的方式将局部亮度和纹理信息结合起来，最终全局边缘概率定义为

γ·sPb(x,y,θ)

(14)

式中：β与γ为权重参数；G为带方向的梯度信号；sPb为边界概率.如图1所示，图1(a)为参考图像，图1(b，c)分别为相位一致性图和梯度幅度图，图1(d)为结构显著性图.

图1　参考图像及相应的特征图Fig.1　The reference image and the corresponding feature maps

2.4综合性评价指标

图2给出了图像质量综合评价指标的算法流程图，图2中Ref和Dst分别代表标准参考图像和失真图像，通过度量失真图像与标准参考图像间的相似程度来决定失真图像的质量.

图2　算法流程图Fig.2　The flow chart of the algorithm

首先，分别计算Ref与Dst对应的相位一致性图，用PC1和PC2来表示.同样地，计算出其相应的梯度幅度图，用G1和G2来表示.PCS为PC1和PC2的相似性图，用PCS(x)表示相位一致性图的相似性，PCS可以定义为

(15)

式中：c1是一个小正数常量以避免分母为0的情况；GMS为G1和G2的相似性图谱.用GMS(x)表示梯度幅度图的相似性，GMS可以定义为

(16)

式中：G1和G2分别是参考图和失真图的梯度幅度图；c2是一个小正数常量以避免分母为0的情况.通过结合相位一致性图和梯度图可以得到局部质量图，用Q(x)表示为

Q(x)=PCS(x)·GMS(x)

(17)

物体边界通常占据主要的视觉注意力，结构显著性模型用于量化人眼对图像结构信息的敏感度.这里用SSM(x)表示该结构显著性模型所得的权重图，用IQS(x)表示最终图像质量分数，具体定义为

(18)

式中x表示图像在空域Ω上的每个像素.

3实验结果及分析

3.1图像库及分数指标

目前就我们所知：在医学图像质量评价方面，尚未有公开可用的图像质量评价基准库，已有的相关研究中普遍采用少量的医学图像作为实验数据，解剖位置单一、影像模态有限.针对这种情况，建立了较为全面的医学图像库，其中涉及到头部，胸腔，腹部，四肢等部位，模态有常见的CT,MR等.参考图像共15幅，图3列出其中4幅，失真模拟包括较常见的4种，即模糊失真、噪声失真、对比度失真和压缩失真.同时每种失真类型根据失真程度分为5个等级，共有300幅实验图像，经过4位放射科医师给图像质量进行主观评分.由于篇幅限制，医学图像质量基准库的各项统计数据不再给出.

图3　图像库中部分参考图像Fig.3　Four reference images from the image database

通过计算每幅图像客观评分，并同标准库主观平均分数(MOS)进行拟合，从而得到实验结果.这里采用了3种常用的评价标准与传统评价方法所得结果进行比较，分别为Spearmanrank-ordercorrelationcoefficient(SRC)，Pearsoncorrelationcoefficient(PCC) 与Rootmeansquareerror(RMSE).这些指标用于计算客观评价分数与图像库主观评价分数经过非线性回归以后的结果的相关性，相关性越高表示所采用的评价方法越有效，反之亦然.这里采用其他相关文献中使用最多的非线性回归函数[15]为

(19)

式中β1～β5为回归参数.

3.2结果对比与分析

实验结果统计如表1～5所示.表1～5中最佳及次佳数据加黑显示，对于PLC和SRC而言，较高的分数意味着较好的相关性，而对于RMSE而言，较低的分数表示较好的相关性.表1～4分别给出了不同评价方法在模糊失真、压缩失真、对比度失真和噪声失真4类失真图像上的性能比较，笔者方法都获得较好的结果.表5给出了6种方法性能的综合性比较，笔者方法明显优于其他传统方法.

表1　六种评价方法在模糊失真图像上的性能比较

表2　六种评价方法在压缩失真图像上的性能比较

表3　六种评价方法在对比度失真图像上的性能比较

表4　六种评价方法在噪声失真图像上的性能比较

表5　六种评价方法的综合性能比较

4结论

医学图像从功能意义上不同于自然图像，其主要作用是辅助医生进行医疗诊断.研究医学图像质量评价模型对于优化成像算法、监控调整图像质量及提供系统参数设置有重要意义.鉴于传统的图像质量评价方法大多基于简单的统计性数据，在对图像基本特征进行描述的同时还结合了一定的人眼视觉特性.人眼能够自适应地提取场景中的结构信息，而且不同的结构也会不同程度上吸引人眼视觉注意力.在利用能较好反应图像基本特征的相位一致性信息的基础上，又结合了反应人眼重要视觉结构敏感性的结构显著性模型，从而获得了明显优于传统评价方法的性能，并显著提升了图像质量评价方法的可靠性.但不可否认的是目前人类对人眼视觉特性的研究及利用还不够深入和充分，而且又由于医疗诊断对效率以及准确性有着高标准要求，所以对医学图像质量评价方法还需要进行持续深入地研究.

参考文献：

[1]DAMERA-VENKATA N, KITE T D, GEISLER W S, et al. Image quality assessment based on a degradation model[J]. IEEE Transactions on Image Processing,2000,9(4):636-650.

[2]WANG Zhou, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing,2004,13(4):600-612.

[3]古辉,陈强.H.264帧内预测模式选择改进算法[J].浙江工业大学学报,2014,42(2):204-209.

[4]廖锋峰，郭行波,刘文捷.基于小波变换的图像编码研究[J].浙江工业大学学报,2010,38(2):197-201.

[5]杨建锋,孟利民.视频监控系统中实时流媒体传输控制方法的设计[J].浙江工业大学学报,2012,40(4):454-457.

[6]郭龙,郑剑.基于梯度方向信息的医学图像质量评价方法研究[J].计算机科学,2012,39(12):278-280.]

[7]段影影,马建华,陈武凡,等.改进的结构相似医学图像质量评价方法[J].计算机工程与应用,2010,46(2):145-149.

[8]RAO T V N, GOVARDHAN A. Assessment of diverse quality metrics for medical images including mammography[J]. International Journal of Computer Applications,2013,83(4):42-47.

[9]段影影,陈武凡,冯前进,等.医学图像质量评价中的梯度加权SSIM[J].计算机工程与应用,2011,47(24):205-210.

[10]OPPENHEIM A V, LIM J S. The importance of phase in signals[J]. Proceedings of the IEEE,1981,69(5):529-541.

[11]MORRONE M C, OWENS R A, Feature detection from local energy[J]. Pattern Recognition letters,1987,6(5):303-313.

[12]KOVESI P. Phase congruency: a low-level image invariant[J]. Psychological Research,2000,64(2):136-148.

[13]ZHANG Lin, ZHANG Lei, MOU Xuanqin. FSIM: a feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing,2011,20(8):2378-2386.

[14]ARBELAEZ P, MAIRE M, FOWLKES C, et al. Contour detection and hierarchical image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(5):898-916.

[15]褚江,陈强,杨曦晨.全参考图像质量评价综述[J].计算机应用研究,2014,31(1):13-22.

(责任编辑：陈石平)

《浙江工业大学学报》入编北京大学中文核心期刊(2014年版)

接北京大学《中文核心期刊要目总览》编辑部的通知，依据文献计量学的原理和方法，经研究人员对相关文献的检索、统计和分析，以及学科专家评审，《浙江工业大学学报》入编《中文核心期刊要目总览》2014年版(即第七版)之“综合性科学技术类”的核心期刊.据内部信息，这次“综合性科学技术类”的核心期刊入围前120位，我校《学报》排序95位，比2011年(131位)提升了36位.这是学术期刊社继2013年《发酵科技通讯》主管主办单位成功变更我校后，期刊质量提升的又一个标志性的成果.

学术期刊社

文章编号：1006-4303(2015)06-0636-06

中图分类号：TP391.4

文献标志码：A

作者简介：张剑华(1981—)，男，江西铅山人，讲师，博士，研究方向为医学图像处理和机器人视觉，E-mail：zjh@zjut.edu.cn.

基金项目：国家自然科学基金资助项目(61305021,11302195,61103140)；浙江省科技厅公益基金资助项目(2014C31102)

收稿日期：2015-05-19