基于离散小波变换的多模态医学图像融合改进算法的研究*

徐　磊，崔　璨，张华伟，孟庆乐，杨　瑞，田书畅，蒋红兵△

(南京医科大学附属南京医院/南京市第一医院：1.医疗设备处；2.核医学科，江苏南京 210006)



基于离散小波变换的多模态医学图像融合改进算法的研究*

徐磊1，崔璨2，张华伟1，孟庆乐2，杨瑞2，田书畅1，蒋红兵1△

(南京医科大学附属南京医院/南京市第一医院：1.医疗设备处；2.核医学科，江苏南京 210006)

目的提出一种改进的离散小波变换算法，并将其用于多模态医学图像融合。方法将源图像经过离散小波变换分解为高频和低频子图像；高频部分采用方向绝对值取大，能有效地保存图像的细节信息，低频部分使用区域能量比融合规则，保存了图像的绝大部分信息；用离散小波逆变换将融合子图像重构成融合图像。结果由3组医学图像融合效果比较可知，该算法在主观视觉效果和客观评价指标方面均优于现存的其他算法。结论该医学图像融合算法快速准确，在噪声环境和临床实例中均表现优越，可以获得较高质量的融合图像，具有较高的临床应用价值。

离散小波变换；多模态；图像融合；融合规则

随着医学影像技术、计算机技术及生物医学工程技术的发展，医学影像设备为临床诊断、治疗提供了多种模态的医学图像，如CT、磁共振成像(MRI)、单光子发射计算体层摄影术(SPECT)、正电子发射计算机体层摄影(PET)、超声图像等。由于各种模态的成像原理不同，不同模态图像之间存在互补与冗余[1]。例如，CT成像可以定位肿瘤病灶，MRI成像可以获得非常清晰的软组织图像，然而任意一种成像模态不可能在一幅图像中同时包含全面互补的信息。医学图像融合可以将不同模态图像的相关互补信息融合在一起，被广泛应用于非侵入性诊断、图像引导照射、放疗计划等方面。

按照图像融合处理的不同阶段，图像融合处理通常分为3个层次：像素级融合、特征级融合、决策级融合[2]。目前大多数的图像融合算法都是基于像素级的，因为像素级融合直接作用于图像像素，能提供比特征级融合和决策级融合更丰富可靠的信息，有利于图像的进一步分析、处理与理解。根据多年来国内外在图像融合领域的研究成果[3-5]，像素级图像融合方法大致可分为两类：基于空间域的融合算法和基于变换域的融合算法。空间域融合方法直接在图像的像素灰度空间上进行融合，主要包括加权平均法、主分量分析法、统计模型、人工神经网络方法等，空间域融合的最大缺点是空间失真和不能提供图像频率信息，由于医学图像灰度分布不均，且对比度较差，图像易失真和受到噪声的影响，然而基于频率域的融合算法可以克服空间域融合算法的局限性。

基于频率域的融合算法有金字塔变换、离散小波变换、轮廓波变换、曲波变换等。金字塔变换存在块状模糊效应、没有方向性信息和较低的信噪比等缺点。一些高级的小波变换如轮廓波变换、曲波变换声称融合效果较离散小波变换好，但计算较复杂，且需要较大的计算内存。离散小波变换由于具有多分辨率、变尺度、快速运算及与人视觉的空间频率多通道相吻合等特性，被广泛应用于图像处理领域，并且成为图像融合领域的重要算法[6-8]。本文主要研究像素级离散小波变换的医学图像融合算法，提出低频区域能量比取大、高频方向系数绝对值取大相结合的融合规则，并对融合图像进行一致性检验，现报道如下。

1　材料与方法

1.1材料为了验证本文提出算法的普适性、抗干扰性和实用性，选取3组不同的医学图像进行测试，每组包括两幅源图像：(1)脑部CT图像和MRI图像；(2) 带有5%高斯噪声的脑部CT图像与MRI图像；(3) MR-T1加权的脑部图像和MR-T2加权的脑部图像。3组图像尺寸均为256×256，具有256个灰阶。

1.2方法

1.2.1离散小波变换基本理论对于一个给定信号F(x)的离散小波变换可看成是用尺度函数ø(x)和小波函数ψ(x)对其进行分解与重构。其中，信号分解由尺度系数l(k)和小波系数h(k)进行，信号F(x)在任意尺度J上进行小波分解可表示为[9]：

(1)

C(j,k)和D(j,k)是在尺度J上的尺度系数和小波系数，可由公式(4)和(5)计算[10]。

(2)

(3)

信号重构由尺度系数l(k)和小波系数h(k)共同完成，由公式(4)给出[11]。

(4)

信号的向前与向后分解提供在不同尺度上进行多尺度信号分解的依据，小波分解提供水平、垂直、对角3个空间方向的信息，分解后的信号由以下尺度函数和小波函数来表示[12]。

(5)

基于离散小波变换的二维图像分解过程如图1所示，可以看出二维离散小波变换可提供不同层次上的多分辨率分解。图1A代表3层离散小波分解，图1B给出 Lena图像的2层小波分解。

1.2.2离散小波变换的图像融合过程离散小波变换是一种快速多尺度的图像融合方法，有着特征区域、多分辨率分解、边缘检测、解相关、能量压缩等优势。离散小波变换的图像融合过程，见图2。具体图像融合的一般过程：(1)选择已配准的图像作为源图像；(2)选取合适的小波基函数和分解层数对图像进行离散小波变换；(3)采用高低频融合规则对高低频子图像进行融合处理；(4)：将融合后的子图像进行小波逆变换即得融合图像，并对融合图像质量进行评价。

A：3层离散小波变换分解；B：Lena图像的2层分解。

图1二维图像的离散小波变换分解

图2　　基于离散小波变换的图像融合过程

1.2.3低频系数融合规则由于医学图像的能量主要集中在低频部分，且图像的有用特征是基于区域而不是由一个像素点来体现，因此低频系数融合规则采用区域能量比，该方法可以有效地提高图像对比度和亮度，突出图像感兴趣区域。区域能量定义为[13]：

(6)

图像的区域能量比P,也称相似性测度，反映图像之间的相似性，表示为：

(7)

用相似性测度P对图像的频域特性进行度量，当P接近1时，认为两区域具有某种相似性，否则认为两区域差异较大。设定相似度阈值,根据P与T的大小关系决定融合规则。表示融合后图像的低频系数。

(8)

1.2.4高频系数融合规则对于高频系数，融合规则采用基于频带方向绝对值取大。由于小波分解后的3个高频具有一定的方向性，分别代表水平、垂直和对角线方向的细节部分，在同一尺度上，3个高频子图像中对应位置的小波系数大小不等，图像的细节部分主要集中在小波系数较大的方向上，图像融合时就选用该方向上的小波系数。公式如下：

(9)

1.2.5小波基函数的选择与一致性检验小波基函数是源图像分解的工具，目前常用的小波基函数有：Haar小波基、Daubechies(DbN)小波基、Coiflet小波基、Symlets小波基等，相关文献报道表明Db3小波基函数的分解效果最优[14-16]，故选取该函数作为小波基。一致性检验是基于图像区域“多数”原则进行的。具体做法为：在融合子图像中，若某一分解系数来自子图像A，而它的领域中大多数系数却来自子图像B，则将该点的系数用子图像 相应位置的系数替换。

1.3图像融合评价体系目前评价融合图像质量的方法主要分为两类：主观视觉评价和客观指标评价[17-18]。主观评价主要是基于人眼目测的方法，图像质量评价参考标准为图像对比度、清晰度、亮度等指标。客观评价指标数目繁多，不同文献选用的评价指标差异很大，存在评价指标冗余或不足的现象。本文将客观评价指标分为5类：基于信息量的评价、基于统计量的评价、基于相关性的评价、基于梯度值的评价和基于信噪比的评价，从每个类别中选取具有代表性的评价指标作为客观评价标准，分别为交叉熵、标准差、相关系数、平均梯度和峰值信噪比。其中交叉熵值越小，说明图像融合效果越好；标准差、相关系数、平均梯度和峰值信噪比在一定范围内，数值越大，说明融合图像质量越好。

2　结　　果

2.1医学图像融合结果将本文提出的融合算法与现有的典型算法进行比较，3组医学图像融合结果，见图3～5。定量评价结果见表1、2和图6。

a：脑部CT图像；b：脑部MRI图像；c～g：本文提出算法分解层数2～6层的结果；h：主分量分析法；i：高斯变换法；j：拉普拉斯变换法；k：轮廓波变换法；l：非下采样轮廓变换法。

图3 第1组医学图像的融合结果

a：含5%高斯噪声的脑部CT图像；b：含5%高斯噪声的脑部MRI图像；c：本文提出的算法；d：主分量分析法；e：高斯变换法；f：拉普拉斯变换法；g：轮廓波变换法；h：非下采样轮廓波变换法。

图4含噪声的多模态医学图像融合结果

a：MR-T1加权图像；b：MR-T1加权图像；c～h：图像融合方法：c为本文提出的算法，d为主分量分析法，e为高斯变换法，f为拉普拉斯变换法，g为轮廓波变换法，h为非下采样轮廓波变换法。

图5肿瘤患者的脑部图像

2.2主观视觉评价3组图像的融合结果分别见图3～5，图3c～l、4c～h、5c～h分别对应本文提出的算法与主分量分析法、高斯金字塔变换法、拉普拉斯金字塔变换法、轮廓波变换法及非下采样轮廓波变换法的融合结果，从视觉效果看，基于本文提出算法的融合图像具有较高的视觉分辨率、对比度和清晰度，图像质量较佳，表明本文融合算法的可行性与优越性。

2.3客观定量评价

2.3.1常规的医学图像融合结果定量分析第1组医学图像融合结果的客观指标，见表1，使用本文提出的融合方法时，可以得出3点结论：(1)分解层数较低时，融合图像评价指标接近于其他方法；(2)当分解层数为6时，标准差、相关系数和平均梯度均最大，交叉熵值接近非下采样轮廓波变换得到的值。(3)当分解层数大于3时，融合图像评价指标变化微弱。

表1　　第1组医学图像融合结果定量评价比较

2.3.2噪声环境下的医学图像融合第2组医学图像各用5%的高斯噪声腐蚀，离散小波分解层数选为3。交叉熵、标准差、相关系数和平均梯度不能充分评价噪声环境下图像融合效果，本文引入峰值信噪比以便更科学地评价融合图像质量。本文所用方法的融合图像峰值信噪比值最高，说明在噪声环境下本文提出的融合算法依然有效，见图6。

图6　　在噪声环境下的不同融合方法所得的峰值信噪比

2.3.3临床应用实例第3组是一个脑部肿瘤诊断的临床实例图像，见图5a、b。本文提出的图像融合方法提供比其他方法更高的肿瘤对比度和清晰度，如图5中红色箭头所示。基于本文提出算法所得的融合图像评价指标中标准差、相关系数、平均梯度值均最大，交叉熵值接近于表中最小值，见表2。

表2　　临床医学图像融合结果的定量评价比较

3　结　　论

多模态医学图像融合在临床应用中至关重要，但是获得高质量的融合图像依然具有挑战。本文提出了一种基于离散小波变换的图像融合改进算法，主要创新点如下：(1)提出一种新颖的高低频融合规则，克服了传统融合规则的局限性，其中区域能量比方法能更好地保存低频能量，高频方向系数绝对值取大可突出细节信息；(2)使用离散小波变换法进行图像融合时，如果选取合理的融合规则，即使分解层数较低时，依然可以得到较好的融合效果；(3)不管在噪声环境下，还是在临床实例应用中，本文提出的算法均表现出良好的融合效果。

主观视觉评价和客观定量比较同时证明了本文提出算法的有效性，不仅可以减少图像信息丢失，还很好地突出了细节纹理部分，减少了图像伪影，提供高对比度的视觉效果。在以后的工作中，将会联合使用Matlab和C++设计并开发出一个医学图像融合平台，减少响应时间，并推广到3D医学图像融合。

综上所述，理论分析和实验结果证实，本文提出的算法快速有效，抗干扰性强，具有较高的临床应用价值。

[1]高峰，李梅，仇振钊，等．一种多模态医学图像数据融合方法与应用[J]．中国医疗设备，2013，28(5)：164-167．

[2]张彬，郑永果，马芳，等．基于小波变换的多模态医学图像融合算法[J]．重庆医学，2011，40(7)：652-654．

[3]张鑫,陈伟斌.Contourlet变换系数加权的医学图像融合[J].中国图象图形学报,2014,19(1):133-140.

[4]Bedi SS，Khandelwal R．Comprehensive and comparative study of image fusion techniques[J]．Int J Soft Computing and Engineering，2013，37(1)：4242-4248．

[5]Pradhan PS，King RL，Younan NH，et al．Estimation of the number of decomposition levels for a wavelet-based multiresolution multisensor image fusion[J].IEEE Trans Geosci Remote Sens，2006，44(12)：3674-3686．

[6]Singh R，Srivastava R，Prakash O，et al．Multimodal medical image fusion in dual tree complex wavelet transform domain using maximum and average fusion rules[J]．J Med Imag Health In，2012，2(2)：168-173．

[7]Yang Y，Park DS，Huang S，et al．Fusion of CT and MR images using an improved wavelet based method[J]．J X-Ray Sci Technol，2010，18(2)：157-170．

[8]Singh R，Khare A．Multiscale medical image fusion in wavelet domain[J]．Scientific World J，2013(2013)：521034．

[9]郭雷，程塨，赵天云，等.基于小波变换和邻域特征的多聚焦图像融合算法[J].西北工业大学学报，2011，29(3)：454-459.

[10]胡俊峰，唐鹤云，钱建生，等.基于小波变换医学图像融合算法的对比分析[J].中国生物医学工程学报，2011，30(2)：196-205.

[11]朱健，石跃祥.基于小波变换的一种改进融合规则的图像融合[J].计算机工程与应用，2011，47(11)：185-186.

[12]Zhang X，Li X，Feng Y．A new image fusion performance measure using Riesz transforms[J]．Optik-Int J Light Electron Optics，2014：125(3)：1427-1433．

[13]James AP，Dasarathy BV．Medical image fusion: a survey of the state of the art [J]．Inform Fusion，2014，19(3)：4-19．

[14]唐艳秋，张星祥，李新娥，等.基于人眼视觉灰度识别特性的图像动态范围小波变换处理方法[J].液晶与显示，2012，27(3)：385-390.

[15]余汪洋，陈祥光，董守龙，等.基于小波变换的图像融合算法研究[J].北京理工大学学报，2014，12(34)：1262-1266.

[16]李俊峰，姜晓丽，戴文战.基于提升小波变换的医学图像融合[J].中国图象图形学报，2014，11(19)：1639-1648.

[17]张建勋，牛文宾，张凯文，等.一种改进的基于小波变换的图像融合算法[J].重庆理工大学学报(自然科学)，2012，26(1)：61-65.

[18]高清河，刚晶，王和禹，等.基于小波变换的多模态医学图像的融合及性能评价[J].生物医学工程研究，2014，4(33)：259-263.

Study on improved algorithm for multimodal medical image fusion based on discrete wavelet transform*

XuLei1，CuiCan2，ZhangHuawei1，MengQingle2，YangRui2，TianShuchang1，JiangHongbing1△

(1.DepartmentofMedicalEquipments; 2.DepartmentofNuclearMedicine,AffiliatedNanjingHospital,NanjingMedicalUniversity/NanjingMunicipalFirstHospital,Nanjing,Jiangsu210006,China)

ObjectiveTo propose an improved discrete wavelet transform (DWT) and to apply it in multimodal medical image fusion.MethodsFirstly,the source medical images were initially transformed into the high frequency and low frequency images by DWT; then the high frequency part adopted the big direction absolute values,which effectively preserved the detailed information of image,while the low frequency part used the fusion rule of local energy ratio for preserving the most of image information; finally,the discrete wavelet reverse transform was used for reconstructing the fusion sub-images into fusion image.ResultsBy comparing the fusion images by 3 groups of medical images,this proposed algorithm was superior to other existing algorithms in the aspects of subjective visual effect and objective evaluation indicators.ConclusionThe proposed algorithm of medical image fusion is rapid and accurate,has excellent performance in the noise environment and clinical examples,can obtain the high quality fusion image and has higher clinical application value.

discrete wavelet transform；multimodal；image fusion；fusion rule

南京市医学科技发展资金“青年工程”人才培养专项经费资助项目(QRX11033)。作者简介：徐磊(1990-)，在读硕士，主要从事生物医学工程研究。△

，E-mail:cmdjhb@126.com。

TP391.41

A

1671-8348(2016)21-2885-05

2016-01-09

2016-03-27)

·论著·doi:10.3969/j.issn.1671-8348.2016.21.002