结合SIST和压缩感知的CT与MRI图像融合

殷 明，段普宏，褚 标，梁翔宇



结合SIST和压缩感知的CT与MRI图像融合

殷 明，段普宏，褚 标，梁翔宇

( 合肥工业大学 数学学院，合肥 230009 )

为了增强医学图像融合质量，提出了一种基于平移不变剪切波(SIST)和压缩感知的CT和MRI图像融合方法。首先，将源CT与MRI图像经过SIST分解后得到低频子带和高频子带；其次，对低频子带，提出了一种结合新的改进空间频率、改进的区域加权能量和局部区域相似匹配度的融合规则；对于高频子带，提出了一种基于自适应2PCNN-CS的融合规则；最后通过SIST逆变换得到融合图像。实验表明：本文方法在客观指标和图像视觉效果上都优于传统的CT与MRI医学图像融合方法。

信号处理；平移不变剪切波；自适应双通道脉冲耦合神经网络；压缩感知

0 引 言

医学图像融合是将多种模态的医学图像合并成一幅高质量的图像，如计算机X线断层扫描图像(CT)、核磁共振图像(MRI)等，便于更准确的诊断和治疗[1]。目前医学图像的融合主要在变换域中进行，先将源图像进行空间域变换，再对分解得到的系数利用一些规则进行处理。但因为传统的小波变换是由两个一维的小波张量积而形成的，不能有效的表示图像的轮廓、边缘等高维特征信息。从而更好的多尺度几何变换平移不变剪切波(SIST)[2]被提出，SIST在实现过程中没有下采样操作，从而具有平移不变性，能够表达图像丰富的纹理、轮廓、边缘等信息。然而在利用SIST对图像进行分解时，高频子带系数相对较多，导致时效性比较差、计算复杂度较大等缺点。为了克服这些缺点，人们将压缩感知(Compressed Sensing，CS)理论应用在图像融合[3-4]中，有效地降低算法的运行时间，但由于所用的融合规则为简单的传统规则，导致融合后的图像效果受到影响。脉冲耦合神经网络(Pulse Coupled Neural Network，PCNN)作为一种新型神经网络，被广泛应用在图像融合中[5]，但是单通道PCNN只能对单张图像的特征信息进行提取。而在实际应用中，一般都是采用两张图像进行融合，从而提出了双通道脉冲耦合神经网络[6](Dual-channel PCNN，2PCNN)。但PCNN中链接强度通常被设置为固定值以及外部输入选择的是子带系数，从而不能有效地提取源图像中的信息。且这些算法在应用PCNN时均没有引入CS理论，从而算法运行时间都比较长。自然地，我们想到把CS理论应用到PCNN中，提高了运行效率和图像的视觉效果。

由以上的分析，本文提出了改进的2PCNN，即自适应的2PCNN(Dual-channel Adaptive PCNN，2APCNN)，然后结合2APCNN和CS各自的优点，提出了一种SIST和压缩感知结合的CT与MRI医学图像融合的新方法。在处理低频系数时，通过一种新的改进的空间频率和改进的区域能量两个指标来提取图像的特征，再利用局部区域相似匹配度来选择低频系数。对高频系数，给出了一种自适应的2PCNN压缩感知(2APCNN-CS)规则，先将2APCNN对高频子带处理，其中边缘能量作为2APCNN的外部输入，再将CS对经过2APCNN处理后的高频系数进行处理。实验结果表明，本文方法能够有效提取已配准医学图像中有用信息到融合图像中，在客观指标和视觉效果方面均优于其他传统的融合方法。

1 相关理论

1.1 平移不变剪切波变换

平移不变剪切波变换由剪切滤波器组(Shearlet Filter，SF)和非下采样金字塔滤波器组(Non-Subsampled Pyramid Filter，NSPF)两个部分构成，在图像分解中，SF负责对SIST的方向局部化，NSPF实现SIST的多尺度剖分。更多有关SIST的具体细节可参考文献[2]。

1.2 2APCNN基本原理

2PCNN是在PCNN基本模型上改进而成的，但由于链接强度通常取为常数会影响图像融合的效果。为了弥补2PCNN的不足，本文提出了一种改进的自适应的双通道脉冲耦合神经网络模型(2APCNN)，其中链接强度改进为自适应的，会根据源图像中边缘梯度信息的大小自适应地选择相应通道。其数学模型：

边缘梯度信息为

1.3 CS理论

CS是由Donoho等[7]人提出来的，它表明如果一个信号是可以稀疏的，那么它就能在远低于奈奎斯特采样率的条件下采样该信号。CS理论主要包括三个部分：首先，将原始信号在某个基下进行稀疏表示。其次，设计一个平稳与正交基不相关的观测矩阵，来实现信号的压缩测量。最后实现信号的重构。更多有关CS的理论可参考[7]。

2 基于SIST和2APCNN-CS的医学图像融合规则

2.1 基本框架

假设源医学图像都是经过几何配准处理了，那么本文大致的融合框架是：首先，利用SIST对源图像进行分解，得到一个低频子带和一系列的高频子带；其次，对低频子带利用新的改进的空间频率、改进的区域加权能量和局部区域相似匹配度相结合来融合低频子带。对高频子带，由于高频子带比较多，所以结合CS理论对其进行压缩处理，采用2APCNN-CS规则对高频子带进行融合；最后对处理后的低频和高频系数进行SIST逆变换，最终的融合图像。

2.2 低频系数的融合规则

源图像经过SIST变换得到的低频系数包含了源图像的主要能量信息，反映了源图像的近似特征。但当前在低频系数的融合处理上大多采用平均规则[8]，虽然该方法实现比较简单，但是它却影响融合后图像的质量，降低了图像的视觉效果。图像的空间频率反映图像的清晰度和一幅图像的总体活跃度，但传统的空间频率只考虑了图像的行频率和列频率，不能充分反映图像的特征信息。新的改进的空间频率在原有的基础上考虑了四个对角的频率。其具体表达式：

其中：

又由于传统的区域能量只考虑了局部区域的单个像素，而单个像素不能充分表现图像的局部特征，在此充分考虑局部区域内各个像素之间的相关性，提出了改进的区域加权能量：

否则：

2.3 高频系数的融合规则

高频子带包含了源图像大量的细节特征，从而在处理高频子带时，会出现计算复杂度高、计算时间长等问题。虽然文献[3-4]将CS理论用在图像融合中，减少了图像融合的运行时间，但其高频子带的融合方法分别采用的是“绝对值最大”和“加权平均”，导致融合的图像视觉效果差。基于此，本文将2APCNN结合CS理论应用到高频子带中，并将边缘能量(Energy of Edge，EOE)作为2APCNN外部输入。即在式(1)中取：

具体的高频融合规则如下：

第1)步：对源CT与MRI医学图像进行SIST得到的高频系数和分别进行压缩测量，从而得到测量采样系数，即。

第2)步：利用式(11)和式(3)分别计算2APCNN的边缘能量和链接强度。

第3)步：将式(1)的2APCNN对测量采样系数进行融合处理，直到所有神经元产生脉冲响应。然后选择融合系数：

其中

。

第4)步：利用OMP[10]算法对进行重建，从而得到融合后的高频系数。

3 实验结果与分析

为了验证本文所提CT与MRI医学图像融合方法的有效性，选取了两组已经过严格配准的256 pixel×256 pixel的CT与MRI脑部医学图像进行融合实验。所有算法都在Matlab R2014a上运行，电脑的配置为主频2.27 GHz，处理器Core i3，内存2 G，硬盘500 G。为了进行比较，将本文提出的方法与另外五种融合方法进行了对比。方法一和方法二分别采用DWT和Contourlet变换(CT)，低频和高频的融合规则仍用本文的融合规则。方法三的低频融合规则和本文一致，但高频中不引入CS，而直接采用2APCNN进行融合处理。方法四采用文献[4]提出的NSCT和CS相结合的医学图像融合算法，其融合规则：低频采用区域能量加权平均，高频采用梯度、区域能量结合CS的融合规则。方法五采用文献[11]提出的NSST和PCNN结合的融合算法，低频采用局部能量取大，高频采用PCNN进行融合。在基于CS理论的CT与MRI融合实验中，通过多次试验验证，对单层分解后的高频系数利用CS理论可以得到较好的融合图像，所以本文在引入CS理论的融合实验中都采用单层分解，然后从融合效果及算法时间进行对比分析。为了客观评价

医学图像的融合效果，本文选用互信息(Mutual Information，MI)和边缘信息保留量QAB/F作为客观评价指标，MI表示融合后的图像从源图像中提取的信息量，QAB/F表示源图像中转移到融合后图像的边缘信息量大小，两个指标值越大，说明融合效果越好。在融合中，由于2APCNN中有5个参数，因此本文选用常见的六类参数[5-7]，通过实验验证得到CT与MRI图像融合结果对参数的选取不敏感，从而本文2APCNN中参数选用文献[6]中参数，，，，=[0.707, 1, 0.707; 1, 0, 1; 0.707, 1, 0.707]。

本文实验选取了2组脑部CT与MRI医学图像进行融合实验，第1组(图1(a)和(b))为正常脑干的CT与MRI图像，第2组(图2(a)和(b))为患有脑萎缩的CT与MRI图像。当采样率=0.5时，图1是通过不同方法对第一组CT与MRI图像的融合实验得到的局部放大融合结果图，图2是通过不同方法对第二组医学图像融合得到的实验结果图。

首先从主观视觉来看，从图1和图2可以看出，利用方法一和方法二的进行融合后的图像模糊，出现失真现象，这是由于DWT和CT进行了下采样，不具有平移不变性；在方法四中将CS引入图像融合中，降低了算法的运行时间，但由于采用加权平均的融合规则，导致融合图像失去了源图像的部分细节信息和纹理特征等；对于方法五，虽然融合规则有所改进，融合图像的对比度和清晰度也有所改善，但算法的运行时间长；本文采用SIST分解图像，有效提高了图像模糊现象，再结合本文提出的融合规则，使得融合图像的细节信息、纹理特征等都更加丰富。

其次，从客观上来分析融合算法的效果。从表1可以看出，在采样率一致的条件下，方法一和方法二由于不具有平移不变性，导致融合结果不理想，故客观指标也相对较低。方法三和方法五中，由于没有引入CS理论，从而计算效率低，算法运行时间长。而方法四虽然应用了CS理论，但由于融合规则简单，导致融合图像不能从源图像中提取丰富的信息。在采样率相等时，本文算法的MI和QAB/F两个客观指标均为最高，这与主观视觉效果也保持一致。而且方法三和方法五算法所用时间都是本文算法的3倍多。综上所述，本文方法能够保留源图像中的更多信息，提高了源图像的清晰度和对比度，降低了算法运行时间，能

Table 1 The comparison of image fusion results in different fusion methods

够高效地实现已配准脑部CT和MRI医学图像的融合。

4 结 论

平移不变剪切波作为一种新的图像分解工具，它能有效地捕获丰富的纹理信息和边缘细节等，且没有进行下采样，有效减少了融合图像的模糊效应。本文将SIST和2APCNN-CS结合应用于CT与MRI脑部医学图像融合中。通过多组实验表明，通过引入CS理论可以减少算法的运行时间，且本文方法在客观指标和视觉效果上都比传统CT与MRI医学图像融合算法有所提升。

[1] Dasarathy B V. Information fusion in the realm of medical applications-a bibliographic glimpse at its growing appeal [J]. Information Fusion(S1566-2535)，2012，13(1)：1-9.

[2] Glenn E，Demetrio L，Lim W QSparse directional image representations using the discrete shearlet transform [J]. Applied and Computational Harmonic Analysis(S1063-5203)，2008，25(1)：25-46.

[3] GHAN Juanjuan，Loffeld O，Hartmann KMulti-image fusion based on compressive sensing [C]// Audio Language and Image Processing，Shanghai，China，Nov 23-25，2010：1463-1469.

[4] XING Xiaoxue，LIU Fu，SHANG Weiwei，. Medical image fusion in compressed sensing based on non-subsampled contourlet transform [C]// Proceedings of the 9th IEEE International Conference on Mobile Ad-hoc and Sensor Networks，Dalian，China，Dec 11-13，2013：490-493.

[5] Broussard R P，Pogers S K，Oxley M E，.Physiologically motivated image fusion for object detection using a pulse coupled network [J]. IEEE Transactions on Neural Networks(S1045-9227)，1999，10(3)：554-563.

[6] WANG Zhaobin，MA Yide. Medical image fusion using m-PCNN [J]. Information Fusion(S1566-2535)，2008，9(2)：176-185.

[7] Donoho D，Santos J. Compressed Sensing [J]. IEEE Transactions on Information Theory(S1557-9654)，2006，52(4)：18-26.

[8] 屈小波，闫敬文，杨贵德. 改进拉普拉斯能量和的尖锐频率局部化Contourlet域多聚焦图像融合方法 [J]. 光学 精密工程，2009，17(5)：1203-1212.

QU Xiaobo，YAN Jingwen，YANG GuideMultifocus image fusion method of sharp frequency localized contourlet transform domain based on sum-modified-Laplacian [J]. Optics and Precision Engineering，2009，17(5)：1203-1212.

[9] WANG Jiexiong，QI Xiangyang，LI Xiewei. Edge and local energy NSCT based remote sensing image fusion [J]. Journal of the Graduate School of the Chinese Academy of Sciences(S1002-1175)，2009，26(5)：657-661.

[10] LI Bo，YIN Shen，Rajan S，.Theoretical results for sparse signal recovery with noises using generalized OMP algorithm [J]. Signal Processing(S0165-1684)，2015，117(12)：270-278.

[11] Sneha S，Deep G，Anand R S，.Nonsubsampled shearlet based CT and MR medical image fusion using biologically inspired spiking neural network [J]. Biomedical Signal Processing and Control(S1746-8094)，2015，18(4)：91-101.

CT and MRI Medical Image Fusion Based on Shift-invariant Shearlet Transform and Compressed Sensing

YIN Ming，DUAN Puhong， CHU Biao，LIANG Xiangyu

( School of Mathematics, Hefei University of Technology, Heifei 230009, China )

In order to enhance the quality of medical image fusion, a novel CT and MRI image fusion algorithm is proposed based on Shift-invariant Shearlet Transform (SIST) and compressed sensing. Firstly, the source CT and MRI images are decomposed by SIST to obtain the low frequency sub-bands and high frequency sub-bands. Then, for the low frequency sub-band coefficients, a fusion rule method combining with a new improved spatial frequency, which improves regional weighted energy and local similarity matched degree, is presented. For high frequency sub-band coefficients, a scheme based on the theory of adaptive 2PCNN-CS is presented. Finally, the fused image is obtained by performing the inverse SIST. The experimental results show that the proposed approach can outperform the conventional CT and MRI images fusion methods in terms of both objective evaluation criteria and visual quality.

information processing; shift-invariant shearlet transform; adaptive dual-channel pulse coupled neural network; compressed sensing

1003-501X(2016)08-0047-06

TP391

A

10.3969/j.issn.1003-501X.2016.08.008

2015-08-30；

2016-01-10

国家自然科学基金(11172086)；安徽省自然科学基金(1308085MA09)；安徽省教育厅自然科学研究重点项目(KJ2013A216)

殷明(1962-)，男(汉族)，安徽合肥人。教授，博士，主要研究工作是小波分析及图像处理。E-mail: ymhfut@126.com。