基于边缘保留分解和改进稀疏表示的医学图像融合

裴春阳，樊宽刚，马 政

（江西理工大学电气工程与自动化学院，江西赣州 341000）

0 引言

由于医学成像技术的进步，多模态医学图像逐渐在临床研究和病灶分析中发挥重要作用。但是，单个成像模态的医学图像只能反映有限的组织信息，例如，计算机断层扫描成像（Computed Tomography，CT）能够较清晰地可视化人体的骨骼结构，而核磁共振成像（Magnetic Resonance Imaging，MRI）对软组织和神经血管结构的显示效果较好。在医学成像中，CT和MRI图像的融合可以生成一种结合骨骼结构和软组织信息的复合图像，医学专家在分析病情时无须单独观察单个医学图像，极大地增加了病灶分析的便利性，从而有利于临床诊断和治疗［1］。

目前，研究者根据不同的源图像类型提出了许多融合算法。其中，基于变换域的算法因其在提取源图像的显著信息方面的优异性能受到更广泛的关注。典型的基于变换域的图像融合方法包括基于离散小波变换（Discrete Wavelet Transform，DWT）［2-4］、非下采样轮廓波变换（Non-Subsampled Contourlet Transform，NSCT）［5-6］、非下采样剪切波变换（Non-Subsampled Shearlet Transform，NSST）［7-9］等。对于此类基于变换域的方法，每一种变换域有优点和局限性，所以，变换域的选择通常要考虑输入图像的类型。再者，执行逆变换操作的过程通常伴随着细节信息的丢失［10］，造成融合图像质量下降，比如空间不连续、块效应等。

为了进一步提高融合性能，文献［11］中提出了基于稀疏表示（Sparse Representation，SR）的融合方法。该方法首先根据一个训练好的过完备字典把参与融合的源图像稀疏地表征为稀疏系数，然后引入对应的活跃度测量和融合规则来选择这些稀疏系数，最终将选择后的稀疏系数重构得到融合图像。在基于稀疏表示的融合方法中，过完备字典的构建通常对融合性能有较大影响。虽然固定的字典模型（比如离散余弦变换（Discrete Cosine Transform，DCT）字典）能够使算法有较高的执行效率；但是此类字典模型缺乏对源图像的适应性，导致源图像的显著细节易被平滑掉，造成融合图像质量下降。为此，文献［12］中提出了一种基于联合字典的稀疏表示（Sparse Representation-based Joint Dictionary，SR-JD）融合方法，利用从源图像截取的图像块作为联合字典的训练数据，得到一种自适应联合字典；然而，该方法在稀疏表示阶段计算复杂度较高。文献［13］中提出了一种基于联合块聚类的字典学习（Joint Patch Clustering-based Dictionary learning，JPCD）方法，通过结构相似性对图像块进行聚类；利用该方法训练的字典能够表征大部分源图像特征，但是生成的融合图像仍然存在细节损失的问题。文献［14］中提出了一种采用卷积稀疏表示（Convolutional Sparse Representation，CSR）的融合方法，相比传统的稀疏表示方法有更好的鲁棒性。关于更多稀疏表示的融合方法可以参考文献［15-16］。

空间域融合方法的快速发展使得边缘保留滤波器逐渐在计算机视觉领域受到关注，也逐渐被研究者们引入图像融合领域。文献［17］中提出了一种基于双边滤波的融合方法，并引入了一种利用边缘保留滤波器对源图像进行空间加权的方式得到融合图像。该方法简洁有效，计算效率方面有明显优势，融合图像的质量也较高。随后，文献［18］中通过均值滤波和减法器将源图像进行二尺度分解，利用引导滤波优化的加权平均策略得到融合图像，源图像中显著的边缘特征得到了保留，但是对比度存在一定程度的缺失。近几年来，利用边缘保留滤波器进行边缘保留分解的方法逐渐被引入图像融合领域，这类方法通常使用边缘保留滤波器进行多尺度分解，然后引入可区分性的融合策略来提取不同分解尺度的子图像特征。文献［19］中利用加权最小二乘滤波器对红外和可见光图像进行多尺度边缘保留分解，然后针对每个尺度引入了不同的融合策略，最后进行多尺度重构得到融合图像，由于每个尺度都能完全表征部分源图像信息，所以融合过程避免了细节损失。然而，针对医学源图像，图像能量存在部分丢失，对比度偏低，无法取得高质量的融合图像。因此，边缘保留分解策略在多模态医学图像融合中存在较多限制。在这一类融合方法中，由于边缘保留滤波器的特性，分解得到的不同尺度的子图像通常包含源图像不同特性的信息，简单的融合策略并不能准确地识别和提取这些信息。

基于以上考虑，本文结合边缘保留滤波器和稀疏表示各自的优点，提出了一种边缘保留分解和稀疏表示的医学图像融合框架。常用的边缘保留滤波器有双边滤波器、最小加权二乘滤波器以及引导滤波器，对于噪声图像，引导滤波器具有较好的鲁棒性，而医学图像本身有较多无意义的噪声性纹理细节，尤其是磁共振图像中骨骼区域，因此本文选择引导滤波器对源图像进行多尺度分解。该融合框架的优点主要包括以下方面：

1）本文提出了一种二尺度融合方法，通过引导滤波器对源图像进行多尺度边缘保留分解，得到对应的平滑层和一系列细节层。由于引导滤波的特性，分解得到的平滑层保留了源图像大部分结构性的轮廓特征，细节层保留了少部分源图像的轮廓亮度以及纹理细节，该分解方式有效地提高了融合图像的边缘保持度。为了维持不同尺度的空间一致性，引入两种不同的融合策略分别融合平滑层和细节层。其中，平滑层采用改进的稀疏表示策略进行融合，细节层的融合则采用自适应加权的局部区域能量的融合规则。

2）为了增强方法对平滑层的稀疏表示能力，在字典学习阶段，本文提出了一种基于图像块筛选的策略来构建过完备字典的训练数据集。在这个方法中，利用从源图像分解的图像块的复合空间频率决定是否选择该图像块，然后利用K 奇异值分解（K-Singular Value Decomposition，K-SVD）算法［20］训练出子字典后构成联合字典。该方法得到的过完备字典能够精确地表征源图像的特征。此外，在稀疏编码阶段，本文引入了一种加权范数规则作为稀疏系数的活跃度度量方法，该方法增加了系数选择的灵活性和准确性，避免了由于活跃度度量的单一性导致的空间不连续问题。

1 相关理论

1.1 引导滤波模型

在引导滤波模型中，假设是在一个以k为中心的局部窗口ωk中，引导滤波器在某一像素点i的输出O是输入的引导图像I在该像素点的一个线性组合：

其中：Ii代表引导图像在i点的像素值；ak和bk是定义于局部窗口内的线性参数，它们可以通过估计最小化输入和输出的差值来估计。

其中：ε表示一个决定引导滤波器平滑程度的正则化参数；Pi代表输入图像在点i的像素值；线性参数ak和bk可以直接通过线性回归来计算。

其中：μk和δk分别是引导图像在局部窗口ωk中的平均值和方差；|ω|代表局部窗口中像素点的数量；定义为输入图像在局部窗口ωk中的平均值。然后，可以通过式（1）获得滤波后的图像。显然，包含像素点i的局部窗口不只有一个，换句话说，在不同的局部窗口计算线性参数时，其取值会有所不同，因此滤波输出也会改变。针对这个问题，一个折中的方法是对所有可能的线性参数取平均值，这样就可以得到滤波器的输出：

从区域分类的角度的出发点考虑，对于图像的平坦区域来说，根据式（3）、（4），此时ak趋近于零，而bk趋近于，此时引导滤波器只起到一个全局模糊的作用；在梯度较高的区域，ak取值较大，输出和输入呈现出一种线性关系，满足∇O=a∇I，因此，输入图像中绝大多数显著的边缘信息可以保留到滤波图像内。

1.2 稀疏表示和字典学习理论

稀疏表示理论在信号处理和图像处理中具有十分优异的表现，可以将图像或信号利用一个过完备字典表示为稀疏系数。在稀疏表示理论中，假设y∈Rn是一个输入信号，可以被表示为：

其中：矩阵D∈Rn×K(n＜K)是一个包含K个原子的过完备字典；信号y的稀疏表示就是用过完备字典寻找一个最稀疏的解α∈RK。由于字典是冗余的，解α并不唯一，但是可以通过求解以下优化问题来估计：

学习一个过完备字典是稀疏表示理论中另外一个重要部分，假设Y∈Rn×N是一组包含N个n维信号，求解包含多个原子的字典的方法可以表示为：

2 本文方法

2.1 多模态医学图像融合算法框架

基于前面介绍的引导滤波模型和稀疏表示理论，本文提出多模态医学图像融合方法框架如图1所示。

图1 多模态医学图像融合方法框架Fig.1 Framework of multimodal medical image fusion method

假设参与融合的源图像已经进行了配准，算法的具体实现步骤如下：

1）首先对参与融合的源图像进行多尺度边缘保留分解，得到相应的平滑层和一系列细节层；

2）利用稀疏表示策略来融合源图像的平滑层；

3）源图像的细节层则采用基于区域能量最大的融合策略实现融合；

4）最后，将融合后的平滑层和细节层进行重构得到最终融合图像。

2.2 多尺度边缘保留分解

多尺度边缘保留分解的目的是获得包含源图像大多数结构特征的平滑层以及一系列包含少数纹理信息的细节层，利用引导滤波器和减法器分解源图像，获得滤波图像1，将源图像和滤波图像1 做差，得到的差异图像作为细节层1，第一次分解过程完成；再一次利用引导滤波器平滑滤波图像1 得到滤波图像2，将滤波图像1 和滤波图像2 做差，得到细节层2；重复以上步骤直到分解层数达到设定值，分解层级为n的分解过程可以表示为：

其中：Ih表示输入的第h个源图像，Sh表示第h个源图像分解得到的平滑层，表示第h个源图像分解得到的第n个细节层。特别地，由于引导滤波器的边缘特性，平滑层保留了源图像中大多数边缘特征，而大部分纹理特征则包含在细节层中。

2.3 改进稀疏表示的图像融合策略

源图像经过多尺度边缘保留分解后，图像的大部分结构信息保留在平滑层中，因而针对平滑层选择合适的融合策略将很大程度上影响融合性能的好坏。传统的基于变换域的算法中，对于低频子带图像的融合，采取的做法大多是基于像素取平均值的方式，对医学图像的融合来说，这种简单的方式会在降低对比度的同时模糊源图像的显著特征，所产生的融合图像视觉效果较差，不利于临床诊断和病灶分析。稀疏表示融合算法作为一种优于传统基于变换域的方法，能够在提取显著特征的同时保留图像能量，因此，本文采用改进的稀疏表示的融合方法去融合图像的平滑层，该方法包含两部分，分别是：联合字典的构建和稀疏编码系数的融合。

2.3.1 联合字典的构建

在基于稀疏表示的融合算法中，字典构造是对融合性能有决定性影响的因素。一般来说，利用源图像截取出来的图像块作为过完备字典的训练数据，这样训练出来的字典模型能够更有效地提高字典对源图像表征能力和灵活性，从而能够自适应地表示图像特征。然而，绝大多数医学图像仅包含有限的特征信息，尤其是计算机断层扫描成像，大部分从源图像截取的图像块包含大量冗余信息，导致在稀疏编码时产生无意义的特征表示。换句话说，局部且重叠的图像块具有不稳定的结构，不能直接用于训练字典的数据集。为了排除信息量不足的图像块，只保留包含较多信息量的图像块，本文利用复合空间频率来筛选从源图像分离出来的图像块，进而用筛选出来的图像块构建过完备字典的数据集，较好地解决了以上问题。

图像A的复合空间频率MSFA的定义如下：

其中：RFA和CFA分别是水平和垂直空间频率；PFA和SFA分别是主对角线和副对角线空间频率。这样，源图像中的四个方向的边缘强度可以用复合空间频率的来表示。

对于图像的平滑层，尤其是分解层数较多时，将其视为一种经过多次滤波的空间模糊图像较为合理。相应地，字典的构建也应当充分考虑到平滑层的空间退化特性。假设参与融合的源图像为CT 图像和MRI 图像，过完备字典构建如图2 所示，具体的构建过程如下：

图2 联合模糊字典构建示意图Fig.2 Schematic diagram of joint fuzzy dictionary construction

1）首先利用滤波窗口大小为7× 7，标准差为15的高斯低通滤波器对参与融合的源图像进行平滑操作，获得相应的空间模糊图像CT_Blur和MRI_Blur。

2）计算模糊图像的复合空间频率得到MSFc和MSFm。

6）将上述两个子字典合并为一个联合字典D。

2.3.2 稀疏表示系数的融合

在稀疏编码阶段，怎样计算稀疏表示系数的活跃度水平是另一个必须要考虑的问题，一般来说，稀疏系数的ℓ0范数可以表达图像块细节信息的集中程度，而稀疏系数的ℓ2范数反映图像块携带细节信息的多少。仅仅使用单一的活跃度水平的计算方法无法达到灵活地选择稀疏表示系数的目的。针对以上问题，文献［22］中提出一种加权多范数作为图像块的活跃度度量方法，并利用权重图的方式融合多曝光图像。为此，本文引入一种加权多范数的活跃度水平计算方法以达到上述目的。稀疏系数的融合阶段主要包括以下步骤：

1）与构建联合字典步骤相似，首先利用滑动窗口技术按照步长为1 个像素将每个源图像分解成大小为8× 8 的图像块，将每个图像块转换成大小为64×1的列向量。

3）根据第2）步的算得到的稀疏系数，基于加权多范数的活跃度计算方法如下：

4）对第3）步求得的活跃度水平结果，选择稀疏系数如下：

5）将按照以上方法选择的稀疏系数进行重构得到融合的列向量：

6）重复以上步骤，待所有的图像块被处理完毕后，每个融合的列向量重组成为8× 8的融合的图像块，最后将所有的融合的图像块放到提取时的像素位置，得到融合的平滑层SF。

2.3.3 自适应加权的区域能量融合策略

细节层包含大量的纹理信息，而图像经过多尺度边缘保留分解后得到的细节层，可以看作图像经过多尺度变换之后得到的高频系数，而对于高频系数的融合，常规做法是直接对像素取最大，这种处理方式执行效率较高，但是忽略了局部区域里像素的相关性，势必会使图像局部空间不连续，导致融合结果并不理想；而对像素取平均的策略会平滑掉部分纹理特征。与以上两种常规的融合规则相比，基于局部区域能量的融合方法充分考虑了局部区域之间的相关性，细节层具有的纹理特征能够得到充分体现，使得融合效果整体进一步提升。具体实现过程如下：

其中：w定义为一个大小为m×n的局部区域；G(x，y)定义为局部区域内w的高斯分布分别表示两幅源图像的第j个细节层在位置(x，y)处的像素值。

2）基于以上得到细节层的区域能量，计算细节层对应局部区域的匹配度如下：

显然，匹配度矩阵M内的值都在0～1，匹配度取值越大说明源图像对应细节层的相关程度越高。

3）设置匹配阈值T，基于计算得到的匹配度，进一步比较匹配度和匹配阈值的大小，若在位置(x，y)的匹配度M(x，y) ＜T，表明对应细节层的区域能量距离较远，直接通过区域能量来决定是否选择该像素点，具体可以表示为：

若匹配度M(x，y) ＞T，表明对应细节层的区域能量接近，则选取一种自适应加权策略，具体可以表示为：

其中：Wmin和Wmax是根据匹配度和匹配阈值计算得到的自适应权重。

4）根据以上步骤，对每个细节层内遍历所有的像素点，可以得到融合的细节层。

3 实验结果与分析

3.1 实验数据集

为了验证本文所提出的多模态医学图像融合方法框架的性能，从取自哈佛大学医学院公开的全脑病变图像［23］选取了三组不同成像设备的脑部医学图像进行分析和对比，包括CT-MRI图像对，MRt1-MRt2图像对（磁共振T1加权像和T2加权像）和SPECT（单光子发射计算机断层成像）-MRI 图像对。图像大小均为256×256。

3.2 用于对比实验的融合方法及参数设置

本次实验加入了四种典型的图像融合方法进行对比，分别是DWT、NSCT、SR-JD、JPCD 和CSR。其中，DWT 和NSCT是两种典型的基于多尺度变换的融合，其融合策略都采用常用的低频稀系数加权平均、高频系数取大的方式；SR-JD 是一种利用联合字典学习和多范数活跃度测量方法的稀疏表示融合方法；JPCD 是一种利用聚类的策略进行字典学习的稀疏表示融合方法；CSR 则是利用一种卷积稀疏模型来实现多模态图像融合。各方法的参数设置如表1所示。

表1 不同融合方法的参数设置Tab.1 Parameter setting of different fusion methods

3.3 实验结果对比和分析

为了验证不同方法的融合性能，本文采用主观视觉分析和客观评价两种方式对三种不同成像模态的医学图像进行对比和分析。特别地，为了更清晰地呈现不同融合结果的差别，所有融合图像的一个相同区域作为一个参考区域被放大并置于图像的左下角。

对于CT-MRI图像融合，判断融合图像的好坏一般取决于是否能提取源图像中足够多的骨骼特征和软组织信息。CTMRI 图像对的融合结果如图4 所示，从图像本身及放大区域可以清楚地看到：DWT 方法的融合结果存在较严重的块效应问题；NSCT 和CSR 方法的融合图像失去了较多的图像能量，导致融合结果整体较暗，对比度偏低，尤其是骨骼中央的脑部组织区域；JPCD 方法能够将CT 图像的大多数骨骼特征提取到融合图像中，但是没能完整地保留MRI 图像中的软组织特征；SR-JD 方法整体上较为完整地保留了源图像绝大多数细节信息，但从放大的骨骼区域可以看出，它的融合结果较本文方法的融合结果存在一定程度的细节丢失，显著特征没有得到完整地保留；本文方法在提取图像能量方面性能优异，同时也完整地提取了源图像中重要的显著特征，可以判断出在CT-MRI图像对的融合中，本文方法较其他方法在视觉效果上有明显优势。

图3 不同融合方法在CT-MRI图像对上的融合结果Fig.3 Fusion results of CT-MRI image pair by different fusion methods

图4 不同融合方法在MRt1-MRt2图像对上的融合结果Fig.4 Fusion results of MRt1-MRt2 image pair by different fusion methods

MRt1图像对于生物体的解剖信息有较好的成像效果，骨骼、固定的软组织（如脂肪、脑组织）等都可以清晰地体现出来；与MRt1图像相比，MRt2图像能够对存在流动性的机体组织（比如血管）提供更好的成像效果。MRt1-MRt2图像对的融合结果如图5 所示，通过融合结果的对比可以看出：DWT、NSCT和CSR方法的融合结果无法提取足够的图像能量，导致融合结果对比度偏低；SR-JD 方法虽然能够较完整地提取源图像的显著特征，然而，相比参与融合的MRt1 源图像，SR-JD方法在放大区域引入了部分MRt2 源图像的无意义的特征信息，导致了视觉伪影的出现，这也说明SR-JD 方法无法准确地识别源图像中有意义的显著特征；JPCD 方法在提取图像能量方面较为优异，但它的融合图像失去了大部分纹理特征，这对医学图像来说是不合适的；本文方法提取了源图像绝大多数局部特征，纹理特征也得到了很好的保留，相比SR-JD 方法，伪影问题得到了很大程度上的改善，对比度也有明显的提升，相比其他方法在MRt1-MRt2的融合上具有更好的视觉效果。

图5 不同融合方法在SPECT-MRI图像对上的融合结果Fig.5 Fusion results of SPECT-MRI image pair by different fusion methods

SPECT（Single-Photon Emission Computed Tomography）是一种新颖的医学成像方式，它能清晰地呈现出生物体内的代谢信息，进而反映机体的生命代谢活动是否出现异常，从而达到医学诊断的目的。图6展示了SPECT 和MRI源图像及其融合结果，从放大区域可以观察到：DWT、JPCD和CSR方法的融合结果虽然能够比较完整地保留了大部分结构和功能特征，但是在对比度上存在严重不足；NSCT 方法存在亮度低的缺点，同时引入了部分伪影；SR-JD 方法较完整地保留了源图像的结构和功能信息，但是融合结果仍然存在伪影；本文方法的融合图像不仅较清晰地体现了MRI 图像的结构和纹理信息，消除了大部分视觉伪影，而且能够保留大部分图像能量，融合结果有较高的对比度。

从上述结果可以看出，本文方法在三种不同成像模态医学图像融合上都有更好的视觉效果。

为了进一步分析方法的融合性能，本文选取了四个重要的评价指标，分别是信息熵（EN）、空间频率（Spatial Frequency，SF）、标准差（Standard Deviation，SD）和边缘信息评价因子。EN 用于衡量输入图像的信息量大小，数值越大，输入图像所包含的图像信息越丰富，其定义如下：

其中，l是灰度等级，p(l)代表灰度等级l出现的概率。

SF 主要用于计算图像函数在单位长度上的变化次数，用来衡量图像细节的丰富程度。一般来说平坦区域的空间频率较小，而像素的取值起伏较大或者存在边缘特征较多的区域空间频率较大.对于图像B，其空间频率定义如下：

其中：

其中：B(i，j)为融合图像在点(i，j)的像素值。

SD主要用于衡量输入图像整体的对比度，对于图像B，其标准差定义如下：

其中μ是融合图像的平均值。

边缘信息评价因子［24］是一个被研究者广泛应用的评价指标，用于衡量融合图像对源图像的边缘信息的保持程度，其定义如下：

进一步利用上述客观指标来评价融合性能，对于三种不同模态的医学图像，表2 展示了本文方法和用于对比实验的其他方法的客观评价结果。由第一组CT-MRI 图像对的融合结果可以观察到，本文方法虽然在空间频率指标SF 上的表现不是最优，但是在信息量指标EN、对比度指标SD 以及边缘保真度指标QAB/F上均优于其他方法。另外，DWT方法在空间频率指标SF 上有最好的表现，其他融合客观指标较差。SR-JD方法也具有良好的融合性能，但是其融合图像仍然存在一定的细节丢失。与SR-JD 方法相比，本文方法在边缘保真度指标QAB/F和对比度指标SD 上有显著优势，表明本文方法在边缘特征保留和图像能量提取方面有更优异的性能，因而有更好的融合效果。

表2 不同方法融合图像对的客观评价对比Tab.2 Comparison of objective evaluation of different algorithms when fusing image pairs

由MRt1-MRt2 图像对融合结果的客观指标对比可以看到，本文方法在指标空间频率指标SF、对比度指标SD 和边缘保真度指标QAB/F上均是第一，表明本文方法保留图像边缘特征和对比度方面有显著优势。JPCD 方法仅在信息量指标EN有最好的表现，然而在其他客观指标上没有显著的优势，尤其是边缘保真度指标QAB/F，这也印证了JPCD方法的融合图像存在大面积纹理丢失的事实。

由SPECT-MRI 图像对融合指标对比可以看到，本文方法在信息量指标EN、对比度指标SD 以及边缘保真度指标QAB/F上均是最优，在SF 上有一定不足。综上所述，本文方法在保留边缘特征和保持对比度方面有显著的优势，相比以上五个典型的融合方法具有更好的融合性能。

3.4 参数对融合性能的影响

本文方法包含较多参数，相比其他参数，多尺度边缘保留分解层级对融合性能有显著影响。本小节用于实验的三组多模态医学图像同样作为测试融合性能变化的测试图像，四个融合结果的客观指标EN、SF、SD和QAB/F用于评价分解层级对融合性能的影响。分解层级对客观指标的影响如图7 所示：当分解层级为3 时，三组融合结果中EN、SF 和QAB/F都取得了最大值；在分解层级为4时，只有对比度指标SD在MRt1-MRt2以及SPECT-MRI 两种融合问题上略微增加，但是整体增加幅度不大，而且在CT-MRI融合问题上出现了下降。基于以上考虑，分解层级设置为3较为合理。

3.5 计算效率分析

本节主要介绍不同方法的计算效率。本文采取的实验环境为Intel Core i7-8750H CPU（2.20 GHz），8 GB 内存，64 位Windows 10 操作系统，Matlab 2014b 编程。表3 列出了不同方法在三种成像模态的医学图像的平均消耗时间。可以看到，DWT 和NSCT 方法相对其他方法耗时更短，具备更高的执行效率，然而它们的融合图像对比度偏低；JPCD 方法由于采用聚类字典学习因而计算复杂度较高；本文方法以及其他基于稀疏表示的融合方法计算复杂度较高。简单来说，本文方法在具备较高融合性能，但是在计算效率方面存在一定不足。

表3 不同融合方法的平均运行耗 单位：sTab.3 Average running time consumptions of different fusion methods unit：s

4 结语

本文提出了一种基于多尺度边缘保留分解和稀疏表示的多模态医学图像融合方法。该方法首先利用引导滤波器将源图像分解为平滑层和一组细节层，然后利用改进的稀疏表示算法融合图像的平滑层，利用自适应局部区域能量的方法融合细节层。同时为了提高对平滑层的稀疏表示性能，本文针对平滑层的特点设计了一种基于图像块筛选的字典构建方法，并利用一种加权范数的方式来选择稀疏系数。其次利用区域能量的方法融合细节层，最后将融合的平滑层和细节层重构为目标图像。在公开的多模态医学图像上的实验结果表明，本文方法能够有效地保持源图像的结构信息，提高了融合图像的对比度，很大程度上解决了融合图像容易出现的伪影问题。相比其他的融合方法，本文方法在视觉效果和客观评价上都取得了最好的效果。但是，同其他基于稀疏表示的融合方法一样，存在运行耗时较长的问题。为了提高融合性能同时降低算法的计算复杂度，利用K-SVD 或者其他有效的字典学习算法针对医学图像训练一种具备较强鲁棒性的全局字典，或者利用判别字典学习的方法训练一种能够表征源图像细节和纹理过完备字典可以作为未来的研究内容。