基于CSR-MCA的图像融合方法

李鑫翔 张龙波 王雷 周晓宇

摘要：为了解决图像融合过程中图像信息重影失真的缺点，提出了基于卷积稀疏表示（convolutional sparse representation.CSR）和形态成分分析（morphological component analysis.MCA）的图像融合方法。利用卷积稀疏表示的优越性对形态成分分析模型进行改进，形成CSR—MCA的新型模型，可以同时实现源图像的多组件和全局稀疏表示。使用预学习的CSR-MCA模型得到源图像的平滑和细节成分的稀疏表示，然后使用不同的融合规则对每个图像分量进行融合，利用相应的字典对融合后的分量进行叠加重构获得最终的融合图像。实验结果表明，相比传统图像融合方法，本文提出的方法在主观上能很好地保留图像信息，并减少重影和失真的产生;在客观评价上，其在标准差、互信息、熵、平均梯度、空间频率等指标上表现更为优越。

关键词：图像融合;稀疏表示;卷积稀疏表示;形态成分分析

0引言

在数字成像中，由于受相机自身物理特性的限制，单一传感器无法使图像内容全部清晰成像，只有处于景深空间范围内的物体才会出现清晰的成像，其它的将会是模糊的，这样获得的图像信息不足以用来对目标或场景进行充分的分析。图像融合是指利用多源传感器获得同一物体的不同聚焦的场景信息，将两幅或多幅图像融合为一幅更准确的全聚焦融合图像。近年来，图像融合已经成为图像处理领域的一个活跃话题，这主要是由于数字摄影、视频监控、医学成像、遥感等各种基于图像的应用需求不断增长。

随着图像融合技术的发展，人们提出了多种图像融合方法。近年来，稀疏表示（SR）在图像处理领域有着广泛的应用，包括图像去噪、图像融合、人脸识别等。在文献[2]中，Yang等人首次将SR引入图像融合，提出了一种基于SR的图像融合基本框架，其在多聚焦图像融合方面明显优于传统的基于多尺度的融合方法。由于采用滑动窗口技术，将源图像分割成一组重叠的图像块，产生了大量多余的计算，且存在块效应。在文献[3]中，Yu等人提出了一种基于联合稀疏表示（JSR）的图像融合算法。在该方法中，使用了特殊的加权平均融合规则，不可避免地会改变源图像原有的局部结构，具有丢失源图像纹理边缘信息的缺点。在文献[4]中，Zeiler等人将CSR模型引入到特征学习的反卷积网络中，CSR也被称为平移不变性Sr.在误配区域的融合质量得以显著提高。文献[5]中，Starck等人阐述了形态成分分析（MCA）方法，该方法可以获得图像的稀疏多成分表示。

为进一步提高图像融合效果，本文提出一种基于卷积稀疏表示和形态成分分析的图像融合方法。基于MCA的方法和基于CSR的方法，为基于SR的图像融合提供了两种不同的方式，即多分量表示和全局表示，二者具有各自的优势。在本文中，受到卷积稀疏表示的启发，引人CSR-MCA模型，同时实现源图像的多组分和全局稀疏表示。由实验结果得出，与其它经典的图形融合方法相比，本文提出的方法在主观视觉效果和客观数据指标上均有较大改善，具有一定的优越性。

1相关理论

1.1稀疏表示和卷积稀疏表示

稀疏表示是一种利用自然图像信号稀疏先验的图像建模技术。基于SR的图像融合中最关键的问题是采用SR模型。目前大多数基于SR的融合方法采用的是基于单个图像分量和局部块的标准稀疏编码模型。将源图像在原始空间域中分成一组重叠的图像块进行稀疏编码，从而得到相应的稀疏表示系数。其基本思想是假设一个自然信号可以从一个过完备的字典中很好地近似为一个小的原子的线性组合，即

卷积稀疏表示（CSR）可以被看作是稀疏表示的卷积形式，即采用相应学习字典与特征响应的卷积总和，取代分析字典与稀疏系数的乘积，从而将图像以“整体”为单位进行稀疏编码，避免图像清晰度信息的丢失。卷积稀疏表示模型可以表示为：

卷积形式的目的是实现整个图像的稀疏表示，而不是局部图像的块。其克服了基于SR的融合方法的不足。相对于标准SR模型，CSR的结果是单值的，并且对整个图像进行了优化，使得图像融合具有更好的细节保存能力。此外，CSR平移不变性，这对于保证图像融合方法、对配准错误的鲁棒陸具有重要意义。

1.2形态成分分析

在文献[12]中，Jiang和Wang采用MCA模型提出了一种基于多分量SR的图像融合方法，并认为图像包含不同空间形态的结构，将图像建模为平滑和细节成分的叠加，利用结构化字典的特定分解算法可以得到这些成分的稀疏表示，即：

其中，x_c和x_t分别使用字典d_c和d_t表示卡通和纹理成分的稀疏表示;|| ||1表示l₁范数用于约束稀疏;而λ_c和λ_t表示正则化参数。

MCA模型的主要优点是可以将平滑成分和细节成分从源图像中分离出来，进行个体融合。由于平滑成分和細节成分侧重于不同的图像内容，其中平滑成分主要包含大尺度几何结构等分段光滑的内容，细节成分则包含小尺度的精细细节，这种分离可以使融合策略具有更好的灵活性。

2基于CSR-MCA的图像融合方法

CSR-MCA算法先将源图像进行MCA变换，得到平滑成分和细节成分。对于不同成分进行卷积稀疏表示，得到相应的稀疏表示映射。对平滑成分采用选择最大规则和CSR进行融合，对细节成分采用加权平均规则进行融合。最后对各分量进行叠加，重构MCA逆变换得到融合图像。CSR-MCA算法的具体方案流程如图1所示。

（1）将CSR-MCA模型应用于每个源图像，从而得到各成分的稀疏表示。根据以上CSR、MCA模型，CSR-MCA模型定义为：

细节成分包含源图像中的细节部分，这一部分的融合最重要的问题就是细节提取。若采用选择最大规则，在相同位置的灰度值会出现不一致，容易损失边缘部分信息，造成视觉上的不一致。因此采用加权平均规则进行融合，使得边缘信息更加平滑，融合效果更佳，即：

3实验结果与分析

为了验证本文方法的融合效果，采用3组像素大小为256×256预配准的多聚焦图像进行融合实验。图像为：“实验室”图像、“时钟”图像和“树丛”图像，所使用的仿真环境为：Intel i5.3.3GHz CPu.500GB硬盘，8GB内存，windows7系统，MATLAB2016a仿真平台。将本文提出方法与当前4种常用的图像融合方法进行对比实验，实验结果如图2-图4所示。对融合图像采用5种常用的评价指标，即标准差（Standard Deviation.SD）、互信息（MutualInformation.MI）、熵（Entropy.En）、平均梯度（average gradient.AG）、空间频率（spatial frequency.SF）来评价图像融合性能。

图2为“实验室”图像的融合结果，源图像如图2（a）-（b）所示，（a）为左聚焦图像，（b）为右聚焦图像。各算法的融合图像如图2（c）-（g）所示。ASR融合图像中人物头像边缘存在严重的重影现象，个别细节信息丢失：SR和MST-SR融合图像中重影现象有所改善，但融合效果对比度减弱，且存在边缘信息和轮廓特征细节丢失现象：CSR和本文方法的融合效果更佳，但CSR融合图像中边缘轮廓存在锐化。本文融合方法的图像色彩明亮，纹理部分细节处理的更加清晰，源图像中的重要信息保留较为完整，整体效果更好。

图3为“时钟”图像的融合结果，源图像如图3（a）-（b）所示，（a）为左聚焦图像，（b）为右聚焦图像。各算法的融合图像如图3（c）-（g）所示。SR和ASR融合图像中重影现象较为严重，且SR融合图像中存在“块效应”，整体清晰度不高。ASR融合图像有所改善，但融合效果依旧不佳。MST-SR融合图像在抑制重影现象上处理的比较出色，但在图像边缘处信息出现失真现象，不能很好地保留细节信息：相比之下，CSR和本文方法的融合图像中克服了块效应，边缘信息量包含的较为完整，但CSR方法的细节信息相对较为模糊。本文提出的方法融合效果清晰度更高，背景細节信息保留的更为完整。

图4为“树丛”图像的融合结果，源图像如图4（a）-（b）所示，（a）为左聚焦图像，（b）为右聚焦图像。各算法的融合图像如图4（c）-（g）所示。SR融合图像中在平滑部分的细节保存能力有限，存在“块效应”，整体清晰度不高。ASR融合图像依旧存在重影现象，很多细节丢失，MST-SR融合图像在边缘信息中显示不够清晰;CSR融合图像中的信息量包含较多，但存在颜色失真现象。本文提出的方法融合效果清晰度较高，背景细节信息保留的更为完整。

根据实验结果可发现，虽然融合图像体现的信息优于源图像，但融合结果还是有所差异。综合以上比较可以得出，本文提出方法的主观融合效果表现良好，能够捕捉到源图像中更多的细节信息，符合人眼的视觉特性，效果更好。每组融合图像的各种融合方法的客观融合性能评价结果见表l-表3。

结合表1-表3的实验融合性能指标，比较5种不同的融合方法结果可以看出，SR融合方法的各项性能指标较低，主要因为该方法不具备平移不变性，图像块导致其在融合过程中块效应现象明显，从而融合效果不佳。ASR融合方法在SR融合方法的基础上有所改进，较好地保留了源图像中的细节信息，各项融合性能指标较SR方法均有提高。CSR融合方法因其是在整个图像上进行稀疏表示，克服了SR融合方法的缺点，消除了块效应现象，融合效果具有一定程度上的改善，大部分客观性能指标均有提高。MST-SR融合方法引入了多尺度变换，能够从源图像中获取更多信息，较好地保留源图像中边缘信息，故其在互信息、平均梯度上表现良好。本文方法结合了MCA和CSR的优点，同时具有平移不变性和多组件稀疏表示，明显改善了图像融合效果，其各项客观性能均高于其它方法，从而证明本文方法无论是从主观视觉评价还是客观性能分析，均具有较好的视觉效果和性能指标，融合效果更佳。

4结束语

针对图像融合过程中存在边缘信息丢失的缺点，本文提出了卷积稀疏表示和形态分量分析的图像融合方法。该方法充分利用CSR的优越性，同时结合MCA模型进行改进，对平滑部分和细节部分按照不同融合规则进行融合。在多聚焦图像融合方面的实验结果表明，该方法不仅能较好地显示图像中的边缘信息和轮廓特征细节，且对比度较高，能够保持良好的细节信息，色彩明亮，有效地抑制重影和失真。相比其它传统融合方法，本文提出融合方法具有明显的优越性。