基于PCNN的小波变换多光谱与全色遥感影像融合算法

段延超 高利杰

摘 要：本文在小波变换融合算法的基础上，结合了PCNN算法，提出了一种新的多光谱影像与全色影像融合算法。该算法首先利用PCA变换和IHS变换完成对影像的前置处理，然后对小波变换后的低频分量采用加权平均法的融合规则、高频分量采用PCNN的融合规则。最后，通过IHS逆变换完成影像的融合。结果表明，算法影像融合效果较好，有效地解决光谱失真和融合细节的问题，具有较好的实用价值。

关键词：图像融合；PCNN；小波变换；多光谱与全色

随着遥感技术的不断发展，获取遥感数据的能力也越来越强，种类也越来越丰富，包括全色影像、多光谱影像、高光谱影像、夜光影像等［1］。不同类型的遥感影像在空间分辨率、光谱分辨率等方面具有不同的特点。如何综合利用这些遥感数据，成为遥感技术研究的一个重要方向。

多光谱影像是指通过对地球表面反射、辐射、散射等电磁波进行多波段的采集和记录，形成的带有多个波段的遥感影像。每个波段都包含了物体不同的光谱特征信息，可以用于地表物质分类、植被覆盖度计算、水体提取等分析应用。全色影像是指在单一波段内采集的遥感影像，与多光谱影像相比，其光谱分辨率较高，一般在0.3～1.0米之间。全色影像具有高空间分辨率和较好的灰度级表现力，可以用于地物边界提取、建筑物检测等应用。

因此，对于一些需要既考虑地物信息又需要高空间分辨率的遥感应用，比如地物分类、地形分析等，就需要将多光谱影像和全色影像进行融合，以期得到更加准确、全面的遥感信息。融合后的影像具有高空间分辨率和多波段信息的特点，因而能更好地支持遥感数据的分析和决策。多光谱影像与全色影像融合技术在提高遥感数据的综合利用效率、地表信息获取的准确度和全面性、优化遥感图像分析方法以及推动遥感技术发展等方面具有重要意义［2］。

本文重点研究在小波变换的基础上，使用PCNN（脉冲耦合神经网络）来处理小波变换后的高频分量，从而提高多光谱影像和全色影像的融合的细节信息。

1 常见多光谱与全色影像融合算法

遥感影像融合算法可以分为基于变换的融合算法、基于像素级的融合算法、基于图像分割的融合算法、基于深度学习的融合算法。不同的算法具有不同的适用场景和优缺点，需要根据具体的应用需求和数据特点来选择合适的算法。以下算法是多光谱与全色影像常见的融合算法。

1.1 Brovey变换

Brovey变换是一种常见的遥感影像融合算法，用于将多光谱影像和全色影像融合在一起。该算法通过将全色影像的每个像素值按比例分配给多光谱影像的RGB三个分量，从而产生融合后的RGB图像。由于全色影像具有高空间分辨率和单一光谱波段，Brovey变换融合可以使融合后的影像具有更高的空间分辨率和更多的光谱信息。然而，该算法存在着色偏和光谱失真等问题，因此在实际应用中需要注意算法参数的调整和效果评估。

1.2 IHS变换

IHS变换是一种基于颜色空间的融合算法，它将多光谱影像和全色影像转换到三个颜色分量中，并将全色影像的强度分量与多光谱影像的色彩分量进行加权平均来生成融合图像。这种方法的优点是融合后的图像色彩保真度高，但对于保留多光谱信息而言，效果并不是很好。

1.3 PCA变换

PCA是一种数据降维的方法，可以将高维度数据转换为低维度数据，并且保留数据的主要信息。由于PCA变换可以在保留原始数据信息的同时减少数据维度，从而降低了数据冗余和噪声的影响，因此PCA变换融合算法具有良好的融合效果和实用性。同时，与传统的基于像素的融合方法相比，PCA变换融合算法能够更好地保持影像细节和色彩信息，提高影像的可解释性和应用效果。

1.4 小波变换

小波变换（Wavelet）是一种多尺度分析的融合算法，它通过对多光谱影像和全色影像进行小波变换，然后将变换后的系数进行加权平均来生成融合图像［3］。这种方法的优点是可以在不同尺度上融合图像，从而得到更加丰富的信息。

1.5 NNDiffuse算法

NNDiffuse融合算法是一种基于NNDiffuse算法的图像融合方法，它可以将多幅具有不同成像特点的图像融合成一幅具有更高质量的图像。但是，由于NNDiffuse算法本身的计算量比较大，因此NNDiffuse融合算法的计算量也较大，需要一定的计算资源和时间［4］。

2 本文融合算法

小波变换融合算法对噪声比较敏感，因为噪声可能会导致小波分解后的低频和高频分量之间的权重分配不合理，从而影响融合结果的质量。为了提高多光谱影像和全色影像的融合效果，本文融合算法主要步骤如下。

2.1 小波变换前置处理步骤

2.1.1 多光谱影像PCA变换

由于多光谱影像的第一主成分反映了多光谱影像中最大的变化，通常也包含了最多的信息。为了减少光谱扭曲，同时提升融合后细节信息。本文算法首先对全色图像进行PCA变换，然后將多光谱图像的第一主成分与全色图像进行直方图匹配，从而提升融合后遥感影像的质量和分析结果的准确性。

2.1.2 多光谱影像IHS变换

为了避免融合后影像出现色彩失真等问题，本文采用了IHS变换作为融合算法的前置处理步骤。首先，对重采样后的多光谱影像进行IHS变换，将其分解为强度（I）、色度（H）和饱和度（S）三个分量。其次，经直方图配准的全色影像与I进行小波变换，得到新的强度分量（I'）。最后，利用IHS逆变换将I'与原色度分量（H）和饱和度分量（S）组合成新的彩色影像，完成融合处理。由于色度和饱和度分量未经过改变，因此融合后的影像能够很好地保留原多光谱影像的色彩信息。

2.2 小波变换融合规则

2.2.1 基于加权平均法的低频分量融合规则

小波变换融合算法中，加权平均法用于融合低频分量，目的是保留多光谱影像和全色影像的结构信息。低频分量融合的規则如下：

IFn（i，j）=a1IAn（i，j）+a2IBn（i，j）

在公式中，（i，j）表示像素点的位置，n表示经小波分解的层数，IAn（i，j），IBn（i，j）表示低频分量系数对相应像素值，IFn（i，j）表示融合后低频分量系数，a1，a2表示融合时加权系数（a1+a2=1）。

2.2.2 基于PCNN的高频分量融合规则

PCNN是一种基于生物学神经系统的人工神经网络模型，其灵感来源于脉冲神经元之间相互作用的方式。PCNN在图像处理领域广泛应用，其主要特点是能够实现对图像的非线性、时空域的信息处理，并且能够很好地提取出图像中的边缘信息，因此在图像融合中也被广泛应用［5］。

经过小波分解后，高频分量包含了边缘、区域边界等细节信息。将高频分量系数与PCNN结合起来，可以进一步改善融合的细节效果。高频分量融合的规则如下：

IFij=IAij，TAij（n）TBij（n）

IBij，TAij（n）

在公式中，经过n次迭代后，TAij（n）和TBij（n）表示神经元点火次数矩阵，IFij表示融合后高频分量系数，IAij和IBij表示分解后高频分量系数。通过PCNN模型的非线性作用，可以提取出图像中的边缘和纹理等细节信息，从而进一步改善融合效果。

2.3 本文融合算法具体步骤

（1）影像配准。

（2）多光谱影像进行IHS变换，将其分解成I、H和S三个分量，并对其进行PCA变换，得到第一主成分PC1。

（3）全色影像和重采样后的PC1进行直方图匹配，得到匹配后的PAN'。

（4）将亮度分量I和匹配后的PAN'进行小波变换，得到高频分量和低频分量。

（5）低频分量采用加权平均值，高频分量采用PCNN融合规则。

（6）经小波逆变换，得到新强度分量I'。

（7）使用I'，经IHS逆变换，得到融合影像。

本文算法流程图如图1所示。

图1 本文融合算法

3 实验结果与分析

为了验证本文融合算法的优越性，使用Brovey变换、HIS变换、PCA变换、小波变换、NNDiffuse融合算法做对比试验，融合效果采用主观评价方法和客观评价方法。实验数据使用高分2号卫星拍所摄的1m分辨率的全色影像和4m分辨率的多光谱影像。

多光谱影像、全色影像及融合结果如图2所示。

图2 多光谱影像、全色影像及融合结果

3.1 主观评价

根据实验结果，可以看出Brovey变换算法融合结果后出现色彩偏差、IHS变换算法在高光和阴影细节方面表现较差、PCA变换算法在保留图像细节方面略逊于IHS算法、NNDiffuse算法在保留多光谱影像的颜色信息方面稍逊于其他算法、小波变换算法在保留多光谱影像颜色信息方面相对较差。本文算法融合结果既保留了多光谱影像的色彩，又很好地保留了全色影像的细节、清晰度等信息。从主观评价上，本文算法要优于其他算法。

3.2 客观评价

融合效果的客观评价选取信息熵、平均梯度、相关系数、均方差误差、交互信息量作为融合结果评价指标［6］。融合结果如下表所示。

融合结果客观评价指标表

（1）信息熵值越高，表明影像所携带的信息量越多。除了原始影像，本文算法的信息熵值高于其他算法，表明本文算法具有更高的信息量。

（2）平均梯度值越高，表明影像的清晰度越高。本文算法利用PCNN融合规则有效提高了影像细节表现能力，其平均梯度值高于其他算法，表明本文算法在清晰度方面处于较高水平。

（3）相关系数值越接近1，表明与参考影像的相关度越高。本文算法与参考影像的相关度较高，表明本文算法的融合效果与理想效果最接近。

（4）均方根误差值越小，表明与参考影像的差异越小。本文算法相较于其他算法具有更小的均方根误差值。

（5）交互信息量值越大，表明与参考影像最为贴合。本文算法的交互信息量值略高于小波变换融合算法，但优于其他算法。

综合而言，本文的融合算法在客观评价指标分析中表现出色，显著提高了融合效果，并成功解决了小波变换融合算法中出现的分块和光谱失真问题。相较于其他算法，本文算法提升了融合后影像的细节表现能力。

结论

本文算法的优势在于，能够有效地保留多光谱影像的细节信息，还具有较强的适用性和鲁棒性。缺点在于，本文算法处理包含建筑物的遥感影像融合效果较好，但不适用于处理其他类型遥感影像。另外，本文算法的复杂度较高，运算速度较慢，不适合实时处理大量数据。本文算法还需要进行进一步的优化和改进。

参考文献：

［1］李树涛，李聪妤，康旭东.多源遥感图像融合发展现状与未来展望［J］.遥感学报，2021，25（01）：148166.

［2］张丽霞，曾广平，宣兆成.多源图像融合方法的研究综述［J］.计算机工程与科学，2022，44（02）：321334.

［3］谭仁龙.一种基于小波变换的图像融合方法［J］.测绘通报，2017（09）：4245.

［4］Chen，X.，& Sun，J.（2020）.A novel image fusion method based on a convolutional neural network and NNDiffuse.Computers & Geosciences，139，104518.

［5］段延超.基于SIFT和小波变换的遥感影像配准融合算法研究［D］.河南大学，2019.

［6］杨艳春，李娇，王阳萍.图像融合质量评价方法研究综述［J］.计算机科学与探索，2018，12（07）：10211035.

作者简介：段延超（1990— ），男，汉族，硕士，助教，研究方向：图像处理；高利杰（1991— ），男，汉族，硕士，助教，研究方向：图像处理自动控制。