卷积神经网络在高光谱图像分类中的应用综述

万亚玲，钟锡武，刘 慧，钱育蓉

1.新疆大学 软件学院，乌鲁木齐 830046

2.新疆大学 信息工程学院，乌鲁木齐 830046

近年来，随着我国“高分五号”卫星的成功发射，研究者们对高光谱遥感技术的关注达到了新的高度。高光谱遥感图像（Hyperspectral Imagery，HSI）是通过高光谱成像仪获取的图像，它的空间信息和光谱信息十分丰富。与普通图像相比，高光谱遥感图像还具备更多的波段数以及极高的分辨率。因此，对于地物鉴别而言，对它的光谱特征和空间特征进行分析，就可以得到详细的地物特征。目前，高光谱遥感对地观测技术的应用十分普遍，例如精准农业[1]、海洋水文检测[2]、大气环境监测[3]等领域，高光谱遥感及应用也必将在我国经济、农业、环境监测等各个方面发挥越来越重要的作用。高光谱遥感图像的应用实质就是高光谱遥感图像分类。如何对高光谱图像中的每个像元进行快速准确的判别是这个问题的核心。

目前，对于高光谱遥感图像分类任务，一种是采用传统的方法，例如利用光谱特征的分类方法和数据的统计特征的分类方法，包括常用的K近邻算法[4]以及支持向量机（Support Vector Machine，SVM）[5]。但是，传统的方法一方面是没有考虑到高光谱图像丰富的空间信息，导致特征提取不够完整；另一方面是大多数方法基于手工特征，需要人工判别和标注，会花费较多的人力和时间。传统的浅层学习方法的局限性在于：它主要是提取分类器所需要的特征，而且提取的特征是面向领域知识的，这些都会造成分类精度不佳。

近些年，一些深度学习模型也被应用在高光谱遥感图像分类中，如深度信念网络（Deep Belief Network，DBN）[6]和栈式自编码器（Stacked Autoencoder，SAE）[7]网络，但是这两个网络的局限性在于：均要求输入为一维向量，由于光谱信息本身为一维，需要对空间信息拉伸成一维向量，这样就会造成空间信息的丢失。而卷积神经网络（Convolutional Neural Network，CNN）[8]通过局部连接有效提取特征，通过共享权值显著地减小参数量，而且它在图像分类[9]、图像超分辨率重建[10]、目标检测[11]、医学图像处理[12-13]等领域获得广泛应用，为卷积神经网络在高光谱遥感图像分类任务中的应用奠定了基础。

1 高光谱遥感图像分类

1.1 高光谱遥感图像分类概述

高光谱遥感图像利用成像光谱仪获取连续的、多波段狭窄的遥感图像。与普通的遥感图像相比，第一，它能达到纳米级别的分辨率，第二，它是一个能够充分反映地物目标的光谱特征的数据立方体，且包含丰富的空间信息和光谱信息。高光谱遥感图像分类的过程主要由数据输入、数据预处理、特征提取和特征选择、分类模型、精度评价、分类结果这几大步骤组成。高光谱遥感图像的分类过程如图1所示。

图1 高光谱图像分类框架

（1）数据预处理主要包括图像格式转换、几何校正、降噪、降维等处理，目的是尽可能地消除噪声对高光谱图像的影响，为后续的分类模型提供数据。

（2）特征提取和特征选择是寻找最优解的过程，其本质就是降维，一般使用PCA（Principal Component Analysis）降维[14]的方法，它运用线性变换来提取特征，但是高光谱数据本质上是非线性的，因此PCA 等线性变换方法会丢失大量有用的信息。

（3）分类模型。选择适合于高光谱遥感图像的分类模型是实现精准分类的关键。相比于传统的方法，基于卷积神经网络的分类方法[8，15]一方面能够自动提取浅层和深层次的特征，通过浅层提取纹理和边缘信息，通过深层提取高级语义信息，并进行有区分度的特征学习，而传统的方法只能提取有限的浅层信息。对于高光谱遥感图像这种高维的数据，能够有效地拟合高光谱遥感图像的分类标签与高光谱图像数据特征之间的非线性关系，减少了繁重的人工标注，同时节约了计算时间，更好地提高分类精度。另一方面，卷积神经网络将特征提取和特征分类集成到一个框架中，可以实现端到端的训练。

1.2 高光谱遥感图像分类存在的问题

高光谱遥感图像具有“图谱合一”的特点，同时包含大量的数据信息，具有巨大的信息潜力，但是如何从大量的信息中高效准确地完成分类任务，做到省时省力，一直是人们的研究热点，因此在解决这个问题时还有以下困难需要克服：

（1）缺乏大型、公开、已标记的数据集。高光谱遥感图像的获取、处理、标记比较困难，它无法像普通RGB图像那么容易获取，而利用深度学习训练模型时需要大量的样本，如果数据量不足，会对模型和算法的研究带来一定的局限性。如何在少量的训练样本下充分挖掘未标记数据和已标记数据之间的联系，提高分类模型的普适性和分类精度，也是亟待解决的问题。

（2）小样本和高维度的问题。高光谱图像的光谱分辨率高，光谱数量多，而现实中高光谱数据的标签采集比较困难，且进行人工标注成本高，在高光谱数据标注时，具有高标注代价的特点。小样本和高维度的问题，增大了高光谱图像的分类难度，容易造成“维度灾难”的现象。深度学习的很多模型方法都依赖于大量的标记样本进行有效训练，而小样本和高维特性往往制约着深度学习模型在高光谱图像分类上的应用。

（3）高维特性使数据的存储和处理变得困难。高光谱遥感图像的高维度特性使得在对其进行处理时，增加了计算的复杂度，如何有效地对高光谱进行降维、图像预处理、特征提取和特征选择，才能够降低数据存储和分类模型的开销，提高分类精度，也是值得思考的问题之一。

2 卷积神经网络

卷积神经网络（CNN）广泛应用于图像处理和模式识别等方面。与DBN和SAE相比，CNN是高光谱图像分类使用最多的深度学习模型。卷积神经网络卷积层的工作原理是利用卷积核进行特征的提取，这种提取是自主完成的；而池化层的工作原理是对来自卷积层的数据进行下采样处理，这种方式的好处是使感受野变得更大，数据量被不断压缩，参数量明显降低；全连接层也是卷积神经网络很重要的部分，它的主要作用是将数据以一维的形式输出。CNN 的基本结构如图2 所示。随着数据的维度和数量不断地增加，比如高光谱遥感这类数据，早期的卷积神经网络的“卷积-池化-全连接”结构已经不能满足现在的需求，于是研究者又提出了基于卷积神经网络改进的网络模型，例如GoogleNet[16]、VGGNet[17]、ResNet[18]、DenseNet[19]等。

图2 CNN基本结构

目前卷积神经网络有三种不同形式的卷积核，包括1D-CNN、2D-CNN、3D-CNN，它们具有相同的元素计算过程，都采用反向传播算法对网络的参数进行修改，并训练网络。对于高光谱遥感图像分类而言，它们的本质区别就是分别代表了不同形式的特征。基于CNN的分类方法主要是基于光谱特征、基于空间特征、基于空谱特征联合的方法，以下分别介绍这三种方法。

2.1 基于光谱特征的分类方法

高光谱包含大量光谱信息，因此光谱信息在高光谱分类任务中尤为重要。光谱信息为一维向量，通常使用一维卷积神经网络（1D-CNN）对其进行分类。Hu 等人[20]采用一个包含权重的五层一维CNN网络直接在高光谱图像的光谱域进行分类。1D-CNN 的缺点是只能提取到光谱向量，不能提取到丰富的空间上下文信息。但是1D-CNN 是研究者们使用卷积神经网络在高光谱图像分类上的踊跃尝试，为后续研究高光谱图像分类打开了新的思路。

基于光谱特征的分类方法主要是利用1D-CNN 提取光谱特征，但它并非主流方法，其局限性在于：1DCNN只能提取到光谱向量，没有考虑空间信息，而高光谱图像中存在“同谱异物”和“异物同谱”现象，仅仅利用光谱信息分类难以得到较好的分类效果。

2.2 基于空间特征的分类方法

空间信息也是在高光谱遥感图像分类时需要考虑的一个方面，利用1D-CNN 可以提取光谱信息，但是无法提取空间信息，于是研究者们开始思考利用在普通图像领域使用的二维卷积神经网络来进行高光谱遥感图像的分类。2D-CNN与1D-CNN最本质的区别在于2DCNN 的卷积和池化都是二维的操作。利用2D-CNN 可以提取高光谱遥感图像目标像素周围的局部空间信息。二维卷积操作的时候，采用的公式如下：

基于空间特征的分类方法，利用2D-CNN作为分类模型对高光谱遥感图像进行分类。首先对原始的图像进行PCA 降维处理[21]，然后以目标像素为中心点，对这个目标像素的领域范围进行信息提取，最后利用卷积、池化等进一步提取更深层次的特征，完成分类任务。很多研究者采用2D-CNN 作为分类模型对高光谱遥感图像进行分类。Liu等人[22]提出了一个半监督的2D-CNN用于高光谱图像分类，它能够自动从复杂的高光谱图像数据结构中学习特征，半监督的方式能够很好地解决标记的样本量有限的情况。Xu等人[23]提出一种有效的基于深度学习的方法RPNet（Random Patches Network）用于高光谱图像分类，首先通过PCA 降维对高光谱图像进行预处理，然后直接将从图像中得到的随机块视为卷积核而无需任何训练，通过结合浅层和深层卷积特征，使其具多尺度、耗时少的优点。

基于空间特征的分类方法，在使用2D-CNN作为分类模型进行分类时具有一定的局限性[24]。它的局限性在于：在处理之前，必须对原始图像进行降维处理，试图将高光谱图像转变为类似于RGB 的图像。一方面，如果不进行降维处理，就会导致参数量非常大，再加上样本数量少，容易出现过拟合现象。另一方面，高光谱图像通常含有上百个波段，在降维过程中，可能会破坏光谱的结构，造成光谱信息的丢失，浪费高光谱图像的一些特定属性。

2.3 基于空谱特征联合的分类方法

基于空谱特征联合的分类方法，主要是结合高光谱图像丰富的光谱信息和不可或缺的空间信息完成分类任务，一般有两种方法，如图3所示。

2.3.1 1D+2D-CNN的空谱分类方法

图3 基于空谱特征的CNN分类方法

这种分类方法引入两种CNN，先对输入的高光谱数据进行PCA 降维或者其他方式的压缩降维，提取待分类像素点的领域信息，然后利用2D-CNN对提取出来的信息进行进一步的加工，提取更深层次的空间信息，利用1D-CNN或传统方法提取谱信息，结合提取的空间信息和谱信息从而完成分类任务。Yang 等人[25]提出了一种双通道卷积神经网络（Two-CNN），该方法采用光谱通道学习谱域特征，用空间通道学习空间域特征，然后将学习到的特征串联起来，输入全连接层，完成分类任务。胡丽等人[26]利用空洞卷积的一维卷积神经网络（1D-CNN）和二维卷积神经网络（2D-CNN）提取高光谱图像的光谱和空间特征，采用加权融合方法对特征进行融合。

2.3.2 基于3D-CNN的空谱分类方法

3D-CNN使用三维卷积在三个维度上同时工作，直接提取高光谱图像的光谱信息和空间信息。相比于2D-CNN 需要对原始图像进行压缩降维，3D-CNN 直接从原始的高光谱遥感图像中提取空间信息和光谱信息，三维卷积核具有提取三维信息的能力，其中两个维度为空间维，剩下的一维为光谱维，而高光谱遥感图像正好是一个三维立方体，因此可以直接提取信息，这些优点都使3D-CNN 更加适合作为高光谱图像分类的模型。3D-CNN进行三维卷积操作的公式如下所示：

其中，在三维卷积核中，Rl表示光谱维数，Hl表示高度，Wl表示宽度。此外，表示在(h,w,r)位置上第l层中第i个卷积核输出的数据。Li等人[27]提出了基于三维卷积神经网络框架（3D-CNN），利用其特性可以进行HSI 的高准确性分类。Chen 等人[8]提出了一种基于3D-CNN的有限元模型，并结合了正则化以提取高光谱图像的有效光谱空间特征。He等人[28]提出了一种用于HSI 分类的多尺度3D 深层卷积神经网络（Multi-scale 3D Deep CNN，M3D-DCNN），它可以以端到端的方式从HSI 数据中共同学习空间特征和光谱特征，用1DCNN提取光谱信息。

目前，利用3D-CNN对高光谱的空谱特征进行分类的方法主要有以下四种：

（1）改进的3D-CNN模型。一般利用DenseNet或者ResNet 作为骨干网络，利用三维卷积核进行提取，它们的网络更深，提取的特征更加丰富，而且可以有效地缓解梯度消失的问题。Zhong等人[29]设计了一个端到端的光谱-空间残差网络（Spectral-Spatial Residual Network，SSRN），它选择7×7×200 的三维立方体作为输入数据，不需要特征工程来进行高光谱图像分类。在该网络中，通过构建光谱残差块和空间残差块提取光谱特征和空间特征，使得识别准确率更进一步提升。或者使用密集连接或者残差连接的改进网络。Wang 等人[30]提出一个端到端、快速且密集的光谱-空间卷积（Fast Dense Spectral-Spatial Convolution，FDSSC）框架，它选择9×9×L（其中L为数据集的光谱数）的三维像素数据作为输入。该框架通过构建密集谱块和密集空间块自动提取HSI 中丰富的空间特征和光谱特征。密集连接加深了网络，减少了梯度消失的问题。

（2）加入注意力机制的3D-CNN模型。采用现在主流的注意力模块，例如SENet（Squeeze-and-Excitation Network）[31]、CBAM（Convolutional Block Attention Module）[32]等注意力机制或者改进的注意力机制，来构建构建网络，关注更加有用的空间光谱信息。Lu等人[33]提出了一种新的基于三维通道和空间注意力的多尺度空间谱残差网络（3D Channel and Spatial Attention Based Multi-scale Spatial Spectral Residual Network，CSMS-SSRN）。该框架使用三层并行残差网络结构，通过使用不同的三维卷积核从它们各自的残差块中连续学习频谱和空间特征，然后将提取的深度多尺度特征进行叠加，输入到三维注意模块中，从通道和空间域两方面增强图像特征的表现力，从而提高分类的准确性。Li 等人[34]提出了一种用于HSI 分类的双分支双注意机制网络（Double-Branch Dual-Attention Mechanism Network，DBDA），使用两个分支来分别提取光谱和空间特征，以减少这两种特征之间的干扰，并分别应用两种类型的注意机制，确保更有区别地利用光谱和空间特征，最后融合提取的特征进行分类。

（3）基于迁移学习的3D-CNN模型。为了解决高光谱图像的样本量较少的缺点，采用迁移学习的方法，在含有标注良好的样本的源高光谱数据集中预训练一个模型，然后将其转移到样本量较少的目标高光谱数据集中，然后进行微调，完成分类任务。Zhang等人[35]提出了一个端到端的三维轻量级卷积神经网络，用于基于有限样本的HSI分类。为了进一步缓解小样本问题，还提出了两种转移学习策略：一是跨传感器策略，在包含大量标记样本的源HSI数据集上预处理三维模型，然后将其转移到目标HSI 数据集上；二是跨模态策略，在包含大量样本的二维RGB 图像数据集上预处理三维模型，然后将其转移到目标HSI 数据集上。Jiang 等人[36]提出了一个三维可分离的ResNet（3-DSRNet）来进行跨传感器转移学习。使用所提出的3-DSRNet在具有足够的训练样本的源HSI 数据集上对目标HSI 数据集进行分类模型预处理。然后，将预处理后的模型转移到目标HSI数据集进行微调，完成分类任务。

（4）基于2D-CNN和3D-CNN混合的模型。单一的网络模型往往提取到的特征有限，将二维和三维卷积相结合，提取空谱信息，可以有效弥补特征提取不全面的缺陷。Roy 等人[37]提出的混合频谱卷积神经网络（HybridSN）是一个光谱空间3D-CNN，然后是空间2D-CNN。3D-CNN有助于从高光谱图像中联合表示空间-光谱特征。在3D-CNN 之上的2D-CNN 进一步学习了更多抽象级别的空间表示，与单独的3D-CNN 相比，混合CNN的使用降低了模型的复杂性。Feng等人[38]从网络优化的角度设计了一个11层的Residual-HybridSN网络。通过3D-2D-CNN、残差学习和深度可分离卷积的有机结合，该网络可以用很少的训练数据更好地学习深度分层空间-光谱特征，有效地解决“小样本问题”。Fang 等人[39]提出了一个端到端的ASU-3D/2D 密集网络，多个中间分类器的设计使得使用自适应频谱分解来促进分类成为可能。与传统的三维卷积相比，它集成了3D/2D 密集网络，能够更好地处理空谱特征，同时包含更少的参数，并且利用有限的训练样本进一步提高了网络性能。

但是这些基于3D-CNN 的模型都有一定的局限性。它们的局限在于：参数量较大，训练时间过长，网络模型较为复杂。

综上所述，基于深度学习的分类方法的概述、优缺点和应用场景具体情况如表1所示。

基于CNN的方法是高光谱图像分类中最常用的方法，也是目前研究最为广泛的方法。相比于传统的方法以及早期的深度学习方法SAE 和DBN，CNN 具有强大的特征提取能力，利用1D-CNN 提取光谱特征，用于作物分类和土地覆盖，但是它只考虑到光谱信息，对空间信息没有考虑，因此分类精度不理想。2D-CNN在普通图像上的表现优异，利用2D-CNN提取以目标像素为中心的领域空间信息，但需要对高光谱数据进行压缩降维，因此会损失一部分有用信息，并且会有大量的参数，容易出现过拟合现象。利用3D-CNN 能够直接对高光谱图像进行处理，同时提取空间信息和光谱信息。利用改进3D-CNN 网络和加入注意力机制、迁移学习、2DCNN 和3D-CNN 混合的网络，都取得了不错的效果，但是基于3D-CNN 网络的局限性在于参数量巨大。在今后需要对3D-CNN的网络进行剪枝，或者对模型进行轻量化的改进。

除了CNN 网络，最近还有一些深度学习模型活跃在高光谱图像分类领域，例如图卷积神经网络（Graph Convolutional Net，GCN）[40-41]用于高光谱图像分类，因为它可以对任意结构的非欧几里德数据进行卷积，并且适用于由图形拓扑表示的不规则图像区域。传统的GCN 只能利用高光谱图像的光谱特征，不能合并具有重要意义的空间信息，如果参数量过大，传统的GCN的复杂度是无法接受的。因此，Wan等人[42]提出的GCN与常用的固定图形GCN 模型不同，它能够随着图形卷积过程而动态更新，设计不同邻域尺度的多输入图，以广泛利用多尺度下多样化的光谱空间相关性，逐渐产生有区别的嵌入特征以及细化的图形。Hong等人[43]提出由CNN 和GCN 共同提取高光谱图像的不同类型的特征，然后将特征融合，实现分类。Mou等人[44]提出了一种基于图的端到端的半监督网络（Nonlocal GCN），首先计算非局部图，然后给定这种图形表示，使用两个图卷积层来提取特征，网络的半监督学习通过在所有标记的实例上使用交叉熵误差来完成，它具有精细的边界和高质量的分类图。

表1 基于深度学习的高光谱图像分类方法总结

GCN能够适当地表示高维空间中高光谱图像底层的数据结构，能够应用于像高光谱图像这样的非线性的数据表示和分析，但是它会不可避免地引入一些问题，例如计算邻接矩阵的高存储性，计算成本高，容易产生梯度爆炸和梯度消失等问题。

由于深度学习模型，例如CNN、GCN等在遥感图像处理上的优异表现[45-46]，可以将许多方法落地于生产应用。CNN 在农业研究领域，大多是对静态图像进行分类，而高光谱图像可以获取到农作物的图像和光谱信息，从而反映出农作物的生长情况和品质特性。通过高光谱图像所反映出的本质属性，利用CNN 进行模型构建，可以快速有效地对农作物的病虫害进行分类，从而进行无损检测等任务。

3 常用的数据集和评价指标

3.1 常用数据集

高光谱遥感图像分类中常用的公开数据集有Pavia University 数据集、Indian Pines 数据集、Salians 数据集、Kennedy Space Center 数据集、Botswana 数据集等，如表2所示，其中波段数指的是可用于训练的波段数量。常用高光谱数据集下载地址为：http：//www.ehu.eus/ccwintco/index.php?title=Hyperspectral_Remote_Sensing_Scenes。

3.2 评价指标

对于高光谱遥感图像而言，仅仅从视觉的角度来评判分类模型的好坏往往是不合适的，因此有必要引入一些评价指标对分类模型的优劣进行评判。若要将这些评价指标进行定量的对比，正确的样本是必不可少的，因此下面所列的评价指标往往是针对有监督的算法的。常用的评价指标主要有三个：总体分类精度（Overall Accuracy，OA）、平均分类精度（Average Accuracy，AA）、Kappa 系数。这些评价指标对于高光谱图像分类算法能力的判断起到关键性的作用，它们的值越大，表示分类的能力就越强。

（1）总体分类精度：表示将正确分类的像元数目比上被标记的总体像元数目得到的值，一般以小数表示。具体情况见式（3）：

其中，n是高光谱图像地物目标的类别数目，Ni是第i个类像元的数目，hii为第i类被正确分类的像元数目。从总体分类精度可以简单直观地看出分类效果，但是它没有考虑到每一类的分类情况，如果样本数量分布不均匀，这个指标就不再可靠。

（2）平均分类精度：是指先求出每一种类别被正确分类的像元数目占该类别像元总数目的比值，然后把得到的总体类别的比值进行求和，得到的求和数值除以总体类别数目就得到平均分类精度，如式（4）所示：

其中，N代表总的训练样本中进行测试的样本像元数目，n代表类别的个数，hii为第i类被正确分类的像元数目。从公式中可以看出，如果某一类的分类精度过低，平均分类精度就会被拉低。相比于总体分类精度，平均精度相对来说比较客观。

（3）Kappa 系数：表示一种以分类混淆矩阵判定分类精度的指标，在高光谱图像分类方面运用比较广泛，具体情况如下：

其中，M表示混淆矩阵，mij表示第i类的像元被错分到第j类中的数目，i和j的值一样，就代表被正确分类的样本数量，i和j不一样，就代表被分类错误的样本数量。从混淆矩阵可以看出，如果想让分类的效果更好，那么对角线上得到的数目就更大。Kappa系数的计算方式如式（6）所示，N为总训练样本中进行测试的像元数目，“+”是指可以在行或者列上进行求和。相比于总体分类精度和平均分类精度，它利用了混淆矩阵，因此所反映的数据更加全面。

表2 高光谱图像分类常用的数据集

4 实验结果与分析

本文选用了高光谱数据集中的Pavia University 数据集、Indian Pines 数据集和Salians 数据集作为实验数据集，实验使用Pytorch深度学习框架，硬件配置为Intel Core i7-10700 CPU，内存为16 GB，显卡为NVIDIA GeForce RTX 2060。分别比较了1D-CNN[20]、2D-CNN[22]、3D-CNN[27]、SSRN[29]、FDSSC[30]，其中 1D-CNN、2D-CNN、3D-CNN分别是使用一维、二维、三维卷积的分类模型，而SSRN 是基于残差网络改进的3D-CNN 模型，FDSSC是基于密集连接网络改进的3D-CNN模型。

在实验中，1D-CNN、2D-CNN、3D-CNN使用了以上三个数据集的30%的样本作为训练样本，选择70%的样本作为测试样本，SSRN和FDSSC使用了10%的样本作为训练样本，选择90%的样本作为测试样本，SSRN使用200个epoch，FDSSC使用80个epoch。表3、表4、表5分别为三个数据集的分类结果，其中包含评价指标OA、AA和Kappa。图4、图5、图6为分类后的可视化效果图。

表3 Pavia University数据集的分类结果

表4 Indian Pines数据集的分类结果

表5 Salians数据集的分类结果

对 Pavia University 数据集、Indian Pines 数据集、Salians数据集的分类结果进行如下分析：

（1）从表4 和图 5 中可以看出，Indian Pines 数据集的样本分布不均衡，该数据集最多的一类Soybean-mintill为2 455 个样本数量，而最少的Oats 类为20 个，从地物分布图中也能明显地看出这一点。并且这个数据集有着非常低的空间（20 m/pixel），这会导致数据集上的每个像素实际上为地物的混合物。该数据集专注于农作物的分类，从相邻的像素中获取到的信息并不能真正提高模型的分类辨别能力，因此分类难度稍大。

图4 Pavia University数据集分类图

图5 Indian Pines数据集分类图

图6 Salians数据集分类图

（2）从图5 中Indian Pines 数据集的可视化效果图中可以看到标红框的类，2D-CNN对于边缘信息处理不是很好，因为2D-CNN 未提取光谱信息，而3D-CNN 和SSRN和FDSSC，也就是三维卷积处理的效果还是不错的，因为它同时提取光谱信息和空间信息，在相同的30%训练样本的条件下，3D-CNN 的 OA 比 2D-CNN 高1.8个百分点。从实验结果可以分析出，对于2D-CNN，由于高光谱图像的高维度特性，一般需要降维操作，但是如果进行降维操作，可能会破环光谱信息，而光谱信息又是区分不同地物的重要信息。如果不进行降维，再加上高光谱遥感图像一般都具有数百个波段，那么二维结构的模型就会产生巨大的参数量，会影响最后的分类结果。从表3、表4、表5中也可以看出，三个数据集中基于空谱特征的方法3D-CNN、SSRN 和FDSSC 相比于仅使用光谱信息或者仅使用空间信息的分类效果都好，这说明考虑光谱特征和空间特征能够充分发挥高光谱图像的本质优势。

（3）通过Salians数据集的实验结果表5和图6来看，SSRN 和FDSSC 仅仅使用10%的训练样本比3D-CNN使用30%的训练样本的OA分别高4.83个百分点和5.36个百分点，比2D-CNN分别高7.45个百分点和7.98个百分点，而仅仅使用80个epoch的FFDSC方法的OA仅仅比使用 200 个 epoch 的 SSRN 方法高 0.53 个百分点。由于1D-CNN 只提取光谱信息，OA 只有85.31%。Pavia University 数据集和 Indian Pines 数据集的 SSRN 和FDSSN的效果也是好于使用30%的训练样本的2D-CNN和3D-CNN。从实验结果可以分析出，三维卷积比二维卷积更加适合高光谱遥感图像分类，三维卷积充分考虑了图像的光谱特征和空间特征，得到了较好的分类效果。但是现有的基于三维卷积的方法仍然有缺陷，例如三维的卷积需要更多的参数，而且它的计算是密集型的。

5 总结和展望

随着遥感技术的不断更新发展，高光谱遥感图像应用也变得更加广泛，高光谱遥感图像分类一直是计算机领域和遥感领域的研究重点，这项工作具有良好的应用前景和较为扎实的理论基础。高光谱遥感图像分类这项基础性的重要工作如果完成得较好，将会对后续的高光谱遥感图像处理打下坚实基础，将会完成很多有意义的实际工作。本文对近几年卷积神经网络在高光谱遥感图像分类中的应用进行了总结和归纳：

（1）传统的高光谱图像分类方法，一方面只利用光谱信息进行分类，没有充分考虑高光谱遥感图像中所包含的丰富的空间信息，另外需要专家知识作基础，只能提取特定种类的浅层特征，丢失了空间信息的多样性；另一方面，模型的泛化能力不佳，普适性不强，因此分类效果不甚理想。

（2）卷积神经网络作为一种深度学习模型，能够处理原始数据和特定类标签之间的复杂关系，输入网络的数据在模型中进行训练，可以获取更深层次的光谱空间特征。比起早期使用的SAE网络和DBN网络要求输入为一维向量的限制，卷积神经网络能够处理二维甚至三维的数据，使得卷积神经网络成为完成高光谱图像分类任务常用的网络。从目前的方法来看，基于三维卷积神经网络的方法发展迅速，它充分考虑空间信息和光谱信息，使得高光谱图像的优势能够更好地发挥，另外结合注意力机制、迁移学习、混合网络等策略，很好地弥补了高光谱数据自身的高维特性、训练样本稀缺、数据非线性等缺点，更好地提升了分类效果。

虽然卷积神经网络在高光谱遥感分类领域已经取得了不错的效果，分类精度也在不断提高，但是仍然还有以下几个努力的方向：

（1）提高分类模型的训练效率和泛化能力

目前常用的基于CNN 的高光谱图像的分类方法，都是基于特定、公开的数据集，虽然很多已经达到了98%、99%的分类精度，但是这些方法往往参数量大，训练时间长，需要的训练样本较多，而且算法复杂度高，超参数调整不方便。这些缺陷受限于算法的理论研究和高光谱图像本身的高维特性。因此，这些方法的泛化能力和模型的鲁棒性应该如何提升也是未来需要考虑的方向。

（2）解决标记样本少的问题

高光谱数据由于标记的样本较为缺乏，这也限制了深度学习方法在高光谱数据分类上的应用。为了解决样本量少的问题，一方面，人们不仅可以使用现在常用的迁移学习、数据增强等方法，也可以用生成对抗网络（Generative Adversarial Network，GAN）[47]来丰富高光谱数据。利用生成对抗网络对高光谱图像中的某一个类别进行学习，从而生成和该类别的特征相符合的新的数据样本，达到增加该类别的数据量，扩充数据的目的。另一方面，可以采用无监督的分类方法[48]，使用端到端的编码器-解码器的方式进行构建网络，无监督的方法能够很好地从源头上解决深度学习的模型依赖大量学习样本的问题，因此无监督的分类模型也是后续可以考虑的方向之一。

（3）提高高光谱遥感图像的应用竞争力

深度学习的模型层出不穷，但是人们要做的不仅仅是对高光谱遥感图像进行单纯的数据分析及分类任务，而是要回归于它的本质特性和优势，重点对高光谱遥感图像的实际意义进行详细剖析，比如分类的结果是否有具体的学习意义，分类中所采用的深度学习模型在今后是否能够得到实际应用等。现有的基于深度学习的高光谱图像分类算法，往往是一些通用的分类方法，对于特定领域的方法研究不够，不利于高光谱图像分类算法真正落地应用于工业界和产业界。例如岩石识别、棉花产量估计、精细农业、农作物害虫检测、海洋遥感等，应该研究针对性的深度学习分类算法，这些方法应当以实际的应用为导向，这样将使得高光谱遥感图像的应用竞争力得到极大的提升。

（4）提高高光谱数据的处理能力

高光谱成像仪越来越先进，获取到的图像维度和分辨率都在显著提高，同时获取到的高光谱遥感数据呈爆炸式增长，遥感大数据的时代已经来临。一方面，如何将神经网络、深度学习等一些技术和高光谱遥感技术相结合，借助大数据、云计算平台，基于用户生产中的具体要求和应用，提高高光谱数据的处理能力，构建具有对遥感数据实时处理的智能系统。另一方面，高光谱仪器价格昂贵且高光谱数据处理往往需要专业人士，因此人们不仅需要从硬件方面考虑采用小型且轻量化的仪器，还需要做到降低高光谱数据处理的门槛，使信息处理能达到真正的智能化和自动化，让高光谱遥感真正地服务于大众。