基于三通道多尺度密集连接网络的高光谱地物分类研究

邓子青，杨 晨

（贵州大学 大数据与信息工程学院，贵阳550025）

0 引 言

HSI由搭载在不同空间平台上的高光谱传感器、即成像光谱仪捕获，除了包含空间信息外，HSI还包含从可见光到红外光谱的数百个光谱带。由于其丰富的光谱信息，HSI已被广泛应用于许多领域，如土地覆盖分类、目标检测和图像分割等。而在HSI分类领域，如何充分利用丰富的光谱空间信息是实现高分类精度的关键。

迄今为止，HSI的分类方法主要可分为2类：传统方法和基于深度学习的方法。在传统方法的早期阶段，研究人员倾向于利用丰富的光谱信息，如支持向量机（SVM）、k-最近邻（KNN）和多项式逻辑回归（MLR）。然而，这些基于光谱的方法只考虑光谱信息，实际上空间信息在分类过程中也起着重要作用。在后期，研究人员开始将光谱信息与空间信息相结合，以更好地进行分类。2017年，Lu等人提出了HSI分类的融合框架。将亚像素、像素和超像素的特征融合为一个复合核，并将复合核送入SVM分类器进行分类。基于光谱-空间联合特征的方法取得了令人满意的分类效果，但传统方法主要依靠人工设计的特征，造成了性能的局限性。

在过去十年中，由于基于深度学习的方法具有出色的特征提取能力，则已被引入HSI分类领域和其他许多图像处理领域。到目前为止，已经提出了许多用于HSI分类的深度学习方法。与传统方法一样，研究人员更关注早期的光谱信息。例如，Hu等人提出了一种五层1-D卷积神经网络（CNN），用于直接分析HSI分类的光谱信息。Li等人提出了一种像素对方法来学习光谱特征，并通过投票获得最终的分类结果，进一步提高了网络性能。基于1-D的方法可以提取光谱信息进行HSI分类，此后就开发出基于2D和3D的方法来利用空间和光谱信息。

目前，研究人员更多地关注基于光谱空间特征的方法，这种方法可以同时利用光谱和空间信息，极大地提高分类精度。Wang等人在利用卷积层进行特征提取的基础上添加密集连接缓解深层次网络存在的梯度消失问题，取得了良好的分类结果。Chen等人通过减少网络参数使其更易于训练，提出了一种轻量级CNN，通过使用一维卷积层和二维卷积层来提取光谱和空间特征。为了利用多尺度感知增强CNN的特征提取能力，Pooja等人提出了一种用于HSI分类的多尺度残差CNN。研究时使用多尺度扩展卷积来扩展网络的感受野，并取得了令人满意的分类结果。从以上方法来看，基于光谱空间的方法比仅基于光谱信息的方法具有更好的性能，而多尺度感知、密集连接是增强网络特征提取能力的有效手段。

为此，本文提出将多尺度手段和密集连接结构相结合构成一个三通道多尺度特征提取模块，由此可实现HSI光谱空间信息的充分利用，并通过多次叠加该模块以提升网络的特征提取能力，从而提高分类精度。

1 实验部分

1.1 三通道多尺度密集连接网络

利用3D卷积可以直接提取HSI的光谱空间特征，而多尺度手段的引入则使网络可感受不同细节层次的特征。本文将3D卷积与多尺度手段相结合构成三通道多尺度模块，以实现光谱空间联合特征的提取。通过堆叠该模块并引入密集连接架构组成最终的分类网络，网络结构如图1所示。

图1 三通道多尺度特征密集连接网络结构图Fig.1 Structure of triple path multi-scale feature dense connection network

首先，将以待分类像素为中心的周围像素块作为输入送入到三通道多尺度模块中。在该模块中，像素块被同时送入并行三通道中进行光谱空间信息的提取。通过改变三通道中卷积核的尺寸，该模块可捕获输入信息的不同细节层次特征。而三通道所提取的特征将通过加法进行特征融合，以得到最终的综合特征。

其次，通过在网络各层引入密集连接以缓解多次堆叠模块加深网络可能出现的梯度消失问题，不同于其他方法使用级联的方法连接各层，本文将不同层次特征直接相加以降低网络计算量。

最终，在通过多个三通道多尺度模块的特征提取后，深层次综合特征图被送入到最大池化层、平坦层和Softmax分类器得到最终分类结果，其分类器可表示为：

其中，表示所需分类数量；e 表示输入数组值；y表示各样本向量，而向量值表示样本对应类别的可能性，并将最大可能性标签作为样本最终分类标签。

该网络通过构建三通道多尺度模块提取HSI的光谱空间综合特征，模块内使用多尺度策略使得网络可感知不同细节层次上的特征，而密集连接的引入则缓解了多次堆叠该模块可能导致的梯度消失问题。

1.2 三通道多尺度模块

图1给出的结构中，三通道多尺度模块是网络提取光谱空间综合特征的关键，该模块主要由3D卷积层、并行三通道架构和特征融合组成，如图2所示。

图2 三通道多尺度模块结构图Fig.2 Structure of triple path multi-scale module

设定输入图像尺寸为（11*11*200），在三通道多尺度特征部分，为实现多尺度光谱空间特征的同时提取，将图像信息并行输入三通道3D卷积层中。其中，从上到下，各通道的3D卷积核尺寸分别为（1*1*1，24）、（3*3*3，24）和（5*5*5，24），这里的24为卷积核数量；不仅如此，又使用相同（same）填充方式以保证各通道所提取的特征图尺寸维持不变。通过并行三通道的特征提取，则可获取图像不同感受野下的特征，三者相互补充。

在特征融合部分，研究中将三通道得到的光谱空间综合特征图做逐元素相加以实现最终的特征融合。

相比于单独提取光谱和空间特征，利用3D卷积直接提取综合信息加强了2种特征间的联系，使得网络所提取的特征更具鲁棒性。多尺度手段的引入还使得网络可感知不同细节层次上的特征。

1.3 多尺度3D卷积

由图2可知，三通道多尺度模块中各通道均使用不同尺寸的卷积核，以实现多尺度特征提取。其中，由于可在3个维度上移动进行特征提取，3D卷积就常常应用在视频处理、对象识别和HSI分类等方面。进一步地，通过将其与多尺度策略结合，有利于多感受野的3D特征提取，其原理图如图3所示。

图3 3D卷积Fig.3 3D Convolution

由图3可知，当输入三维数据时，将其与3D卷积核（Convolution Kernel）进行卷积，得到3D输出特征图，研究推得的数学公式可写为：

2 结果与讨论

2.1 实验数据

为验证网络性能，实验使用IP、UP和SV三种不同地物覆盖类型的高光谱数据集作为测试对象，各数据集介绍如下。

（1）IP数据集：印第安纳松树林数据集由AVIRIS光谱仪捕获，具有145×145个像素，空间分辨率为20 m/像素，其有效频带数为200个，范围从400 nm到2 500 nm。总共有16个类别，其中包含谷物、燕麦和森林等自然植被。

（2）UP数据集：帕维尔大学数据集由光学成像仪捕获，具有610×340个像素，空间分辨率为1.3 m/像素，其有效波段数为103个。总共有9个类别，其中包含柏油路、建筑和草地等城市土地覆盖类型。

（3）SV数据集：萨利纳斯山谷由AVIRIS传感器获得，具有512×217个像素，空间分辨率为3.7 m/像素，其有效频带数为204个。总共有16个类别，其中包含芹菜、耕地和残茎等地物覆盖类型。

各数据集伪彩色图像如图4所示。

图4 3种数据集影像Fig.4 Pictures of three datasets

实验所使用硬件配置为酷睿i5-3470处理器、Tesla K40c科学计算显卡；网络代码搭建基于Python的Tensorflow深度学习框架。其中，IP数据集使用20%的样本进行训练，UP和SV使用10%的样本进行训练；网络学习率设置为0.003；输入像素块空间尺寸为（11*11）。量化分类效果，研究使用3种精度指标：（Overall Accuracy）、（Average Accuracy）和（Kappa）。其中，表示总体分类精度；表示所有类别的平均分类精度以及表示分类结果与真实标签间的符合程度。

2.2 分类结果

为验证本文提出网络架构有效性，将本文提出三通道多尺度特征密集网络与基于传统方法的SVM以及基于深度学习方法的堆叠自动编码网络（SAE）、3DCNN以及SSRN进行对比。研究中在IP、UP和SV数据集获得的测试结果见表1～表3以及最终的分类结果如图5～图7所示。

表1 IP数据集上各网络精确度以及训练时间对比Tab.1 Classification results and training time of different networks on IP dataset

表3 SV数据集上各网络精确度以及训练时间对比Tab.3 Classification results and training time of different networks on SV dataset

图5 IP数据集上的分类结果Fig.5 Classification maps for IP datasets

图6 UP数据集上的分类结果Fig.6 Classification maps for UP datasets

图7 SV数据集上的分类结果Fig.7 Classification maps for SV datasets

表2 UP数据集上各网络精确度以及训练时间对比Tab.2 Classification results and training time of different networks on UP dataset

从表1～表3可以看出，本文提出网络架构无论是在分类自然覆盖类型、还是城市建筑覆盖类型均能取得优秀的分类结果。对比其他方法，本文提出网络取得了最优的分类精度。其中，传统算法SVM虽然不能取得较高精度的分类结果，但所需训练时间最短；相比于传统算法，虽然SAE和3DCNN网络的训练时间有所增加，但在各数据集上取得的分类精度均有提升；不同于SAE和3DCNN，SSRN是专门针对HSI分类提出的，故该网络相比较其他均取得了最优的分类精度，在时间上却呈现大幅上升；而与SSRN相比，本文提出网络在实现精度提升的同时，显著减少了训练时间。

由图5～图7的分类结果分析可知，研究提出的网络取得了更优的分类结果。在IP分类图上分析可知，各分类区域边缘更加平滑且噪点更少；对比各分类区域，UP分类图上噪点都有所减少；在SV分类图上，各分类区域内部基本无错误分类像素点，与真实标签图保持一致。

3 结束语

HSI拥有丰富的光谱、空间信息，将2种信息进行有效结合是实现网络高精度分类的关键。为实现HSI光谱空间综合信息的充分利用，本文构建了三通道多尺度特征模块用于光谱和空间域信息的特征提取，多尺度手段的引入使得网络可感知不同感受野下的特征，从而进一步加强所提取特征的代表性。通过多次堆叠该模块以及引入密集连接，使得最终网络可以提取深层次抽象特征。在此基础上，仿真分类结果表明，本文提出网络在3个不同地物覆盖类型数据集上取得了99.5%以上的分类准确率，对比其他分类网络，本文提出网络在可接受的训练时间范围内取得了最优的分类结果。