关联子域对齐网络的跨域高光谱图像分类

王浩宇，程玉虎，王雪松

中国矿业大学信息与控制工程学院，徐州 221116

0 引言

作为遥感领域基础且重要的研究方向之一，高光谱图像（hyperspectral image，HSI）分类旨在利用HSI 所含的光谱和空间信息对图像中每个像素点进行类别判断，进而帮助人类更为清楚地认知所处生存环境（张晶 等，2020）。近年来，HSI分类成功应用于农业、气候探测、国防安全等多个重要领域（Wang等，2022a）。因而，如何提高对HSI 的分类精度是遥感领域的研究热点之一。因具有强大的特征提取能力，机器学习在HSI 处理领域取得了令人瞩目的研究成果（Hong 等，2021）。早期研究人员利用传统机器学习方法提高HSI分类的精度，包括随机森林（叶珍 等，2021）、支持向量机（Melgani 和Bruzzone，2004）以及决策树（Delalieux 等，2012）等。这些传统的HSI 分类方法虽然模型简单，但大多数不能保证分类精度。

作为机器学习中重要的方法，深度学习在许多计算机视觉任务上取得了优异表现，如图像处理、目标检测和自然语言处理等（Chen 等，2019）。深度学习可以自动学习特征，这使其能够应用于多种背景下的任务。且深度网络高级特征提取能力和泛化能力使其大量应用于HSI 分类（Zhang 等，2018；梅少辉 等，2021）。Chen 等人（2015）使用深度置信网络学习HSI的空—谱特征。王芬等人（2021）提出一种深度递归残差神经网络方法，将残差网络和递归网络融合进一个框架中，通过对HSI 空—谱特征进行有效提取完成精准分类。Zhang 等人（2017）提出一种双通道卷积神经网络（convolutional neural network，CNN），分别使用1D-CNN 和2D-CNN 对HSI 的光谱和空间信息进行学习，并将具有判别性的空—谱特征输入分类器。

深度网络强大的特征表达能力往往需要大量有标记的训练样本支撑（Liu 等，2021）。众所周知，随着新一代卫星高光谱传感器的发展，研究者可以快速获取大量未标记的HSI，然而对这些图像进行标记还需相关专家耗费大量时间完成。因此，标记样本不足严重影响深度学习方法在高光谱分类任务上的应用。为解决上述问题，众多研究者通过将主动学习、数据增强等方法与深度学习将结合，利用少量标记样本完成了HSI 分类任务。Sun 等人（2016）充分利用主动学习选择具有判别性信息的样本，再结合样本信息测量技术完成模型训练。Wang 等人（2020）首先构建混合模型，再利用数据增强技术完成样本的扩充以充分训练CNN。Li等人（2017）首先主动选择标记样本，然后随机选择两标记样本生成新的样本以扩充CNN 的训练集。将深度学习和数据增强技术融入同一框架，提高了CNN 在高光谱图像上的分类精度。

虽然以上方法能够在一定程度上缓解因HSI标签获取不易而导致的模型训练集不充足的问题，但其难以在训练集和测试集分布不一致的分类任务上获得高精度。迁移学习方法适用于此类任务，即跨域高光谱图像分类，其可通过将学习到的领域不变性知识从标记样本集（源域）迁移到分布相似但不同的另一样本集中（目标域）（Tuia 等，2016）。深度迁移网络能够学习到高级且具有迁移性的特征，其在高光谱分类任务上取得了令人瞩目的成果（Ma 等，2019；Wang等，2019）。这源于深度迁移网络对于高级特征的提取能力和知识迁移能力，其可利用从数据中提取到的不变因子的相关性对HSI中的各类地物进行有效分类。Deng 等人（2020）在深度领域适应网络的基础上，通过将源域和目标域特征所形成的簇尽量拉近，进一步增强了特征的领域不变性。

然而，受光照、传感器硬件条件限制，被采集到的两邻域HSI间往往存在较大分布差异。以上现象给邻域分布适配带来了巨大困难，且常规迁移学习方法未考虑两域分类器的不适配问题。本文综合利用深度学习的强特征提取能力和迁移学习的领域适配能力，提出一种简单且有效的深度迁移网络，并命名为关联子域对齐网络（correlation subdomain alignment network，CSADN），将其应用于跨域HSI分类。

本文的主要贡献如下：1）提出一种简单且有效的深度迁移学习网络，合理地将分布适应和参数适应相结合，将源域知识迁移到无标签的目标域上。网络可以仅利用源域标记样本对目标域未标记样本完成分类。2）设计一种新颖的领域适配层并嵌入网络中，通过对齐两域的相关子领域和分布协方差，分别从局部和整体上适配两域一阶和二阶统计量差异，进而完成两域的领域适应。3）构建分类器适配模块并加入所提网络中，通过适配两域分类器的差异增强网络的领域适应能力，进一步提高方法对目标域数据的分类精度。

1 基于CSADN的高光谱图像分类

1.1 CSADN的HSI分类流程

基于CSADN 的跨域HSI 分类流程如图1 所示，主要分为5个阶段。

1）利用波段选择对源域和目标域原始HSI进行预处理，得到维度统一的两域输入和

3）将两域的深度特征输入领域适配器中，利用关联对齐（correlation alignment，CORAL）构造协方差领域适应项，同时利用局部最大平均差异（local maximum mean discrepancy，LMMD）构造子域适应项，基于协方差领域适应项和子域适应项从整体、局部减少两域一阶、二阶统计量差异。

4）构造分类器适配模块并加入网络中，对两域分类器差异进行适配。然后使用训练好的网络对目标域数据进行分类。

1.2 波段选择

原始HSI 波段数量多且波段间相关性较强，因而波段之间存在大量冗余信息。直接将原始HSI输入CSADN 会造成网络参数增多，模型性能下降（Wang等，2016）。根据Liu等人（2020）的方法，使用波段选择对原始HSI数据进行降维处理。定义原始HSI 的波段数为Nb，首先，每间隔个波段数选取原始HSI数据中的一个波段，得到a个波段组成的HSI。然后，每间隔+1 个波段数选取原始HSI数据中的一个波段，得到b个波段组成的HSI，具体为

1.3 两域分布领域适应

DNN 因其强大的深层特征提取能力，广泛应用于跨域HSI分类。然而当训练集和测试集属于不同数据分布时，DNN 难以学习到可迁移知识（Long 等，2019），从而导致模型分类能力不足。为解决上述问题，提出CSADN（correlation subdomain alignment network），在DNN 中加入领域适配层，将经DNN 提取的深层、具有判别性的源域和目标域特征同时进行全局二阶统计量和每类相关子域一阶统计量对齐。

CSADN 是由全连接层、非线性层、领域适配层以及softmax 层构成的前馈神经网络。将降维后的源域和目标域数据输入CSADN 中，经由全连接层和非线性层构成的特征提取器提取特征。全连接层输入为

式中，I 为全连接层输入，第1 层全连接层的输入为I=X0，b1为偏置。将全连接层输出作为输入连接到非线性层，非线性层输出为

加入领域适配层以适配两域分布差异，后将领域适配层的输出连接到softmax 层。CSADN 的损失函数定义为

在跨域高光谱图像场景下，源域和目标域的高光谱数据可能在不同地理区域或在不同时间的条件下采集得到。由于采集条件存在较大差异（例如照明、视角、土壤湿度和地形），两域数据的光谱特征会产生偏移，致使两域的整体数据分布存在差异。仅利用源域的标记数据进行训练得到的特征提取器，难以对目标域数据的特征进行有效提取。因此，需要加入协方差适应项，通过最小化两域整体特征的协方差差异，从二阶统计量上对两域整体特征进行对齐。根据Sun 和Saenko（2016）的方法，协方差领域适应项可表示为

式中，d1为领域适配层输入的维度，Cs和Ct分别表示源域和目标域特征的协方差矩阵。

然而，仅对整体特征进行领域适应可能会造成不同类别的细粒度信息丢失，并致使特征提取器难以学习到具有鉴别性的特征，图2（a）是一个可呈现此种现象的直观例子（Zhu 等，2021）。因此，在对整体特征领域适应的同时，考虑对两域局部特征进行领域适应。利用基于LMMD的子域适应项将两域中每类作为一个子域，嵌入到再生核希尔伯特空间中。通过反向传播最小化两域子域在该空间的希尔伯特—施密特范数，进而在一阶统计量上对两域的局部特征进行对齐，图2（b）是一个可呈现此种现象的直观例子（Zhu 等，2021）。子域适应项可表示（Zhu等，2021）为

图2 整体特征领域适应和局部特征领域适应示意图Fig.2 Sketch map of global feature domain adaptation and local feature domain adaptation（（a）global feature domain adaptation；（b）local feature domain adaptation）

式中，ϕ(·)为特征提取器，其可将X0映射到特征空间。

1.4 两域分类器适应

面对差异较大的跨域高光谱图像分类场景，仅从特征层面对两域分布进行对齐并不能彻底消除两域数据之间的差异，因而在经特征领域适应后的源域分类器不适合直接应用于目标域。在实际应用中，通常无法检查源域分类器和目标域分类器是否可完全共享。因此，考虑设计分类器适配模块，假设源域分类器和目标域分类器之间存在一个小的残差函数，通过反向传播，使残差函数捕捉到两域之间的领域差异，利用低密度分离准则，使目标域分类器能更好地适应目标域数据。同时从特征层面和分类器层面进行联合领域适应，进一步提高模型对于目标域数据的分类精度。

根据Long 等人（2016）的方法，为保证领域适应的可行性，假设两分类器相关且仅相差一个残差函数Δf(x)，此残差函数可通过源域标记样本和目标域无标记样本学习得到，将此函数表示为

式中，fs(x)和ft(x)分别为源域和目标域分类器。鉴于神经网络强大的函数拟合能力，构建由多层全连接层组成的分类器适配模块以充分拟合源域分类器和目标域分类器之间的残差函数。首先，利用目标域分类器得到源域预测概率向量，然后使用分类适配器得到源域预测概率差异向量。最后，将源域预测概率向量和源域预测概率差异向量相加得到源域分类结果。分类器适配模块的参数由源域分类损失通过反向传播机制学习得到，源域分类损失为

1.5 算法描述

输入：源域原始高光谱数据Xs，目标域原始高光谱数据Xt，源域标签Ys，协方差领域适应参数α1，子域适应参数α2和训练次数K，批大小（batch size）为nb。

输出：目标域预测标签Yt。

1）根据式（1）对源域和目标域原始高光谱数据进行波段选择，得到维度统一的高光谱数据和。

2）随机初始化CSADN的网络参数。

3）forkin 1：Kdo

利用α1、α2、LCORAL、LLMMD和Ls，根据式（4）计算总损失值L。

总损失值L反向传播训练CSADN。

4）end for

2 实验分析

2.1 HSI数据集

选择来自两个遥感传感器采集的真实HSI用于实验。

1）博茨瓦纳（Botswana，BOT）数据集组（Liu 等，2021）（BOT5、BOT6和BOT7）：3幅HSI是经由同一传感器于2001年5月、6月和7月对南非博茨瓦纳同一区域拍摄得到，包含1 476 × 256个像素点，242个波段。3幅HSI有9种相同的确定地物类别，即暴露土壤、消防车、岛屿内部、河岸、稀树大草原、短豆木、泛滥平原、林地和水。具体伪色彩图和标签图如图3所示。

图3 Botswana数据集Fig.3 Botswana dataset

2）休斯顿（Houston）数据集（Zhou 和Prasad，2017）（Bright 和shallow）：两幅HSI 是经由ITRESCASI 1500传感器在美国休斯顿上空拍摄得到，其包括349 × 1 905 个像素点，144 个波段。由于受云遮挡，休斯顿可分为Houston bright 和Houston shadow，它们的伪色彩图和标签图如图4所示。

图4 Houston数据集Fig.4 Houston dataset（（a）Houston false color map；（b）marking sample of bright part；（c）marking samples of shaded parts）

2.2 实验设置

为验证所提CSADN的有效性和优越性，选择10种分类器进行对比。具体包括：联合分布适配（joint distribution adaptation，JDA）（Long 等，2013）、测地线流式核方法（geodesic flow kernel，GFK）（Gong 等，2012）、深度自适应网络（deep adaptation networks，DAN）（Long 等，2019）、深度相关对齐（deep correlation alignment，DCORAL）（Sun和Saenko，2016）、域自适应神经网络（domain adaptive neural network，DANN）（Ganin 和Lempitsky，2015）、无监督的深度域适 应（unsupervised deep domain adaptation，M_RECON）（Li等，2019）、对抗域自适应网络（adversarial domain adaptation network，ADAN）（Ma 等，2021）、深度子领域自适应网络（deep subdomain adaption network，DSAN）（Zhu等，2021）、跨域对比学习（cross-domain contrastive learning，CDCL）（Sun 等，2022）和知识引导的无监督领域自适应（knowledge guided unsupervised domain adaptation，KUDA）（Wang等，2022b）。

总计4 组数据对用于实验，分别是BOT5-6、BOT6-7、BOT7-5 和Houston bright-shallow。组成数据对的两数据集分别作为源域和目标域。实验设置如下：

1）使用Python3.6 的PyTorch 框架，在硬件配置为Intel Core i7-6850K CPU，Nvidia GeForce GTX 1080 Ti和32 GB内存的电脑上完成；

2）对比算法在4 组对比实验上的超参数均采用网格搜索法设置；

3）网络结构如表1 所示，设置学习率为0.01，batch size=64，领域适应参数和协方差领域适应参数分别为α1=0.8和α2=0.6；

表1 CSADN的网络结构Table 1 Network structure of CSADN

4）实验选用3 个性能指标，分别为：每类地物的分类精度、总体精度（overall accuracy，OA）和Kappa系数。每个实验均经过波段选择预处理，后独立进行10次，然后取平均值。

2.3 对比实验

Botswana和Houston数据集实验分组情况如表2和表3所示，所有算法在4个数据对上的实验结果如表4—表7 所示，不同算法在Botswana 数据集BOT5-6 分组的实验分类效果如图5 所示，原始HSI 和经CSADN 提取特征的t-SNE（t-distributed stochastic neighbor embedding）可视化图如图6所示。

表2 Botswana数据集实验分组Table 2 Experimental groups from Botswana dataset

表3 Houston数据集实验分组Table 3 Experimental groups from Houston dataset

表4 分类性能对比（BOT5-6数据集）Table 4 Classification performance comparison（BOT5-6 dataset） /%

表5 分类性能对比（BOT6-7数据集）Table 5 Classification performance comparison（BOT6-7 dataset） /%

表6 分类性能对比（BOT7-5数据集）Table 6 Classification performance comparison（BOT7-5 dataset） /%

表7 分类性能对比（Houston bright-shallow）Table 7 Classification performance comparison（Houston bright-shallow） /%

图5 分类效果图（BOT5-6）Fig.5 Classification effect map（BOT5-6）

图6 原始HSI和经CSADN提取特征的t-SNE可视化图Fig.6 The t-SNE visualization of original HSI and features extracted by CSADN（（a）original HSI features（BOT5-6）；（b）features extracted by CSADN（BOT5-6）；（c）original HSI features（BOT6-7）；（d）features extracted by CSADN（BOT6-7）；（e）original HSI features（BOT7-5）；（f）features extracted by CSADN（BOT7-5）；（g）original HSI features（Houston bright-shallow）；（h）features extracted by CSADN（Houston bright-shallow））

由表2—表7以及图5和图6，可得出以下结论：

1）相较于传统迁移学习算法，DAN、DCORAL、DANN、DSAN、M_RECON、ADAN、CDCL、KUDA 和CSADN在所有数据集上的分类精度和Kappa 系数都较高。这是因为将深度网络与迁移学习相结合得到的深度迁移学习模型能够学习到更加高级且更具有迁移性的特征，更适用于处理具有复杂光谱特征的HSI。

2）相较于DCORAL、DANN、M_RECON 和ADAN，所提方法展现出了更高的分类性能。这是因为CSADN 在进行整体分布对齐的同时，通过对两域局部特征进行领域适应，捕捉每个类别细粒化的信息。

3）相较于DSAN，所提方法在分类任务上取得了更优越的表现。这是由于CSADN 既拉近两域边缘概率分布，又拉近了它们的条件概率分布。

4）相较于应用于计算机视觉领域的先进算法CDCL 和KUDA，CSADN 在4 组高光谱实验数据集上均取得了较高的分类精度。这是由于受照明、视角、土壤湿度和地形等采集条件的影响，采集到的不同域的高光谱图像易出现较大领域偏移现象，进而导致仅通过特征层面对两域分布进行对齐并不能彻底消除两域数据之间的差异。相较于应用于不同域自然图像分类的CDCL和KUDA，所提方法不仅对两域特征进行对齐，还进行了分类器适配，进一步减少了两域领域差异。

5）所提方法在所有数据对上均取得了最高的OA 和Kappa 系数，原因分析如下：CSADN 能够提取原始数据中深层的特征；对两域二阶统计量进行了适配；在类别层面上适配两域分布；对两域分类器差异进行了适配。

此外，使用一种可以对高维数据进行可视化的方法（t-SNE）在4组实验数据集上对HSI的原始特征和经过CSADN 进行领域适应之后的特征进行了可视化。如图6 所示，相较于HSI 的原始特征（目标域），经过领域适应后的两域特征分布的协方差差异减少，质心更为接近；经CSADN 提取后的特征具有较高的类间差异性和较低的类内差异性。

3 结论

本文提出了一种名为CSADN 的跨域高光谱图像分类方法。主要内容包括以下3 个方面：1）利用关联对齐从整体上对齐了两域的二阶统计量信息，实现两域的整体特征分布对齐；2）通过减少两域局部最大均值差异对齐了相关子域的一阶统计量信息，实现两域的局部特征分布对齐；3）通过构建分类器适配模块并加入所提方法中，实现两域分类器差异适配。

对比于其他方法，CSADN 在4 组真实数据对上均能取得最高的OA 和Kappa。经过CSADN 领域适应后的两域特征分布的协方差差异减少，质心更为接近。

CSADN 中使用了目标域伪标签，其质量会影响方法的领域适应效果。考虑在未来的工作中，将伪标签优化技术加入CSADN 中，以进一步优化方法的性能。