基于自编码的高光谱图像波段加权分类网络研究

易嘉闻,李 希,欧阳尔,李 彬,吴健辉,赵 林

(湖南理工学院 信息科学与工程学院,湖南 岳阳 414006;湖南理工学院 机器视觉及人工智能研究中心,湖南 岳阳 414006)

0 引言

随着地球观测技术的不断发展,高光谱图像(HSI)的应用领域越来越广泛,包括城市测绘、森林监测、环境管理、精准农业等[1,2].HSI的主要优点在于其高维数的光谱数据,具有数百个准连续的波段,光谱特征可反映有关观测材料的相关信息,这些信息对于分类任务非常有用.然而,HSI的光谱波段在分类中的作用存在差异性.通常在分类过程中,作用不同的波段信息被平等对待,这不利于分类任务的高效执行.为了提高HSI 数据的质量和分类的效率,需要对波段进行重校正.

在过去十年里,深度学习在HSI 分类领域取得了前所未有的成功.由于深度学习方法具有强大的图像特征提取能力,不同的卷积神经网络(CNN)被用来完成HSI 分类,并取得了比传统神经网络方法更好的结果[3,4].同时,加权机制[5～8]的方法专注于放大关键信息而忽略冗余信息,能够自动为波段分配连续变化的权重,其中基于注意机制的波段加权被广泛研究.例如,Wang[9]等提出了一种波段加权网络(BW),该网络能够捕捉波段之间的关系并重校正HSI.BW 可以通过像素级的加权结构来处理每个HSI 像素的权重,但是其复杂的模型结构增加了培训成本.Mou[10]等提出了一种光谱注意模块(Spec),它利用全局卷积层和门控机制自动校正HSI的波段.波段注意模块(BAM)由五个二维卷积层组成,实现了基于深度学习的HSI波段加权分类[11].Spec 和BAM 都使用一个卷积层或一系列级联卷积层来提取波段特征和波段加权关系.然而,数百个HSI 波段中存在着冗余信息和干扰波段加权效应的噪声,单纯的卷积并不是有效降低噪声和捕获波段特征的最佳选择.卷积层降低噪声和提取特征的能力不强,并且一系列级联卷积层可能会因增加训练成本而降低效率,因此,设计一种有效的、功能强大的特征抽取器将是解决该问题的关键.基于此,本文提出一种基于注意机制的自编码波段加权网络EBW,自编码波段加权网络通过自编码器自适应地对波段深度特征进行提取和去噪处理,并生成波段加权向量,用于重校正输入HSI的波段,增强关键光谱信息和抑制冗余信息,从而提高HSI 分类精度.

1 算法设计

如图1所示,本文提出的自编码波段加权网络总体由自编码波段加权模块和分类网络组成.自编码波段加权模块首先对输入的HSI 数据进行重校正,然后通过分类网络对其进行特征提取,得到预测结果.

图1 自编码波段加权网络总体流程

1.1 自编码波段加权模块EBW

自编码波段加权模块EBW 包括三个步骤:压缩、自编解码和波段加权.首先,将输入HSI的全局空间信息压缩为包含输入HSI 数据整体光谱特征的波段信息向量.然后,利用带跳接的光谱自编码器来捕获波段与噪声之间的深层特征和关系.最后,利用去噪的波段相关性特征生成波段加权向量,并对输入的HSI 数据进行重校正.

空间信息压缩:提取以HSI 标记样本为中心的截取块作为输入数据,得到一组HSI 子集,设c为波段数目,H和W为输入HSI 数据的高度和宽度.子立方体I可以表示为2D 矩阵,其中.由此可以看出,子立方体I包含空间和光谱信息,而空间信息对于波段加权来说并不重要.二维空间信息需要通过压缩来获取一维光谱信息.因此,我们利用一个全局平均池化层将输入HSI的空间信息压缩到一个光谱信息向量中,以减少噪声.光谱信息向量vs,c可表示为

其中G(⋅)是全局平均池化函数,pc,ij是图像Ic中坐标(i,j)的像素的数值大小.

光谱自编码器:经过空间信息压缩得到光谱信息向量后,需要探索波段之间的关系和特征,以生成一个能用高权重值反映关键波段、用低权重值表示其余波段的加权向量.考虑到波段众多和相关性复杂,我们使用自编码器来实现这一目的.同时,自编码器还可以通过进一步限制波段噪声干扰来改善加权的效果.自编码器可分为编码器和解码器.编码器采用两个级联的全连接(FC)层来构建,通过降低输入向量的一半维度来捕获原始关系,去除多余的噪声.解码器由两个级联FC 层构成,用于解码深层相关特征和恢复带向量的维度.FC 层可以描述为

其中y和x分别是FC层的输出和输入向量,W和b分别是权重参数矩阵和偏差,R()⋅是ReLU激活函数.为了加速网络的收敛,提高自编码器的性能,我们计划在自编码器之间增加两个跳接.一般来说,深度去噪的波段特征是通过自编解码得到的特征向量ved.

波段加权:采用批量归一化层和sigmoid 函数对ved进行加权处理.批量归一化层和sigmoid 函数将每个权重赋值为0 到1 之间.通过批量归一化层和sigmoid 函数得到带权向量wv.最后,HSI 可描述为

其中S()⋅表示sigmoid 函数,⊗表示向量元素对应相乘,Ire表示重校正的HSI 数据.通过波段加权增强了对分类更有价值的关键波段数据,限制了冗余波段信息和噪声.因此,EBW 提高了输入HSI 数据的质量.

1.2 分类网络CN

在自编码波段加权模块对输入的HSI 数据进行重校正后,通过分类网络CN 对重校正的HSI 数据进行分类.卷积神经网络(CNN)是一种功能强大的空间光谱特征提取模型.我们采用由四个卷积块、两个全连接FC 层和两个MaxPooling 层组成的分类网络CN.1 ×1 卷积层和3 ×3 卷积层的组合比单独3 ×3 卷积层在CNN 中变换特征映射的信道时具有更小的计算量和更快的训练速度.因此,该分类网络的每个卷积块由1 ×1的卷积层作为通道变换单元来改变特征映射的通道数,再由一个3 ×3的卷积层作为特征提取单元,以降低模型复杂度,提高分类效率.每个卷积层后都接上一个批量归一化层和ReLU 激活函数.CN 使用的多类分类器为Softmax 分类器,通过Softmax 分类器可获得各类预测的置信度,然后从中选择置信度最高的一类作为最后的预测结果.

1.3 训练方法

整个网络包括自编码波段加权模块EBW 和分类网络CN,均由基于深度学习的操作模块构建,所以整个过程可以进行端到端的训练.这意味着自编码波段加权模块和分类网络一样可以利用反向传播理论自适应修正模型参数,从而提升整体网络的分类精度.自编码波段加权模块实质上是采用注意机制来自适应地探索波段加权的特征和关系.本文网络模型训练使用Adam 优化器来进行网络反向传播过程中的参数更新,并采用适用于多分类情况的交叉熵损失作为损失函数以提高网络的训练效果.

2 实验结果与分析

2.1 实验数据

本文使用ROSIS Pavia University 图像和 AVIRIS Salinas 图像两个数据集进行实验.

Pavia University数据集(PaviaU)是由ROSIS 传感器在意大利帕维亚大学周围的一个城市区域记录的.图像尺寸为610×340×103,其中包括103 个光谱波段,光谱覆盖范围为0.43～0.86 um,共有9 个类别.图2为PaviaU 图像和相应的地面真实数据的假彩色合成.

Salinas 数据集是由AVIRIS 传感器在加利福尼亚州萨利纳斯山谷地区记录的.图像尺寸大小为512×217×204,有204 个光谱波段,波长范围为0.4～2.5 um.由于水汽吸收和低信噪比,波段108～112、154～167 和224 被去除.图3 为该数据集图像和相应的地面真实数据假彩色合成图像,包含有16 个类.

图2 PaviaU 数据集

图3 Salinas 数据集

2.2 实验设置

为了验证EBW 模块性能的优越性,我们与其他深度学习带加权模块进行了对比实验.实验波段加权模块包括BW、SE、Spec 和BAM[9～11].

BW 模块对输入的HSI 数据的每个像素进行波段加权,使用两个FC 层来提取光谱特征.因此,BW 模型是复杂的.而SE 模块是SENet的基本模块,由一个平均池和两个简单的级联FC 层组成.Spec 模块使用全局卷积作为选通机制来自适应地重新校准光波段.BAM 由五个卷积层和两个池化层组成,然后利用两个一维卷积层进行信道间的非线性学习.

实验参数设置见表1.最初将批量大小设置为100,学习率设置为0.001,输入HSI 数据的尺寸大小为11×11.PaviaU 数据集使用的Epoch 是50,Salinas 数据集使用的Epoch 是100.为了分析EBW 在不同训练样本数下的表现,随机抽取0.5%、1%和2%的样本作为训练样本.所有的模型都在NVIDIA GTX1060 3GB的PC 上训练.

表1 实验参数设置

为了衡量分类方法的性能,采用总体准确度(OA)作为评价指标.OA 是指正确分类的类别样本数量与类别总数的比率.

2.3 实验结果与分析

各实验方法在两个数据集上的分类效果如图4所示.为了方便比较,用方框在图中标出分类效果差异最为明显的区域作为观察区.从PaviaU 分类图中可以发现CN 错误分类的情况较为明显,Bricks 类样本被错误分类成Gravel 类样本的情况频频出现.在使用现有的各类波段加权算法之后,观察区内的错分类情况得到了一定的缓解,但是仍然能较为明显地发现观察区内有错分类的情况.然而,当CN 使用EBW 模块对HSI 重校正后,在观察区内几乎找不到Bricks的错分类情况.同样,从Salinas 分类结果图的观察区中可以发现,相比与其他的实验方法,EBW 更加显著地降低了Grapes 和Fallow 类样本的错分类情况的出现次数,有效提高了整体的分类效果.这说明EBW 波段加权网络有效减少了光谱信息中的噪声干扰,提高了分类的精确度.

图4 各实验方法在PaviaU(上)和Salinas(下)数据集上的分类结果

为了更加精确地分析各实验方法的分类效果,表2 和表3 分别记录了在不同训练样本数的PaviaU 数据集和Salinas 数据集上各实验方法和我们提出的EBW 网络的总体准确度(OA).

表2 各实验方法在PaviaU 数据集上的分类准确度

表3 各实验方法在Salinas 数据集上的分类准确度

通过对表2的分析可以看出,在不同训练样本数下,各方法的分类性能存在差异,而我们提出的EBW算法在三个训练样本的PaviaU 数据集上取得了最优的分类性能.其中,SE 不是专门为波段加权而设计的,所以它对CN的OA 只有轻微的改善,精度提升不明显.Spec的模型结构不够深,无法提取深层特征,所以对CN的OA 在采样率为0.5%、1%和2%时,提升效果分别为1.37%、1.82%和0.35%.BW 和BAM 对CN的OA 均有明显改善,其对CN 提升效果分别为r=0.5%时提高0.37%和0.83%,r=1%时提高0.69%和0.34%,r=2%时提高0.38%和0.21%.然而EBW 对CN的改善更为显著,r=0.5%时OA 提高了2.42%,r=1%时OA 提高了0.9%,r=2%时OA 提高0.5%,均提高了0.5%以上.结果表明,EBW 在PaviaU 数据集上对CN 具有较好的提高分类精度的效果,特别是在训练样本数较少的情况下.在Salinas 数据集上,各实验方法的精度与前者相似.SE、BW 和BAM 对CN的OA 有轻微改善,在高训练样本采样率的情况下OA 改善效果更明显.但EBW 在r=0.5%时提高了1.77%的OA,r=1 时增加了0.79%的OA,r=2%时增加了1.51%的OA,即在Salinas 数据集上也达到了最好的分类效果.

上述实验结果证实了EBW 利用自编码器对HSI 光谱信息进行特征提取生成光谱权重的有效性,从而说明利用光谱重校正HSI 可以提高分类网络的精确度.其中值得注意的是,在训练样本较少且训练样本不足的情况下,EBW 对CN的OA 具有更大的改善作用.

3 结语

本文提出了一种能自适应地增强关键信息并限制HSI 波段中冗余和噪声的自编解码波段加权分类网络EBW.新开发的EBW 模块采用自编解码技术来探索HSI 谱带的深层特征和相关性,并利用注意机制进行波段加权.实验证明,所提出的网络能够更准确地获取HSI 谱带的深层特征和相关性,有效地增加了HSI 光谱信息的有效性,降低了分类网络特征提取的难度,提高了HSI的分类精度,成功地解决了因波段贡献差异性导致的分类效果不佳的问题.