基于局部保留降维卷积神经网络的高光谱图像分类算法

齐永锋 李发勇

(西北师范大学计算机科学与工程学院， 兰州 730070)

0 引言

高光谱图像分类是高光谱遥感信息提取的核心技术之一，是基于像元的光谱与空间特性，对每个像元或像元组所包含的地物类别进行属性确定和标注[1]。由于高光谱图像波段多、波段间相关性强、空间分辨率高，如果直接对高光谱图像进行分类，容易产生“休斯”现象，从而很大程度上降低了分类精度。为了克服这些困难，在分类前通常对高光谱数据进行降维处理。对于数据降维，国内外学者提出了许多经典的算法，这些方法通常依据某种准则，将高维光谱向量投影到低维特征空间，然后在低维特征空间进行分类[2]。经典方法包括线性判别式分析(Linear discriminant analysis，LDA)[3]、核主成分分析(Kernel principal component analysis，KPCA)[4]、核Fisher判别式分析[5]、广义判别式分析[6]和支持向量机(Support vector machines，SVM)[7]等。上述算法虽然已经取得了较好的效果，但是仍存不足。LDA假设类条件分布是高斯分布，而高光谱数据往往是非高斯分布，甚至有可能是多模型，且在最大化类间分布矩阵的过程中不能很好地保护输入空间相邻像素的局部特征，从而导致信息丢失。

从空间角度来看，空间相邻的像元最有可能属于同一类，即具有空间一致性。为充分利用空间特征，各种提取空间特征的方法被提出，例如灰度共生矩阵[8]、小波变换特征提取[9]、支持向量机[9]、扩展形态轮廓[10]等。这些方法在提取空间特征时需要预先手动设定参数，提取的空间特征只能针对特定的目标对象，缺少灵活性，并且形状、纹理、边缘等低级特征变化很大，使得这些方法不可能通过设置经验参数来描述所有类型对象。

高光谱图像的类别复杂多样，纯光谱信息或纯空间信息的分类很难适用于所有类型的高光谱数据。目前普遍认为，同时使用空间和光谱信息对提高分类精度具有很大帮助。对原始数据中包含的光谱和空间信息进行提取，利用不同类型的特征进行光谱空间分类，可以有效提高分类准确率。因此，充分利用空间信息与光谱信息进行像元分类，成为高光谱图像分类的研究热点[8-12]。近年来，研究者们提出了许多空间-光谱联合的高光谱图像分类方法[13-15]。

近几年，深度学习在图像分类领域中取得的成果越来越多。与传统的手工设置空间特征相比，它能够自动分层地提取空间特征，并在图像分类中表现出更高的有效性和更强的鲁棒性。在遥感分类领域，深度学习显示出巨大的潜力[12-15]。上述方法基本都采用分层结构从原始光谱信息中提取深度光谱特征完成高光谱遥感数据的分类，而忽略了原始数据包含的空间特征信息。Gabor小波具有较好的空间局部性、频率选择性及方向选择性等特点，能够提取反映图像尤其是局部区域的频率及方向信息的特征，在人脸识别及纹理分类[15]方面取得了较好的效果。高光谱遥感图像的空间一致性使得同类地物的图像不论在空间频率还是方向性上都具有较大的相似性，而不同地物图像的这些空间特性具有较大的差异性，二维Gabor滤波器能很好地提取高光谱遥感图像的空间特征[12]。为充分利用高光谱遥感图像的空间和光谱信息，本文结合高光谱数据和深度学习的特点，融合高光谱图像的空-谱联合信息并提取有效的特征，提出基于局部保留降维卷积神经网络的高光谱图像分类算法。

1 研究方法

1.1 数据预处理

1.1.1局部保留降维

(1)

其中

γi=‖xi-xi，m‖

式中γi、γj——样本xi、xj的局部标度

xi，m——样本xi的第m个相邻样本

在原始线性判别式分析基础上，局部保留降维通过局部保护投影得到一个线性图谱M，从而保留相邻像素间的局部信息[17]。得到的线性图谱M不但能很好地分离类，而且还可以很好保护类内局部信息。局部保留降维中的局部类间散布矩阵Llb和类内散布矩阵Llw定义为

(2)

(3)

式中Wi,j——类间训练样本间的紧密值

Wi,j′——类内训练样本间的紧密值

其中，类间散布矩阵Llb和类内散布矩阵Llw均为n×n方阵。

式(1)中得到同类相邻像素的紧密值，而类间散布矩阵Llb和类内散布矩阵Llw对同类非相邻像素几乎不产生影响。通过局部散布矩阵，得到最大化的Fisher比为

(4)

式中δ——对角线特征值矩阵

从而得到变换矩阵为

(5)

式中 tr(·)——矩阵求迹运算函数

局部保留降维有局部保护约束性，可以有效地保护原始高光谱图像多元化的局部结构。该约束性由局部相邻像素的相似性来衡量，通过变换矩阵TLFDA，使同类相邻数据彼此靠近，而不同类相邻数据彼此分离，同时很好地保留了数据的局部特征。利用局部保留降维对其进行降维，不但得到了更紧凑的分布，而且降低了贝叶斯误差，最终达到了提高分类精度的目的。

1.1.2空-谱特征提取

二维Gabor变换函数是通过高斯包络调制的正弦曲线函数，其函数表达式为[17]

(6)

其中

x′=xcosθ+ysinθ

(7)

y′=ycosθ-xsinθ

(8)

式中 ϑ——正弦因子波长

x、y——坐标系中的横、纵坐标值

θ——核方向夹角，指定了函数并行条纹方向

γ——限定核函数椭圆率的空间相位比

σ——高斯包络标准差，由波长和空间频率带宽来决定

为提高光谱数据特征利用率，设计一个光谱特征提取隧道。光谱特征提取隧道聚焦于pij位置的中心像素Zij，在卷积和混合池之后，输出的光谱特性将三维光谱特征向量变换成一维向量[18]，即算法所获取的深度光谱特征。光谱隧道以像素pij为中心，r为半径作为输入数据，原始数据Zij=Rk×k(k=2R+1)被输入到DCNN隧道中，二维卷积和批量归一化实现了中心目标像素点pij周围区域的光谱特征提取[19]。由于不饱和非线性函数(ReLU)的梯度是不饱和的，当x>0时，该函数的梯度恒为1，在反向传播过程中，减轻了梯度弥散问题，使神经网络前几层的参数可以很快地更新，所以非线性函数(ReLU)作为激活函数不仅收敛速度和训练速度快而且分类精度高。

本文设计的高光谱图像空间-光谱特征提取模型，能充分提取高光谱图像的空间-光谱间特征，且能保护相邻特征的局部信息和高光谱图像的多模型结构，从而能在较大幅度上提高分类精度和Kappa系数，尤其在高斯噪声环境中，具有优良的分类性能。空间-光谱特征提取模型如图1所示。

1.2 空-谱特征联合

将使用光谱特征提取隧道变换后的光谱特征进行分类，利用组合函数方法将像元光谱特征和Gabor空间特征结合起来，然后再将它们输入到全连接层。全连接层的输出表示为

(9)

式中 ‖——连接空间特征向量和光谱特征向量的操作

F——全连接层的输出

W、b——全连接层的权重和偏置

最后，将联合空间光谱特征(Fhsi)输入到双层分类层中[20]，预测的概率分布为

(10)

图1 空间-光谱特征提取模型图Fig.1 Model diagram of spatial-spectral feature extraction

式中θj——第j列预测层权重

Q——类的个数

P(i,j)——一维向量，预测测试像素标签,P(i,j)∈RC

T——查询指定数据运算函数

1.3 DCNN与双重优选分类器

在DCNN上，利用空-谱联合信息处理高光谱影像，在某种程度上能削弱同物异谱或者同谱异物的影响。DCNN与双重优选分类器模型如图2所示。

图2 DCNN与双重优选分类器Fig.2 DCNN and dual classifier

在C1层采用5×5卷积核对输入图像进行卷积操作，输出尺寸为23像素×23像素(本文输入的训练样本的尺寸为27像素×27像素)的50幅特征图。在S1层采用2×2的抽样窗口对C1最大池化下采样操作，输出尺寸为11像素×11像素的50幅特征图。在C2层采用5×5卷积核对输入图像S1卷积操作，输出尺寸为7像素×7像素的50幅特征图。在S2层采用2×2的抽样窗口对C2最大池化下采样操作，输出尺寸为3像素×3像素的50幅特征图。

DCNN包含卷积层和下采样层。在卷积神经网络中，卷积层是一个特征提取层，通过卷积运算，可增强原信号特征且降低噪声。卷积操作能锐化、模糊图像边缘的检测[22]。

其卷积过程表示为

(11)

式中aj,l——层l中输出特征图j的激活值

ki,j,l——将l-1层中的输入特征图i与l层中的输出特征图j连接的内核

bj,l——与l层中的输出特征图j的加法偏差

f(·)——Relu函数

Mj——线性图谱M的特征图j

下采样层又称子采样层或池化层，可看作是模糊滤波器，依据图像局部相关性的原理，对图像特征进行子抽样，起到再次特征提取的效果，既减少了数据处理量又最大限度地保留了有价值信息[19]。下采样层的正向传播表示为

aj,l=f(βj,ldown(aj,l-1)+bj,l)

(12)

式中 down(·)——子抽样函数

βj,l——l层中输出特征图j的乘法偏置

通常，该函数将输入特征图的每个不同补丁相加，以便输出特征图在两个空间维度上都是n倍。每个输出图给出其自己的乘法偏差和加法偏差[23]。

高光谱数据中，类与类之间的数量常常存在严重不平衡，如果不对各类样本加以权重约束，所训练出来的网络对数据量大的样本更有利，而对数据量小的样本则不利，导致小样本学习不足，致使小样本分类精度极低。为了解决这个问题，采取对各类样本加以权重约束。因此，对各类样本赋予不同的权重加以约束。为了加强小样本的学习能力，在小样本类别前加上较大的权重，而在大样本类别前加上较小的权重[19]，则

(13)

式中μi——用来约束不同类的权重

L——L2范数的变形

ci——选取样本点个数

λ、m、n——常数W——权重矩阵

需要指出的是，DCNN跟其他深度学习模型一样，能够随着迭代次数增加而不断提高模型的分类精度。双重分类器采用了两层堆栈，第1层重构特征作为第2层的训练集，第2层将上一级的输出作为训练集。双重分类器可以将原始特征和新特征进行融合，相当于特征扩充，然后进行标准化和归一化处理，这样与单纯使用一层分类器的特征量纲和产出的后验概率组成的特征量纲不一样，使用双重分类器会提高分类精度。

1.4 算法流程

基于局部保留降维卷积神经网络分类算法对高光谱图像的光谱空间特征进行研究，利用局部保护降维法来保护相邻特征的局部信息和利用二维 Gabor 滤波器提取高光谱图像的多模型结构, 深度卷积神经网络框架能提取更高层更抽象和更稳定的特征，本文算法步骤如下：①对原始高光谱图像进行预处理，利用局部保留对高光谱数据降维。②利用二维 Gabor 滤波器提取高光谱图像空间特征。③利用光谱特征提取隧道提取高光谱图像光谱特征。④将空间、光谱特征连接起来，然后将其输入到全连接层，得到新的特征。⑤对处理后的特征采用DCNN模型进行训练。⑥将经过DCNN训练后的集合放到双重优选分类器进行分类。算法流程如图3所示。

图3 算法流程图Fig.3 Flow chart of algorithm

2 实验数据

本文使用的实验数据有两组,分别为Indian Pines场景高光谱数据和University of Pavia场景高光谱数据。Indian Pines场景图像尺寸145像素×145像素，波长为400～2 500 nm，光谱分辨率为10 nm，原始波段数为224个，去除坏波段和水体吸收波段，用剩余的200个波段进行分类实验。University of Pavia数据波段为430～860 nm,共103个可用光谱通道,空间分辨率约1.3 m,每个波段包含207 400个像素。选取这两组数据作为实验数据的主要原因为空间分辨率不同，光谱分辨率也不同，并且来自两个不同的成像传感器,观测场景不同，可以更全面地验证方法的有效性。

3 实验结果与分析

采用整体精度(OA)、平均精度(AA)、Kappa系数作为分类性能评价指标。其中，OA 表示正确分类的测试样本的百分比，而AA则为每个类在测试样本上的准确性平均值，Kappa系数是衡量分类精度的指标。实验中，在数据集的每类中随机选择200个像元作为测试样本，其余像元作为训练样本，为了避免随机偏差，每个方法重复多次实验并计算平均结果。

图4 Indian Pines数据集分类效果Fig.4 Classification effect of Indian Pines scene of AVIRIS

为验证本文算法对分类性能的有效性，与 CNN、PCA-SVM、CD-CNN、CNN-PPF算法进行比较，分别在Indian Pines、University of Pavia数据集进行分类对比验证，得到表1、2的分类结果，分类效果如图4、5所示。

表1 Indian Pines数据集实验结果Tab.1 Results of Indian Pines scene of AVIRIS

表2 University of Pavia数据集实验结果Tab.2 Results of University of Pavia scene of ROSIS

本文算法实现了对两个数据集的较优分类，其中Indian Pines数据集分类整体精度为97.13%， University of Pavia数据集分类整体精度为98.89%，与其他方法相比，本文算法对两个数据集的平均分类精度和 Kappa系数都有大幅度提高，充分验证了本文算法对高光谱图像分类的有效性。

由图4可知，本文算法对植被多、分布复杂且数据集不平衡的高光谱数据有较好的分类效果，能够有效地去除椒盐现象[25]，验证了本文算法对高光谱图像的植被有较好的分类性能。University of Pavia数据集中柏油路与沥青，金属板面与阴影的光谱曲线非常相似，由图5可知，本文算法分类效果比其他算法都优，验证了本文算法对光谱特性接近的地物有较好的分类性能。

图5 University of Pavia数据集分类效果Fig.5 Classification effect of University of Pavia scene of ROSIS

本文算法采用二维Gabor空间特征提取，能保证形状、纹理、边缘等低级特征变化不大，并利用深度卷积神经网络(DCNN)框架进行高光谱植被分类，能在有限的训练标签中获得较高的分类精度，且能有效去除椒盐现象。高光谱图像地物具有丰富的光谱特性，且光谱相似，实验结果表明，本文算法可以利用空-谱结合信息有效对光谱特性相似的地物实现高精度分类，弥补了用光谱信息或空间信息进行分类的不足。

4 结束语

使用局部保留降维模型，通过局部保护性判别式分析对高光谱数据降维，消除特征之间的相关性，并降低特征维数，获得清晰的空间结构，保证形状、纹理、边缘等低级特征变化不大。利用二维Gabor滤波器提取空间特征，利用光谱隧道提取光谱信息，然后使用深度卷积神经网络，主要是通过利用空间结构的相对关系来减少参数数目，提高了算法的训练性能。卷积神经网络中的每一个卷积层后接二次提取的下采样层，这种特有的二次特征提取结构降低了特征分辨率，也使网络在特征提取时对输入样本有较高的鲁棒性。高光谱数据实验结果表明，高光谱遥感图像的分类精度较高，验证了本文算法在分类精度方面的良好性能。