利用协同表示与神经网络的高光谱图像亚像元定位

薛晓琴，岳亚伟，夏磊，李丽，贺雄伟

(山西农业大学 软件学院，山西 太谷 030801)

0 引言

高光谱遥感图像[1]中普遍存在着混合像元，研究者认为混合像元中存在的地物类别、各地物类别所占的比例信息以及各地物类别的具体空间位置具有重要意义[2]。混合像元中存在的各地物类别称为端元，寻找端元是对混合像元的定性分析；混合像元中端元所占的百分比称为丰度，求解丰度是对混合像元的定量分析；混合像元中不同地物类别的空间分布是亚像元定位的结果，亚像元定位是对混合像元的定位分析。

亚像元定位的思想最早由Atkinson在1997年提出[3]。亚像元定位自提出之后引发了国内外学者的高度关注以及深入的科学研究。亚像元定位技术根据空间分辨率提高的尺度因子将像元划分成多个小的亚像元，并为每个小的亚像元分配唯一的类别标签。现有的亚像元定位模型主要有三大类：1)基于空间引力的亚像元定位，如Mertens提出的亚像元空间引力模型(subpixel/pixel spatial attraction model，SPSAM)[4]、基于空间引力模型和自适应端元选取的亚像元定位(attraction based subpixel mapping，ASPM)[5]、基于空间引力和空间辅助信息的亚像元定位(attraction based contextual subpixel mapping，ACSPM)[5]；2)基于目标优化的的亚像元定位，如基于最大后验概率(maximum a posteriori，MAP)的亚像元定位[6]、基于MAP的引入多个亚像元移位图像的亚像元定位[7]、基于马尔可夫随机场(markov random field，MRF)的亚像元定位[8]、基于MRF和多个亚像元移位图像的亚像元定位[9]、基于模拟退火算法的亚像元定位模型[10]、具有稀疏约束和全变分最小约束的亚像元定位[11]；3)基于训练方式的亚像元定位，如基于BPNN(backpropagation neural network)的亚像元定位[12]、基于HNN(Hopfield neural network)的亚像元定位[13]、以全色图像作为附加信息的基于HNN的亚像元定位[14]、基于SVM的亚像元定位[15]。

基于空间引力的亚像元定位精度的提高依赖于空间相关性的充分表达，以及空间辅助信息的有效利用。基于目标优化的的亚像元定位精度提高的关键在于空间辅助信息的有效表示以及附加约束项的引入。目前，基于空间引力的亚像元定位与基于目标优化的亚像元定位方法精度的提高皆依赖于高空间分辨率图像中空间信息的有效表示。基于训练方式的亚像元定位，如基于BPNN的亚像元定位，网络训练时间较长，且算法的精度依赖于大量有效的训练样本。然而，在实际应用中高光谱遥感数据的有效训练样本有限，导致基于训练方式的亚像元定位的精度有限。将小样本扩充为有效的大量样本是提高基于BPNN的亚像元定位精度的关键。

基于协同表示的分类(collaborative representation-based classification，CRC)最早由Zhang提出并应用于人脸识别[16]。 CRC引入了l2-范数最小化约束，使得权值向量可直接近似估计，极大程度地降低了算法的时间复杂度。本文所提算法应用了联合空间信息的基于协同表示(joint collaborative representation，JCR)的分类[17]和联合空间信息的基于协同表示的后分割(joint collaborative representation with tikhonov regularization，JCRT)[18]分类器进行像元级分类。不同于JCR，JCRT同时使用来自不同类别的训练样本进行协同表示。因此，JCRT比JCR更适合于监督分类，但JCRT比JCR运行效率低。

本文针对小样本情况下基于BPNN高光谱图像亚像元定位精度有限的问题，提出利用协同表示与神经网络的高光谱图像亚像元定位算法。本文所提算法以一幅低空间分辨率的高光谱图像(low resolution hyperspectral image，LHSI)和少量的训练样本作为输入，首先应用基于协同表示[16]的分类等技术获取两幅初始的亚像元级类别标签图，之后依据两幅初始的亚像元级的类别标签图扩充训练集，最后利用扩充后的训练集基于BPNN对高光谱图像进行亚像元定位，从而提高小样本情况下亚像元定位的精度。

1 研究方法

前期研究发现协同表示[16]无需迭代便可近似求解丰度，较大程度地降低了计算复杂度，而且可以产生更好的分类性能。BPNN模型较为简单，在训练样本充足的情况下应用BPNN可以得到较为精细的亚像元定位结果。鉴于协同表示和BPNN的优点，提出利用协同表示和BPNN的高光谱图像亚像元定位算法(subpixel mapping approach using collaborative representation and backpropagation neural network，CRSPM-BP)。如图1所示，CRSPM-BP以低空间分辨率的高光谱图像(LHSI)作为输入，由高空间分辨率的高光谱图像(high resolution hyperspectral image，HHSI)的分类，LHSI的亚像元定位，新训练集的生成以及基于BPNN的亚像元定位4个模块组成。

图1 CRSPM-BP总体框图

1.1 HHSI的像元级分类

CRSPM-BP的第一模块是HHSI的分类，该分支的输入是LHSI，输出是一幅高空间分辨率下的类别标签图。该模块包含以下2个步骤：①对LHSI空间上采样以获得HHSI；②对空间上采样所得的HHSI进行像元级的监督分类。

若空间分辨率提高的尺度因子为S，则利用立方卷积插值法[19]以S为上采样尺度因子对LHSI空间上采样，可以得到HHSI。之后采用基于JCR的分类器对空间上采样所得的HHSI进行像元级分类，可得到一幅高空间分辨率下的类别标签图。

由于LHSI的训练样本为纯像元，LHSI的训练样本所对应的亚像元的类别标签与其一致。LHSI训练样本对应的亚像元即可组成HHSI的训练样本。HHSI的像素个数是LHSI像素个数的S2倍，且训练样本是LHSI训练样本的S2倍，因此该模块采用了运行效率较高的基于JCR的分类器[17]。

1.2 LHSI的亚像元定位

CRSPM-BP的第二模块为LHSI的亚像元定位，该分支采用了JASPM[18]算法。LHSI的亚像元定位包括以下3个步骤：①使用基于JCRT的分类器对LHSI进行像元级分类；②根据LHSI的像元级分类结果为各混合像元选取端元，并使用全约束最小二乘法(fully constrained least squares，FCLS)[20]求解丰度；③采用SPSAM对LHSI进行亚像元定位。

在LHSI的亚像元定位模块中，选用基于JCRT的分类器[18]对LHSI进行像元级分类，获得一幅低空间分辨率下的类别标签图。低空间分辨率下的类别标签图将为后续的自适应端元选取提供依据。

CRSPM-BP算法将初始训练样本视为纯像元，其他样本视为混合像元。端元的选取有以下几条基本原则：①为每个混合像元选取10个端元；②多个端元可以共享同一种地物类别；③从训练集中选取空间上与当前混合像元最近的训练样本作为端元；④所选取的10个端元中，只有5个端元的地物类别标签与当前混合像元在LHSI像元级分类结果中的类别标签一致，其他5个端元则来自不同于像元当前标签的其他地物类别。端元选取之后，采用FCLS对混合像元中各端元所对应的丰度进行估计。由于多个端元可以共享同一种地物类别，对当前混合像元中所有属于同一类别的端元对应的丰度信息求和可以得到当前混合像元中各地物类别所占的丰度比例。

SPSAM包括3个步骤：①通过混合像元中各地物类别的丰度信息和空间分辨率提高的尺度因子计算混合像元中各地物类别亚像元的个数；②SPSAM通过混合像元中各亚像元对应于各地物类别的空间引力值来量化空间相关性；③将混合像元中的所有空间引力值从高到低排列，从引力值最高的亚像元开始为其分配对应的类别标签，同时保持亚像元定位结果与混合像元中各地物类别的亚像元个数一致。

1.3 新训练集的生成

2幅高空间分辨率下的类别标签图已分别由HHSI像元级分类和LHSI的亚像元定位两个模块获得。CRSPM-BP的前两个模块所得的高空间分辨率下类别标签图中类别标签一致的亚像元较多，假设这些亚像元均定位正确，可以使用这些亚像元所在的像元来扩充训练集。

CRSPM-BP的第三个模块为新训练集的生成。新训练集包括了原始的训练集与所有亚像元在CRSPM-BP的前2个模块所得的2幅图像中类别标签均一致的像元。当像元所包含的亚像元的标签在JHHS和JASPM中均一致时，该像元的亚像元定位结果正确的概率较大。将HHSI的分类结果记作JHHS，LHSI的亚像元定位结果记作JASPM。假设上采样因子S=2，则一个像元Pi，j被划分为2×2个亚像元，像元Pi，j加入新训练集的条件为：

金矿物70.59%为自然金，29.41%为银金矿。据区内金矿物电子探针成分分析样结果统计，金矿物自然金成色为908.2，银金矿成色为749.7，平均859.4。自然金中Au/Ag为11.35∶1。成色较高的金矿物，反映成矿温度为中偏高及较高的成矿深度，微观观察矿石可发现，金矿物绝大部分集中在一个成矿阶段内[13-15]，从均方差64.63和变化系数9.45来看，金矿物成色相差较小，反映出金矿物在生成时间上较接近，成矿阶段较单一(表4、表5)。

(1)

1.4 基于BPNN的亚像元定位

由于BPNN较为智能且应用较为简单，CRSPM-BP的第四个模块应用BPNN进行亚像元定位，对JHHS和JASPM中标签不一致的亚像元进行标号。在只有少量训练样本的情况下，直接使用BPNN进行亚像元定位的精度较低。使用新的训练集有望提高亚像元定位的精度。以新训练集中的像元的丰度信息与其邻域像元的丰度信息(CRSPM-BP第二模块中所估计的丰度)作为输入，像元中各亚像元的类别标签作为输出，训练网络可以得到合适的权值和偏置。之后将未确定类别标签的亚像元所在的像元的丰度信息及其邻域像元的丰度信息输入训练好的网络即可对该像元进行亚像元定位。

基于BPNN的亚像元定位可用MATLAB中的神经网络工具箱来完成。该工具箱支持多种可选的训练和学习算法。首先，使用训练样本确定网络的较优权值；然后将待亚像元定位的像元的丰度信息及其邻域像元的丰度信息输入网络，即可得到像元中各亚像元属于各地物类别的概率；最后根据概率值的高低即可得到该像元中各亚像元的类别标签。

2 实验数据与方法

2.1 实验数据

为了验证所提出的CRSPM-BP的有效性，实验使用了目前广泛使用的2组由不同成像光谱仪收集的高光谱图像数据集，分别为Indian Pines数据和Pavia University数据。这2组数据代表了不同的地物覆盖场景，由机载可见光/红外成像光谱仪(AVIRIS)获得的Indian Pines数据代表了农业地区，由反射光学系统成像光谱仪(ROSIS)获得的Pavia University数据代表了城市地区。

2.2 实验方法

CRSPM-BP的输入是一幅LHSI，输出是高空间分辨率下的类别标签图。为了模拟亚像元定位，对原始的HHSI以S为下采样因子进行高斯下采样，以获得CRSPM-BP的输入LHSI。实验中对202个波段的包含144像素×144像素的Indian Pines图像进行高斯下采样并加入噪声，下采样后的Indian Pines图像包含202个波段，每个波段包含72像素×72像素。实验中对103个波段的包含609像素×339像素的Pavia University图像进行高斯下采样并加入噪声，下采样后的Pavia University图像包含103个波段，每个波段包含203像素×113像素。

实验中选择LHSI的纯像元(像元中所有的亚像元属于同一种地物类别)组成LHSI的训练集。下采样后的Indian Pines图像包含2 213个纯像元，从中随机选择15%的纯像元构建训练集，则训练集包含333个训练样本。下采样后的Pavia University图像包含206个纯像元，将其全部作为训练样本，则训练集包含206个训练样本。

CRSPM-BP的实验方法示意图如图2所示。LHSI通过HHSI的像元级分类和LHSI的亚像元定位2个分支得到2幅高空间分辨率下的类别标签图。根据2幅高空间分辨率的类别标签图生成新的训练样本以扩充训练样本集，来解决小样本问题。CRSPM-BP的核心思想在于利用协同表示等技术生成新的训练样本，而后利用大量样本基于BPNN进行亚像元定位。

图2 CRSPM-BP实验方法示意图

3 实验结果与分析

CRSPM-BP的亚像元定位结果分别与HHSI的像元级分类结果(JHHS)、LHSI的亚像元定位结果(JASPM)进行比较，以验证CRSPM-BP第三个模块和第四个模块的必要性。CRSPM-BP的亚像元定位结果还与一些具有代表性的同类亚像元定位算法进行比较，包括基于空间引力模型和自适应端元选取的亚像元定位(ASPM)、基于空间引力模型和辅助空间信息的亚像元定位(ACSPM)算法。

图3 不同算法对Indian Pines图像的亚像元定位结果

图4 不同算法对Pavia University图像的亚像元定位结果

为了更加清晰地展示CRSPM-BP的亚像元定位效果，图5给出了不同算法对Pavia University图像的亚像元定位结果的右下角区域局部放大图。ASPM、ACSPM和JHHS所得亚像元定位结果中的草地类别被误分为裸地与树木类别，如图5(b)至图5(d)所示；JASPM所得亚像元定位结果中的草地类别被误分为裸地、树木、沥青道路和地砖类别，如图5(e)所示；CRSPM-BP所得亚像元定位结果中的草地类别被误分为树木类别，如图5(f)所示。对比图5中不同方法所得亚像元定位结果的局部放大图，可以发现该区域的CRSPM-BP 结果类别间混淆较少且没有出现“空洞现象”。

图5 不同算法对Pavia University图像的亚像元定位结果的右下角区域局部放大图

实验中使用总体分类精度(overall accuracy，OA)与Kappa系数对亚像元定位结果进行定量评价。ASPM、ACSPM、JHHS、JASPM、CRSPM-BP对于AVIRIS数据和ROSIS数据的亚像元定位精度见表1。从表1可以看出，CRSPM-BP的亚像元定位精度均优于表中所列举的其他算法。尤其对于Pavia University图像，CRSPM-BP算法的OA比ACSPM算法高8.91%。CRSPM-BP和ASPM算法以LHSI作为输入，而ACSPM算法以LHSI和辅助的高空间分辨率的彩色图像作为输入，然而CRSPM-BP仍然生成了比ACSPM精度更高的亚像元定位结果。

表1 不同算法的亚像元定位精度

CRSPM-BP使用扩充后的训练集来对BPNN进行训练，对易混淆的像元进行亚像元定位，从而提高了亚像元定位的精度。相比Indian Pines图像，Pavia University图像细节信息较为丰富。CRSPM-BP对Pavia University图像的亚像元定位精度的提高更为显著，CRSPM-BP更适用于细节信息丰富的高光谱图像的亚像元定位。

4 结束语

本文提出了基于协同表示与BP神经网络的高光谱图像亚像元定位算法。CRSPM-BP算法包含了4个模块，HHSI的像元级分类、LHSI的亚像元定位、新训练集的生成和基于BPNN的亚像元定位。HHSI的像元级分类应用了立方卷积插值法和基于JCR的分类技术。LHSI的亚像元定位包含了基于JCRT的分类、光谱解混和基于空间引力模型的亚像元定位3个步骤。假设前2个模块产生的类别标签一致的亚像元标号正确，以这些亚像元所在的像元作为新的训练样本，极大地扩充了训练样本集。较大的训练样本集使得BPNN可以训练得到合适的权值和偏置，从而解决了小样本情况下基于BPNN进行亚像元定位精度有限的问题。实验使用了两组高光谱数据集对CRSPM-BP算法进行验证。与同类代表性算法进行对比，CRSPM-BP算法可以产生较好的亚像元定位结果。对于Pavia University图像，CRSPM-BP算法的OA比ACSPM算法高8.91%。然而，对于Indian Pines图像，CRSPM-BP的OA仅仅比ACSPM算法高0.26%。CRSPM-BP的精度对BPNN参数的依赖性较强。未来研究将围绕小样本情况下基于卷积神经网络的亚像元定位展开，有望提高小样本情况下利用神经网络进行亚像元定位的普适性。