一种联合光谱-对象-时间特征的遥感影像变化检测方法*

曹州，刘士彬，马勇，姚武韬，姜丽媛

(1 中国科学院空天信息创新研究院， 北京 100094； 2 中国科学院大学， 北京 100049) (2020年1月8日收稿； 2020年4月16日收修改稿)

变化检测是指从覆盖同一地表区域的不同时相遥感影像中定性和定量分析地物变化，广泛应用在土地利用及覆盖监测、自然灾害灾后分析评估和城镇动态变化监测等领域[1]。随着立体化对地观测网的建立，遥感卫星数据量急剧增加，为了满足不同领域的应用需求，对变化检测的精度和效率设定了更高的期望[2]。

根据检测目的的不同，可将变化检测划分成3个层次：确定是否发生变化、确定由什么变为什么以及变化的过程[3]。确定地物变化类型(from-to)由于能够提供详细的地物变化类型信息，一直是双时相影像变化检测研究的热点与核心[4]。就目前而言，一般使用分类比较法先对不同时相的影像独立分类，再对比地物类型获取变化检测结果[5]。然而该种方法仅基于当前影像进行分类，忽略了不同时相影像间具有的时间联系，分类存在的误差容易在变化检测的过程中被进一步传递并叠加放大，产生较多的伪变化，变化检测精度有待进一步提升，因此联合分类与变化检测一体化成为新的研究热点[6]。

循环神经网络(recurrent neural network，RNN)是一种能够对时序数据进行建模的神经网络，其某一时刻隐藏层的输入包括当前时刻输入层的输出和上一时刻隐藏层的输出，实现了上下文信息随时间传递，当前时刻输出层的输出和上一时刻输出层的输出建立联系，这一特性为双时相影像的联合分类提供理论支撑，实现变化检测整体化进行[7]。有学者通过将双时相影像光谱值组合成序列数据，输入至循环神经网络中挖掘光谱-时间特征，对双时相影像进行联合分类，提取影像变化信息，与传统分类比较法相比，有效地提升了变化检测的精度[8-9]。目前RNN在变化检测领域中的应用多基于像素开展，由于“同物异谱，同谱异物”现象在遥感影像中普遍存在，仅使用光谱信息分析地物变化类型能力较弱，RNN的应用仍有待完善[10]。

将遥感影像的对象特征与光谱波段等多种信息进行特征融合，可以实现特征之间的互补，这一方法能够提高变化检测的精度和泛化性[11]。学者们通过添加纹理特征和光谱特征等信息，加大像元间的可区分性，有效减少了伪变化结果的产生[12-13]。部分学者结合遥感指数特征和光谱特征，进一步提高了地物分类的准确性，相关地物的变化检测精度也得到了针对性的改善[14-15]。鉴于以上思路，本文提出一种结合光谱特征、对象特征和时间特征的遥感影像变化检测方法。该方法首先提取双时相中分辨率遥感影像的光谱特征、纹理特征和遥感指数特征，将其作为神经网络的输入，利用双向长短期记忆网络(bi-directional long-short term memory，Bi-LSTM)的特征提取能力，提取出光谱-对象-时间特征，完成双时相地物联合分类与变化检测，变化检测的精度和自动化程度得到了有效提高。

1 遥感影像特征提取

遥感影像特征蕴含了更多空间和波谱的信息，将多种特征进行融合，构造适用性更强的变化检测模型，充分挖掘遥感影像信息，能够有效提升变化检测结果的完整性与准确性。考虑到中分辨率遥感影像变化检测的实际需求与应用场景，本文选取影像光谱特征、纹理特征和指数特征，其中指数特征选取常用的归一化植被指数(normalized vegetation index，NDVI)、归一化水体指数(normalized difference water index，NDWI)和归一化建筑指数(normalized difference build-up index，NDBI)。

1.1 光谱特征

基于像素开展的变化检测方法仅利用当前像元的波段光谱值，缺少对光谱空间信息的挖掘，针对这一问题，本文选取窗口大小为3×3的像元光谱均值作为光谱特征，光谱特征数与波段数保持一致。

1.2 纹理特征

纹理特征描述了地物表面的性质，包含地物的空间信息和结构信息，能够加大光谱特征相似地物的可区分性，这一特性能够有效提高变化检测的精度[16]。本文基于窗口大小为3×3的二阶概率统计计算多个纹理特征，分别是协同性、均值、信息熵、方差、对比度、相异性、相关性、二阶矩。在多光谱影像中，影像的纹理特征描述为各个光谱波段对应像元的二阶纹理特征的均值。

1.3 归一化植被指数

植被指数反映了地表植被覆盖情况和生长状态，已被广泛应用于土地利用分类和植被覆盖评价[17]。本文选取常用的NDVI，其值为正且越接近于1意味植被越健康茂盛，其值为负表示植被健康的可能性较低。NDVI由红波段和红外波段的反射率值计算得出，计算公式为

(1)

式中：Rnir为近红外波段反射率值，Rred为红光波段反射率值。

1.4 归一化水体指数

水体指数突出了影像中的水体信息，有助于水体的解译和识别[18]。本文选取NDWI，该指数是基于绿波段与近红外波段反射率值的归一化比值指数，计算公式为

(2)

式中：Rgreen表示绿光波段反射率值。

1.5 归一化建筑指数

建筑指数反映了城镇建筑用地的密集情况，NDBI被设计用于建筑用地信息的提取[19]。NDBI计算公式为

(3)

式中：Rswir1为波长范围为1.57～1.65 μm的短波红外波段反射率值。

2 联合光谱-对象-时间特征的变化检测

RNN网络结构包括3个部分，分别为输入层、隐藏层和输出层。双向循环神经网络(bidirectional recurrent neural network，Bi-RNN)由2个RNN网络叠加组成，共同决定隐藏层的输出。Bi-RNN能够同时对2个时相的输入进行处理，以端到端的方式进行变化检测，为遥感影像变化检测一体化提供技术支撑。而Bi-LSTM网络与Bi-RNN不同在于其隐藏层使用了LSTM单元[20]。

本文模型(图1)采用Bi-LSTM网络，分别提取双时相影像每一时相的影像特征，网络的输入由提取出的影像特征和原始光谱波段值拼接组合而成。网络的输出为2个时相的地物类型结果，通过比较分类结果得到地物类型变化图。模型输入层包含当前时刻影像的光谱信息和对象特征，LSTM单元对输入进行特征融合，提取光谱-对象特征。此外，LSTM单元对当前时刻的输入信息产生“记忆”，“记忆”随时序进行传递，不同时相的特征建立起时间联系，进一步提取高层抽象的光谱-对象-时间特征，并将该特征输出至输出层进行地物分类。Bi-LSTM网络独特的双向结构使得不同时刻的地物分类结果都与其他时刻相关，从而实现多时相影像地物联合分类，提高变化检测的精度和可靠性。

图1 变化检测模型

本文Bi-LSTM网络的训练过程如下：首先分别计算双时相影像对应的各个像元的光谱均值特征、纹理特征和遥感影像指数特征，经正则化处理后拼接成对象特征向量ft，再与光谱值向量st拼接形成xt，其中t表示时刻。组成输入向量对(x1,x2)，样本的真实地物类别经独热编码后组成真值类别向量对(y1,y2)；输入向量经过2个方向上的各层LSTM单元计算分别得到lt和rt并对其进行拼接，最终得到隐藏层输出(h1,h2)；(h1,h2)作为全连接层的输入，该层输出长度为地物类别数量的向量，该向量通过Softmax层输出该像元是各个地物类别的概率向量(y′1,y′2)；最后计算(y′1,y′2)和(y1,y2)的交叉熵，利用梯度下降法对参数进行更新，直至模型训练完毕。

3 实验与分析

3.1 实验数据及预处理

所选实验区域为张家口市及其周边地区，实验数据为Landsat-8号卫星OLI陆地成像仪获取的2016年和2018年的L1T级多光谱影像，空间分辨率为30 m，共7个多光谱波段，覆盖光谱范围为0.4～2.3 μm。为验证本文模型的泛化性，另外选取与实验区域拥有相似地物类型以及时间相近的北京市及其周边地区2014和2019年同一传感器获取的多光谱影像数据，使用上一实验训练得到的模型参数直接进行迁移实验。Landsat-8号卫星的L1T级数据已进行几何校正，对同一区域不同时相的影像实现了配准。此外，为消除因光照和大气等因素导致的测量值与地物反射率不一致的影响，本文使用ENVI5.1软件对影像进行处理，利用Radiometric Calibration模块进行辐射定标，使用FLAASH Atmospheric Correction模块完成大气校正，使遥感影像更准确地反映地物真实情况。经影像裁剪后，张家口市及其周边地区影像像素大小为4 516×4 889，北京市及其周边地区影像像素大小为3 148×3 696，真彩色合成影像如图2所示。

图2 实验区域影像

根据研究区域的地物类型特点，本文将研究区域分为4种土地类型：耕地、建设用地、水体和林地，其中建设用地包括道路、建筑、裸地等。采用目视解译的方法分别在2个时相影像上标注不同类型的样本，各类地物目视解译的主要标志为：耕地在影像上呈绿色或浅绿色，纹理光滑，形状多为规则的多边形，附近常伴有道路；建设用地在影像上色调较多，大多呈灰白或灰黄色调或红蓝相间，城镇建设用地密集且规模较大，而农村建设用地较分散，周围往往有大量耕田；水体一般呈深色或黑色，水库具有规则形状且具有一定面积，而河流呈界线明显的条带状；林地呈深绿色，纹理颗粒较粗，形状不规则，分布不均匀，主要分布在山区。此外，本文利用相近时刻的高分辨率影像，根据经纬度坐标对地物类别进行核对，以保证标注工作的准确性。

由于本文模型的输入是双时相影像对应像元的信息，需比对在2幅影像已标注的地物样本的位置，筛选出符合在该位置上2幅影像均被标注地物类型要求的模型样本。最终获得变化像素点83 721个，未变化像素点1 073 442个，按常用的数据集划分比例8∶1∶1随机划分为训练集、验证集和测试集，分别进行模型训练、模型选择和精度评价。

3.2 模型选择与检验

本文模型超参数包含堆叠的隐层数l和LSTM单元大小r，在模型训练之前需要确定超参数大小。l与r共同决定模型参数的数量大小，合适的模型参数量会使模型学习能力较强且泛化性能较好，不产生过拟合问题。通常l和r的取值空间分别为{2,3,4}和{128，256，512}，本文随机排列l和r的取值。不同参数组合模型在验证集下的准确率(图3)表明，准确率随着l和r从低增大逐步上升；当l为3，r为256时，准确率达到最高；而当l大于3，r大于256时，准确率下降，产生过拟合。因此，本文模型最终确定超参数l为3，r为256。

图3 不同参数组合模型的准确率

为检验本文模型的有效性，基于相同的训练样本和测试样本，选取应用较多的支持向量机(support vector machine，SVM)方法、加权迭代的多元变化检测方法(iteratively re-weighted modification of the multivariate alteration detection，IR-MAD)及普通Bi-LSTM模型与本文模型进行对比。其中，普通Bi-LSTM模型仅利用光谱值作为输入，模型的超参数与本文模型一致。

3.3 精度评价

变化检测结果(图4(a))反映了张家口市及其周边地区2016—2018年各个位置上地物变化的类型，其中变化像元数量较小，占比2.4%。主要发生的变化按像元数从高到低排列，分别为林地到建设用地的变化(图4(b))、建设用地到林地的变化(图4 (c))和耕地到建设用地的变化(图4 (d))，占变化像元总数的59%、24%和9%。其中，林地和耕地到建设用地的变化主要为修建道路和建筑设施，而建设用地到林地的变化主要为张家口市作为2022年冬奥会的举办地之一，积极践行绿色奥运理念，在多处荒山裸地造林绿化。

分类混淆矩阵(表1)表明，本模型的地物样本总体分类精度超过90%。除耕地外，其余类别用户精度和制图精度在90%以上，水体类别可达97%。与普通Bi-LSTM模型的精度对比结果(表2)显示，本文双向Bi-LSTM模型在各个地物类别上的用户精度和制图精度上皆有不同程度的提升，耕地和林地的提升效果最好。

表1 分类混淆矩阵

表2 分类精度提升结果

由于耕地和林地的光谱信息相似，独立分类又使得分类误差在变化检测过程中无法弥补，SVM法变化检测结果中出现大量的耕地-林地(图5(a))和林地-耕地(图5(b))的伪变化。无监督的IR-MAD法变化检测结果甚至出现了大量水体-林地(图5(c))和水体-耕地(图5(d))的伪变化，与现实结果产生严重偏差。

图5 对比方法伪变化结果

变化检测误差矩阵(表3)显示，在变化像元检测上，本文模型的制图精度和用户精度均在0.8以上，能够较好地满足实际应用的要求。各类方法地物变化类型精度评价表(表4)表明，本文模型提取地物变化信息的能力较强，各类地物变化中以建设用地和水体的变化提取最为准确。IR-MAD法和SVM法的总体精度和Kappa系数均小于0.75，而普通Bi-LSTM网络和本文模型的结果较好，其中本文模型的总体精度和Kappa系数分别为0.95和0.84，相较于其他方法，均有较大幅度的提升。综上，本文模型变化检测效果最优。

表3 变化检测误差矩阵

表4 各类方法地物变化类型精度评价

迁移实验变化检测结果(图6(a))显示，北京市及其周边地区的地物变化类型主要为耕地到建设用地(图6(b))以及建设用地到耕地(图6(c))的变化，其中耕地到建设用地的变化占所有变化70%以上。由于没有使用迁移实验区域内新标注的样本重新进行模型训练，地物变化类型精度(表5)平均约有6%的小幅下降。迁移实验对比结果(表6)显示，本文模型的总体精度和Kappa系数依然最高，其中总体精度大于0.8。

表5 迁移实验地物变化类型精度

表6 迁移实验对比结果

图6 北京市及其周边地区变化检测结果

综上，利用双向长短期记忆网络，联合光谱-时间-对象特征进行变化检测可行有效。在提高精度的同时，在变化检测过程中本文模型无需手工设立阈值，减少了人为干预。此外，本文模型具有良好的泛化性，一定程度上可降低对样本的依赖性，提高了变化检测的自动化程度。

4 结束语

本文将传统遥感影像特征与深度学习技术相结合，提出了一种联合光谱-对象-时间特征的变化检测方法，遥感影像变化检测的精度和自动化程度得到有效提高。本模型作为遥感变化检测手段的一种补充，能够在不同场景中应用，然而本文仍有以下问题有待改进：1)针对不同的遥感影像和任务需求，特征选择可能不同，模型的复杂程度将会增加；2)变化检测结果形态的规则性完整性有待提高，为了减少“椒盐”现象，需要更多的后处理操作；3)中分辨率影像存在较多的混合像元，耕地和林地的之间的区分不够明显，为了更加准确地进行地物分类，需要学习更多时相的样本数据。如何提高变化检测精度的同时减少人工干预程度，依旧是未来变化检测研究的重点和难点。