基于DBN与对象融合的遥感图像变化检测方法

窦方正,, ,,

(1.中国科学院电子学研究所,北京 100190; 2.中国科学院大学,北京 100190; 3.北京跟踪与通信技术研究所,北京 100094)

0 概述

图像变化检测是指通过对同一区域不同时间观测的图像进行处理和分析确定目标变化情况的过程。遥感图像因其覆盖地域大的特点被广泛应用于地物目标的变化检测。遥感图像的变化检测在各领域具有广泛的应用,如城市规划、灾害预测和战场情报分析等,因此,开展遥感图像变化检测方法的研究具有重要的应用价值。

随着遥感观测技术的快速发展和成像分辨率的提高,单位地表面积的遥感图像所承载的信息不断增加。在高分辨率遥感影像中,目标细节信息更加丰富,这些目标本身的颜色和纹理变化较为复杂,且背景地物有时会呈现出与目标相似的颜色纹理特征,单纯利用图像中的颜色、纹理、局部边缘等低层特征难以取得理想的变化检测结果。为此,科研人员开始分析和提取高级的图像特征以改善分类器性能,以提高算法在海量高分辨率遥感图像数据下的鲁棒性。文献[1]针对高斯过程分类器在变化检测中的不足,提出了基于空间上下文相关的高斯过程变化检测方法。文献[2]提出了一种融合多种特征的变化检测方法,该方法利用光谱直方图、LBP等多种特征提高变化检测精度。然而传统的基于像素的方法易受到局部噪声和复杂背景的干扰,而基于面向对象分析的变化检测能够较好地解决此问题。文献[3]利用图像背景先验知识提出一种基于对象的分析方法,通过图像变化检测结果实现目标的检测与分析。文献[4]采用面向对象的思想构造对象的特征向量用于SVM的变化分类。文献[5]提出一种基于对数变差函数纹理增强的图像变化检测方法,采用方向对数变差函数算法对图像的纹理特征进行增强。文献[6]在面向对象的基础上提出一种基于直推式支持向量机的变化检测方法,该方法能够利用未标注的历史数据进行支持向量机训练,从而提高检测方法的泛化能力。然而,由于图像中的对象通常具有大小不一的尺寸和形状,因此对对象进行特征设计和提取面临很大挑战,而现有的面向对象的分析方法多数仅能利用一些简单特征组合来得到不同尺寸对象的特征。

针对上述问题,本文提出一种基于深度置信网络(Deep Belief Network,DBN)和面向对象结果融合的图像变化检测方法。考虑到DBN能够学习样本数据集中低层到高层本质特征,因此,将图像变化检测看作二分类问题,利用DBN模型进行分类。为降低图像和目标局部噪声的对检测结果的影响,设计面向对象的分类融合方法,以图像像素为单元进行图像特征提取和分类,将DBN分类结果作为该像素的变化检测结果进行面向对象的分类结果融合。此外,提出一种多尺度的图像特征学习和分类方法,在特征学习和分类阶段利用图像的金字塔变换得到多个尺度上的数据,并利用DBN学习得到多尺度的目标和上下文特征,从而增强本文方法对环境变化因素的鲁棒性,提高检测准确率。

1 深度置信网络

随着深度学习方法的研究与发展以及该方法在自然场景图像解译、大数据分析[7]等一系列应用中取得的成功,使得深度学习逐步引起遥感图像解译研究人员的重视,并开始研究如何将深度学习算法引入到遥感图像的特征提取和分析中。文献[8]利用深度置信网络对遥感图像中的飞机目标进行检测,文献[9]利用栈式自编码器实现了SAR图像中目标的变化检测。本文将深度学习引入遥感图像特征提取和分类中,提出一种基于深度置信网络的光学遥感图像变化检测方法。深度置信网络(DBN)[10]是一种产生式的深度神经网络模型,其能利用大量的未标注历史图像数据和一种逐层的非监督训练方法实现特征自学习和提取,并通过少量标注数据进行模型的分类训练和优化。DBN的基本结构是一个多层的神经网络,其概率图模型如图1所示。其中,最上面一层网络是无向图模型,即限制玻尔兹曼机模型,其余各层是自上而下的有向连接图模型。基于这种网络结构,文献[10]提出一种通过逐层训练限制玻尔兹曼机进行参数初始化的训练方法,用于深度置信网络特征学习。

图1 深度置信网络图模型

限制玻尔兹曼机的图模型如图2所示。它是一个包含2层节点的无向图模型,即可视层与隐藏层,分别以v与h表示。不同层节点的连接由权值矩阵W表示。

图2 限制玻尔兹曼机图模型

限制玻尔兹曼机的能量函数表示如下:

E(v,h)=-hTWv-aTv-bTh

(1)

v=(v1,v1,…,vNv)T表示可视层的状态向量,h=(h1,h1,…,hNh)T表示隐藏层的状态向量,其中vi和hj分别表示第i个可视层节点与第j个隐藏层节点的状态,wij表示权值矩阵W中连接这两个节点的权值,ai和bj分别表示可视层偏置项a中第i个元素与隐藏层偏置项b中的第j个元素。W、a和b统称为限制玻尔兹曼机的网络参数。利用式(1)定义的能量函数,可以得到限制玻尔兹曼机中可视层节点与隐藏层节点的联合概率分布:

(2)

(3)

在限制玻尔兹曼机的参数求解中,为了计算的方便,通常会对对数形式的似然函数进行梯度计算,即:

(4)

其中,<·>data和<·>model分别表示模型关于数据经验分布和模型真实分布的期望。为解决吉布斯采样效率较低的问题,文献[11]提出一种近似采样算法,称为对比散度(Contrastive Divergence,CD)算法。目前,对比散度算法已成为限制玻尔兹曼机的标准训练算法。

2 本文方法

本文方法流程如图3所示,主要分为模型训练与变化检测2个主要步骤。在第1个步骤中,经过预处理的训练图像对(待检测图像和基准图像)将用来训练一个深度置信网络,经过限制玻尔兹曼机非监督训练和监督微调训练2个过程就得到了用于变化检测的深度神经网络模型。在变化检测步骤中,对经过预处理的测试图像将利用上一步骤中训练得到的深度神经网络模型进行基于像素的分类和变化检测,同时本文对预处理后的待测图像进行基于对象的分割,随后进行基于对象分割的分类结果融合,以降低局部噪声的影响,经过融合后的结果即最终的变化检测结果。

图3 基于深度置信网络的遥感图像变化检测流程

2.1 图像预处理

预处理的过程主要包括图像配准、相对辐射校正和滤波去噪。图像配准的目的是消除成像设备、拍摄位置、角度不同所带来的成像差异,本文采用了基于SIFT[12]特征点匹配的图像配准方法。相对辐射校正的目的是消除2幅或多幅图像由于光照、天气等变化带来的成像明暗差异,这些差异会对变化检测的结果造成较大影响,本文中采用直方图匹配的方法实现相对辐射校正。滤波去噪的目的是消除图像中局部噪声的影响,本文采用了保边滤波中的双边滤波[13]实现噪声去除,与传统的高斯滤波等方法不同,双边滤波在去噪的同时能够很好地保留图像中的边缘信息,这些信息对于此后基于对象的分析和结果融合非常重要。经过图像预处理之后,待检测图像和基准图像组成的图像对将用于深度置信网络模型训练和最终变化检测结果的产生。

2.2 深度置信网络模型训练

本文方法将经过预处理后的训练图像对作为训练数据,来进行深度置信网络的参数求解,从而得到一个用于分类的深度神经网络模型。其中,基于深度置信网络模型的分类变化检测按像素进行分类,即图像中的每个像素被赋予一个标签,标签值用离散的0和1表示,标签为1表示图像对中该像素位置产生了变化。为了充分利用遥感图像目标的多尺度上下文信息,本文提出了一种基于图像金字塔变换的训练方法,即一个像素通过结合其周围一定范围内的多尺度上下文信息来得到分类结果。如图4所示,本文获取以待分类像素为中心周围一定范围内的金字塔变换后的图像(黑框范围内图像)作为深度置信网络的输入数据。

图4 利用多尺度图像金字塔训练深度置信网络模型示意图

深度置信网络的训练包括逐层非监督预训练和监督微调训练,逐层非监督预训练是特征学习和提取的过程,训练利用限制玻尔兹曼机和对比散度算法实现。预训练完成后,本文利用反向传播算法[14]进行网络参数的有监督微调训练,网络的输出层是一个二维向量,二维输出向量中的最大值位置表示了检测分类结果。本文利用事先标注的标签进行监督训练,最后得到一个深度置信网络模型,并将其用于变化检测分类中。

2.3 变化检测和面向对象的结果融合

在变化检测阶段,本文方法首先将待检测的图像对进行预处理,按2.2节所述的方法获取多尺度的深度置信网络输入数据,然后将数据输入到训练好的深度置信网络模型中,模型的输出即为变化检测结果。

在高分辨率遥感图像中,由于光照、天气等变化因素,在同一位置不包含变化的2幅图像中会出现局部纹理、明暗的变化,这些变化会使得最后的检测结果产生大量虚警。为了解决这一问题,本文在基于像素的深度置信网络变化检测基础上,提出一种面向对象的结果融合方法。对于经过预处理的测试图像对,首先利用训练好的深度置信网络模型进行基于像素的变化检测,同时对测试图像对利用图像分割方法进行对象分割,然后利用对象分割结果对深度置信网络的分类结果进行融合,得到最终的变化检测结果,具体过程如图5所示。

图5 面向对象的变化检测结果融合过程

常用的对象分割方法包括基于均值漂移的方法[15]、水平集分割[16]、分水岭算法[17]、金字塔算法[18]等。本文采用基于均值漂移的分割方法获取对象。均值漂移是一种非参数估计密度函数方法[19],它使每一个点通过有效的统计迭代“漂移”到概率密度函数的局部极大值点上。均值漂移算法计算简单,且不需要任何先验知识,在实际应用中通常具有较好的稳定性和较高的效率。由于待检测图像和基准图的分割结果往往会有差别,因此,本利用文献[3]中的方法进行分割结果进行合并。

进行图像分割后,本文方法利用分割得到的对象对深度置信网络分类得到的变化检测结果进行融合,其原理如下:

(5)

其中,label表示对象Ω中某个像素经过结果融合后的标签,pi表示对象Ω中像素i的深度置信网络预测标签,其取值为1或0,Area表示对象Ω的像素面积分割后,T是本文方法定义的自适应融合阈值。

T的计算公式如下:

(6)

其中,MaxArea表示图像中最大面积对象的像素面积值。通过面向对象的融合,可以很好地解决由于对象尺寸大小不一和形状变化而难以进行高层特征设计和提取的难题。同时,该方法利用对象分割结果,对基于像素的深度置信网络分类结果进行校正,以抑制局部噪声对检测结果的影响,从而提高检测精度。

3 实验与结果分析

3.1 实验设置与数据集描述

为验证本文方法的有效性,选取20组QucikBird光学遥感图像对组成实验数据集。其中,图像分辨率为0.61 m,尺寸在1 000×1 000像素与10 000×10 000像素之间。这些图像中包含全球部分民用机场、港口、工厂等大型设施。图6为其中一组测试数据。

图6 测试数据

在深度置信网络训练中,本文利用2.2节所述方法在5组图像对中随机产生20 000组多尺度数据,作为深度置信网络的训练数据。每组训练数据包含待测图和基准图的各3层金字塔图像,每层图像选择16×16大小的切片尺寸。其余15组图像对作为变化检测方法的测试数据集。

为了评价算法的性能,本文选择准确率、召回率和F1值作为定量评价指标。准确率即检测结果为变化的像素里实际为变化的比例,召回率是检测结果中检测出为变化的像素本占所有实际为变化像素的比例。F1值的计算方法为:

(7)

其中,P为准确率,R为召回率。

3.2 变化检测结果比较与分析

通过观察F1值得变化,本文对深度置信网络的参数进行调整,以获取最优的变化检测结果,这些参数主要包括隐藏层数量以及每层的节点数量。通过实验发现,当选择节点数量分别为1 536(输入层,16×16×6=1 536)、300、200、100、300、2(分类层)的包含4个隐藏层的深度置信网络时,可以取得最优的检测结果。因此,下面的对比实验中均选择这种参数组合。

实验1将本文方法与利用深度置信网络在不加入多尺度上下文信息情况下仅加入本文对象融合策略的方法(方法1)和像素分类的方法(方法2)进行比较。图7显示了不同方法检测结果的定性比较,其中图7(c)表示仅利用深度置信网络按像素分类得到的检测结果,可以发现结果受局部噪声影响明显,与之相比,利用本文提出的融合方法进行对象融合后(如图7(d)所示),能够显著降低局部噪声的影响。图7(e)展示了本文方法的检测结果,与图7(d)的结果相比可以看出,通过在训练和检测中引入多尺度的上下文信息,可以很好地抑制由光照、纹理等因素变化而产生的干扰,提高检测准确率。

图7 不同方法的检测结果比较

对以上方法的定量统计结果进行比较,如表1所示。实验结果表明,本文方法可使检测准确率和召回率得到明显提升。

表1 检测准确率、召回率和F1值的比较1 %

本文方法与文献[1]方法和文献[6]方法的检测结果比较如表2所示。实验结果表明,与其他2种方法相比,本文方法在准确率和召回率上均有提高。2种对比方法虽然较好地利用了面向对象的分析方法来抑制噪声的影响,但由于对象尺寸大小不一的问题,仅能对对象进行了简单特征的提取,因此限制了方法的进一步提高。而本文方法在解决上述问题的基础上通过利用多尺度上下文信息,显著地提升了检测性能。

表2 检测准确率、召回率与F1值的比较2 %

4 结束语

本文提出一种基于深度置信网络和对象融合的图像变化检测方法。将变化检测问题转化为二分类问题,并在分类问题中把图像像素作为分类单元。在特征学习和分类阶段充分利用图像目标的上下文信息,设计了多尺度的图像特征学习和分类方法。在此基础上,本文还提出一种基于对象的分类融合方法,通过基于对象融合的方法处理深度置信网络分类得到的结果,从而降低图像和目标局部噪声的影响。在QucikBird影像数据集上的实验结果表明,本文方法具有较高的变化检测准确率。下一步将在本文工作的基础上研究深度学习以及不同形式的融合方法在遥感图像变化检测中的应用。

[1] 陈克明,周志鑫,卢汉清,等.基于高斯过程的高分辨率遥感图像变化检测[J].遥感学报,2012,16(6):82-94.

[2] 李 亮,舒 宁,王 凯,等.融合多特征的遥感影像变化检测方法[J].测绘学报,2014,43(9):945-953.

[3] 陈丽勇,闫梦龙,孙 显,等.一种基于背景先验的飞机目标检测方法[J].测绘科学,2016,41(3):69-74.

[4] HUO C,ZHOU Z,LU H,et al.Fast object-level change detection for VHR images[J].IEEE Geoscience and Remote Sensing Letters,2010,7(1):118-122.

[5] 王 威,刘 洋,刘 婧,等.基于对数变差函数纹理增强的图像变化检测[J].计算机工程,2016,42(2):224-228.

[6] 陈丽勇,孙 显,王宏琦.一种基于TSVM-MRF的变化检测方法[J].国外电子测量技术,2015,3(7):32-36.

[7] BENGIO Y.Learning deep architectures for AI[J].Foundations and Trends in Machine Learning,2009,2(1):1-127.

[8] CHEN X,XIANG S,LIU C L,et al.Aircraft detection by deep belief nets[C]//Proceedings of the 2nd Asian Conference on Pattern Recognition.Washington D.C.,USA:IEEE Press,2013:54-58.

[9] LIU J,GONG M,ZHAO J,et al.Difference representation learning using stacked restricted Boltzmann machines for change detection in SAR images[J].Soft Computing,2016,20(12):4645-4657.

[10] HINTON G E,OSINDERO S,TEH Y W.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18(7):1527-1554.

[11] HINTON G E.Training products of experts by minimizing contrastive divergence[J].Neural Computation,2002,14(8):1771-1800.

[12] LOWE D G.Object recognition from local scale-invariant features[C]//Proceedings of the 7th IEEE International Conference on Computer Vision.Washington D.C.,USA:IEEE Press,1999:1150-1157.

[13] TOMASI C,MANDUCHI R.Bilateral filtering for gray and color images[C]//Proceedings of the 6th International Conference on Computer Vision.Washington D.C.,USA:IEEE Press,1998:839-846.

[14] LeCUN Y,BOSER B,DENKER J S,et al.Back-propagation applied to handwritten zip code recognition[J].Neural Computation,1989,1(4):541-551.

[15] COMANICIU D,MEER P.Mean shift:a robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.

[16] OSHER S,SETHIAN J A.Fronts propagating with curvature-dependent speed:algorithms based on Hamilton-Jacobi formulations[J].Journal of Compu-tational Physics,1988,79(1):12-49.

[17] GAUCH J M.Image segmentation and analysis via multiscale gradient watershed hierarchies[J].IEEE Transactions on Image Processing,1999,8(1):69-79.

[18] REZAEE M R,van der ZWET P M,LELIEVELDT B P,et al.A multiresolution image segmentation technique based on pyramidal segmentation and fuzzy clustering[J].IEEE Transactions on Image Processing,2000,9(7):1238-1248.

[19] KEINOSUKE F,HOSTETLER L.The estimation of the gradient of a density function,with applications in pattern recognition[J].IEEE Transactions on Information Theory,1975,21(1):32-40.