张 莹,郭红梅,尹文刚,赵 真,鲁长江,肖本夫
(1.四川省地震局,四川 成都 610041;2.武警警官学院,四川 成都 610213)
在获取建筑物震害信息时,现场调查需统筹大量人力物力,且获取信息的周期长、效率低,还面临因地形等自然环境因素或交通、通讯中断等灾情因素导致难以开展的局限性[1]。为此,探索基于遥感等技术的震害信息获取成为了研究热点,其中,无人机遥感系统除具备机动灵活、快速高效等优点外,其采集的高分辨率影像作为图像信息,能更加直观地反映灾区实际受灾情况,已成为一种既方便快捷又能全面获取建筑物震害信息的重要手段。而在遥感图像中识别建筑物震害时,通常通过人工目视解译或由计算机自动提取。在人工目视解译方面,王晓青等[2]采用人机交互的震害提取方法对比震前震后的高分遥感影像,解译了尼泊尔8.1级地震灾区房屋建筑及其震害程度;邓飞等[3]基于高分辨率无人机正射遥感影像,通过目视判读对九寨沟7.0级地震极灾区的损毁建筑物等进行了解译。在计算机自动提取方面, LIU等[4]利用航空遥感数据,采用最大似然分类法对日本熊本5.0级地震震后建筑物的破坏进行了识别;杜浩国等[5]依托无人机高清遥感影像,提出一种改进的蚁群算法识别了漾濞6.4级地震的建筑震害情况。人工目视解译法可精确提取震害信息,但耗费时间较多;现有的计算机自动识别方法可快速提取震害信息,但因存在易收敛于局部最优解等缺陷,导致识别精度提高受限。
近年来,随着机器学习算法的不断更新与优化,使随机森林、支持向量机(SVM)等一些新的图像分类技术得以应用。而遥感建筑物震害识别正是根据不同的建筑物震害图像特征,按破坏等级进行图像分类的过程。但震后,无人机一般以极震区为主开展震害调查,现场获取的训练样本数量有限,在通过样本训练实现对高光谱遥感图像的分类时,分类过程对样本数量却有较高要求[6]。通过相关实际应用表明,SVM分类方法不仅能解决遥感图像分类中的小样本问题,对于高光谱遥感图像中因高特征维度造成的线性不可分问题也能有效解决,目前在遥感图像分类中已被广泛应用[7]。因此,针对实际问题,本文选用基于统计学习理论的SVM分类方法对图像进行分类,实现对建筑物震害的识别。在此过程中,为进一步提高建筑物震害识别的速度和精度,首先将建筑物分布数据与无人机遥感图像叠加,快速准确地锁定图像中的房屋建筑目标。然后,基于尺度不变特征转换(SIFT)提取图像特征,并通过视觉词袋构建建筑物震害无人机遥感图像特征向量标签库,将图像的SIFT特征点集表达成统一维数的特征向量,作为SVM进行图像分类的基础。并以2021年9月16日发生的四川泸县6.0级地震为例,对方法的可行性加以验证,结果表明:该方法可快速准确地从无人机遥感图像中识别出建筑物震害情况。
在震后获取的无人机遥感图像中,部分地物与房屋建筑形状、纹理等特征相似,极易在提取图像特征对图像进行分类,识别建筑物震害情况时造成干扰。而近年来,为提高地震等自然灾害防治能力,实施了第一次全国自然灾害综合风险普查及地震易发区房屋设施加固等国家重点工程,从中汇集了各地最新、最全的建筑物分布数据。通过将这些数据与对应的无人机遥感影像叠加,可快速提取出图像中的房屋建筑,准确锁定目标。主要处理流程如图1所示。
图1 建筑物图像提取流程图
无人机遥感建筑物震害识别主要是利用图像的纹理、边缘、灰度等底层特征精确描述图像内容,再根据提取出的不同结构类型在不同破坏等级下的图像特征进行图像分类[8]。但因光照条件、拍摄方法等因素的不同,使得底层特征往往难以精确描述图像内容,导致图像分类算法在进行分类时适应性不足,识别精度较低[9]。可见,提高分类算法识别精度的关键在于对图像特征的选择,所选特征应尽量不受光照、拍摄角度、尺度变换的影响,具有较强的抗噪能力。在现有的图像特征提取方法中,尺度不变特征变换(SIFT)作为一种图像的局部性特征,对于光线、视角等改变及噪声的容忍度高,能较好的满足上述要求[10]。
因此,本文将SIFT方法应用于建筑物震害无人机遥感图像的特征提取中,为实现算法的训练,从历史震例中收集了大量不同结构类型已判别标注了建筑物破坏等级的无人机遥感图像,针对每张图像,经预处理提取出图像中的房屋建筑后,通过以下四个步骤实现对不同结构建筑物在不同破坏等级下图像特征的精确描述:
(1)尺度空间极值检测。为模拟图像的多尺度特征,需在生成尺度空间后进行极值点检测,而高斯卷积核是生成尺度空间的唯一线性核[11]。为此,针对建筑物震害无人机遥感图像,定义尺度空间L(x,y,σ)是二维高斯滤波函数G(x,y,σ)和图像I(x,y)的卷积[12]:
L(x,y,σ)=G(x,y,σ)×I(x,y);
(1)
(2)
式中:(x,y)是图像的空间坐标,σ为尺度空间因子,决定图像的平滑程度。为更准确地检测极值点,定义高斯差分函数DOG算子为两个相邻尺度空间的差值[13]:
D(x,y,σ)=L(x,y,kσ)-L(x,y,σ)。
(3)
式中:k的取值由两个相邻尺度空间的倍数决定。若要在高斯差分金字塔的尺度空间中检测极值点,则需先构建高斯金字塔。由式(3)可知,高斯差分金字塔由高斯金字塔组内每相邻两层的图像相减获得。在高斯差分金字塔的尺度空间中,每个检测点都要与其各相邻点逐一比较,从而得到D(x,y,σ)的局部极值点。若检测点在与其相邻的26个点中是极值点,则该点就可能是一个SIFT关键点,这些局部极值点将构成SIFT候选关键点的集合。
(2)关键点定位。通过尺度空间极值检测将得到建筑物震害无人机遥感图像的所有SIFT候选关键点,但要确定关键点,还需要进一步的处理。首先关键点与周围的像素应有显著差异;其次DOG算子较强的边缘响应会导致不稳定边缘响应点的存在。因此,根据候选关键点的位置和尺度,通过子像素插值及消除边缘响应来剔除部分极值点,才能实现关键点的定位。将式(3)的高斯差分函数DOG泰勒展开得:
(4)
再根据HARRIS角点理论,处于边缘的关键点具有较大的主曲率,而稳定的关键点则不会有这样的变化,因而根据主曲率取值的大小即可判断并消除边缘响应[14]。
(5)
如式(5)所示,根据关键点位置的海森矩阵H可求出其主曲率γ,式中D由关键点在高斯差分金字塔尺度空间中X或Y方向连续求导两次而得。通过实验,当极值点主曲率γ取值为10,且满足式(5)时,其稳定性将有效增强,进而消除边缘响应。
经上述检测后保留的极值点,即可确定为建筑物目标区域的稳定关键点。
在遥感影像中,一般将单体建筑物的震害划分为“基本完好”“破坏”和“毁坏”三个等级。其中“基本完好”与中国《地震现场工作 第3 部分 调查规范:GB/T 18208.3-2011》[15]规定宏观地面调查中建筑物震害等级的“基本完好” “轻微破坏”与“中等破坏”相对应;“破坏”与“严重破坏”相对应;“毁坏”与“毁坏”相对应。将无人机遥感图像中不同破坏状态的建筑物按破坏等级分类,以破坏的砖混结构房屋为例,在目标区域所提取的关键点如图2所示。
通过这些关键点可以很好地描述不同破坏等级建筑物间的状态差异,为构建建筑物震害无人机遥感图像特征向量标签库提供稳定的“词汇”信息。
(3)关键点方向分配。在定位关键点后,为使其具有局部结构的稳定方向,保持旋转不变性,需根据其尺度及位置,结合在邻域像素上梯度方向的分布特点,为每个关键点分配一个方向。任一关键点的梯度大小m(x,y)和方向θ(x,y)可表示为[16]:
m(x,y)=
(6)
(7)
根据式(6)计算梯度幅值,式(7)计算梯度幅角,再以关键点为中心,由此得到如图3所示的关键点邻域范围和梯度直方图:
图3 关键点邻域范围和梯度直方图
在图3b所示的梯度直方图中,关键点每隔45°变换一个次方向,共8个方向,横轴为幅角,纵轴为累计的幅值,累计幅值最大的方向即可确定为关键点的主方向。
(4)SIFT描述符生成。由上述尺度空间极值点检测并定位的关键点是只包含了图像空间位置信息的实际像素点,在为其分配方向后,需将其进一步转化为特征向量,即通过生成SIFT描述符,才能充分反映任意一张建筑物震害无人机遥感图像在关键点处的像素梯度及方向信息,实现图像的精确描述[17]。具体过程如图4所示。
图4 关键点SIFT描述符生成过程
在与关键点相邻的8×8像素块中,计算每个像素点的梯度大小及方向。再将该像素块切分为16个2×2的子块,对每个2×2子块中的4个像素点梯度进行高斯加权,并投影至8个方向,把每个2×2的子块描述成一个1×8维的特征向量,共16个子块,由此,每个关键点都将由一个1×128 维的特征向量描述。
由SIFT算法提取后的每张建筑物震害无人机遥感图像都是大量关键点SIFT描述符的集合,每个关键点又是一个1×128 维的多维特征向量,仅能描述图像的某部分特征,不便于计算机的自动识别和判断。
随着SIFT等稳定图像特征提取算法的出现,视觉词袋逐渐被引入遥感图像分类等计算机自动识别和判断中。其利用图像中部分关键点的高度相似性,通过K-means聚类将所有SIFT特征点聚集为K个簇,K个聚类中心即为视觉单词,作为特征向量标签,得到由K个视觉单词组成的特征向量标签库。以这些分类的视觉单词作为标签来描述建筑物震害无人机遥感图像,不仅可突出不同结构类型在不同破坏等级下所包含关键点的差异,还有效降低了图像特征向量的维度,可进一步提高计算机自动识别的效率[18]。
建筑物震害无人机遥感图像特征向量标签库构建过程如图5所示。
图5 特征向量标签库构建过程
首先选取K个点作为初始聚类中心。在此通过自组织增量学习神经网络(SOINN)对SIFT提取的图像底层特征进行增量式学习,将初次聚类的结果作为K-means的初始聚类中心,避免直接使用K-means聚类时需反复试算和调整才能确定聚类中心的问题[19]。
每个特征点的特征向量X到第i个聚类中心的欧氏距离Di为:
(8)
式中:xj是向量X的第j维;kij是第i个聚类中心的第j维。
将特征点划归到距离其最近的聚类中心对应的簇中,在完成划归后,计算各个簇的新质心,作为新的聚类中心。若与原聚类中心间的距离小于预先设定的阈值,表明聚类完成,若大于预先设定的阈值,则重复上述迭代计算。
在聚类完成后,将得到由K个视觉单词组成的特征向量标签库L=(l1,l2,…,lk),li为特征向量的标签,描述性质相似的关键点组合成一类相似的特征。由此可见,根据建筑物震害无人机遥感图像关键点特征向量聚类形成的视觉单词,可理解为建筑物在不同破坏等级下的某种具体形态特征,以砖混结构房屋为例的部分视觉单词示例如表1所示。
因此,每张建筑物震害无人机遥感图像P均可由聚类形成的视觉单词表示为P= (f1,f2,…,fk),其中fi是描述特定图像时,视觉单词li出现的次数。
支持向量机(SVM)在解决小样本、高光谱遥感图像中因高特征维度造成的线性不可分等问题时具有独特的优势[20]。其基本原理是求解一个能够将训练数据集正确划分为两类,且几何间隔最大的分类超平面。
(9)
表1 视觉单词示例
采用拉格朗日乘子法进行对偶优化,可求得其最优解ω*,b*。而对于非线性分类问题,SVM通过核函数进行非线性变换后,再构造分类决策函数f(x),根据分类决策函数值的大小来确定各样本的属性:
(10)
式中:SVs是支持向量的集合,代表与非零拉格朗日乘子对应的样本,K(·)是核函数[23]。本文选取常用的线性核函数、RBF核函数、多项式核函数及Sigmoid核函数分别构造四种分类决策函数如下:
(11)
(12)
(13)
(14)
通过对模型进行训练,采用分类准确率最高的核函数构造的分类决策函数,形成最终的SVM分类器,用于建筑物震害识别。
2021年9月16日四川泸县6.0级地震发生后,经前期准备,应用大疆M300 RTK无人机搭载PSDK 102S五镜头倾斜摄影相机在震中泸县福集镇大田社区及附近嘉明镇团山堡村等受灾严重的区域进行航拍。无人机主要技术参数及根据泸县地形情况和影像分辨率等要求设置的飞行参数如表2所示。
通过航拍采集的无人机影像和DSM数据如图6所示。
图6 无人机影像和DSM图
对上述四川泸县6.0级地震中获取的影像进行进一步的处理及分析,主要流程如图7所示。
图7 实验流程图
首先,将无人机遥感影像与建筑物分布矢量数据配准后叠加,得到三种破坏等级下的建筑物图像共2 114张,随机从每种破坏等级的图像中选择1 500张图像作为训练集,用于构建特征向量标签库,剩余的614张图像作为测试集,验证算法分类识别的准确度。
然后,提取图像SIFT特征,利用K-means聚类将训练集中1 500张图像的SIFT特征点聚集为K个簇,经迭代计算,当K=150时,聚类达到预期效果,得到由150个视觉单词构成的特征向量标签库,可将测试集中的图像表示成一个K=150的多维特征向量。
最后,采用四种常用核函数构造的分类决策函数,对测试集中用多维特征向量表示的图像进行分类识别,从中选取识别准确率最高的核函数构造的分类决策函数,形成最终的SVM分类器。
通过实验,不同核函数下SVM分类器对建筑物震害的总体识别准确率及训练耗时如图8所示。
图8 不同核函数下SVM分类器的总体识别准确率及训练耗时
表2 无人机主要参数
表3 不同核函数下SVM分类器对不同破坏等级的建筑物识别情况
由图8可知,RBF核函数下的SVM分类器单张图像识别时间最短,识别准确率也是四种核函数中最高的。统计不同核函数下SVM分类器对不同破坏等级的建筑物识别情况如表3所示。
可视化的分类结果如图9所示。
图9 不同核函数下SVM分类器分类结果
从图9可见,线性核函数下的SVM分类器在三种破坏等级的建筑物震害识别中均易出现混淆,RBF核函数较其他核函数对分类中的混淆情况却有明显改善。这是因为三种破坏等级的建筑物震害图像存在两两间部分特征相似的情况,关键点分布的趋近将导致线性不可分,而线性核函数主要用于线性可分的情形。RBF核函数则可将原样本空间映射到无限维,在高维空间中,原本分布趋近的关键点得以分离,决策边界更为多样,由此可求解出更准确的分类超平面,从而有效提升识别准确率。因此,根据实验结果,RBF核函数下的SVM分类器在建筑物震害无人机遥感图像识别中较为适用。
为进一步分析造成识别错误的原因,将样本中受灾较重的大田社区及团山堡村部分无人机遥感图像建筑物震害识别结果与实际情况对比,图像识别结果有误的情况示例如表4所示。
可见,当有外部干扰光线将建筑物破坏等级分类特征区域以外的部分打亮时,会使在图像中提取的有效SIFT关键点发生改变,进而对识别建筑物震害情况造成较大干扰。
本文提出一种基于特征提取的SVM图像分类技术在无人机遥感建筑物震害识别中的方法,以四川泸县6.0级地震为例的实验结果表明了该方法在建筑物震害无人机遥感图像识别中的可行性。但从实验过程来看,目前的方法只是基于SIFT特征进行分类,而SIFT特征的维数依旧较大,一定程度上影响了SVM对图像分类识别的速度,因此,在后续研究中,可考虑将SIFT特征与SURF等维数较低的特征相结合,或对SIFT特征进行PCA降维处理,从而进一步提高图像识别的速度,更好地满足地震应急对灾情实时性的需求。此外,从造成图像识别错误的原因可见,应当考虑更稳健的特征点提取方案,以降低拍摄环境等外界因素对图像识别的干扰,提高方法的适应性。
表4 图像识别结果有误情况示例