基于改进MRF的遥感影像建筑物精提取

2020-07-15 08:56:28刘星雨周再文马紫雯高贤君

计算机与现代化 2020年7期

朱恰，王建，刘星雨，周再文，马紫雯，高贤君

(长江大学地球科学学院，湖北武汉 430100)

0 引言

随着遥感技术的不断发展，遥感影像分辨率在不断提高，影像的光谱、纹理和结构等细节信息呈现得更为精细，更有利于建筑物的自动提取[1]。而建筑物的自动提取和变化检测能完善城市基础地理数据库的建设以及提高数据库的更新效率[2]，为城市建设、土地利用等提供了重要支持。因此如何快速、准确有效地自动提取遥感影像中的建筑物，是目前的热点研究问题[3]，具有重要的研究意义与价值。

由于建筑物具有复杂多变的结构、纹理和空间信息的特点，加大了基于遥感影像建筑物提取的难度[4]。近些年来许多学者提出了诸多建筑物自动化或半自动化的提取方法，主要分为3类：基于深度学习的方法、基于边缘检测的方法、结合辅助信息的方法。

1)基于深度卷积神经网络的方法利用建筑物的训练样本对训练集进行训练，并采用反向传播算法将训练的输出结果与真实的标签值的差值逐层反馈传递给上层，进而调整各层的参数，以实现优化输出、精确提取建筑物。刘文涛等[5]提出了一种基于级联式全卷积网络的遥感影像建筑物提取方法，将图像的全局信息与局部信息结合起来，提高了建筑物提取的精度。范荣双等[6]在神经网络训练中采取了自适应池化模型，并获取了影像的纹理特征，使纹理特征与神经网络提取的多层次特征融合以更精确地提取建筑物。由于神经网络的激活函数以及网络结构的复杂性，使传统的基于神经网络提取的结果易出现特征灰度图模糊、错分建筑物的现象。

2)基于边缘检测的方法利用直线检测、角点检测等方法提取建筑物的边缘后，通过经验知识或搜索等方法对边缘进行分类重构[3]，最后填充建筑物轮廓，进而得到建筑物区域。李巍岳等[7]用Sobel算子进行边缘检测，并结合数学形态学的方法进行增强处理，在多光谱遥感图像中建筑物区域有较好的提取效果。但是此法难以将大量的非建筑物区域的边缘清理掉，易出现较多假目标[8]。

3)结合辅助信息的方法。此法多是借助数字表面模型(DSM)、数字高程模型(DEM)或建筑物阴影等其它辅助信息来提取建筑物。王子明[9]在建筑物提取时，将DSM作为一个波段参与分割，并利用多种约束条件来提取建筑物。但可分割尺度难以确定，很难处理不同面积的建筑物。高贤君等[10]设计了建筑物阴影的提取方法，并利用阴影自动提取建筑物样本以用于支持向量机(SVM)分类，再利用阴影将建筑物与裸地区分出来，使建筑物的精确自动化提取得以实现。但若建筑物的阴影相互遮挡，提取精度会降低。

以上方法可实现对建筑物的提取，但仍存在一些提取精度不稳定的问题。例如基于深度学习的方法利用深度神经网络提取建筑物，网络中的参数难以准确确定，存在初步提取的灰度图模糊以及易引起较多错分建筑物的问题。针对这一问题，本文在提取特征灰度图的基础上，采用大津阈值分割法(OTSU法)进行预分割、形态学预处理，再利用马尔可夫随机场(Markov Random Field, MRF)模型进行二次分割，提出根据图像局部邻域特征动态估计先验参数β的改进方法。该方法强化了图像的像素点之间的空间关系，可实现有效地剔除神经网络提取结果中的错分建筑物进而提高建筑物提取精度。

1 改进马尔可夫随机场的建筑物提取

1.1 基于深度学习的建筑物特征初提取

基于深度学习的建筑物提取方法由于其利用由低到高的层次化特征表达进行深度分析的优势，相比于其他高分影像建筑物提取方法，在自动化程度和识别精度上均取得不错的提升[11]。Unet网络作为较早的卷积神经网络之一，其主要结构为编码器-解码器结构[12]。即主要由用于捕捉语义特征的编码端、精准定位的解码端以及结合底层信息和高层信息的跳跃连接这3个部分组成。基于Unet能从低至高地进行深层次分析进而有效提取建筑物特征。而原始遥感影像经卷积神经网络提取后得到的建筑物分布图是灰度图，灰度分布在0～256之间，存在许多非建筑物干扰。必须继续进行二值化处理，再将其中的错分建筑物去除，以减小干扰，以免造成误判。

(a) 原始影像YX1

(b) 神经网络提取的灰度图

(d) 形态学处理后的结果图

进行二值化处理时，把建筑物作为目标区域、非建筑物作为背景部分。图1为利用Unet网络进行特征灰度图提取、大津法分割、形态学处理提取建筑物初始结果的过程图。由图1(b)和图1(d)可知，错分建筑物一般是颜色较浅、像素灰度值较小的部分。而建筑物区域一般较亮，灰度值较大。故灰度值靠近0的属于背景部分，灰度值靠近255的属于目标部分。由于图像的背景与待分割目标之间的灰度值区别较大，采用大津法分割可以快速确定阈值且分割效果较佳[13]。但由于大津法分割属于单一的全局阈值分割，并未结合图像像素之间的空间相关特性，对噪声较敏感[14]。直接采用大津法阈值分割，会导致错分建筑物去除不完全，导致部分小区域残留，而且存在建筑物内部出现孔洞的问题。为了解决大津法分割带来的新问题，本文通过将像素间的空间关系引入到图像分割中，实现精提取，这就需要使用到MRF模型方法。

在数学中形态学是以结构元素为基础分析图像的工具[15]。通过使用形态学开运算处理图像，利用5×5的矩形结构元素，先去除一些小区域，减小对MRF分割的干扰。但形态学的结构元素需要合理地选取才能达到良好的效果，且形态学也可能对建筑物边缘造成一些磨损。因此，还需要借助MRF来进一步提高精度。

由图1(c)可知，直接对灰度图进行大津法分割，提取出了大部分的真实建筑物，但是仍存在较多的错分建筑物区域。形态学处理可以进一步减少错分建筑物。但会使建筑物边缘变光滑，损失边界精度[16]。

1.2 改进马尔可夫随机场的建筑物精提取

1.2.1 马尔可夫随机场图像分割原理

MRF是一种基于统计模型的方法[17]，把一幅待分割的M×N的图像当作一个二维网络点集S={(i,j)|1≤i≤M,1≤j≤N}。若要分割一幅灰度图，实际上是为二维网络节点分配合适的标签值。

通常用观测场和标号场来描述MRF模型。观测场Y={ys|s∈S}用条件分布函数描述观测数据的分布[17]，即把待分割图像上的整体像素分布作为观测场。设X={xs|s∈S}表示定义在整个二维网络点集上的随机场，s表示图像中的任意网络节点。若xs∈{0,1,2,3，…,h}，h表示图像的待分类数目，则此随机场可作为图像的标号场。若有点集Ns={N(s)|N(s)⊆S,sN(s)}，对于任意s(i,j)N(s)且S上除s外任一点z(p,q)∈N(s)，则s∈N(z)，其中i、j、p、q表示网格坐标。则称N(s)为像素点s周围的一个邻域，Ns为图像上的邻域系统[18]。若对于邻域系统的任意子集n，都有n中的任意2个像素点间都满足类似于上述点s与点z之间的关系，则可称n为一个基团。一般的邻域系统有一阶邻域系统和二阶邻域系统(见图2)。

(a) 一阶邻域系统及其对应的基团

(b) 二阶邻域系统及其对应的基团

当随机场X满足如下特征时，可将X称作是关于邻域系统的MRF[19]：

1)随机场X在任何一个网络节点处的取值属于某一分类标号的概率不小于0。

2)若已知S中任意一个网络节点的实际值，则随机场X在此点的取值属于某一分类标号的概率只与该点邻域内点的特征(灰度值、分类标号值等)有关而与其它点的特征无关。

则：

(1)

而：

(2)

又由于S是观测到的图像，故在分割前P(S)已经确定，可将其视为常数。

故：

P(X|S)∝P(S|X)P(X)

(3)

因此：

(4)

因此图像像素标号的确定就取决于P(S|X)与P(X)。它们可分别通过建立标号场模型和观测场模型来求解。

在标号场中，根据Hammersley-Clifford定理，存在上述标号场X的MRF与一个Gibbs随机场等价。因此，可用Gibbs随机场的概率密度函数来代替P(X)[20],即：

(5)

此处：

(6)

其中，Z是归一化常数，用于将概率限制在[0，1]内，T是常数。U1(x)是能量函数，其值等于定义在像素点邻域的基团上的所有势团势能Vc(x)之和，此处C为势团集合，因此：

U1(x)=∑c∈CVc(x)

(7)

其中，假设像素点s邻域内的其他点为z，用xs、xz分别表示s、z在标号场中的标号。则：

(8)

其中，β是先验参数，通常界于0.5与1之间。式(8)表明，当点s的标号与z的标号相同时，Vc(x)的值取-β；不同时，取+β。

(9)

1.2.2 改进MRF的建筑物精确分类

传统的MRF图像分割法中，对于势团势能Vc(x)中的先验参数β的取值通常是根据经验选取，未充分结合图像局部邻域特征，故应用于实际问题的能力有限。针对这一问题，本文提出一种根据图像局部邻域特征动态估计先验参数β的新方法，使改进后的MRF法能更好地适用于建筑物的精提取。在标号场中，用标号1表示非建筑物，用标号2表示建筑物。

(10)

(11)

(12)

公式(10)～公式(12)表明的意思是：以原始像素点s周围的8邻域各像素点为中心，各点8邻域像素点标号之和的初始平均值为1时，像素点z[i]位于非建筑物内部区域。则Aver(z[i])的值取为π/2，sin(Aver(z[i])的值为1，β的绝对值越大，则+β与-β之间的差值也就越大，故s往该方向延伸的趋势更趋向于非建筑物内部区域。由于s的总势团势能为s周围8邻域±βi取值之和，则实际原本就在非建筑物内部区域的像素，其依然会被正确分类。同理，当Aver(z[i])的初始值为1到2之间的小数时，z[i]处于建筑物与非建筑物交界的边缘区域，则该方向β的取值取决于具体的Aver(z[i])：π/2。因正弦函数在区间(0,π)内取值大于0，且边缘处Aver(z[i])的初始取值大于1且小于2，故此时β的取值大于0且小于等于1。则孤立的边缘呈圆弧弯曲外凸状的错分建筑物，由于其内部各白色像素点的邻域标号均值不等于1(为2)，则β的绝对值变小。若边缘黑色像素点越多，则边缘白色像素点的标号在每次迭代过程中更趋向于黑色标号1，故多次迭代后可去除部分形态学不能去除的孤立错分建筑物，尤其对边缘呈圆弧外凸状的错分建筑物的去除更有效，进而提高建筑物提取精度。

图3 像素点s与Aver(z[i])、z[i]的关系图

1.2.3 联合后处理修正边缘精度

以下将仅结合大津法的改进MRF法简称为改进MRF法。虽然改进MRF法在去除错分建筑物方面很有效，但大津法分割后的真实建筑物边缘并不都是平整的，其依然会带有局部弯曲特征，故经改进MRF法分割后的图像真实建筑物边缘会存在锯齿。由于被腐蚀的真实建筑物边缘像素点紧靠真实建筑物，而被去除的错分建筑物多为图像中的孤立单位。故可通过被去除的像素点邻域内的灰度均值来区分真实建筑物的边缘与错分建筑物，进而达到去除错分建筑物而又使图像保持良好的边缘特征的目的。因此设计了一种对比方法，可将最终的图像边缘逼近大津法分割的结果。实验流程图如图4所示，实验算法步骤如下：

步骤1设大津法分割的结果为image1，改进MRF法分割的结果为image2。

步骤2对图像image2所有像素点求其8邻域像素点的平均值，并将结果记录在图像image3中。设一幅新二值图像image4中白色部分表示改进MRF法相较于大津法分割结果中建筑物减少的部分，其余为黑色点。记录image3中像素值大于0且image4中像素值为255的部分对应的像素点的位置。设另一相同大小的二值图像image5中在这些位置的像素点的像素值为255，其余部分为0。将图像image2与图像image5之和赋予image6。

步骤3输出图像image6。

图4 对比法修正算法图

(a) 锯齿修正前局部放大

(b) 锯齿修正后局部放大

图5为图像YX1经改进MRF法实验后的后处理前后结果的局部放大图。可以明显看到，后处理后图像建筑物边缘的锯齿得到了明显的修正。

1.3 提取流程

步骤1搭建U-Net神经网络对数据集The WHU data进行训练，并输出训练结果灰度图。

步骤2对输出的灰度图采取大津法进行预分割，得到初始分割标签。

步骤3运用形态学开运算处理图像。

步骤5运用对比法对图像进行后处理。

步骤6输出最终的标号场图像。

2 实验对比分析

本文实验中原始输入影像大小为512×512，从而构建特征金字塔。实验的编程语言为Python，编程平台为JetBrains PyCharm 2017.1。实验数据集为Ji等[24]论文中分享的数据集：The WHU data。实验环境为：i7-9700k处理器，32 GB内存，NVIDIA RTX2080Ti 8 GB显卡，GPU加速库采用CUDA10.0。DeepLearning框架以Keras作为前端，TensorFlow为后端。

以下将仅结合大津法的经典MRF法称为经典MRF法(β取定值1，P(X)的取值法与改进MRF相同)，将仅结合大津法的改进MRF法称为改进MRF法，将经大津法分割、形态学改进、对比法后处理的改进MRF法称为综合改进法。通过对影像YX1及YX2分别采用以上方法进行处理并对比分析。图6为影像YX1的建筑物提取结果对比图，图7为影像YX2的建筑物提取结果对比图。

(a) 遥感影像YX1 (b) 大津法分割结果

(e) 改进MRF分割结果 (f) 综合改进法分割结果

(a) 遥感影像YX2 (b) 大津法分割结果

(e) 改进MRF分割结果 (f) 综合改进法分割结果

2.1 仅大津法分割与经典MRF法分割对比

结合图6(b)、图6(d)与图7(b)、图7(d)对比发现相较于大津法分割的结果，经典MRF法可以减少一部分错分建筑物，或使大的错分建筑物变小。经典MRF法不仅能减少错分建筑物，也会使图像变得更光滑自然，可消除因大津法分割产生的撕裂状特征，但这可能是以增加多余建筑物为代价而获得的有利结果。经典MRF法会自动填充一些大津法分割时残留在真实建筑物内部的小孔洞或使孔洞变小，但也会带来新的问题：若2个部分真实建筑物相邻比较近，会自动填充一些建筑物间的缝隙，导致错分建筑物增多。建筑物周围邻近的小区域会被直接连接到建筑物中，导致无法区分其中的干扰。这是因为经典MRF法并未充分结合像素之间的空间关系。β的确定通常根据经验选取，缺乏一定的参考。故经典MRF法，对于建筑物的精提取有一定效果，但效果仍然有限，仅适用于图像中孤立且少量的小面积错分建筑物区域。

2.2 仅大津法分割与改进MRF法分割对比

结合图6(b)、图6(e)与图7(b)、图7(e)对比发现相较于经典MRF分割的方法，改进MRF分割法可以更明显地减少错分建筑物，能够有效去除大津法分割后残留的小斑点，以及一些较大的在图像中被孤立的错分建筑物。在增加建筑物区域的方面，改进MRF法继承了经典MRF法的优点，并且相较于经典MRF法，改进MRF法能够有效地减少相邻建筑物因距离太近而导致的建筑物缝隙被填充的问题，能够更加真实地保留原始遥感影像的建筑物分布特征。这是由于改进MRF法充分利用了各像素点之间的空间关系，使先验参数β的取值更能结合实际情况确定。对于减少由大津法分割后残留的小区域斑点，相较于经典MRF法具有更加明显的效果。因此改进MRF法能在大津法分割的基础上更加准确地提取出真实建筑物区域。

2.3 仅大津法与形态学改进的分割与综合改进法的分割的对比

结合图6(c)、图6(f)与图7(c)、图7(f)对比发现综合对比法同时兼具了形态学改进法与改进MRF法的优点，能在形态学改进的基础上更进一步地减少错分建筑物，并能够填充一些建筑物内部细小的孔洞。并且通过对比法后处理使综合改进法的结果能够真实地还原建筑物的边缘，消除改进MRF法分割结果中的锯齿，使其建筑物边缘能逼近大津法分割的结果。但是综合改进法的结果易受大津法分割的结果影响，若错分建筑物表现为与真实建筑物粘连的小斑点，本应被改进MRF法去除的错分建筑物易被还原。因此综合改进法更适用于错分建筑物与真实建筑物相隔较远、建筑物分布比较分散的情况。

2.4 实验精度评定

对以上影像的建筑物提取结果的精度评定结果如表1所示。由表1可知对比大津法分割的结果，除了经典MRF法分割的效果不明显外，其它几种方法均能不同程度地降低建筑物错分误差。形态学法分割后错分误差降低是因为采用了开运算，可以有效消除图中的小斑点，但是此法可能会对建筑物边缘造成微小损失，使总体精度难以提升。改进MRF法虽然能够在形态学分割的基础上进一步消除错分建筑物，但是其边缘会产生一些小锯齿，也同样会使总体精度降低。而经过对比法后处理的改进MRF法，其不仅结合了形态学与改进MRF法的优点，更对建筑物的边缘进行了有效还原，使其能够在总体精度与建筑物用户精度2个方面上得到双重提升。

表1 精度评价表

3 结束语

本文针对传统神经网络提取建筑物精度不高的问题，在大津法分割的基础上，结合形态学的方法，提出了改进MRF法中先验参数β的新的动态估计方法，以提高建筑物提取精度。通过将原图特征引入MRF，并针对方法中图像边缘的锯齿实现修正，可以有效提高建筑物提取精度。该方法比传统MRF法更侧重像素点间的邻域空间关系，可以有效减少神经网络提取的灰度图中的错分建筑物，实现建筑物的精提取。但是该方法仍属于基于像素的分割，且受大津法分割结果影响较大，故尤其适用于待分割灰度图中背景与目标之间的灰度值相差较大的情况。今后结合图像的多种特征综合分割以及分割时更完整地保持真实建筑物边缘形态是需要进一步研究的方向之一。