传统村落航拍图像中民族建筑识别的DeepLabV3+改进算法

蔡 军,温日强,江 伟,严 娇,卢丽娟

(1. 贺州学院建筑与电气工程学院,广西 贺州 542899; 2. 贵州云图瞰景地理信息技术有限公司,贵州 贵阳 550081)

2021年3月,自然资源部和国家文物局共同印发的《关于在国土空间规划编制和实施中加强历史文化遗产保护管理的指导意见》指出,将历史文化遗产空间信息进行统一管理和对历史文化遗产进行严格管控[1],因此有必要对我国历史文化遗产进行识别,并确定历史文化遗产的保护区域。民族建筑作为我国优秀的建筑历史文化遗产,承载着我国优秀的民族建筑文化。现如今,民族建筑主要集中于线性文化沿线的传统村落中,然而由于自然因素或人为因素,传统村落的民族建筑数量也在逐渐锐减,甚至部分民族建筑面临濒危灭绝的风险[2],因此有必要在传统村落识别民族建筑,从而确定传统村落的民族建筑保护核心区域。我国现有6819个村落被列入中国传统村落保护名录[3-4],而传统村落的民族建筑数量多、分布广,从而导致实地考察确定传统村落的民族建筑保护核心区域的工作量巨大,将深度学习技术应用于传统村落影像的民族建筑识别与分类中,可快速识别民族建筑目标并有效确定传统村落民族建筑保护核心区域。

深度学习在航拍影像中建筑识别与分类中的主要算法:U-Net、PSP-Net、DeepLabV3+、实例分割等。文献[5]提出了结合U-Net神经网络和全连接CRFs模型的遥感影像建筑物提取方法,解决了传统建筑物提取法的分割精度低、分割边界模糊等实际难题。文献[6]为解决遥感影像数据训练模型少的实际问题,提出了一种改进的U-Net语义分割网络,实现了模型训练数据少但能高准确率识别检测线路走廊存在的隐患。在实例分割方面,文献[7]提出了将语义分割模块引入至实例分割网络结构,形成了建筑实例分割精度更高的多任务学习的建筑提取算法。文献[8—9]将NNDiffuse算法与DeepLabV3+网络模型结合实现了高精度识别遥感影像中的建筑垃圾堆放点。深度学习算法根据遥感影像中建筑的光谱、纹理等特征,在遥感影像的建筑识别中取得了较好的成果。然而,深度学习在传统村落中民族建筑的识别与分割方面的研究较少。

传统村落中民族建筑识别的难度主要表现在民族建筑与邻近道路的RGB较为接近;民族建筑与现代修缮的建筑屋顶纹理类似;民族建筑受树木、新建建筑的遮挡,难以完整识别民族建筑轮廓;民族建筑因年久失修,破损严重,民族建筑识别难度大等方面,本文针对潇贺古道线性文化沿线传统村落民族建筑的特点,利用无人机对传统村落进行高分辨率航拍影像数据采集,对DeepLabV3+语义分割网格进行改进,实现传统村落民族建筑的识别,并将识别结果与U-Net、PSP-Net、DeepLabV3+等算法进行对比,分析改进DeepLabV3+算法的可行性,以帮助传统村落民族建筑规划保护区。

1 研究区域概况与航拍图像采集

区域位于潇贺古道贺州段的传统村落贺街镇河西村,贺街镇河西村收录在第五批中国传统村落名录中。其建筑类型包括秦朝时期城墙、明清时期的岭南民族建筑、民国时期的砖混结构及具有民族建筑元素新建建筑,研究目的主要是识别明清时期岭南民族建筑,但其具备的建筑屋顶色彩与道路色彩较为接近,屋顶纹理与新建筑屋顶相似等特点增加了传统村落的民族建筑图像识别与提取的难度。

为采集高分辨率的传统村落影像数据,利用四旋翼无人机大疆经纬M300 RTK搭载高清相机对传统村落采集区域进行高空“S”形航拍图像数据采集[10],飞行过程中航向重叠度为75%～85%,旁向重叠度为60%～75%;使用正射拼接软件 Global Mapper对航拍图像TIFF文件进行拼接,并选择输出图像数据,图像参数为24 bit RGB,传统村落航拍拼接影像如图1所示。

图1 传统村落航拍数据局部区域

2 深度学习的民族建筑识别评价

深度学习在各行业的应用日益成熟,而其在传统村落中对民族建筑识别的应用方面较少,深度学习可在传统村落众多建筑物中快速识别出民族建筑,从而有效地确定传统村落民族建筑保护有效区域。深度学习主要包括:对象分类、目标检测、像素分类及三维点云等类型,其中目标检测、像素分类在实际应用中较为广泛。目标检测和像素分类在传统村落中民族建筑识别的主要流程包括:①传统村落航拍图像数据采集;②民族建筑特征提取,传统村落的民族建筑的主要特征包括民族建筑屋顶颜色与纹理;③民族建筑样本标记,选取传统村落民族建筑所在的典型区域,抽取部分民族建筑进行样本标记,标记样本数量为210个,未标记550个;④深度学习算法模型训练,利用Python软件进行深度学习算法的编辑;⑤深度学习算法评估,将精确率、召回率、调和均值(F值)等指标作为深度学习的算法的评估指标;⑥传统村落民族建筑预测与识别。

2.1 训练模型评估指标对比评价

本文选取了深度学习算法中常用的U-Net、PSP-Net、DeepLabV3+算法对传统村落航拍图像中标记民族建筑样本进行目标识别和对比分析,对比分析过程中以精确率、召回率和F值作为评估指标[11-12],3种深度学习算法的民族建筑识别结果评估指标见表1。

表1 深度学习训练模型评估指标对比

综合对比3种深度学习算法的结果可知,在准确率方面,DeepLabV3+算法在识别传统村落民族建筑的精确率达到0.957,精确率与U-Net算法、PSP-Net算法相比,分别高于2.8%、1.4%;在召回率方面,3种算法的召回率计算结果在0.951～0.969之间,三者的计算结果差别较小;在精确率与召回率的调和均值(F值)方面,DeepLabV3+算法的F值在3种算法中最大达到0.963,U-Net算法与 PSP-Net算法的F值之间的差别较小,其值分别为0.948和0.947。综合分析,在传统村落民族建筑识别方面具有较大优势的算法为Deep-LabV3+算法。

2.2 图像识别性能评价

从图像识别结果方面,对比分析U-Net、PSP-Net、DeepLabV3+在传统村落民族建筑识别结果方面的优劣程度。选取传统村落图像中的典型区域作为识别结果的比较对象,传统村落的民族建筑识别结果如图2所示。

图2 深度学习的民族建筑识别结果对比

对比图2的3种算法可知,在传统村落航拍图像中民族建筑识别效果最好的算法为DeepLabV3+,其次为U-Net算法,PSP-Net算法的识别效果最差。U-Net算法与PSP-Net算法相对于DeepLabV3+而言,其差距主要表现在民族建筑分割后的边缘部位呈锯齿状,以及U-Net算法与PSP-Net算法将与民族建筑的颜色与纹理较为接近的传统村落道路或场地作为民族建筑进行标记,致使两者识别结果相对于DeepLabV3+显示出较多不规则的标记区域。

为进一步分析DeepLabV3+算法对传统村落民族建筑的识别与分割效果,选择传统村落航拍图像的6个典型区域进行民族建筑识别测试工作,图像区域的实际尺寸为100 m×100 m,各个测试区的测试结果如图3所示。

图3 DeepLabV3+的传统村落民族建筑测试结果

由图3中DeepLabV3+算法对传统村落中民族建筑的测试结果可知,由于非民族建筑屋顶纹理与民族建筑屋顶较为接近,致使6个典型的测试区的非民族建筑屋顶均有少量不规则的区域被标记为民族建筑;此外,道路的色彩与民族建筑相似,使得测试区1、测试区2和测试区5中的传统村落道路少量散点区域被错误地标记为民族建筑图像;民族建筑的建筑高度普遍较低,易受到传统村落中古树的影响,使得测试区2、5、6中的民族建筑边缘呈现较大区域的凹陷。综上所述,传统村落因年代久远、环境复杂等原因导致DeepLabV3+算法在传统村落民族建筑的识别结果存在一定的偏差,因此需要对DeepLabV3+算法进行改进后处理[13-15]。

2.3 DeepLabV3+的改进方式

根据测试区DeepLabV3+算法的测试结果(如图3所示),有必要对DeepLabV3+算法进行改进和后处理,其改进和后处理的思路:①利用测试区小范围和局部散点被标记民族建筑区域的面积较小的特点,对标记的面积较小的民族建筑区域进行过滤,解决测试区均有少量不规则的区域被标记的问题;②利用边界清理或众数滤波的方式对标记的民族建筑区域边缘进行平滑处理,以解决测试区标记的民族建筑区域民族建筑边缘呈现锯齿状的问题。

3 DeepLabV3+后处理测试效果

3.1 DeepLabV3+后处理的过滤处理

根据图3中的DeepLabV3+在传统村落民族建筑测试结果可知,非民族建筑标记区域具有离散性、不规则性、面积较小等特性,依据其中面积较小的特点,将图3的测试结果导入ArcGIS Pro软件进行后处理。利用ArcGIS Pro软件快速计算图形面积,并按图形面积大小排序后对标记区域进行过滤处理。根据传统村落实地调研统计可知,最小的民族建筑面积为5 m2,因此在过滤非民族建筑区域时,主要过滤标记面积小于5 m2的区域,过滤处理结果如图4所示。

图4 传统村落民族建筑标记图形过滤处理结果

由图4可知,在保证原有民族建筑未被处理的条件和原有民族建筑保持原状的基础上,能最大限度地过滤传统村落的非民族建筑的错误标记区域。

3.2 DeepLabV3+后处理的边缘平滑处理

由于部分民族建筑屋顶破损程度较大,以及民族建筑受传统村落树木的遮挡等实际情况,图4中DeepLabV3+算法的民族建筑识别结果中部分标记的民族建筑边缘呈现锯齿的不规则形状。为对标记的民族建筑锯齿边缘进行平滑处理,将图4的处理结果在ArcGIS Pro软件中进行边界清理[16]。边界清理的主要功能是通过扩展和收缩的方式对民族建筑锯齿边缘区域进行边界清理。首先将优先级别较高的标记区域覆盖其周围级别低的标记区,覆盖大小为一个像元;然后收缩回没有完全被相同值的像元包围的像元。民族建筑标记区域边界清理的原理如图5所示,将图4的传统村落民族建筑标记图形过滤结果进行边界清理,实现民族建筑锯齿边缘平滑处理,处理结果如图6所示。

图5 边界清理的像元演变原理

图6 传统村落民族建筑边界清理处理结果

对比图4和图6可知,利用边界清理的方式对标记的民族建筑边缘进行平滑处理,处理结果显示,边界清理的方式对民族建筑锯齿边缘规整化、平滑化的效果较为明显,但部分民族建筑被树木大面积遮挡,民族建筑标记区域的凹陷边缘规整化、平滑化处理效果相对较差。

4 结 论

针对传统村落民族建筑快速、准确地识别,进而有效确定传统村落民族建筑保护区域的需求,本文通过无人机机载高清摄像机对传统村落进行了航拍数据采集,分析了3种像素分类算法在民族建筑识别的性能。根据标记的图形区域特性,通过过滤面积较小的标记区域及边界清理的处理方式,对标记的民族建筑锯齿边缘进行平滑处理。结果表明:

(1)DeepLabV3+像素分类的算法在识别民族建筑的准确率方面达0.957,优于U-Net算法2.8%;此外在图像识别结果方面具有较好的特性,其主要表现在民族建筑边缘更加平整,以及民族建筑区域标记样本错误率少。

(2)利用DeepLabV3+算法对传统村落6个典型区域进行测试,依托于ArcGIS平台对标记的非民族建筑区域进行面积计算,并过滤面积较小的标记区域,确保DeepLabV3+算法对民族建筑目标识别的准确性。

(3)依托于ArcGIS平台完成民族建筑区域边界清理的后处理工作。基于DeepLabV3+算法与相关后处理识别民族建筑,能够在确保民族建筑识别准确率的基础上,提高民族建筑边缘规整度与平滑度。