乡村区域建筑物自动三维建模方法研究

龙北平，刘锟铭，李 政

（1.江西省煤田地质局测绘大队,江西 南昌 330001；2.西南交通大学 地球科学与环境工程学院,四川 成都 611756）

智慧乡村建设是智慧中国建设的前提,也是推进社会主义生态文明建设和新农村建设的重要举措,而乡村信息化建设是完善智慧乡村建设的基础。其中,重建乡村区域建筑物的三维模型是乡村信息化建设的重要组成部分,有助于乡村辅助规划、建设、调查确权、精准扶贫等工作的开展。随着遥感技术的不断发展,利用无人机、卫星等平台可快速获取并更新乡村区域的遥感影像,因此基于已有的海量遥感影像,如何快速、准确、自动地恢复乡村区域建筑物的三维场景具有重要意义。

目前,国内外学者对重建建筑物的三维模型作了大量研究,大体分为3类:①在传统三维建模软件中根据地物的几何造型直接生成；②借助专有设备对目标地物进行三维扫描；③利用计算机视觉原理,通过拍摄目标地物的多方位照片来恢复三维模型。上述方法大多需要耗费大量的人力物力,不能实现自动化处理。乡村区域建筑物具有分布零散、结构简单、形状单一等特点,且乡村区域建筑物的三维模型不需要过于精细化的表达。面对海量和实时更新的遥感影像数据,如何快速自动地重建乡村区域建筑物的三维模型是本文研究的重点。

本文提出了一种迁移学习支持下的乡村区域建筑物自动三维建模方法。具体工作流程如图1所示,首先利用迁移学习法构建建筑物解译模型,检测出研究区内的建筑物并标记位置信息；再利用Canny算子[1]检测建筑物轮廓,并引入约束条件的Hough变换[2-3]提取建筑物轮廓；最后根据建筑物轮廓,利用参数化建模的方法重建建筑物的三维模型。

图1 迁移学习支持下的建筑物自动三维建模方法工作流程图

1 理论方法

1.1 迁移学习法

迁移学习是指利用一个情景中已学到的内容去改善另一个情景的泛化情况。在迁移学习中,学习器必须执行两个或多个不同任务。迁移学习模型具有较强的表达能力,是深度学习的一种,可通过迁移已有知识来解决目标领域中仅有少量甚至没有标签样本数据的问题。随着深度学习的发展,迁移学习也逐渐受到了关注[4]。

在经典机器学习框架下,分类模型的学习需要给定足够的训练数据,如在图像识别领域,对图像进行分类识别时,需手工标注大量图像数据,并将这些数据输入机器学习算法得到分类模型实现分类,必然会耗费大量人力物力,且新数据的标注非常昂贵；如果没有足够的训练样本就很难训练出一个较好的特征子集或分类器。迁移学习的目标是通过一个现有环境中学到的知识帮助未知新环境中的任务学习。该方式无需训练数据与测试数据具有严格假设的同分布[5-6],首先在已有分类数据集中预训练模型,再移除预训练模型的顶层神经网络,然后利用目标任务数据集重新训练一个输出层,获得新类别的权重,即可获得一个适用于目标任务的分类模型。该方法可缩短模型训练时间,提高工作效率[7]。

目前带标注的自然图像库较多,如典型的ImageNet库,由斯坦福大学标注完成,包含百万级别的标注图像,其中有超过1 500万张带标签的高分辨率图像,这些图像被划分为超过2.2万个类别,是图像识别领域最大的标注图像库。在ImageNet库上学习图像特征提取方法,再采用迁移学习机制可获得建筑物预训练模型。

本文基于迁移学习法构建的建筑物解译模型框架如图2所示,其中源任务是原始深度学习方法中的场景分类,通过将源任务的网络参数和结果优化后转移到目标任务中,实现了建筑物分类模型的构建。

图2 特征迁移学习法的建筑物信息提取框架

针对特征学习阶段,本文采用加州大学伯克利分校计算机视觉研究小组预训练好的ImageNet分类模型[8],其中包含5个卷积网络层和3个全连接层。在特征迁移阶段,利用构建的建筑物样本库对模型前5个卷积层和FC6层参数进行了调优,并选择FC6层的输出作为建筑物特征,然后将调优后得到的特征作为SVM的训练输入,构建建筑物解译模型。本文对建筑物解译模型FC6层输出进行了可视化,采用t-SNE数据降维的方法[9]将高维数据在二维空间上进行展示。t-SNE可视化结果如图3所示。本文将4 096维度的特征向量按照t-SNE方法映射到二维空间中,得到迁移学习特征的分布图。由图3中红色圆圈区域可知,通过迁移学习法,建筑物样本已出现了明显集聚现象,可认为原始影像库训练学习得到的特征提取方法在自然影像和建筑物影像间找到了内在的映射关系。迁移学习法可应用于影像中建筑物的准确检测。

图3 t-SNE可视化

1.2 Canny算子

Canny算子是一种多级边缘检测算法,具有信噪比高、边缘定位准确和有效抑制产生虚假边缘等优点。Canny算子边缘检测的主要流程为:

1）为了减少噪声对边缘检测的影响,利用高斯滤波器平滑图像,如式（1）所示,其中σ为高斯滤波的标准差，代表图像的平滑程度。

2）利用Sobel等梯度算子计算图像上的梯度幅值和方向,梯度幅值为方向为tan-1(gx/gy)。

3）为了进一步消除非边缘点的噪声,同时细化边缘,需对梯度幅值进行非极大值抑制,即沿着该点梯度方向,比较前后两个点的幅值大小,若该点大于前后两点,则保留,若该点小于前后两点,则设置为0。

4）双阈值算法检测和边缘连接,设置两个阈值T1、T2,T1先验值为图像整体灰度级分布的70%,且T1数值是T2数值的1.5～2倍。当灰度值大于T1时,灰度设置为255；当灰度值小于T2时,灰度设置为0；当灰度值在T1、T2之间时,搜索该像素周围的八像素灰度值,若搜索的八像素灰度值均不为255,表明该点为孤立的局部极大值点,灰度值设置为0,否则设置为255。重复操作该步骤,直到全部判断完毕。

1.3 约束条件下的Hough变换

Hough变换是一种采用表决原理的参数估计技术。其原理是利用图像空间和Hough参数空间的点线对偶性,将图像空间中的检测问题转换到参数空间。为了充分利用图像的梯度幅值信息,首先利用Canny算子对图像进行边缘检测,然后将检测出的边缘点像素坐标作为已知点,对应的梯度幅值作为各点的权值,采用加权最小二乘法不断拟合该直线。具体流程为:

1）在图像坐标空间中,经过点(x,y)的直线表示为:

式中,a为斜率；b为截矩。

误差方程为:

2）通过计算边缘点的坐标范围确定直线的位置和长度L。

3）设定直线长度阈值为C,图像像素大小为A×B,端点像素值为D。当直线L＞C时,且该边缘点坐标包含在中，直线保留；否则去除。

2 实验结果与分析

本文以江西省南昌市进贤县钟陵乡农场改造项目为依托,选取进贤县钟陵乡地区的无人机遥感影像作为实验数据。该地区属于山地丘陵地带,建筑物分布较散、结构单一。外业数据获取采用Nikon D810数码相机,相对航高为500 m,航向重叠度为70%,旁向重叠度为50%,影像的地面分辨率约为0.05 m,共获取原始照片数据814张。

2.1 建筑物样本库构建

样本是目标解译模型构建的基础。首先收集不同分辨率的各乡村区域遥感影像,再利用目视解译的方法采集不同类型的样本,并存储为标准格式,最后形成建筑物样本库。本文为实验区建立的建筑物样本库如图4所示,其中正样本4 500个,负样本8 000个。

图4 筛选后的建筑物样本库示例数据

2.2 建筑物检测与精度分析

建筑物样本库构建完成后,再利用卷积神经网络（CNN）学习得到的建筑物解译模型对目标区域进行建筑物检测。

部分区域检测结果如图5所示。为了验证解译模型识别的准确度,本文利用人工目视解译的方法标识出该区域的全部建筑物,其中绿色表示检测成功,蓝色表示未检测成功,红色表示检测错误,即将非建筑物检测为建筑物。实验区域8 km2的1 539栋建筑物检测情况如表1所示,可以看出,迁移学习支持下的建筑物解译模型整体准确率可达85%,表明该方法具有较好的鲁棒性和有效性。

表1 迁移学习支持下的实验区建筑物检测情况

图5 建筑物检测结果

2.3 建筑物轮廓检测与提取

本文利用迁移学习解译模型从实验区域中检测出建筑物,再选择具有代表性的建筑物进行建筑物轮廓检测和提取实验。图6a为选取的建筑物；图6b为Canny算子检测结果,阈值T1取125,阈值T2取50；图6c为有约束性条件的Hough变换提取的建筑物轮廓,建筑物轮廓用红线表示；图6d为轮廓线与原始影像的叠加效果,可以看出,Canny算子可以很好地反映出建筑物轮廓和细节,约束性条件下的Hough变换可有效排除其他地物的干扰,通过条件约束和线性拟合,可准确提取建筑物轮廓。

图6 建筑物轮廓检测与提取结果

2.4 建筑物三维模型重建

快速重建三维模型的方法包括两种:①利用建筑物轮廓,按照指定高度直接生成三维模型,建筑物的结构信息通过纹理展示；②将建筑物轮廓转换为长宽等参数,采用参数化建模方法[10]重建三维模型,屋顶纹理采用建筑物顶面图片,房屋侧面纹理根据需求添加。第二种方法的重建效果如图7所示。

图7 建筑物三维模型重建效果

2.5 效率对比

本文从建模效率和成本两个方面,将该方法与传统人工建模方法进行对比分析,结果如表2所示,可以看出,在建筑物密集程度一般的乡村区域,人工建模方法采用人机交互式绘图,每天可生产20～30个,每km2的生产成本为0.6万元；而本文方法则可自动化完成整个建模过程,主要成本为外业获取侧面纹理的费用。传统的人工建模速度慢,后期成果修改繁琐,可重复利用性不高；而乡村区域建筑物自动三维建模方法可批量生产地物模型,有效减少了人力物力的投入,较大地提高了工作效率。

表2 人工建模方法与本文方法的对比

3 结 语

本文首先利用迁移学习法实现了实验区内的建筑物快速检测；再利用Canny算子对检测结果进行建筑物轮廓的进一步提取,并结合约束性条件下的Hough变换算法获得了建筑物轮廓信息；最后采用参数化建模的方法实现了乡村区域建筑物的三维模型重建。实验结果表明,本文方法具有效率高、自动化程度好的优点,能实现乡村区域三维场景的快速重建,为乡村规划、整治与精准扶贫等工作的开展提供有效支持。