面向农村公路高分遥感影像道路提取的卷积神经网络架构

马 骁，张晓征，范文涛，刘柳杨，单 飞，孙 卓

（1.交通运输部科学研究院 数字交通实验室，北京 100029；2.河南交通发展研究院有限公司，河南 郑州 450006；3.中国科学院 空天信息创新研究院，北京 100094）

0 引言

随着我国公路建设重点向农村公路倾斜[1]，利用高分遥感影像分析农村地区路网分布及规模的需求逐渐增加。多年以来，受路网提取算法性能不足的影响，遥感影像路网提取相关成果在交通运输行业未能获得广泛应用。在此背景下，为进一步提升农村区域路网提取精度，有必要针对契合农村公路分布特点与地理环境的高分遥感影像农村路网提取算法展开研究，以使生成的农村区域路网矢量地图更为准确。

目前遥感影像路网提取技术主要有两大类：一类为传统方法，如多元数据法[2-3]、特定模型法[4-7]、模板匹配法[8-11]等，此类方法在城市范围内能够获得较好的识别效果，但对于农村公路的识别精度不够高，究其原因是其无法较好地适应农村地区复杂多变的地形地貌及不规则的道路走向；另一类是近年蓬勃发展的深度神经网络（Deep Neural Network,DNN），其中卷积神经网络（Convolutional Neural Network,CNN）在路网提取、医学图像分析等图像语义分割领域取得了较好的效果并引起广大学者的关注。Shelhamer 等[12]提出的全卷积网络（Full Convolutional Network,FCN）初步解决了图像语义分割问题，但存在没有充分考虑语义间上下文关系、图像细节丢失等问题。后续有学者基于FCN 陆续提出了U-Net[13],SegNet[14]等网络结构，其中：U-Net在较小的样本量下能取得相对较好的图像分割结果，但增大样本量不能带来显著的性能提升；SegNet 能较好地解决下采样阶段多次池化带来的位置信息丢失问题。基于CNN与FCN架构，国内外学者陆续开展了遥感影像道路识别提取的相关研究工作，如：Saito等[15]直接使用CNN 识别路网，验证了CNN 比传统方法具有更高的识别精度；Cheng 等[16]将CNN 调整为两级编码-解码结构，同时完成了路网识别与道路中心线提取；Zhang 等[17]提出将残差单元（ResNet）和U-Net 相结合提取影像路网的方法，并取得了较好的道路识别效果。

虽然CNN 与FCN 架构在路网提取领域具有一定的优势，但二者要实现较好的提取精度需较大规模的训练样本，然而“高分”系列亚米级卫星的农村公路遥感影像并无公开数据集可供直接使用，需要手工制作训练样本。受限于人力及资金等因素，样本量通常难以满足训练需求，以至于不能表征所有样本特征，导致网络过拟合。一个可行的技术路线是基于小样本需求量架构，提升有限样本量条件下的算法性能。为此，本文将选择小样本数据集下具有良好性能的U-Net 作为基本架构，设计跳跃链接部分的“全局关注模块”（Block of Focusing Globe,BFG）并提出BFG-U-Net架构，以提升样本量较小的情况下典型农村地区的路网识别精度。

1 农村公路遥感影像特征

为了有效识别并提取高分遥感影像中的农村公路，需对农村公路特点进行分析。根据公路行政等级划分，农村公路是一种普遍建设于城市区域外的广大乡村地区的公路类型，主要用于连接乡（镇）、建制村，可细分为县道、乡道及村道。这三类道路因建设技术等级要求不同，在高分辨率遥感影像中呈现出不同的特点。

县乡道的建设技术等级要求三级或以上，即双向两车道或四车道，路面宽度为7～14m。在高分遥感影像（以星下点分辨率0.8m 左右的高分2号为例，下同）中，县乡道路面约为8～20 个像元。截至2018年底，我国除西藏自治区外绝大部分地区的农村公路（含县道、乡道及村道）已实现铺装路面（沥青混凝土或水泥混凝土路面），县乡道在高分遥感影像中具有较为清晰的识别特征。

村道技术等级通常为四级或以上，单车道通行且路面宽度不小于3.5m。村道路面宽度在高分遥感影像中仅为3～4个像元，较难清晰显示，同时村道的识别提取还面临以下困难：

（1）我国南方地区植被茂密，村道路面被林木遮蔽的情况较为普遍。除路面被完全遮蔽无法分辨道路位置外，部分情况下路面不可见但依照路侧林木影像印迹仍可清晰分辨道路走向，因此算法应当具备识别与提取该类路面的能力。

（2）村道通常穿插于耕地区域间，遥感影像中部分耕地地表与相邻路面颜色接近，导致路面边缘模糊，提取算法在该类路段的识别精度将受到较大影响。

（3）截至目前部分省级交通运输管理部门已先后启动或完成通村入组道路工程建设，而通村入组道路主要依托农村地区已有的天然道路网。为配合相关建设任务需求，遥感影像也需要将大量农村公路以外的未铺装道路纳入识别与提取范围，这对算法就不同路面类型的识别提取能力提出了较高要求。

综上所述，高分遥感影像中对于村道的识别存在较多技术难点，同时村道与城市道路存在较大差异，这均使得面向农村公路尤其是村道针对性地设计识别提取算法很有必要。为了解决上述问题，算法应重点加强对于高分遥感影像瓦片的全局特征感受能力，提供更多的上下文语义关系，同时提升鲁棒性，以确保在路面边缘位置受其他地物扰动的情况下仍能够对路面进行有效识别。

2 BFG-U-Net架构

2.1 U-Net

U-Net 是基于FCN 架构的改进，属于典型的“编码-解码”结构。网络分为上采样和下采样两个阶段，与FCN相比，U-Net没有采用全连接层，但在上采样阶段保留了大量通道，使上下文信息更容易向高分辨率传播。U-Net 的一个显著特点是采用了“跳跃链接”，在上采样过程中直接将对应下采样阶段的图像特征进行维度拼接，该环节使U-Net 更易捕捉上下文信息。U-Net 的编码路径与解码路径对称，呈U形，如图1所示。

图1 U-Net神经网络架构

2.2 BFG-U-Net架构

标准U-Net 架构进行4 次下采样与4 次上采样，能够在网络深度、参数数量等方面保持较好的平衡。不过，该架构的跳跃链接仅使用维度拼接的方法，并不能为上采样阶段提供理想的上下文语义关联，导致分割边缘的微小扰动会对分割精度产生影响。

为了解决上述问题，进一步提升上下文语义的关联性，分解出更详细的语义特征，本文提出BFG-U-Net架构（如图2所示），即在跳跃链接阶段添加关注于全局图像特征的BFG 模块。BFG 模块的加入能够进一步提取每个下采样层的特征图，为对应上采样提供更为丰富的上下文语义关系。图2 中左侧F0～F4 模块对应U-Net 的卷积操作，右侧F1～F4 模块对应U-Net 的反卷积操作。上下行箭头对应U-Net的最大池化及上采样操作。

图2 BFG-U-Net神经网络架构

BFG 模块放置于第m级下采样与对应上采样阶段的跳跃链接的中间环节，由两个平行的卷积层(Conv_ma,Conv_mb)及原下采样特征图Gm构成。BFG 模块所在层级与对应卷积核尺寸之间存在线性关系，即层级越高，卷积核越大，具体为：

式（1）中：km_a,km_b表示Conv_ma,Conv_mb卷积层相互关联的卷积核大小；m表示BFG 模块所在的层级。

由图2 可见，对于具有m个采样层的BFGU-Net 而言，共 包含m-1 个BFG 模 块。1 个标 准结构的BFG-U-Net 共具备3 个BFG 模块。Conv_ma与Conv_mb层均采用ReLU 激活函数，并与图Gm在输出阶段进行维度拼接，拼接矩阵Cm在解码阶段的上采样操作完成后与m层上采样值F_m再次进行维度拼接。BFG模块如图3所示。

图3 BFG模块结构

所有的BFG 模块共包含6 个卷积层。当BFG模块所在层级分别为2,3,4（即m=2,3,4）时，BFG-U-Net 结构中每个卷积层的卷积核大小分别为：

BFG 模块的维度拼接及BFG 模块输出结果Cm同m层上采样维度拼接均采用Concatenate 函数。为使输出特征图尺寸与输入相一致，BFG 模块的卷积层均采用Padding操作。

BFG-U-Net 解码阶段沿用U-Net 的原有设计，上采样采用Upsampling 函数。网络输出端采用1×1 卷积核实现图像融合操作，同时为了将输出值限制在0～1 之间，该卷积层的激活函数采用Sigmoid。

2.3 二值化阈值滤波

BFG-U-Net 按像素依次输出图像的归一化数值作为预测结果，每个像素值在0～1 之间，经数据空间拉伸为0～255（0～0xFF）色彩值。在拉伸操作前，设置阈值对像素值进行二值化操作以滤除部分噪声。根据经验，将阈值设置为0.94，小于等于该值的认定为道路路面像素；大于该值的则认定为非道路路面像素。

3 实验与验证

3.1 实验方案

本文基于BFG-U-Net 架构模型设计实验，以评估算法性能（见图4）。

图4 实验方案

原始影像瓦片与对应位置人工标注的影像标签（Ground Truth,GT）成对配置，共同构成样本数据集。BFG-U-Net 采用与U-Net 相同的二分类交叉熵作为损失函数L，如式（3）所示：

式（3）中：设(xi,yi)为成组配置的训练样本，其中xi为原始影像瓦片，yi为人工标注的与xi逐条对应的影像标签；N为样本量；ai为xi对应的BFG-U-Net 预测值。通过不断减少ai与yi的差值，使预测输出趋向于训练目标。

Adam 因具有收敛速度快、计算效率高等优点，故选择其作为BFG-U-Net 的优化器。优化器学习率设置为10-4，批处理样本大小（batchsize）设置为4，迭代周期（epoch）设置为200。

3.2 实验环境与条件

本文所用数据集共包含训练样本2 200 组，均为来自于交通运输部高分交通数据中心及其他数据交换渠道[18]的亚米级高分遥感卫星影像数据。将影像分幅制作为影像瓦片，主要分布于华东、华南及西南农村地区，以保证算法对不同区域的适用性。单幅瓦片覆盖范围为400m×400m，尺寸拉伸为640×640 像素。人工选取数据集原始影像瓦片并标注对应标签。其中95%（共计2 090组）构成训练集，5%（共计110 组）构成验证集，训练集与验证集图像无重复。在数据集外另行选择了15 幅瓦片并进行人工标注作为测试集，以保证性能测试的独立性。数据集的地形选择较为广泛，确保能够覆盖华东、华南、西南的典型地貌。

实验环境基于TensorFlow-GPU，采用Python 3.6进行开发；计算设备为NVIDIA Tesla V100。

3.3 算法性能评价指标

本文采用图像分割领域常用的交并比（Inter⁃section over Union,IoU）作为算法性能的评价指标。IoU 表示预测图像与标签的像素交集占预测图像与标签像素并集的比值。IoU 可通过统计像素i的值获得，其中“逻辑和”操作以“∩”（交集）表示，“逻辑或”操作以“∪”（并集）表示，具体如下：

式（4）中：ai,yi意义同前。

3.4 实验结果及性能比较

除用本文算法外，同时使用相同数据集的U-Net 及Res-U-Net 进行训练，且训练集、验证集比例与BFG-U-Net 保持一致，同为95%（2090组）与5%（110 组），分辨率为640×640 像素。训练完成后，BFG-U-Net,U-Net 与Res-U-Net 采用相同的测试集进行道路识别和识别结果评估，并与真实值（Ground Truth）进行比较。测试集为另行选择并人工标注的15组瓦片。

为能够清晰地反映BFG-U-Net 相对其他网络交并比的变化情况，本文以IoU（BFG-U-Net）为基准值计算了交并比的相对值，即计算了BFG-U-Net,Res-U-Net 及标准U-Net 交并比的相对变化值（见表1）。

表1 算法相对交并比

由表1 可见，BFG-U-Net 的交并比较之典型U-Net有所提升，较Res-U-Net有大幅提升。

测试集输出经二值阈值滤波并进行空间拉伸所得结果如图5 所示，受篇幅限制选取其中5 组进行对比说明。

图5 测试数据提取结果对比

（1）第1 组测试数据所在位置为华东地区，影像中道路路面清晰，但存在一条未铺装路面的支线道路。在通村入组道路建设中部分路面并非硬化路面，因此算法若能够对其正确识别，则面对农村地区复杂路面时也能够达到较高的识别精度。实验表明，3 种算法均能识别主干道路，但Res-U-Net 仅能提取道路中心线，无法精确分离路面，从而无法满足交通运输主管部门掌握路面宽度的业务需求。BFG-U-Net 对主干道路路面识别的连续性以及对未铺装支线道路的识别比例均高于U-Net。

（2）第2 组与第3 组测试在秋季的西南部山区进行，地表颜色较夏季发生较大变化，同时浮云阴影导致同一路段的路面发生明暗变化。可以看出，Res-U-Net 对地形地貌的变化基本无法适应，识别精度较U-Net 与BFG-U-Net 大幅降低；U-Net 具备一定的适应能力，但对于路面明暗变化较为强烈的路段，仍有部分路面无法正确识别，导致路面中断。相比而言，BFG-U-Net 在该区域仍然保持了较为理想的性能，仅有一处因道路急转弯且跨越不同地貌、明暗同时发生变化而产生路面中断，其余地区均保持连续。

（3）第4 组与第5 组位于华南平原与微丘地区，路面情况相对复杂：影像中部分路面被植被遮挡但仍能够判断道路走向；部分路段因穿越耕地间裸露地表，导致影像中路面与路侧裸露地表颜色过于接近，路面边缘不清晰。实验表明，Res-U-Net 仅能识别出清晰可见的路面，其他路段基本无法识别；U-Net 在路面被遮挡但仍可分辨走向的情况下可以识别出路面，但受裸露地表干扰，对穿越裸露地表区域的路段无法有效识别；BFG-U-Net 在林木遮蔽较为严重的路段仍能有效连续识别路面，同时裸露地表对道路识别精度的影响也相对较小。

经对比分析发现，交并比的提升并不能完全反映BFG-U-Net 的性能特点，详细分析测试结果发现，BFG 模块提供了更为清晰连续的上下文语义，对路侧地物产生的扰动具有一定的鲁棒性，对路面具有更强的感受能力。相对其他网络，BFG-U-Net 能更有效地识别农村地区的硬化路面，产生的中断相对较少，同时对通村入路组建设所需的未铺装道路也有一定的识别能力。不过，BFG-U-Net 也存在一定的不足，主要体现在对地物边缘的变化过于敏感，导致地表颜色变化的边缘、短距离裸露的地表也被零星识别，加大了后期数据处理与优化的复杂度。

3.5 识别结果可用性验证

为验证算法的实用性，对指定区域分瓦片识别并提取路网后进行了再拼接，选取河南省驻马店市行政区划内部分农村区域来测试算法在不同地域的通用性。首先，将该区域已识别瓦片数据导入ArcGIS Desktop，调用相应的工具对提取结果进行矢量化。然后，基于ArcGIS Engine 对每个瓦片生成的矢量路网进行衔接，形成驻马店市高分遥感影像路网提取矢量图，部分区域截图如图6 所示。可以看出，BFG-U-Net 在一定程度上可以有效识别该区域内的主要道路与良好可见的村内巷道，说明在用于农村地区矢量路网地图构建时，算法对道路的识别提取较为可靠，具有一定的实用性。

图6 驻马店市农村地区矢量路网提取结果

4 结语

本文针对农村地区复杂的道路情况，研究了一种基于深度神经网络的农村公路高分遥感影像提取算法，设计了编解码结构间的跳跃链接模块，为特征图提供了更为详细的全局信息与更为清晰的路线上下文语义关系。实验表明，该算法能够在一定程度上降低农村地区常见的路面林木遮蔽、路面边缘不清晰等异常干扰对识别精度的影响。不过，该算法对地表变化较为敏感，实验中产生了少量误识别小斑点，需要在后期处理过程中予以剔除。未来将在此基础上，进一步提升算法性能，研究路网的后期优化技术，以提升识别精度，为农村公路建设管理提供更为精确的路网基础数据。