航拍图像道路数据集制备迭代最近边缘算法

杨东方，赵家玮，李永飞，肖 鹏，杨晶岚

1. 火箭军工程大学导弹工程学院，陕西 西安 710025； 2. 火箭军工程大学研究生院，陕西 西安 710025

道路是一种重要的地物特征，在地理信息测绘、抗灾减灾、事故救援、认知导航、区域监视等军事和民用领域扮演着重要的角色。如何利用无人机等空基平台，对所采集航拍图像中的地表道路进行快速、智能提取，是上述领域所关注的关键共性问题。

当前对航拍图像进行道路提取主要采用人工辅助的方式，以测绘领域为例，对航拍图像进行道路、建筑等地理信息的提取，需要大量人力辅助，烦琐低效[1-2]。近年来，随着机器学习方法和计算机视觉领域的研究发展，以深度学习图像处理技术为代表的遥感图像道路提取技术得到越来越多的关注[3]。相比于现有的道路提取方法，利用深度学习的方法来提取图像中的道路信息能够极大提升道路等地物信息的提取效率，但是深度学习是一种数据驱动技术，其泛化性能受到训练数据多样性的制约，所以训练数据集的制作是利用深度学习的方法来实现道路提取的重要环节[4-7]。相比于道路提取网络和算法的研究工作层出不穷，研究人员往往忽视了对道路数据集制备问题的研究。事实上，随着高分辨率航拍图像的大量投入使用，如何准确、快速地制备道路数据集是制约道路智能提取技术发展的一个共性问题。从当前已有的道路数据集制备方法研究成果来看，现有道路数据集制备方法主要存在以下两个问题：①图像分割的道路数据集制备成本高，时间长[8-9]。传统的道路数据集制备方法，通常要借助标注工具对原始图像做人工标注来获取标签数据。人工标注工作量大，对原始图像需要进行点、线、面等操作，过程复杂，制备时间过长。②航拍图像道路分割数据分布单一导致道路提取技术泛化能力不足[10]。传统的解决方法是对原有的数据进行数据集增广，包括形状、尺寸变化、旋转、伸缩、颜色通道抖动等，这种增广方式难以提升遥感数据本身的特征空间分布，无法有效提升道路提取技术的泛化能力。

针对上述存在的问题，本文提出了一种边缘特征辅助的航拍图像道路数据集自动制备方法。该方法利用地理信息系统中已有的卫星影像数据和道路图层数据，再根据实际航拍的图像，制作与航拍图像序列对应的道路分割数据集。该方法相比于传统的道路数据集制备方法，能够大大节省人工标注所花费的时间和资源，为航拍图像道路数据集的快速制备提供了一种思路。

1 基于迭代最近边缘算法的航拍图像道路数据集制备方法

迭代最近边缘特征优化的航拍图像道路数据集制备方法包括两个步骤：①基于人工特征点匹配的航拍图像粗配准；②基于边缘特征对齐的航拍图像精确配准。其中，基于人工特征点匹配的航拍图像粗配准算法采用单应性变换的原理[11-13]，首先寻找N对(N≥4)航拍图像和卫星图像的对应点，通过N对特征点在航拍图和卫星图中的像素坐标，对卫星图像与航拍图像进行粗配准计算；在此基础上，为了进一步提高航拍图像和卫星图像的配准精度，本文提出边缘特征对齐的航拍图像配准优化算法，利用航拍图像和粗配准后的卫星图像的边缘特征，采用ICE算法对其进行配准优化，从而实现航拍图像和卫星图层的精确匹配。由于卫星图层和道路网络图层(例如高德地图、Openstreet map等)具有一一对应关系，可以得到和航拍图像所对应的道路网络分布数据，完成航拍图像道路分割数据集的制备。该方法的基本流程如图1所示。

图1 航拍图像道路数据集制作Fig.1 Aerial image road dataset production

由图1可知，经过粗配准单应变换后得到的卫星图投影结果和实际航拍图之间存在明显误差，无法将其作为航拍图像道路的标注结果。为此，本文在粗配准基础上，引入边缘特征，并提出了迭代最近边缘算法，对粗配准单应变换矩阵H进行优化，以得到更加准确可靠的航拍图像道路数据集制作结果。

1.1 基于人工特征点匹配的航拍图像粗配准算法

本文提出的边缘特征辅助的航拍图像道路数据集制备方法分为粗配准和精配准两个步骤，本节首先对粗配准算法进行介绍。粗配准过程实际上是人工特征点辅助的航拍RGB图像和卫星RGB图像粗对齐的过程，该过程是在人工辅助下，在航拍图像RGB图像和飞行区域卫星RGB图像中找到相同的N对点，一般N≥4即可。利用这N对点分别在航拍图像和卫星图像中的像素坐标，可以描述航拍图像和卫星图像之间的单应变换关系，在齐次坐标下，它们之间的单应性变换关系表达式为

(1)

式中，(xai,yai)是航拍图像上的点；(xsi,ysi)是卫星图像上的点；k表示单应变换过程中存在的尺度缩放比例。此时，H矩阵表示单位单应变换矩阵，其行列式为1，h1～h9表示H矩阵的9个元素。

将式(1)展开，可以得到

(2)

对式(2)进行化简，可以得到

(3)

将式(3)写成矩阵的形式Aih=0(i是航拍图像和卫星图像对应点的序号，i=1,2,…,N),其中

(4)

式中，单应变换矩阵有9个未知数，加上约束条件‖H‖=1，H矩阵则变成了8个自由度，因此，至少需要4组相对应的点，就可以算出H矩阵。把n组点对代入Aih=0，可以得到n个方程组成的方程组

(5)

对于上述方程组Ah=0，加上H矩阵的行列式约束，可以构建一个有约束的优化问题

(6)

为了求解上述含约束优化问题，首先对矩阵A进行SVD分解，A的大小是2i×9，i代表点对，可得

A=UΣVT

(7)

式中，U为2i×2i的方阵，U中的正交向量被称为左奇异向量；Σ为2i×9的矩阵，Σ除了对角线其他元素都为0，对角线上的元素称为奇异值，按从大到小的顺序排列；VT为V的转置矩阵，是一个9×9的矩阵。U和V都是酉矩阵，由正交矩阵的保范性可得

J=min‖Ah‖=min‖UΣVTh‖=min‖ΣVTh‖

(8)

‖VTh‖=‖h‖

(9)

令

y=VTh

(10)

则式(6)所描述的含约束优化问题可以转化为如下新的有约束的优化问题

(11)

当y=[00…1]T时，满足约束条件‖y‖=1，而且由于Σ是奇异值组成的对角矩阵，按照从大到小排列，因此取y=[00…1]T可以使得‖Σy‖最小，即y=[00…1]T是最优解。由于V是酉矩阵，由式(11)可知

h=Vy

(12)

即h的值是Σ矩阵中最小的奇异值对应的V矩阵中的特征向量，即V矩阵的最后一列，式(6)中的最优单应矩阵得解。

利用上述求解得到的H单应变换矩阵，可以把卫星图像投影到航拍图像上，得到与航拍图像对应区域的卫星影像映射结果，即实现航拍图像和卫星图像的粗配准。

1.2 基于迭代最近边缘算法的航拍图像配准优化算法

由于人工选点不可避免会存在操作误差，导致卫星图映射结果和航拍图实际区域存在较大偏差，无法直接作为标注数据集。对此，本文在粗配准基础上，提出利用边缘特征等图像稳健描述进行优化，提高配准精度。该方法在粗配准变换矩阵计算结果的基础上，实现航拍图像和卫星图像的边缘特征对齐，进而实现两种模态图像的精确配准。由于优化对齐过程中利用了边缘特征迭代优化计算的方法，使得卫星图和航拍图中相同位置的边缘距离最近，因此，本文将该方法称为迭代最近边缘算法。

1.2.1 算法流程

在完成了上述粗配准过程得到单应变换矩阵H后，得到的航拍图像和卫星图像之间存在细微的差异，此时需要对航拍图像和卫星图像进行精确配准。由于边缘是遥感图像中显著而稳健的特征，因此本文选用Canny算子对航拍图像和粗配准后的卫星图像进行边缘提取[14]。然后利用其边缘图像提取的边缘集合，在ICP优化算法框架下实现边缘点集的匹配，完成单应性变换矩阵的优化计算。相应的优化变换矩阵记为H1，则精配准变换矩阵可以表示为H′=H×H1，算法流程如图2所示。

由图2可知，该算法主要包括以下5个步骤：

图2 航拍图像配准优化流程Fig.2 Aerial image registration optimization process

(1) 将航拍图像和粗配准后的卫星图像转换为灰度图像，并进行平滑处理。

(2) 利用Canny算法对平滑后的灰度图像进行边缘检测，获得边缘图像。

(3) 对边缘图像进行形态学处理，即进行连通性测试，搜索所有的连通点，如果连通点数量过少，消除所有连通点，以滤掉小的边缘片段。

(4) 从形态学处理后的边缘图像中提取边缘点集。

(5) 利用ICE优化算法实现边缘点集的匹配，计算优化后的精配准结果H′。得到精配准变换矩阵H′后，对GIS中的道路分布图进行变换，可以直接得到和航拍图对应的道路分割标注结果。

1.2.2 基于迭代最近边缘的配准优化算法

(5) 计算新的源点集和目标点集之间的平均距离dk+1

(13)

(6) 如果dk+1不小于给定的阈值δ，返回步骤(2)，利用目标点集A和新的源点集Bk+1再次运算，直到dk+1<δ或迭代次数k大于预设的最大迭代次数为止。此时的Hk就是优化变换矩阵H1。

为了使点集之间的配准更加精确，本文结合边缘特征分布的特点，对迭代最近邻算法做了如下处理：

(1) 为了保证单应性变换的准确性，采用去除两点间距离大于给定阈值的点对的策略，去除伪点(伪点对是指实际上并不存在对应关系的点对)；

(2) 不使用平均距离作为度量准则，而利用平均距离变化率的波动次数作为度量准则；

(3) 因为单应性变换是自由地，为了防止源点集因单应性变换后发生畸变， 利用正方形经过优化变换矩阵H1变换后的形状的相邻两边夹角小于某一阈值来保证单应性变换的合理性。

需要的精配准变换矩阵为H′=H×H1，利用单应性变换，把道路网络图层投影到航拍图像上，便可以得到和航拍图像同样大小的道路图像映射结果，即获得与航拍图像匹配的道路标签图像。按照此方法，制作航拍图像序列一一对应的道路标签图像序列，实现航拍图像道路数据集制备。

2 试验验证

2.1 试验数据

针对实际应用中存在的航拍图像数据集智能制备问题，现有方法以人工标注为主，为此本文在试验部分从数据集标注精度和标注耗时来和现有方法进行对比。本文的验证试验选用了西安不同地区的高德卫星图像数据和国产高分卫星图像数据及它们所对应的道路网络图层数据。航拍图像数据一共14 433张，每张图像大小为1920×1080像素，分辨率约为1 m，数据示例如图3所示。高德卫星图像数据和高德道路网络图层数据，图像大小都为6691×3283像素，分辨率约为1 m，如图4(a)、(b)所示。国产高分卫星图像数据和对应道路网络图层数据图像大小都为24 292×13 866像素，分辨率约为0.5 m，如图5(a)、(b)所示。

图3 航拍图像数据Fig.3 Aerial image data

图4 高德卫星图像数据和高德道路网络图层数据Fig.4 Gaode satellite image data and Gaode road network layer data

图5 高分卫星图像数据和高分道路网络图层数据Fig.5 High-resolution satellite image data and high-resolution road network layer data

2.2 试验结果和分析

在粗配准阶段，通过人工选取4对以上特征点计算粗配准单应变换矩阵。需要说明的是，为保证单应变换矩阵计算的唯一性，标注选取的3个点不能共线，如图6所示。

图6 航拍图像和卫星图像标注示例Fig.6 Examples of aerial image and satellite image annotation

在粗配准基础上，按照本文提出的优化配准方法，针对待标注的航拍图像，利用卫星图像(图4(a)、图5(a))及其对应的道路网络图层数据(图4(b)、图5(b))获取与航拍图像匹配的道路标签图像，自动标注结果如图7所示。

图7 航拍图像道路自动标注结果Fig.7 Automatic road marking results of aerial images

图7中第1行是待标注的航拍图像，第2行是经过ICE算法精配准变换后的卫星图像，第3行是利用该精配准变换矩阵H′配准后的道路标注图像。为了验证本文所述方法对于不同质量卫星影像的有效性，此处选择了谷歌地图、高德地图等公开卫星影像数据，以及我国国产高分卫星得到的非公开影像数据进行对比。图7(a)、(b)是谷歌地球数据集所公开的卫星图像，图7(c)、(d)是国产高分卫星图像。可以看出，选择不同的卫星影像作为基准数据，都可以实现航拍图像道路标注数据集的制备。图7的第1行和第3行便构成了成对的航拍图像序列和道路标签图像序列，即航拍图像的道路提取数据集。上述试验表明了本文方法能够满足不同应用场合下，不同航拍图像、不同分辨率及不同来源的卫星图像道路数据集制作需求。

2.2.1 道路标注数据的一致性分析

在理想情况下，道路网络图层数据准确与卫星图吻合度高，此时可以直接采用本文前述方法进行航拍图像道路数据集的智能制备。然而，受到地表道路由于施工或者错误标注等因素的影响，某些标签图像中会存在明显的道路缺失问题，如图7(a)所示。如果直接用错误标注的数据对道路提取网络进行训练，可能会对道路提取网络训练结果引入较大的误差。事实上，对于所有强监督深度学习任务而言，标注数据的不一致性是深度学习任务面临的共性问题，对于该问题，通常采用标注自选择技术进行处理，利用新标注样本和已有训练结果之间的一致性判断标注数据的可靠性。类似地，本文面向实际应用环境，假设道路在一定时间窗口范围内的变化较小，提出一种数据集和道路提取结果交叉验证的方法，对数据集制备结果进行校正，具体步骤如下：

(1) 用现有的道路提取数据集(如Massachusetts、Deepglobe等数据集)训练道路提取网络，如UNet、ENet等[19-22]，得到航拍图像道路提取网络，假设该网络为网络A。

(2) 用网络A对本文自动制备方法得到的道路数据集进行验证，即用网络A对数据集中的可见光航拍图像进行推理，得到对应的道路推理结果，如图8(a)所示。

(3) 将该网络推理结果与自动制备方法得到的道路标注结果(图8(b))进行对比，对二者的一致性进行判断，如果二者的一致性指标超过阈值，就认为该组标注数据有效，保留该标注数据；否则，认为该标注数据误差较大，舍弃该组标注数据。

图8 航拍图像道路预测结果和自动制备结果对比示例Fig.8 Comparison example of road prediction results and automatic preparation results from aerial images

(4) 用更新的道路标注数据集对网络A进行微调训练，得到新的航拍图像道路提取网络，利用更新后的道路提取网络，对新的标注数据进行一致性检验，重复步骤(2)和步骤(3)。

通过上述方法，最终可以得到校正后的航拍图像道路提取数据集及对应的道路提取网络训练结果。

2.2.2 数据集制备的有效性分析

为了实际评估本文制备道路数据集方法的性能，选用图像标注工具labelme来制作航拍图像的道路标签图像[23]，将其与本文方法制作的道路标签图像进行对比分析，从制备时间和道路标签数据的精度两个方面评估本文方法的性能。其次，通过对比粗配准和精配准的航拍图像道路数据集精度，考察配准优化算法的有效性。

(1) 制备方法效率。首先利用标注工具labelme制作图7中航拍图像的道路标签图像，即：①列标注完成时间为7 min 5 s；②列标注完成时间为31 min 14 s；③列标注完成时间为14 min 20 s；④列标注完成时间为20 min 32 s，标注结果如图9所示。标注过程中发现，道路信息越复杂越难标注，而且花费时间更长。然后选用本文的方法制作图7中航拍图像的道路标签图像，4幅图的标注完成时间均约为20s，不受道路稠密程度的限制，标注结果如图7中第3行所示。本文方法标注过程简单，只需人工选取4对特征点，花费时间更少。通过比较两种方法所花费的时间，发现利用本文方法制作道路标签图像效率更高。

图9 labelme工具标注结果Fig.9 Labeling results from labelme tool

(2) 道路数据集制备精度指标说明。为验证道路制备精度的可靠性，选取精确率(Precision)、召回率(Recall)及F1score作为评价指标[24-28]。其中精确率表示预测是正确的正样本占所有预测为正样本的概率，召回率表示预测是正确的正样本占所有真正为正样本的概率，F1score是精确率和召回率的调和平均，公式定义如下

(14)

(15)

(16)

式中，TP表示预测为正确的正样本；FP表示预测为错误的正样本；FN表示预测为错误的负样本。

传统的道路数据集制作方法，通常以标注工具对原始图像做人工标注来获取标签数据，因此本文以标注工具制作的道路标签图像为真实道路图像，将评价问题看成道路区域的像素归类问题，考察利用本文方法制作的道路标签图像的精度，以此来衡量道路数据集制备的精度。由于真实道路图像中道路的形状、宽度受人为标注的影响，因此选择松弛化的评价方式。试验中，把属于道路区域的像素归类为正样本，而非道路像素归类为负样本，TP表示正确分类的道路像素的数目，FP代表错误分类的道路像素数目，FN代表错误分类的非道路像素数目，精确率表示在真实道路像素的ρ像素范围内的预测为道路像素的比例，召回率表示在预测道路像素附近ρ像素范围内的真实道路像素的比例[26]。路网自动标注结果示例如图10所示，其中，粗配准的路网标注结果是利用粗配准单应性变换矩阵H，将道路网络图层数据投影到航拍图像上得到的；精配准的路网标注结果是在粗配准的基础上，采用本文所提出的迭代最近边缘算法对H进行优化，然后将路网图层数据投影到航拍图像上得到的。

图10 道路标注数据集自动制备方法和人工标注方法结果对比Fig.10 Comparison of results between automatic preparation method and manual annotation method of road marking dataset

如图10所示，粗配准的路网标注数据存在明显的道路方向偏差，为此需要利用精配准进行自动校正。为了对粗配准标注结果和精配准标注结果进行量化分析，证明精配准的必要性，本节以手工标注结果作为真值，对粗配准和精配准自动标注结果的精度进行了量化统计，结果分别见表1和表2。

表1 粗配准航拍图像道路数据集精度评价指标Tab.1 Accuracy evaluation index of coarse registration of aerial image road dataset (%)

表2 精配准航拍图像道路数据集精度评价指标Tab.2 Accuracy evaluation index of precise registration of aerial image road dataset (%)

由上述试验结果可以看出，配准优化算法有效提高了道路数据集制备的精度，而且采用本文提出的道路数据集自动制备方法，自动得到的标注结果可以保持和人工标注相当的精度。与此同时，本文提出的自动制备方法可以提高数据集制作效率，相比传统人工标注制作道路数据集的方法时间上花费更少，大大提高了制备道路数据集的效率，为遥感图像智能处理技术的算法研究提供了数据支撑。

2.2.3 数据集制备的可靠性分析

为了验证本文道路数据制备的可靠性，将本文方法与公开的道路提取数据集进行对比。首先，从马萨诸塞州道路数据集中随机选择了20张图像，利用本文的方法制作对应的道路标签；然后，安排5名人员对该道路标签和原始的道路标签质量进行打分，分数区间为0～10分，分数越高表明标签的完整性越好；最后，用平均值作为标注得分，统计结果见表3，标注结果展示如图11所示。

表3 马萨诸塞州道路标签与本文方法制作标签结果对比Tab.3 Comparison of road labels in Massachusetts and the label made by the proposed method

图11 自制数据集与公开数据集道路标签对比结果示例Fig.11 An example of the comparison of road labels between the self-made dataset and the public dataset

从上述试验结果可以看出，采用本文方法制备的数据集中道路标注完整性优于人工标注的马萨诸塞州道路提取数据集，证明了本文道路数据集制备的有效性。

3 结 论

本文面向道路数据集快速制备的需求，提出了基于边缘特征ICE对齐的航拍图像道路快速标注方法。试验结果表明，与人工标注数据相比，在平均标注精度超过96.5%的前提下，标注时间从7 min提高到20 s，标注效率提升了21倍。为遥感测绘等领域的道路等地物智能提取任务提供了一种高效、精确的标注方法，具有重要的实用价值。