基于改进Live-Wire算法的无人机遥感影像标注

崔红霞，陈丽君，赵昊罡

(渤海大学 信息科学与技术学院，辽宁 锦州 121010)

0 引言

随着人工智能技术的发展，深度学习在遥感影像自动解译领域的应用发展迅速。在深度学习算法中，大量的训练数据标注是其得到最优检测模型的保证。目前，遥感数据标注方法主要分为两类[1]：一类是基于人工交互的数据标注，主要利用离线和在线标注工具。另一类是自动数据标注方法，如张钢等人[2]提出一种基于多示例多标签学习的图像自动标注框架,在此基础上提出一种基于贝叶斯学习的多示例多标签稀疏集成算法.

显然，自动标注方法仍然依赖于一部分人工标注的数据集，人工标注在深度学习的领域仍然是必不可少的环节。目前，应用广泛的在线或者离线交互标注工具，labelme[3]以及labelimg[4]，以用户交互图像分割的方式，将一张图片中的目标物体分割出来，即用户通过点击设置一些前景和背景的标注点，生成包含目标区域的多边形顶点，适用于边界规则的目标轮廓提取和标注；但对于遥感影像非规则自然地物目标区域，人机交互图像分割存在工作量大，轮廓定位不准确的难题。

目前，人机交互的图像分割算法分为两大类，一类是主动轮廓模型方法[5-9]，使用户提供的初始轮廓沿能量降低的方向迭代演化到理想的目标轮廓上,完成图像分割,这类算法需要给出初始的轮廓，但对于特别复杂目标迭代的分割结果往往不能达到要求;另一类为基于动态规划图搜索算法[10-11]，图搜索算法不通过迭代初始轮廓降低能量的方式，而是通过分步优化能量函数获得边界，需要在全图范围内寻找优化的边界。Live-wire算法是一种经典的动态规划图搜索算法，由Eric N.Mortensen[12]等人提出，广泛地应用在图像分割[13]中。文献[14]研究基于BSP和动态规划的大规模空域扇区划分的方法，该文将二叉空间分割算法结合动态规划方法，通过阶段动态搜索的二叉空间分割算法，保证结果的最优性。文献[15]研究的带浮动锚的Live-Wire交互式分段技术，通过基于特定图元设计4种新颖的Live-Wire交互来尝试这种新的灵活性：绘画，捏，概率和拾取锚，分析这种方法的计算方面，并提供了可行的解决方案来减少时间复杂度。

对于轮廓比较平滑、信噪比高的目标，文献[16-17]的方法可以获得比较好的效果，但无人机遥感影像信噪比低、自然地物边界复杂且不规则，传统的Live-wire算法往往不能准确地定位地物边界。本文将交互式Live-wire算法[18]引入深度学习的样本标注，通过改进Pal-King[19-21]模糊边缘检测方法以及优化Live-wire算法代价函数的方法以提高地物边界的跟踪精度和效率，并通过大量样本的标注实验验证本文的算法。

1 传统live-wire的人机交互图像分割方法

传统Live-Wire算法是将整个图像看成一个加权有向图[22]，图像中每个像素为图的一个节点，并且每个节点都被赋予不同代价值，相邻像素之间有一条加权有向边，在边上定义一个代价函数,然后通过图搜索算法结合动态规划，找连通图[23]中两点之间的最短路径,两点之间的最短路径当作物体的边界。其关键在于代价函数的建立和最短路径的生成。

1.1 代价函数的建立

代价函数的计算方法有多种，由于图像最短路径的代价与边缘特征有密切关系，边缘特征越显著的像素点，代价越低，使得最短路径的路线越容易贴合待标注区域的轮廓边缘。因此，局部代价函数 通常由边缘特征构造，如公式(1)所示：

L(p,q)=wZfZ(q)+wGfG(q)+wDfD(p,q)

(1)

其中：p为q的8邻域内的相邻点，fZ(q)为拉普拉斯交叉零点值、fG(q)为像素点梯度值、fD(p,q)为像素点梯度方向,wZ,wG,wD为权值，根据文献[12]所提出的方法，将其分别设置为0.43,0.43,0,14：

拉普拉斯交叉零点代价值fZ(q)如公式(2)所示：

(2)

其中：IL(q)是图像像素点q的拉普拉斯值，图像的拉普拉斯二阶零交叉点对应最大(最小)的梯度幅值，代表边缘特性并且它有较低的局部代价值。

像素点梯度值：

令Ix,Iy分别表示x，y方向的梯度，则梯度幅值G如公式(3)所示：梯度幅值越大，边缘点特征越明显，路径代价越低，令fG如公式(4)所示：

(3)

(4)

像素点梯度方向代价：

梯度方向代价函数起到边缘平滑作用，边界变化剧烈处将设置较高代价，如公式(5)所：

(5)

令:dp(p,q)=D′(p)·L(p,q)；dq(p,q)=D′(q)·L(p,q)

D′(p)=(Iy(p),-Ix(p))；D′(q)=(Iy(q),-Ix(q))

1.2 最短路径方法

传统Live-wire 算法结合人机交互[24]，确定开始种子点，最后利用数据结构中的Dijkstra最短路径算法，计算出图像中8邻域内所有像素点到种子点seed point的最小代价路径并确定下一个边缘种子点；人机交互更换种子点，重新进行最小代价路径的计算，多次重复以上步骤，自动提取目标区域轮廓线；。由于最短路径的代价与边缘特征有密切关系，边缘特征越显著的像素点，代价越低，目标轮廓边缘越精确。利用Dijkstra 算法[25-26]进行最小代价路径搜索的流程图如图1所示。

图1 Dijkstra 算法流程图

2 改进的Live-wire地物轮廓提取方法

传统的Live-wire 方法代价函数涵盖了边缘点特征、边缘点梯度幅值的特征、节点之间梯度方向的变化特征[27-28]。受飞行平台复杂运动、光照条件的影响，无人机遥感图像的边缘质量下降。传统的拉普拉斯算子[29]用作此类图像的边缘检测时，容易导致边缘不连续以及假性边缘,抗噪性较差[30]。本文改进模糊边缘检测[31]方法并替代Live-Wire算法中的拉普拉斯交叉零点边缘提取；另一方面通过增加节点之间梯度幅值的变化特征优化代价函数，提高算法的抗噪性能并平滑边界。

2.1 基于改进PAL-King算法的边缘提取

Pal和King提出的模糊边缘，即Pal算法[19-20]是基于模糊理论的模糊边缘检测算法。其主要思想是通过模糊属度函数将图像映射到模糊空间，利用模糊空间的增强运算，提高影像边缘附近像素灰度的对比度，再利用逆变换实现模糊特征空间到图像空间域的转换，在空间域内仅需通过简单的“min”或“max”算子实现边缘提取。为克服传统Pal算法隶属度函数复杂且原图像中相当多的灰度值被切削的问题，以及隶属度函数中的参数设置没有理论指导规则，随机性大等问题，本文改进了传统的Pal-King模糊边缘检测法，具体算法步骤如下：

1)定义新的隶属度函数:

(6)

其中:xmin≤xij≤xmax，xmin为最小灰度级;xmax为最大灰度级；令Pij=F(xij)，Pij为模糊隶属度值；Fe>2。显然，整幅图像的隶属度值域为[0，1]弥补了Pal King 算法值域为(a，1](a>0)[30-31]导致低灰度值被硬性切削的问题。

2)融合Otsu算法的模糊空间增强方法:

传统的Pal-King算法将模糊空间的分割阈值(渡越值)设定为0.5,小于0.5的模糊隶属度被压缩，大于0.5的模糊隶属度被拉伸，以实现模糊空间的非线性增强。为克服传统Pal-King固定分割阈值带来的随机增强误差，本文以Otsu算法获取图像空间域的最佳分割阈值xe,并计算模糊空间的渡越值Pe=F(xe);进一步定义模糊增强算子如式(7)：

(7)

其中：若0≤Pij≤Pe，则a=1,b=0;若Pe

职业素质教育是系统全面的教育，不仅包括职业知识、技能教育，还包括职业道德、职业行为、职业作风和职业意识等方面的教育。作为一名护理教师，首先要通过自身稳定的专业思想去感染、引导学生，巩固学生专业思想，因为学生牢固的专业思想是稳定护理队伍、发展护理事业的重要保证[1]。其次要发挥自身形象示范作用，树立良好的护士职业形象。护理教师的形象示范作用主要表现在仪表、面部表情、动作姿态等方面。教师高雅得体的举止、对护理工作的兴趣和热爱，会使学生感到可信、可亲，进而仿效学习，还可以让护生以最佳心境参与学习[2]。

利用式(8)进行迭代运算:

(8)

一般r取3。

(9)

4)结合梯度双阈值法[32]，提取模糊增强后的图像边缘特征，替代公式(1)的代价函数的第一项：如式(10)所示，令low，high为通过灰度直方图统计方法自动获取的低阈值以及高阈值，tq为当前点的梯度值,tp当前点8邻域内任意像素点梯度值。

fZ(q)=1，tq>high||tp>high；fZ(q)=0，iftq

(10)

综上，通过改进模糊边缘检测方法并替代Live-Wire算法中的拉普拉斯交叉零点边缘提取，抑制传统的拉普拉斯算子[23]遥感图像边缘特征提取的不足。

2.2 优化的代价函数

设优化后的代价函数为：

L'(p,q)=wZfZ(q)+wGfG(q)+wDfD(p,q)+wTfT(p,q)

(11)

其中：wZ，wG，wD，wT根据文献[12]设为0.35，0.35，0.15，0.15。

fZ(q)、fG(q)、fD(p,q)分别如公式(10)、(4)、(5)所示，分别描述拉普拉斯交叉零点值、像素点梯度值、像素点梯度方向。为了进一步抑制边缘提取的不连续性并提高边缘提取的平滑性，通过增加梯度变化特征改进代价函数。

本文令fT(p,q)表示节点p、q之间的梯度幅值变化特征，q节点为p节点邻域内像素点，如果节点p、q的梯度幅值变化越剧烈，fT(p,q)较小，路径代价越小，反之较大。本文提出的fT(p,q)如公式(12)所示：

fT(p,q)=1-1/e|Gp-Gq|

(12)

其中：G(p),G(q)分别为p点和q点的梯度幅值，分别为公式(13)：

(13)

3 实验结果与分析

以400幅 512*512像素无人机遥感影像的地物标注(每类地物100幅)为例。标签标注工具labelme、传统Live-Wire方法和本文所述方法分别定义为方法I、II、III；利用3种方法分别进行无人机遥感影像裸露地、建筑物、水体、农作物4类复杂典型地物的标注。如图3～6所示，Label标注工具通过多边形逼近曲线，地物提取的精度和效率完全依赖于构造轮廓多边形的人工操作。传统Live-Wire方法则利用拉普拉斯地物边缘提取算法、传统代价函数、最小路径跟踪方法人机交互提取地物的轮廓，在边缘符合度以及效率上都优于标注工具，但基于Live-wire算法的标注需要较多的人工交互、存在边缘不完全、断点以及欠平滑的锯齿情况。对比传统Live-wire算法，应用改进的Live-wire算法的轮廓提取的边缘平滑且锯齿现象大量减小，轮廓提取的自动化程精度和效率更高。

为定量评价样本标注的稳健性和效率，分别利用方法II和方法III重复提取(n次)400幅地物的封闭轮廓，计算每类地物标注面积的中误差，如表1所示：传统的Live-wire算法自动化程度低、其标注受人为选取的特征点的影响大、稳健性较差。本文改进的方法的样本标注的稳健性、自动化程度更高。假如有n次观测提取，则标注算法的中误差可按式(14)计算。

表1 方法II和方法III样本标注稳健性分析

(14)

直观的从标注图像可以看出，如图2所示，改进后边缘更加连续、完整,噪声[33]影响减少改进后的边缘更加平滑，锯齿现象减少。用改进的Live-Wire算法完成轮廓提取，沿着顺时针方向构建轮廓边界点序列，结合曲线积分区域填充算法[23,34]，以不同色(根据分类选择)填充区域，完成目标标注。

图2 传统代价函数与优化代价函数的标注

图3 裸露地样本局部标注对比

图4 筑物样本局部标注对比

图5 水体样本局部标注对比

图6 耕地样本局部标注对比

4 结束语

标签的制作是深度学习中训练学习模型的关键步骤，针对高分辨率航空影像地物复杂、纹理丰富、背景噪声以及密度大、且可能存在模糊的边缘特性的特点，改进已有的Live-wire半自动轮廓提取算法，提高其边缘提取的连续性、抗噪性和平滑性。首先，通过改进模糊隶属度函数克服了Pal-King隶属函数可能的灰度覆盖空间不足的缺陷并结合双阈值方法实现边缘点的提取，以改进的Pal-King的模糊边缘检测方法替代Live-Wire算法的拉普拉斯边缘提取方法。其次，通过增加节点之间梯度幅值的变化特征优化代价函数，以提高Live-Wire算法的轮廓跟踪的连续性。对比实验证明，本文所述的方法(称为方法III)传统的Live-Wire方法(称为方法II)的轮廓跟踪的边缘贴合度和自动化程度都优于传统的标注工具(Labelme、LabelImg)。但本文所述方法的稳健性和自动化程度优于传统的Live-Wire轮廓提取和跟踪方法。利用该方法，项目组正在进行无人机低空遥感影像海量样本集和样本标注工作的研究。