基于无人飞行器图像的地面目标高度测量研究

倪虹霞，吕晓丽

(长春工程学院电气与信息工程学院，长春 130000)

1 引言

随着科学技术的进步，对于地面目标持续监控的需求日益增加，在军事领域如坦克和移动导弹发射车的侦察，农林业如动植物保护与灾害预警，电力行业如通信网络、电力线和输电塔的服务中断或停电干预等等[1]。传统的人工检查容易受到人为错误的影响，并且效率低下，同时也使检查人员面临来自天气、地形甚至野生动物的威胁[2]。航空遥感为这些问题提供了解决方案，航空遥感监控成本更低、更方便用户、更省时、更安全。近年来，利用数字遥感(digital aerial imagery,DAI)或机载激光雷达，以立体图像匹配或以点云数据，产生的数字表面模型(digital surface model,DSM)与数字高程模型(digital elevation model,DEM)计算地面目标高度。但立体图像对匹配所产生的DSM模型，常因地势影响而降低测量精度，应用机载激光雷达可获取三维点云数据，并可进行地面目标估计，然而机载激光雷达的点云密度不足，难以产生准确的DEM供林分高度模型(canopy height model,CHM)进行估计，使得机载激光雷达技术无法普及。而卫星遥感的重新访问时间不利于获取新的图像，且卫星获取图像的空间分辨率和光谱分辨率很低。

无人机(unmanned aerial vehicles,UAV)航拍技术发展迅速，因其具有飞行成本较低、高机动性等特性，另飞行高度较低可取得高解析度的图像为空间数据采集和地面目标监测提供了一种经济有效的灵活[3]。且现今又可以应用图像密集匹配技术进行三维结构重建，产生点云数据。本文为空间数据采集和地面目标监测提供了一种经济有效的灵活解决方案，这种方案满足了对感兴趣图像的高空间、时间和光谱分辨率的要求。

2 相关工作

立体匹配是将2个图像中的每个像素相协调的过程。场景的深度取决于视差图，良好的立体匹配算法可以通过视差图精确计算深度图[4]。然而，由于无纹理区域的遮挡和存在，立体匹配算法的视差分配是困难的。立体匹配方法通常被分类为全局或局部[5]。基于区域或“窗口”，本地方法快速且计算效率高。全局方法基于特定的能量函数，需要大量的计算成本[6]。最近开发的密集匹配方法提供了在更短的时间内实现精确和密集点云的可能性[7]。与其他空中传感器相比，无人机的低空能力也允许比其他空中传感器更慢的工作速度。因此，UAV可能产生错误的视差，并且不能定位每个图像中几何上不相同的对应点[6]。DSM使用基于三角测量的插值来计算由被遮挡区域和无纹理区域的模糊度引起的高度差异[8]。为了更好地进行3D深度重建，表面应该是连续的并且完全纹理化。通过无人机图像对输电线路进行监测，与传统的手动技术相比，本文所提出的基于测量视差图的图切算法，在扫描功率传输极附近的正确路径时，能够降低成本，具有更好的性能。

3 设备和方法

3.1 无人机数据采集

本文选择的感兴趣区域为位于云南省西双版纳景洪市大渡岗乡的输电线路和输电塔附近的植被和树木。这个地区是一个多云的雨林环境，由于天气条件可能每5 min变化一次。由于天气的限制，数据采集的优化时间窗口是从06∶30到07∶30。地面采样距离(ground sample distances,GSD)根据无人机的高度而变化。本文在15 km2的区域内使用了15 cm GSD的标度，高度为700 m，用于扫描。选定区域(通行权)包含20个标有T1-T20(见图1)的输电塔，位于茂密的森林山脉，丘陵和非均匀地形中。

图1 使用无人机获得的感兴趣区域的数据集剪裁图像

3.2 图像检测和分类方法

由于从感兴趣的区域获得的无人机图像大小超过1 GB，为了减少处理时间，将图像分成4个相等的分段，每个分段包含4个输电塔。由于立体匹配算法需要经过正射校正的图像来计算视差图，因此对每个片段执行正射校正，之后将所提出的GC立体匹配算法来计算视差图。基于校正的推断估计对象高度，使用性能、准确度和召回率度量标准将地面实况高度与估计高度进行比较。图2为图像检测和分类方法流程图。

图2 基于无人机的图像检测和分类方法流程图

3.3 无人机图像的正射校正

本文从关注区域获得了14个地面控制点(ground control points,GCP)。表1总结了所调查的14个输电塔的经度和纬度坐标。与正射校正处理之后的其他区段相比，图像区段#1具有较小的均方根误差值。第一个立体提供了实际地面控制点到图像点的最佳精确映射(见图3)。图像段#4产生较高的均方根误差值，且实际地面控制点未能与图像坐标点良好匹配。将所提出的立体匹配算法应用于立体图像的正射校正，用于对象高度的视差图估计。

3.4 改进GC方法

本文采用GC生成是立体匹配视差图或深度图。Boykov和Kolmogorov[9]证明了基于能量最小化的GC算法比传统的推送可靠方法快2～5倍。使用Potts模型，GC最大限度地减少了分割、对象识别和形状重建的能量成本。本文提出的GC算法使用GC能量最小化函数。在此基础上，通过Kolmogorov和Zabih[10]提出的近似公式，将对称图像用于立体对，对每对像素使用二进制标记，而不是将标签分配给单个像素。如果像素对在立体集中具有相同的对应关系，则在最终的视差图中为其分配标签“1”；如果没有，则指定“0”标签。Boykov等[11]利用扩展移动算法对能量最小化函数进行了类似的工作，该算法通过将能量函数转化为图上的一个最小割集问题来迭代最小化能量函数，然后在每次迭代时对图进行切分以解决问题。基于GC的立体匹配对应算法派生出的扩展移动算法[12]，在Kolmogorov和Zabih能量函数(F)的基础上，定义不同的能量函数为：

E(f)=Edata(f)+Eocc(f)+Esmooth(f)+

Eunique(f)+Eorder(f)

(1)

式(1)中：E为能量；E(f)为能量函数；data、occ、smooth、unique、order为5种函数的能量项。该方程显示了5个能量项，每个能量项都匹配不同的目标结构。数据项(Edata)衡量匹配对的准确度；遮挡项(Eocc)使遮挡像素的数量最小化；平滑项(Esmooth)消除了图像中的不规则性；唯一性项(Eunique)标识每个立体图像中的奇异像素，最后一项(Eorder)对立体对之间的约束进行排序。后者是对现存能量函数的一种补充，用于立体匹配的计算。

3.5 排序约束

“排序约束”作为能量最小化函数，增强了立体匹配问题(如遮挡、无纹理区域和深度不连续)的解的确定，它还有助于优化匹配立体图像像素的能量最小化功能，对置换图像中立体像素之间的对应唯一性施加有序约束。在GC算法中，不使用二元像素标记，而是利用子模能量技术对图像进行视差估计。在航空图像数据集中，无人机图像的视差值因为大量的偏移值，需要对其视差图进行离散标记。其中Eorder(f)为：

(2)

如果一个像素在立体对中包含多个对应图像的值，它将分配一个强制配置唯一性的惩罚：如果配置不是唯一的，则为‘无穷’；如果不是唯一的，则为‘NULL’。因此，它表示为：

(3)

式(3)中：p是图像中像素的强度向量，Np是所有相邻像素对的集合。由于被遮挡像素的数目是非活动分配数的仿射函数，因此任何非活动分配都会受到惩罚K的惩罚，计算不活动分配的数目。因此，被遮挡像素越少，遮挡项就越小。Eocc(f)在相应的立体对中对每个被遮挡像素的总能量函数添加一个常量值，以便：

(4)

如果其参数为真，F=1，否则F=0。

数据项和平滑项均基于子模块技术定义。在使用立体对时，排序项和子模方法获得了更好的视差图。基于GC图像分割的前景和背景之间最小切割为最佳方法，其中每个边缘分配一个权重之间的源和终端。前景和背景分割之间的权重由方程(5)和(6)得到：

ViF=-λlogFB(i)

(5)

ViF=-λlogFF(i)

(6)

其中:ViF和ViB分别是前景和背景权重；FB(i)和FF(i)是像素包含的概率(背景和前景)。λ是平滑度惩罚(λ值越大，视差图越平滑)；K是遮挡惩罚。本文中，K=15和λ=1生成了最佳视差图。像素之间的权重定义如下：

Vij=e-1/2π2‖Ci-Cj‖

(7)

式(7)中，Ci-Cj为色差，Ci-Cj=0，Vij=1且Ci-Cj=big。

(8)

在实验中，一元项表示主能量函数的数据项，成对函数表示相邻像素之间的平滑值。为了计算数据和平滑项能量函数最小化的代价，目标是使用子模二次伪布尔函数来最小化基于GCS的能量函数。

(9)

其中，相邻像素(yi和yj)和a,b,c,d的成对相邻标记的能量函数是可用于识别成本的非负权重。

(10)

切口具有2个标签(Pi，Pj)：Source(S)和接收器(T)(参见图3)，其中k、m和p是节点的非负容量成本。流量不应超过每个节点的容量。图3中显示了Cut1,Cut2,Cut3,Cut4这4个削减。割集1和割集3将源和汇从节点Pi和Pj中分离出来。此外，割集2将2个节点彼此隔离，而割集4不允许从源到接收器的任何流，包括节点。

图3 使用带有源(S)和接收器(T)的2条边的潜在GC示意图

目标：我们希望发展k,m,p的能力来抵消位视Ψij(0,0),Ψij(0,1),Ψij(1,0)andΨij(1,1)中的δ，其中

k+δ=a=Ψij(0,0)

(11)

m+δ=b=Ψij(0,1)

(12)

p+δ=c=Ψij(1,0)

(13)

k+p+δ=d=Ψij(1,1)

(14)

上述关系整理得到：

(d-δ)+(a-δ)+δ=c

(15)

a-c+d=δ

(16)

因此，利用子模定理[11]，容量是非负的。在子模块性条件下，当使用δ时，出现以下关系：

k=d-δ≥0→c-a≥0

(17)

m=b-δ≥0→b+c-a-d≥0

(18)

其中式(17)和式(18)是具体的图形条件和公式。方程(19)是基于条件p=a-δ≥0→c-d≥0的基本子模结构。

Ψij(0,1)+Ψij(1,0)≥Ψij(0,0)+Ψij(1,1)

(19)

为了构造2个相邻像素的成对项，函数以不同的矩阵形式分解，有:

(20)

(21)

3.6 视差图生成

通过计算一幅图像中特征的位置与其在第二图像中的对应位置之间的像素级距离，从立体图像中计算深度地图，从而生成视差图[13]。构造深度图的过程中，因为差异较大的像素更接近摄像机，而差异较小的像素被进一步移除。

图4显示左、右相机图像，图像集中在0(右)和0′(左)。因此，三维深度点可以从坐标(x0，y0，z0)中根据从图表[14]获取的下列关系来计算。通过求解方程(22)和(23)，得到Z0的值，其中Z0的值依赖于分母因子，称为视差值。

图4 立体相机图像模型示意图

(22)

(23)

由方程(22)和(23)，得到方程(24),即：

(24)

3.7 查准率和召回率

查准率和召回率是模式识别和数据检索中最常用的评价指标，取决于相关的分类标准。查准率被定义为检索到的元素数与实例中相关元素总数的比率。将该算法与现有的GC算法[15]、动态规划算法[16]、后向传播算法[17]、SGM技术[9]以及基于面积的绝对差和(SAD)、平方差和(SSD)和归一化互相关(NCC)算法进行了比较。为了比较视差图在深度图(近输电极附近植被高度)方面的性能，本文对所有的无人机获得的感兴趣区域的数据集进行了研究。

召回率被定义为实例的相关元素数与检索到的元素数之间的比率。该算法利用输电塔的真实高度(地面真值)和估计/计算的高度结果计算召回率，并与现有的视差图估计算法进行比较[18]。将输电塔的真实高度与地面高度测量相比较定义查准率。检测/估计输电塔高度应小于10%的阈值，以提高敏感度和召回率。因此，对估计值设置10%的阈值。查准率、召回率和准确率计算公式为：

(25)

(26)

(27)

4 实验结果

采用立体匹配算法对无人机图像进行目标高度测量，其中视差图的计算采用了基于子模能量原理的带排序约束的GC算法[19]。图5显示了从感兴趣的区域剪裁的立体图像片段，它们分别是左和右，并带有圆圈标记的输电塔。计算高度时考虑了4个分段。每一段都有4根带有传输线的输电塔。

图5(a)、图5(b)为第1段的立体图像，图5(c)、图5(d)为第2段的立体图像，图5(e)、图5(f)为第3段的立体图像，图5(g)、图5(h)为第4段的立体图像。

图5 基于感兴趣区域无人机图像视差图计算的立体图像

计算测量功率极高的所有4个部分的视差图结果表明，第1段中具有不同点的更精确的视差图，这与其他部分相比产生了更多的匹配点(见图6(a))。第2段和第4段的视差图显示了立体区域中的一些遮挡和纹理变化，其中深度不连续获得的视差值在特定点上被错误地匹配。第3段视差图显示了更正确的视差估计，特别是对于纹理和遮挡区域(见图6(c))。

GC算法基于感兴趣区域的无人机立体图像测量视差图如图6所示。为了计算离散视差图，需要在分割图像基础上通过前景和背景的分离来迭代求解这一问题。根据传感器值及其波长的位移，估计出功率极高的深度图。物体的深度与立体图像之间的位移值成反比，与2个传感器之间的波长或位移成正比。从无人机传感器获取的立体图像具有较大的位移和较大的视差精度，这也取决于从无人机传感器获取的特定帧。

图6(a)为第1段视差图，图6(b)为第2段视差图，图6(c)为第3段视差图，图6(d)为第4段视差图。

图6 基于感兴趣区域的无人机立体图像测量视差图

第1个视差从左向右开始，在视差图上突出显示输电塔和线路(见图6)，其中第1段清楚地显示了电力线和输电塔(Tower#1-4)。第3段对遮挡区输电线路(Tower#9-12)的视差图进行了清晰的估计。

本文提出的算法和现有算法(GC、DP、BP和SGM)的准确性、精确性和召回率的定量比较包括4个不同片段的SSD、SAD和NCC[23]。本文提出的算法对所有4个片段都取得了很好的效果。图7表明第1段的视觉视差图精度最高，达到91%。图8表明第1个立体声图像段的精度和回忆值很高，但第2段的精度相对较低，立体图像的查准率和召回率也较低，这在输电塔5-8的视差图上是可预见的。

图7 基于排序约束的GC方法与现有匹配算法的第1个立体片段视觉视差直方图

图8 基于排序约束的GC方法与现有匹配算法的第2个立体片段视觉视差直方图

与第2和第4段相比，第3个立体图像段显示了较高的精度，但相对于第1段(见图9)则相对较低。这些定量精度值支持视觉视差图的结果(Tower#8-12)在第3立体图像分割。第4段的精度值低于所有其他段(见图10)，其结果通过视差图进行了可视化验证。结果表明，与现有算法相比，该算法获得的高程匹配值较高，具有较高的灵敏度和召回率，从而保证了系统对高程测量的可靠性和稳定性。

图9 基于排序约束的GC方法与现有匹配算法的第3个立体片段视觉视差直方图

图10 基于排序约束的GC方法与现有匹配算法的第4个立体片段对比

本文提出方法在输电塔高度估计之后可以估计输电线路附近植被和树木的高度。感兴趣区域的三维视图提供了输电塔附近植被和树木的地面真实高度，如图11所示。本文提出算法计算了所选图像的视差图，并在图12(c)、图12(d)中用黑色标记了这些物体的计算差异[21-22]。图13显示了在准确性、查准率和召回性方面对高度估计的比较。

图11 地面真值：从整个区域得到的感兴趣区域的三维视图

图12 包含输电塔附近的植被和树木的小区域的立体图像和视觉视差图

图13 基于提出的具有排序约束的GC方法的准确性，精度和召回率与现有匹配算法视觉视差直方图

结果表明，这是一种可靠的输电线路检测系统，能够准确地检测输电线路走廊内的障碍物(植被和树木)。与输电塔相比，树高估计和植被蚀刻具有更高的逼近值。因此，本文提出的匹配方法适用于基于无人机立体图像的电力线和输电塔附近植被和树木高度的测量，避免了未来电气危害的威胁。

5 结论

提出了一种利用数字表面模型和基于无人机立体图像的立体匹配算法。利用基于无人机立体图像的GC算法测量视差图和计算电线杆高度。与基于区域和全局立体匹配算法相比，该算法具有更高的精度。与现有的立体匹配算法相比，提出的立体匹配算法引入了排序约束，增强了GC算法的性能，提高了航拍图像视差图的精度。通过测量多个电塔不同裁剪后的地面真实数据对所有参数的灵敏度和召回率。与传统航拍图像相比，传统航拍图像存在限制，尤其是运营成本较高，无人机在监测树木和植被附近的电线杆时是更好的选择。

通过无人机图像监测输电线路在扫描电线杆附近的“正确路径”时提供了更好的解决方案。可帮助电力管理公司克服法律障碍，降低成本，更好地履行其社会和商业责任。