基于金字塔LK光流法及超声传感的微型无人机障碍识别优化研究

祝奔奔， 万 舟， 王 亮

(昆明理工大学 信息工程与自动化学院， 云南 昆明 650500)

近年来，无人机项目在军民两用领域发挥着越来越重要的作用。具有自主飞行能力的无人机由于体积小、成本低、机动灵活等优点，被广泛应用于军事、民事和科学研究当中。然而现有的微小型无人机在城市有雾、低空的恶劣环境下，不能自主地感知周围环境信息。可视范围内可以人为遥控飞行，超出视野范围后障碍物就会对无人机安全产生威胁。因此，低空有雾的复杂环境中如何感知环境信息，保证微小型无人机对障碍物的辨识准确，已成为当今社会关注的重点与难点。

为了解决上述问题，无论国内还是国外都对各式各样的传感器和各种方式障碍物的辨识方法做了大量、深入的研究。单一传感器由于自身的缺陷，难以进行有效的障碍物辨识。因此采用多传感器的组合进行微小型无人机障碍物辨识引起人们的广泛关注。激光雷达和视觉传感器能够实现优势互补，然而激光易受雨、雾等环境影响；红外线和视觉传感器相结合也存在同样的问题，易受太阳光线等环境的影响[1-3]。因此采用激光、红外线和视觉传感器相结合无法满足无人机工作要求。与激光雷达、红外线相比，超声波传感器具有精度高、穿透雨雾能力强、几乎不受环境影响等特点，因此采用超声波与视觉传感器相结合的方式能够更好地弥补各自的不足。故本文采用超声波与视觉传感器组合的方式，在雾天对障碍物进行辨识。首先用超声波传感器探测目标，然后采用金字塔LK光流法与IMU值融合进行光流计算，最后对超声波探测到的目标进行障碍物识别，以提高微型无人机在雾天对障碍物辨识的准确性。

1 基于金字塔LK光流法的障碍识别

1.1 光流计算

光流是指图像中灰度模式运动速度，所谓灰度模式是指在光照情况下，物品的表面会显现相应灰度的空间分布。当物体运动时，用人的眼睛去观测，眼球的视网膜上会因为运动物体而生成相应变化的影像，这种不断变化的信息持续经过视网膜(图像平面)，好像是一种光的流，故称之为光流[4]。它不仅与物体运动相关，还与场景亮度有关。

光流计算方法各不相同，虽然这些方法差异巨大，但大都基于两种经典的算法：LK法(Lucas-Kanade)和HS法(Horn-Schunck)。其中LK法引入局部约束条件，HS法引入全局约束条件。与HS法相比，LK法具有更高的鲁棒性。因此本文采用LK法进行光流计算。

假设在小邻域Ω内运动矢量恒定不变，因此误差函数可表示为

(1)

式中：W(x)为高斯平滑窗口函数，中心点权值最高；I(x，y，t)为在t时刻，I(x，y，t)在x，y方向上的梯度；v为光流值，I(x，y，t)为t时刻图像平面上点(x，y)的亮度。

假设邻域Ω内共有n个像素点，分别为xi(1≤i≤n)，A∈R2为单位矩阵。采用最小二乘法求解式(1)可得：

ATW2Av=ATW2b，

(2)

其中，

A=[I(x1)，I(x2)，…，I(xn)]T，

(3)

W=diag[W(x1)，W(x2)，…，W(xn)]，

(4)

b=-[It(x1)，It(x2)，…，It(xn)]T。

(5)

若ATW2A可逆，由式(2)可得：

v=[ATW2A]-1ATW2b。

(6)

若ATW2A不可逆，式(2)无解，此时梯度值几乎为零，不能进行光流计算。结合式(3)和式(4)，ATW2A可表示如下：

(7)

1.2 金字塔LK光流法

我们把能够依据相对微小变化生成流动向量的图像运动表述方法称为光流法。光流含有充足的运动信息，可表现出运动载体拍摄到障碍物图像的位置改变信息[5]。所以，光流法可获得载体与障碍物之间的相对运动信息。

光流LK法基于3种假设：(1)亮度恒定；(2)空间一致；(3)时间连续。

对式(2)用最小二乘法求解可得光流v：

(8)

采用经典LK法进行光流计算时，必须满足3个假设条件。然而微小型无人机的快速运动，导致连续两帧图像的光流改变量巨大，约束条件无法满足，进而造成光流值的计算存在较大误差。基于以上情况，本文采用金字塔LK光流法，如图1所示。在金字塔最高层进行光流计算，接下来金字塔层的源点为上一层的结果；一直反复，在金字塔最后一层终止。用此方法能够把不符合假设条件的概率降至最小。

图1 金字塔LK光流法

1.3 光流分析

本文采用最为简单的针孔摄像机，其图像平面几何关系如图2所示。其中，拍摄的中心为C点，也为坐标的原点，坐标轴的主轴为拍摄中心点垂直于图像平面的连线；而图像中点即主轴相交于平面的点P，其中物平面为过M点且和图像平面平行的平面，平面Z=f时被称为图像平面，m为物M映射在平面图像Z上点即像点，该像点也是物M与投影中心C的直线与平面Z=f的交点[6]。

图2 图像平面几何关系

图3为连续两帧图像的几何关系。其中，C是摄像机中心，D是基线长度，P为图像的中点，d为拍摄中点至物平面的间距，H为M点跟主轴之间的间距，h为m点跟主轴之间的间距[7]。

图3 连续两帧图像的几何关系

在图像坐标系内，像点m1到m2的矢量即为两帧图像上物点M产生的光流。由三角形具有相似定则得：

(9)

因为焦距不会发生改变，故f1=f2。由几何原理可得D=d1-d2，代入式(9)然后综合式(8)可知光流计算的数学式为

|v|=h1D/d2，

(10)

由式(10)可知：影响光流大小的3个因素分别是基线长度D、光流与像点到主轴的距离h1和物距d2；基线长度D为飞行速度v和拍摄间隔t的乘积。

2 超声波传感元件

考虑到超声波在大气中传播时存在吸收衰减系数[8]，当发射频率为20 kHz时超声波吸收衰减约为1.5 dB/m；发射频率为40 kHz时超声波吸收衰减为6 dB/m。因此40 kHz 的超声波传感器只能进行5 m范围内的探测。常用的超声波传感器型号频率大都是40 kHz，可知其在10 m远时吸收至少50 dB。因此实际测距时，当距离较远，应降低谐振频率；距离不远时，应提高谐振频率。

本文是进行远距离超声波障碍物探测，10 m范围内的障碍测量。因此选用标称谐振频率为22 kHz的LHQ22型号超声换能器。LHQ22型换能器的机械谐振频率Fs=22 kHz，反谐振频率Fp=24 kHz。为使传感器探测范围最大，因此系统激励信号频率设定于Fs和Fp之间。使用时差测量技术，可测得无人机距离障碍物的相对位置。

3 障碍物识别信号处理

3.1 光流信息融合及滤波处理

障碍物辨识过程中，即使无人机实时的飞行速率可通过光流传感器测得，然而无人机在空中飞行时需要做出如翻转、侧飞等动作会降低金字塔LK光流分析法测量水平速度的准确性。此时，为了改变因仰俯角和横滚角而造成测量无人机水平速度的误差，让金字塔LK光流数据与经惯性测量单元(Inertial Measurement Unit，IMU)采集到的Euler角数据相融合，避免了无人机因变换Euler角而降低光流传感器测得数据的准确性，光流信息值的改变能够直接经公式推导，同时可由传感器接收的真实量中减去光流信息值的改变量。光流信息值的改变量计算过程如下：

(11)

(12)

式中，Xe为x轴向方位的光流水平分量，Ye为y轴向方位的光流水平分量；Δα为连续两帧图像间的横滚角改变值，Δβ为连续两帧图像间的俯仰角改变值；Rx为图像在横向方位上的像素点数量，Ry为图像在纵向方位上的像素点数量；Fα为x轴向方位上的视场，Fβ为y轴向方位上的视场；在获取x轴向方位或y轴向方位的运动后，将这些值进行融合，可获得无人机实时的位置信息和速率值。

经过光流数据与IMU值融合后，为削弱噪声对光流融合值的干扰，通过离散Kalman滤波器除去这类噪声的影响。经离散Kalman滤波后的状态方程及量测方程为

Xk=Ak,k-1Xk-1+Bk-1Φk-1，

(13)

Zk=CkXk+Θk，

(14)

式中，Xk-1，Xk∈R2分别为k-1，k时候的系统状态值；Zk∈R2为k时候的系统观测值；Ak，k-1∈R2×2为k-1时到k时系统的状态转移矩阵；Bk-1为噪声矩阵；Ck∈R2×2为k时候的系统量测矩阵；Φk-1为k-1时候的系统随机噪声；Θk为k时候的系统量测噪声。经离散Kalman滤波后，最终经过分析每个分块的位移数据，能够获得无人机实时的精准位置信息。

3.2 障碍物判断

图4 障碍物辨识原理

障碍物辨识原理如图4所示。由于微小型无人机具有一定的飞行速度，当无人机与障碍物之间小于一定距离时，无人机会发生危险，因此把无人机发生危险的距离定义为危险距离L1。当无人机与障碍物之间大于一定距离时，处于没有危险的安全位置，定义此时的距离为安全距离L。L1与L之间为危险区域。根据图4可知：微小型无人机前方有3个检测目标，物体Ⅰ处于危险区域内，物体Ⅱ、Ⅲ处于安全区域。当进行障碍物判定时，若目标处于安全区域，则为非障碍物；若目标处于危险区域，则为障碍物。若微小型无人机判定前方有障碍物时，则需要改变飞行方向；无障碍时，飞行方向不变。因此将阈值W定义为物距d2=L时的光流值。

计算光流值的过程如下：

(1)用金字塔LK光流法求两帧去雾处理后图像上同名点的光流向量合集：

Ja={(as0，ae0)，…，(asn，aen)}，

(15)

其中，n代表同名点的数值，Ja代表光流向量的集合，(asi，aei)代表各个光流点的源点与终点；

(2)对去雾图像进行光流计算：

(16)

(3)计算前一帧图像上特征点到图像中心点的距离：

(17)

式中(Ox，Oy)为图像中心点的坐标；

(4)设定阈值W：

(18)

其中，L为超声波传感器测得的距离信息；

(5)对光流点及其阈值进行比较。当|Vji|>W时，目标物体进入危险区域，判定为障碍物。

4 实验平台搭建与结果分析

视觉导航工控平台具有精度高、误差小的特点，因此选用视觉导航工控平台作为本实验的平台搭建。工控平台主要包含精密滑台、驱动电机、驱动电机控制模块、摄像机、超声波传感器、仿真架、嵌入式控制系统和上位机等。

运动部分的主要部件为精密滑台，其滑块能够在导轨上平滑地移动。在工控平台上让仿真架的一端稳固于滑块上，另一端稳固住摄像头及传感器，使摄像头及传感器能够在导轨处平滑地移动。仿真架的一端能够自由调节，以此调节摄像头及传感器的高度，可避免实验测量过程中的盲区。工控系统经驱动器电机控制模块可调节驱动电机的的运行、停顿和转向，通过改变输入脉冲的频段进而调节驱动电机的工作速率。电机驱动的额定驱动电流大小为2.0 A，额定的细分值大小为1/16，使得工控平台的精度大小可达到0.2 mm，通过控制驱动电机的运行状态，进一步控制精密滑台的移动。本实验的电机驱动器使用M MT-472，经工控平台右侧的拨动开关能够实现改变驱动信号的细分，进而精准地调节驱动电机安全可靠的运行。图5即为实验平台搭建图。

图5 实验平台

通过操纵摄像机朝不同方向位移，模拟无人机运动，其移动误差为0.02 mm；非平面沙盘最大起伏差为0.2 m；以摄像机模拟微小型无人机，沙盘模拟障碍物，通过实验对提出的障碍物辨识方法进行验证。

如图6所示，为不同阈值下障碍物检测结果。令基线长度D=0.1m，最大物距d2max=1.8 m，最小物距d2min=1.6 m。当物距d2为最大值时，根据阈值公式(18)求得最大阈值W1；当物距d2=1.7 m时，求得阈值为W2；当物距d2为最小值时，得到最小阈值W3。对比不同阈值下障碍物检测结果可知，(a)图是光流检测原图像，其结果显示全区域都有光流，整个沙盘都处于危险区域；(b)图是阈值为W1的检测结果，即显示为无障碍光流图像，相应的安全距离为1.55 m，表明物体处于安全区域，且阈值W1>|v|，可检测判定不存在障碍物；(c)图是阈值为W2的检测结果，图中沙盘凸起部分检测到光流，即判断局部有障碍物，阈值W2对应安全距离判定为1.67 m，且阈值W2<|v|，可判定为存在障碍物；(d)图是阈值为W3的检测结果图，即所有区域都有光流，无人机处于障碍物存在于整个区域的环境中，其对应安全距离1.85 m且阈值W3<|v|，可判定为存在障碍物。从实验结果可以得知，通过不同阈值下障碍物检测结果和理想情况对比，可知当d2min=1.6 m，阈值为W3时，测试结果与理想情况一致。

实验数据如表1所示。从表中可以看出：本文进行了多次实验，且采集了阈值、理论值、实际值、移动速度与准确率等大量的实验数据。从表中可以看出：阈值为W1时，L1的理论值大于实际值；阈值为W3时，L3的实际值大于理论值。L位于实际值L1、L3之间，且L决定了本文设定的阈值，因此用阈值法能准确地进行雾天障碍物的辨识。

表1实验数据

m

d2W1理论值L1实际值L1理论值W3理论值L3实际值L3理论值1.6～1.8h1×0.1/1.51.551.6h1×0.1/1.81.851.81.5～1.7h1×0.1/1.51.471.5h1×0.1/1.71.741.71.4～1.6h1×0.1/1.41.341.4h1×0.1/1.61.631.61.3～1.5h1×0.1/1.31.241.3h1×0.1/1.51.551.51.2～1.4h1×0.1/1.21.151.2h1×0.1/1.41.461.41.1～1.3h1×0.1/1.11.071.1h1×0.1/1.31.331.3

图6 障碍物检测结果

图7 移动速度与准确率之间的关系

如图7所示，为移动速度与准确率之间的关系。从图中可以看出，无人机的飞行速度越慢，障碍物的辨识准确率越高，反之则准确率越低。因此，在有效距离内且对无人机速度要求不高的场合下(如输电线路巡视)，本文采用的改进方法可以实现对障碍物的有效辨识。

5 结束语

针对低空有雾的复杂环境中如何感知环境信息，保证微小型无人机障碍物的辨识准确等问题，本文采用了一种基于金字塔LK光流法结合超声传感的避障方法，首先用超声波传感器探测目标，然后采用金字塔LK光流法与IMU值融合进行光流计算，最后对超声波探测到的目标进行障碍物识别，以提高微型无人机在雾天对障碍物辨识的准确性。通过搭建视觉导航工控平台，对该方法进行仿真分析，最终的实验结果表明：在有效距离内且对无人机速度要求不高的场合下，采用金字塔LK光流法及超声传感的方法，可以提高微型无人机障碍识别的准确性。