基于嵌入式Linux的农用无人机视觉导航算法及应用

韩 璞,王耀宽,胡四平

(1.南阳理工学院 软件学院,河南 南阳 473000;2.湖北科技学院 计算机科学与技术学院,湖北 咸宁 437100)

0 引言

目前,美国、德国、日本等发达国家的农用航空作业占耕地面积比例越来越高,无人机在农业植保方面相对于传统植保方式优势明显,每分钟可以完成0.07～0.13hm2的农药喷洒作业,是人工的30～60倍,且农用无人机还可以快速查看田间作物生产情况,具有传统植保不可替代的优势。本文结合图像处理和嵌入式控制技术,设计了一套农用无人机视觉导航算法,能够实现农业无人机的避障和导航控制。

1 农用无人机结构与工作原理

1.1 农用无人机机械结构

本研究中农用无人机为四旋翼无人机,采用2.4G无线射频收发模块和蓝牙4.0BLE无线控制模块,通过这两个模块实现与手机端或PC端的无线通信,实时向控制端发送飞行器传感器采集到的数据信息,同时接受控制端发送过来的控制指令。其主要的技术参数如表1所示。

表1 农用无人机主要技术参数Table 1 The main technical parameters of agricultural UAV

本文研究的无人机主要包括嵌入式核心控制器、信号输入和信号输出等模块。其中,嵌入式核心控制器采用意法半导体公司的STM32F103T8U6芯片,是一款采用72MHz 的32位Cortex-M3架构处理器,其性价比和处理速度较高,能够满足无人机控制系统对硬件的要求;信号输入由2.4G无线通信、蓝牙透传、陀螺仪加速度计和高精度气压计等构成;信号输出由电机及螺旋桨等构成。四旋翼无人机实物如图1所示。

图1 四旋翼无人机实物图Fig.1 The physical chart of four-rotor UAV

1.2 农用无人机工作原理

采用四旋翼结构,结构比较简单,由4个独立的螺旋桨组成和4个控制电机组成,通过4个电机驱动螺旋桨转动就能实现农用无人机的飞行控制。农用无人机的机械结构如图2所示。其中,M1、M2、M3和M4为4个螺旋桨,当电机M1和电机M3做逆时针旋转,电机M2和电机M4做顺时针旋转,4个螺旋桨均产生向上的升力。

图2 农用无人机的机械结构Fig.2 The mechanical structure of agricultural UAV

设定Ω1、Ω2、Ω3和Ω4为4个螺旋桨,T1、T2、T3和T4为4个螺旋桨产生的升力,Q1、Q2、Q3和Q4为4个螺旋桨产生的反扭矩力。采用动量守恒定理可以对悬浮的农用无人机在空间产生的稳态推力进行数学建模,即

Ti：=CTρAriri2Ωi2

(1)

其中,CT为农用无人机推力系数,该值取决于无人机的机械结构;ρ为环境中大气密度;Ari为第i个螺旋桨的面积;ri为第i个螺旋桨的半径。式(1)可以简化为

Ti：=cTΩi2

(2)

其中,cT>0为一个常数,其可在静态推力测试中求出该值。

采用相同的分析方法,悬浮的农用无人机产生的反扭矩为

Qi：=cQΩi2

(3)

其中,cQ>0为一个常数,同样可在静态推力测试中求出该值。

由于农用无人机设计完成后,其螺旋桨的结构和尺寸不可能发生变化,因此其稳态推力和反扭矩力只与电机的转速有关。

2 双目视觉理论

2.1 双目视觉成像原理

双目视觉理论是利用两台CCD摄像机从不同视觉获取目标物体的图像信息,根据视差计算出目标的三维坐标,整个过程包括构建目标物体三维模型和计算物体的三维坐标信息等。单目和双目视觉理论系统如图3所示。

图3 单目和双目视觉理论系统Fig.3 The monocular and binocular vision theory system

从图3(a)可以看出：采用单目视觉系统时,射线CP上任一点Q在坐标平面与空间P的成像坐标重合。而在双目视觉系统中,如图3(b)所示,通过两个摄像头采集到的图像信息,利用三角测量算法可以求出P的空间坐标。

2.2 双目视觉系统相机标定

CCD摄像机将目标物体的三维场景投射到二维平面,左右成像平面的图像原点都与图像的左上角重合,这个二维平面则可采用成像变换进行表示。CCD摄像机包括线性模型和非线性模型两种成像模型,本文研究的农用无人机双目摄像头标定模型中,采用线性模型进行分析和研究。三维空间物体成像示意如图4所示。三维空间物体成像主要包括以下4个坐标系：①CCD摄像机坐标系OCXCYCZC;②世界坐标系(XW,YW,ZW);③成像坐标系(x,y,z);④图像坐标系(u,v)。

图4 三维空间物体成像示意图Fig.4 Imaging sketch of three-dimensional space object

成像和图像两个坐标系之间的齐次坐标转换为

(4)

其中,u0、v0是图像坐标系上一点,du、dv是该点在x与y轴上映射值,s为射线光轴与坐标的倾斜因子。

根据式(4),可以得到空间坐标一点P与图像像素坐标系中像素点p的变换关系,即

(5)

其中,fx=fsx、fy=fsy为在x、y轴上的等效焦距;利用小孔成像,式(4)和式(5)可以转换为

(6)

R=

(7)

T=(tx,ty,tz)T

(8)

其中,ψ为侧倾角,θ为俯仰角,φ为旋转角,向量R为正交旋转矩阵,向量T=[tx,ty,tz]T为世界坐标系原点在图像坐标系的映射点。

3 农用无人机嵌入式系统

3.1 农用无人机硬件设计

嵌入式系统硬件设计是整个农用无人机视觉导航的基础,本文采用ARM+DSP的双处理器架构设计硬件平台,主要包括图像采集、图像处理和飞行控制等3个子系统。

图像采集子系统主要负责采集飞行环境周边的图像数据,并将采集到的图像信息传输给图像处理子系统;图像处理子系统是整个系统的核心,主要负责图像处理、飞行规划和控制指令的输出。图像处理系统反馈的飞行规划和控制指令会传递给飞行控制模块,农用无人机会根据该结果调整4个电机旋转方向和转速,实现飞行姿态的转变,从而顺利抵达目标地点。农用无人机硬件框架如图5所示。

图5 农用无人机硬件框架Fig.5 The hardware framework of agricultural UAV

1)图像采集子系统。图像采集子系统由CCD工业相机和视频解码器构成：CCD工业相机主要负责获取目标物体的图像信息;视频解码器负责将CCD工业相机采集到的图像信息进行解析,并传送给DSP处理器。图像采集子系统如图6所示。

图6 图像采集子系统Fig.6 Image acquisition subsystem

2)图像处理子系统。图像处理子系统由DSP模块和嵌入式控制器构成：DSP模块主要负责将获取的目标物体图像信息进行解码和转换,并将处理后的信息以控制指令的方式发送给嵌入式控制器;嵌入式控制器则将收到的指令信息转换成PWM,驱动4个电机的旋转方向和转速。图像处理子系统如图7所示。

图7 图像处理子系统Fig.7 Image Processing Subsystem

3.2 农用无人机视觉导航算法设计

农用无人机视觉导航算法采用人工势场法,思路是：在视觉采集障碍物和目标物体的基础上,建立一个人工势场,使得无人机和障碍物之间的距离存在排斥力,与目标物体存在吸引力,然后根据势函数的下降方向进行避障路径的规划。人工势场的计算方程式为

(9)

(10)

人工势场的负梯度值随着农用无人机和目标间靠近而减小,直至0。

本文研究的内容是农用无人机视觉导航算法,目标为动态,障碍物相对来说也为动态。农用无人机势场引力如图8所示。

图8 人工势场的势场引力Fig.8 The potential gravity of artificial potential field

因此,传统的人工势场需要进行适当改进,定义为

Uat(P,V)=ξp‖Pgoal(t)-P(t)‖m+
lv‖Vtar(t)-V(t)‖n

(11)

其中,Vtar(t)和V(t)分别为障碍物和农用无人机在t时间点的移动速度;ξp、lv为正参数;m、n为人工势场系数。人工势场的负梯度函数表达式为

Fat(p,v)=-Uat(p,v)=

-pUat(p,v)-vUat(p,v)

(12)

联立求解后可得

Fat(p,v)=Fat1(p)+Fat2(v)

(13)

其中

Fat1(p)=kξp‖Ptar(t)-p(t)‖mNprt

(14)

Fat2(v)=flv‖Vtar(t)-V(t)‖nNvrt

(15)

其中,Nprt为农用无人机指向移动障碍物的单位矢量,Nvrt为农用无人机与移动障碍物相对速度的单位矢量。

4 试验与分析

为了验证农用无人机视觉导航算法的可行性和准确性,采用MatLab仿真软件对上述算法进行了仿真,分别验证在无障碍物和有障碍物下,农用无人机是否可以顺利的达到目的地。这无人机的初始位置为(0,0),目标地点为(50,50)。MatLab仿真结果如图9所示。

图9 MatLab仿真结果图Fig.9 Simulation results by MatLab

由图9可以看出：农用无人机在无障碍物和有障碍物下,能够利用视觉导航算法,准确进行避障和导航,可以安全达到目的地;仿真结果与预期效果一致,验证了农用无人机视觉导航算法的可行性和有效性。

5 结论

结合图像处理、DSP和嵌入式控制系统,设计了一套农用无人机视觉导航算法,实现了农业无人机的避障与导航。MatLab仿真结果表明：农用无人机在无障碍物和有障碍物下,能够利用视觉导航算法,准确进行避障和导航,且仿真结果与预期效果一致,验证了农用无人机视觉导航算法的可行性和有效性。