基于机器视觉的多旋翼无人机飞行偏航控制

张 欢,李林俊,厉 伟,李宏林,王亚萍,姚继锋

(1.国能铁路装备有限责任公司生产技术部,北京 100048) (2.南京斯尔默电气有限公司智能信息事业部,江苏 南京 211161) (3.中国科学院软件研究所,北京 101408)

由于多旋翼无人机具备质量轻、结构简单、操作便利等优势,因此在军事与民用领域均有应用[1]。多旋翼无人机的反扭力矩显著低于升力力矩,因此多旋翼无人机容易出现偏航问题[2]。当多旋翼无人机出现偏航现象时,会直接影响其应用效果,因此必须及时纠正偏航问题,以确保多旋翼无人机能按照设定的航线飞行[3-4]。例如,王思孝等[5]设计的串级TD-PID无人机飞行偏航控制方法,以PID算法为外环控制器、微分跟踪器为内环控制器,提升无人机飞行偏航控制效果。该方法可有效实现无人机飞行的偏航控制,且偏航控制的稳定性较优。朱文杰等[6]通过在PID控制器内引入tansig误差反馈函数,修正控制器的参数,解决了风力扰动问题。该方法可有效实现无人机偏航控制,具备较优的适用性。上述方法均易于调节、容易实现,但在无人机执行器出现饱和现象时,上述方法受饱和现象影响,容易出现超调量大以及振荡等问题,影响无人机偏航控制性能。

机器视觉具备精度高、成本低、抗干扰能力强等优势[7],在无人机飞行控制领域,应用机器视觉,能够较好地提升无人机飞行偏航控制性能。因此,迫切需要研究基于机器视觉的多旋翼无人机飞行偏航控制方法,通过基于机器视觉的方法,准确获取无人机相对位置信息,并有效抵御外界干扰,从而提升无人机的飞行性能。

1 多旋翼无人机飞行偏航控制

1.1 基于机器视觉的多旋翼无人机飞行位置解算

针孔模型是计算机视觉中常用的相机模型之一,其特点包括简化和线性化。针孔模型假设相机通过一个小孔投射光线到图像平面上,因此可以忽略复杂的光学元件。它的核心思想是基于投影原理,将三维空间中的点通过直线投影到二维图像平面上,保持了尺度不变性[8-10]。这种模型简单而有效,常用于相机定位和三维重建等计算机视觉任务中。利用基于针孔模型的相对位置解算算法,依据CCD摄像机采集的参考目标图像,计算无人机的相对位置[11]。

图像坐标系包含xy直角坐标系与uv像素坐标系,两种坐标系间的转换关系为:

(1)

式中:(x,y)为直角坐标系坐标,(u,v)为像素坐标系坐标,(u0,v0)为xy坐标系原点在uv坐标系内的坐标。

按照相机针孔模型的近似思想[12],根据直角坐标系与像素坐标系,构造图像坐标系和相机坐标系。通过相机的内参矩阵,可以将直角坐标系中的点坐标转换为归一化的图像坐标;相机坐标系则考虑了相机与物体的3D空间关系,通常需要进行相机的外参矩阵转换,外参矩阵包含了相机的位置和姿态信息,通过给定物体在相机坐标系中的坐标,可以使用外参矩阵将其转换为图像坐标系中的坐标。图像坐标的转换方程为:

(2)

式中:(xb,yb,zb)为参考目标b在相机坐标系内的坐标,M为相机内参矩阵。通过公式(2)便可初步建立相机针孔模型。

多旋翼无人机飞行位置解算的具体步骤如下:

步骤1,按照参考目标在图像内的坐标值,结合式(1)的坐标转换关系,可确定相机的欧拉旋转角φ、θ,其中,φ为滚转角,θ为俯仰角。φ与θ的旋转矩阵如下:

(3)

(4)

步骤2,令多旋翼无人机的飞行高度为h1,对应的相机欧拉旋转角为φ1、θ1。通过式(3)与式(4)可获取相机旋转后的光轴和地面交点坐标间的关系:

Qφ1·Qθ1·[0,0,h1]=[h1sinθ1cosφ1-

h1cosθ1sinφ1-h1cosθ1cosφ1]

(5)

式中:Qφ1、Qθ1分别为相机欧拉旋转角φ1、θ1的旋转矩阵。

步骤3,通过推导式(5),同时将欧拉角改变成通用形式,获取参考目标在图像内的坐标,公式如下:

(6)

式中:z为三维坐标系中参考目标与平面垂直的高度。

步骤4,依据相机旋转关系可知z=h1,已知φ1与θ1,可得:

(7)

式中:(x1,y1)为三维坐标系中参考目标的坐标。

(8)

Q′=Qφ1×Qθ1×Qφ2×Qθ2

(9)

式中:Qφ2、Qθ2分别为相机欧拉旋转角φ2、θ2的旋转矩阵。

步骤7,联立式(9)、式(3)与式(4),可获取多旋翼无人机的相对位置,公式如下:

(10)

式中:X、Y为无人机的横纵坐标相对位置。

通过式(10)可确定多旋翼无人机的位置,当计算获取的多旋翼无人机位置与预先设定的位置间差距较大时,说明多旋翼无人机已偏航[13],需进行偏航控制。

1.2 基于机器视觉的多旋翼无人机偏航角计算

当多旋翼无人机偏航时,通常采用三角测量法检测参考目标图像的角点,通过角点匹配获取多旋翼无人机的旋转矩阵与平移向量[14],完成多旋翼无人机偏航角的计算。

令参考目标图像连通域轮廓H内待检测的像素种子点为S。在H内,按照步长L,在S左右两边分别选择两个邻近点P1、P2,通过包含P1与P2的直线方程,便可得到S至直线的距离dS。

依据dS可获取全部参考目标图像的候选角点,令距离阈值为ε。当dS≥ε时,则对应的种子点为可能的候选角点;反之为非角点。

参考目标图像角点检测的具体步骤如下:

候选角点判定条件为:

(11)

通过上述步骤能够获取m个角点,作为参考目标的角点位置。

通过匹配检测到的角点与参考图像角点,估计偏航角。其角点匹配步骤如下:

步骤1,按照参考目标图像轮廓顺序,存储检测获取的m个角点,并依次求解邻近两个角点间的距离,获取m个距离值。

步骤2,对比分析m个距离值,以最大距离值相应的两个角点输出的直线斜率[15],为参考目标图像的主方向,将参考目标图像分割成4个象限。

步骤3,按照角点至质心欧氏距离的3种情况,分类各象限内的角点,得到外点、中点与内点3种类型,按照参考图像内定义的角度,完成角点匹配,得到m个匹配角点对。

按照m个匹配角点对,估计多旋翼无人机的偏航角,具体步骤如下:

步骤1,标定CCD摄像机,得到CCD摄像机的内参矩阵,二维像素坐标系和三维世界坐标系的相应关系为:

(12)

其中:

式中:ξ为尺度因子,t为平移矩阵,Q为相机旋转矩阵,[Q|t]为3×3的相机外参矩阵,R为世界坐标系矩阵,qij为旋转向量,ti为平移向量。

步骤2,采用m个匹配角点,按照直接线性变换可获取对应的单应矩阵,并对其进行分解,获取Q与t,按照式(12)解算获取多旋翼无人机的偏航角ψ,公式如下:

ψ=arctan(q21,q11)

(13)

1.3 多旋翼无人机飞行偏航控制的实现

在抗饱和控制器的外环中,将根据上述计算得到的偏航角与期望偏航角之间的误差作为输入,输出多旋翼无人机所期望的偏航角速度,并将其输入到抗饱和控制器的内环中,生成多旋翼无人机的偏航控制量,从而完成对多旋翼无人机的偏航控制。

外环控制器采用PD控制多旋翼无人机的偏航角度,输出αε为:

(14)

式中:eψ为多旋翼无人机偏航角误差,eψ=|ψε-ψ|,其中ψε为期望偏航角;KP、KD分别为比例、微分系数;αε为期望偏航角速度。

内环采用抗饱和PID控制多旋翼无人机偏航角度,输出偏航控制量c,当电机转速存在积分饱和问题时,c为饱和状态,c∉[cmin,cmax],cmax、cmin为最大、最小偏航控制量;令多旋翼无人机偏航饱和控制量为c′,计算公式如下:

c′=max(cmin,min(c,cmax))

(15)

c的计算公式如下:

c=KPeα+KIξ

(16)

式中:eα为偏航角速度误差,eα=|αε-α|,其中α为实际偏航角速度;KI为积分系数;ξ为内环积分值。令虚拟积分控制量cξ=ξ,则:

(17)

式中:β为抗饱和系数,ρ为退饱和阈值。

考虑饱和补偿、饱和未补偿与未饱和3种模式下的控制需求,构建抗饱和控制器,获得最终的偏航控制量,计算公式如下:

(18)

通过式(18)便可以获取不同模式下的多旋翼无人机偏航控制量,提升偏航控制算法的鲁棒性与抗干扰能力。

2 实验分析

以某四旋翼无人机为实验对象,该四旋翼无人机型号为HMJ-00D4000P,最大载质量为8.6 kg,最大续航时间为38 min,机身质量为5.4 kg,轴径为900 mm,最大飞行速度为12 m/s,水平悬停精度≤±1.5 m ,垂直悬停精度≤±0.3 m,最大抗风等级为六级,视频传输距离为10～25 km。

利用本文方法采集参考目标图像,以四旋翼无人机的地面工作站为参考目标,采集结果如图1所示。

图1 参考目标图像采集结果 图2 四旋翼无人机飞行位置计算结果 图3 角点检测结果

图中,白色矩形框为四旋翼无人机的地面工作站,即参考目标。由图1可知,本文方法可有效采集参考目标图像,且采集的参考目标图像清晰度较高。

将用本文方法解算获取的无人机位置绘制成图像,以图像的形式分析采用本文方法时无人机位置的解算精度,并判定该四旋翼无人机是否存在偏航问题,分析结果如图2所示。

由图可知,本文方法可有效计算四旋翼无人机的飞行位置,且计算获取的位置曲线与实际的位置曲线非常接近,说明本文方法的计算精度较高;当四旋翼无人机飞行至15 s左右时,通过计算获取的位置曲线,与预设位置曲线间的差距较大,说明此时无人机已偏航。

利用本文方法对采集的参考目标进行角点检测,角点检测结果如图3所示。

由图可知,本文方法可有效检测参考模板图像的角点,共检测到8个角点。依据这8个角点,利用本文方法进行四旋翼无人机偏航角计算。在偏航角控制过程中,每次控制偏航角旋转5°。对比本文方法控制下的偏航角与实际偏航角之间的误差,以验证本文方法的控制性能。偏航角计算结果见表1。

分析表1可知,在不同无人机偏航角下,本文方法均可有效获取无人机的偏航角,且用本文方法获取的偏航角与实际偏航角差距较小,最大误差仅有0.725 1°,可以忽略不计。实验证明本文方法可精准计算四旋翼无人机偏航角。

当四旋翼无人机飞行过程中出现瞬间风扰,且风扰时间在10 s左右,利用本文方法对四旋翼无人机进行偏航控制,设定偏航角为8°,本文方法的偏航控制结果如图4所示。

图4 四旋翼无人机偏航控制结果

分析图4(a)可知,当无人机飞行至15 s左右时,遭遇风扰,出现偏航问题,本文方法可快速对其进行偏航控制,通过10 s左右的时间,将偏航角控制在设定值附近,且超调量较小。

根据图4(b)可知,当无人机飞行至15 s前,无人机无偏航问题,因此偏航控制量为0 N·m;当飞行至15 s时,出现偏航问题,本文方法可快速解决偏航问题,最大偏航控制量在0.07 N·m左右,经过10 s左右控制后,恢复正常。

综合分析可知,本文方法可有效实现无人机偏航控制,且偏航控制速度较快,超调量较小,且无振荡现象,具备较优的偏航控制抗干扰性能。

3 结束语

多旋翼无人机的偏航运动能力较差,这主要是因为偏航运动需要同时调整多个旋翼的转速以实现转向,这就增加了偏航控制的复杂性。为此,研发了基于机器视觉的多旋翼无人机偏航控制方法,提升偏航控制精度,确保多旋翼无人机稳定飞行。