田志伟 薛新宇 徐 阳 杨风波 孙 竹
(农业农村部南京农业机械化研究所, 南京 210014)
植保无人机作业过程中旋翼产生的下洗气流对喷洒效果影响很大[1],主要体现在对雾滴产生挟带输运效应,影响其空间分布结果;对作物冠层产生扰动作用,影响雾滴沉积在作物上的最终位置。因此成为当前研究的热点问题。
由相关文献可知,关于无人机下洗气流对雾滴分布影响的报道较多,但下洗气流所引起的作物冠层变化特征研究却少有报道[2-4]。无人机属于低空作业,在防治小麦、水稻、棉花等作物病虫害时一般作业高度为2~3.5 m、作业速度为2~5 m/s[5-6],这种情况下旋翼下洗气流有到达地面的条件。当其向下推进至作物冠层处时,将引起冠层扰动,形成冠层涡旋,处于涡旋中的植株往往剧烈摆动,叶片发生翻转,理论上认为可有效促进雾滴的穿透性能,增加植株中下层和叶片背面的雾滴沉积量,这对棉蚜、稻飞虱、小麦白粉病等分布在植株中下部及叶片背面的病虫害防治具有积极意义。李继宇等[7]通过试验也证实了这一点,研究表明,冠层扰动区域形态对雾滴粒径分布有显著影响,明显的植株扰动形态有助于促进雾滴穿透性能。因此,冠层扰动区域即是雾滴的靶标区域,决定了雾滴的期望沉积位置[8]。
植保无人机旋翼型号、数量、布置方式不同均会造成下洗气流强度和分布规律不同,所以各自引起的冠层扰动区域也存在差异。揭示不同机型引起的冠层扰动区域特点,有助于理解无人机的作业特征,可为优化雾滴沉积效果和施药系统提供理论依据。在作业过程中,冠层扰动区域的位置是连续变化的,作物摆动也是动态的,因此很难通过物理测量方法直接获取该区域的特征信息。本文通过航拍方式采集不同无人机作业影像数据,对各机型引起的冠层扰动区域特征进行分析,以P20型植保无人机为对象,采用机器视觉技术探索不同作业速度下的冠层扰动区域变化规律。
分别于2018年和2019年在江苏省建湖县昊田谷物种植农民专业合作社小麦田,通过航拍方式采集不同机型无人机常规作业参数(高度1.5~3 m,速度3~5 m/s)下的作业影像数据。首先对比无人机悬停时的冠层扰动区域特征,无自然风影响的情况下,该区域均位于无人机正下方。如图1所示,单旋翼无人机引起的冠层扰动区域与多旋翼无人机相比有较明显的差异,由于旋翼位于机身正上方,受机身阻碍作用下洗气流引起的冠层扰动区域呈现“环状”,即机身正下方的作物不受干扰。多旋翼植保无人机的旋翼均匀布置在机身周围,旋翼正下方基本无遮挡,各旋翼产生的下洗气流之间首先会相互干涉,随后叠加聚合,形成统一的强劲气流俯冲下来,导致作物冠层出现圆形的扰动区域,区域内的所有植株剧烈摆动,向四周扑倒。就扰动区域面积而言,单旋翼无人机动力源多为油动,整机质量相对偏大,因此需要较大的旋翼来满足其升力需求,大旋翼产生的气流更强劲,加之机身的阻碍发散作用,所以引起的冠层扰动区域面积大于多旋翼无人机。
作业过程中,无人机与作物冠层具有一定高度,当下洗气流从旋翼推进至冠层处时无人机已经前进了一段距离,因此出现了冠层扰动区域相对无人机滞后的现象,同时,受空气阻力作用,下洗气流会被削弱,所以冠层扰动区域相对于悬停时变小且形状不规则。作业时无人机飞行姿态包括前进和倒退两种,由图2可知,单旋翼无人机前进时,尾管的阻碍和尾翼气流的干扰作用导致旋翼下洗气流被严重削弱,冠层扰动程度明显降低且不规则;无人机倒退时,机头部位对下洗气流影响小,冠层扰动区域较大,呈U状分布包裹机头,植株摆动剧烈。王昌陵等[9]研究表明,3WQF80-10型单旋翼植保无人机倒退飞行方式的作业效果更好,底部采样点处的雾滴沉积数量较多,因为倒退飞行姿态的下洗气流更强劲,因此促进了雾滴沉积。多旋翼无人机结构对称性较好,旋翼分布均匀,所以前进和倒退2种飞行姿态对冠层扰动区域的影响较小,以图2中的P20型无人机为例,两种飞行方式下冠层扰动程度、扰动区域大小和形状基本一致。
此外,多旋翼无人机不同机型中,随着旋翼越小,布置间距越大,各旋翼产生的下洗气流强度和聚合效果降低,最终造成冠层扰动效果不明显,如JF01-20型植保无人机,通过图3可知该机型作业时作物冠层仅出现微小摆动,并无明显的涡旋区域。
植保无人机应用过程中通常飞行高度很少改变,而为提高作业效率飞行速度设置差异较大,1~8 m/s范围内均有报道[10-11]。无人机快速前进时冠层扰动区域会滞后,但具体特征未知,其与无人机飞行速度之间的关系依旧不明确,这对于优化施药系统和无人机喷洒性能是一个极大的阻碍。因此以具有代表性的P20型四旋翼植保无人机为对象,采用机器视觉方法探索不同作业速度对作物冠层扰动区域的影响。参考常规作业参数,飞行高度保持2 m不变,分别采集3、4、5、6 m/s飞行速度下的影像数据进行研究。
2019年4月2日通过航拍方式采集植保无人机作业影像数据。航拍地点为宜昌市农业科学研究所试验基地,试验田面积0.5 hm2,作物为小麦,此时处于拔节期,平均株高20 cm。植保无人机为广州极飞科技有限公司生产的P20型电动多旋翼植保无人机(2018款),该机有效喷幅3 m,采用离心雾化方式,4个喷头分别安装在旋翼正下方,单位面积喷洒量设置为12 L/hm2,喷头雾化雾滴粒径为120 μm,喷洒液为自来水。其作业高度1~10 m、作业速度1~8 m/s范围内可调。
航拍无人机机型为大疆精灵4,续航时间约30 min,最大可承受风速10 m/s,悬停精度垂直±0.1 m,水平±0.3 m。相机镜头参数为FOV 94° 20 mm,有效像素1 200万,支持单幅拍摄、多幅连拍及定时拍摄等,云台俯仰角范围-90°~ 30°,云台和相机一体化设计保证了相机在运动中也能捕捉到稳定流畅的影像。
试验期间用Kestrel4500型气象站(美国Nielsen-Kellerman公司)测得自然风速为0~1.80 m/s,温度19.40~25.70℃,相对湿度为43.20%~48.90%,气象环境较为稳定,符合作业要求。航拍方式如图4所示,植保无人机沿规划好的单条路径进行喷洒作业,航拍无人机悬停在植保机侧方拍摄,悬停高度3 m。为保证图像景深一致和两机作业安全,拍摄时两架飞机相距30 m且保持不变,每个作业速度进行多次影像数据采集,视频帧速率为120 f/s。植保无人机另一侧设有标志物,为避免斜视角度所引起的计算误差,计算冠层扰动区域滞后距离时选取标志物、植保无人机和航拍机三点一线处的视频帧。此外,P20无人机的作业高度设置以起飞点为基准,为确保实际作业高度为2 m,无人机起飞地点高度与小麦冠层平齐。
对获取的无人机作业影像数据进行预处理,截取清晰稳定的片段。程序编写使用Python语言,配合OpenCV计算机视觉库实现目标区域的识别和提取。经尝试发现,试验环境背景复杂,包含树木、房屋等物体,噪声大,加之试验田小麦长势不均,颜色深浅不一,通过图像背景分割、二值化、中值滤波法等基本处理办法很难提取旋翼下洗气流对作物冠层的扰动区域,而动态视频中小麦植株摆动剧烈,该区域十分明显。在视频帧序列中冠层扰动区域和无人机都是移动的,因此对图像中特征区域的提取问题转化为对视频帧序列中移动物体的识别和提取。
移动物的识别方法主要包括帧间差分法、背景减法和光流法。帧间差分法借助视频序列连续的特征,对时间上连续的2帧或3帧图像进行差分运算,不同帧对应的像素点相减,判断灰度差的绝对值,当绝对值超过一定阈值时便判断为运动目标,从而实现目标的检测功能[12]。该算法对视频质量要求较高,背景中微小变动都会被判断为移动物。如图5a所示,采用帧间差分识别方法,结果表明背景的稍微变动(如树枝微小摆动)导致错误率很高。背景减法(Background subtraction)是当前运动目标检测技术中应用较为广泛的一类方法,其基本思想和帧间差分法相类似,都是利用不同图像的差分运算提取目标区域。与帧间差分法不同的是,背景减法不是将当前帧图像与相邻帧图像相减,而是将当前帧图像与一个不断更新的背景模型相减[13]。该算法基于视频流背景基本静止不变的假设,事实上,由于阴影、光的反射以及环境中任何其他变化都可能导致算法失效。图5b中采用Mixture of Gaussians(MOG2)背景减法进行前景和背景分割,结果表明无人机快速移动以及背景复杂的情况下分割效果不理想,噪声较多。
光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来计算相邻帧间物体运动信息的一种方法[14-15]。基于相邻两帧间的目标物像素强度保持不变的假设,t时刻位于(x,y)处的强度为I(x,y,t),一个目标像素在相邻两帧间移动了(Δx,Δy),耗时Δt,可得到基本约束方程[16]
I=(x,y,t)=I(x+Δx,y+Δy,t+Δt)
(1)
利用泰勒级数公式可将其展开为
(2)
其中,H是泰勒级数展开式的高阶项,基于相邻帧之间目标像素位移很小的假设,H无穷小,因此可默认为0,则有
(3)
对Δx、Δy、Δt求时间的导数得到
(4)
Vx、Vy——目标像素在x和y轴方向上的速度分量,未知量
可以通过求解Vx和Vy来判断像素是否发生位移。因未知量个数多于约束方程个数,所以求解时需要引入其他约束条件。Lucas-Kanade算法是较常用的一种求解方法,该方法假设与目标像素相邻的所有像素都具有相同的移动,因此选择一个以目标像素为核心的3×3大小的计算窗口,在这个窗口当中有9个像素点均满足公式(4),此时该问题变成了使用9个点求解两个未知量。光流法又分为稀疏光流和密集光流。稀疏光流选择一个感兴趣的特征(如边角)来跟踪它的速度向量,在轨迹追踪方面应用较多。密集光流将计算每一帧每个像素的光流向量,计算速度较慢,但能提供更准确和更密集的结果,适用于运动目标分割应用。本节旨在识别不断变化的作物冠层扰动区域,因此选用密集光流法。光流法计算误差主要发生在运动边缘、灰度梯度变化小及大尺度图像运动的区域,因此通常采用平均角误差来衡量算法的精度,平均角误差是整个光流场角误差的平均值,指测试光流与真实光流之间的夹角[17-18]。文献[19]对比了9种经典光流算法的精度,结果表明Lucas-Kanade算法在100%密集光流计算过程中平均角误差为2.47°,表现优异,而其它算法平均角误差最大达到91.71°,因此选用Lucas-Kanade算法提取冠层扰动区域计算结果可靠。由图5c可看出,该算法对背景的去除效果较好,能准确识别运动的无人机和冠层扰动区域,对复杂背景干扰具有良好的鲁棒性。
通过光流法识别出冠层扰动区域和无人机位置后,对这两个区域进行椭圆拟合,获取形心点以备冠层扰动区域滞后距离计算。首先对图像进行灰度化处理,如图6a所示。其次进行高斯模糊来减少噪声。高斯模糊也叫高斯平滑,其模糊过程为图像与正态分布做卷积运算,将每个像素重新赋值,所赋的值等于周边像素的平均值。为了使模糊效果更加平滑,在计算周边像素平均值时根据它们与中心点的距离来分配不同的权重,距中心点越远的像素权重越小,计算像素点权重的高斯函数为
(5)
式中σ——正态分布标准偏差
x、y——横轴和纵轴方向上的计算范围半径
周边计算范围越大,这些像素平均值越小,则模糊效果越强烈。本文计算范围设置为5×5,图像模糊效果如图6b。之后对图像进行二值化处理,阈值起始值设为15,最大值为255,结果如图6c。利用Canny边缘检测算法计算特征区域轮廓,无人机快速前进时,冠层扰动区域呈近似椭圆形分布,为获取该区域和无人机相对位置关系,通过椭圆拟合冠层扰动区域和无人机区域,拟合时设置阈值过滤掉噪声点并提取椭圆形心(图6d)。椭圆曲线拟合过程可描述为[20]:一组2维数据点集合P={Xi}(i=1,2,…,n),Xi的坐标为(xi,yi);由向量m参数化的曲线族C(m);定义δ(C(m),X)为点X到曲线C(m)的距离。求解mmin,使得偏差函数
(6)
达到全局最小,此时的曲线即为最优拟合椭圆。
如图7所示,试验期间自然风速较小,所以冠层扰动区域位于无人机正后方。得到无人机和冠层扰动区域形心后,使用电子测量软件Ruler可测得角α,无人机飞行高度h=2 m已知,根据公式
L=htanα
(7)
可计算出不同作业速度下冠层扰动区域相对于无人机的水平滞后距离。每个速度取9幅视频序列进行处理。要使无人机旋翼下洗气流使叶片翻转过来后雾滴能及时落在叶片背面,则需要保证冠层扰动区和雾滴沉积区间距a接近0,这样才能有效促进雾滴穿透性。
作业时,无人机实际飞行高度会有所波动,以h=2 m的基准计算冠层扰动区域滞后距离会产生相应的误差。试验后导出无人机作业日志中的GPS航线记录数据,如图8所示,无人机进入航线和离开航线时飞行高度设置为5 m,作业时高度在2 m附近有微小波动,计算得到3、4、5、6 m/s作业速度下的高度相对误差分别为1.01%、1.43%、0.21%、1.80%,总体上不超过2%,说明以作业高度为基准计算冠层扰动区域滞后距离是可行的。
变异系数用来表述一组数据的离散程度。对于冠层扰动区域滞后距离,可用来反映不同速度下多次测得滞后距离的波动性。数值越小说明测得的数据越稳定。
图9a为无人机不同作业速度下所采集的原始图像,从上到下依次为3、4、5、6 m/s。通过光流法计算不同作业速度下无人机和冠层扰动区域,如图9b所示,彩色区域代表随着视频帧序列变化而产生位移的像素点,黑色区域为没有位移的像素点,即背景区域。色彩越鲜艳,说明位移越显著。
图9c为无人机和冠层扰动区域轮廓特征的椭圆拟合和形心提取结果,可以看出,无人机飞行速度越快,冠层扰动区域滞后越严重。同时,该区域大小和形状受速度变化影响很大,速度低时,该区域较为集中,呈近似圆形分布,色彩鲜艳,说明小麦冠层摆动剧烈;速度高时,该区域呈长条状分布,颜色变浅,说明植株摆动较小。由此可见,植保无人机飞行速度过快对下洗气流的削弱作用很大,快速前进时,下洗气流受到向后的空气阻力作用,垂直方向上的速度有所损失。
根据公式(7)计算冠层扰动区域滞后距离,4个作业速度水平下各取9个视频帧序列进行处理并计算,结果如表1所示,可以看出,冠层扰动区域滞后距离与无人机作业速度成正比关系,当速度从3 m/s增加至6 m/s时,冠层扰动区域平均滞后距离分别为1.77、2.71、3.61、4.31 m。根据无人机实际作业高度误差换算可得到滞后距离的绝对误差分别为0.02、0.04、0.01、0.08 m。对滞后距离与速度之间的关系进行回归分析,得出y=0.858 5x-0.738 8,R2=0.875 4。
表1 不同作业速度下冠层扰动区域滞后距离Tab.1 Lag distance of canopy disturbed area at different flight speeds m
计算不同作业速度下冠层扰动区域滞后距离变异系数。3、4、5、6 m/s时分别为7.41%、8.56%、8.84%、11.75%,随着无人机飞行速度增加变异系数加大,说明多次影像数据测得的冠层扰动区域滞后距离波动变大。无人机飞行速度过快导致旋翼下洗气流被削弱,所以很难抵抗自然风带来的影响,作业时测得自然风速为0~1.80 m/s,平均为0.96 m/s,间断性的自然风导致下洗气流到达冠层处的位置不稳定。飞行速度较慢时,下洗气流强劲,不容易受自然风干扰,所以得到的冠层扰动区域滞后距离波动小。旋翼下洗气流强劲,一定程度上可以抵抗自然风的影响,从而增加雾滴的抗飘移性能[21]。另一方面,下洗气流也会对雾滴产生运输效应,能胁迫雾滴沉降,改善穿透性,然而速度过快时将无法实现这一目的,这也是一些参数优化研究得出无人机低速作业时雾滴沉积效果较好的原因之一[22-23]。综上,无人机喷洒时作业速度不宜过快。
有研究表明无人机旋翼下洗气流有助于促进雾滴的穿透性和分布均匀性[24]。然而当无人机飞行速度过快时,下洗气流会被严重削弱,各旋翼产生的下洗气流间最佳聚合位置升高[25]。对于雾滴而言,这种情况下下洗气流将不会对其沉降产生促进效果,反而可能引起“卷扬效应”[3],加剧雾滴的漂移。就作物冠层扰动情况而言,飞行速度过快时下洗气流“疲软”,在作物冠层上扫掠而过,该区域呈长条状分布,植株摆动幅度小,只有较少的叶片发生翻转,因此对雾滴沉积在植株中下层和叶片背面的促进效果有限。从侧面说明,植保无人机旋翼下洗气流若能有效改善雾滴穿透性能,需要满足3个条件:①有足够的气流强度来保证雾滴被输运至作物冠层处。②有足够的气流强度扰动作物冠层,使其摆动、叶片翻转。③雾滴流最终沉积位置和冠层扰动区域位置要重合,从而保证下洗气流使植株摆动、叶片翻转时雾滴恰好及时沉积在叶片背面和植株中下层。
本文研究发现,无人机飞行速度对旋翼下洗流气强度削弱作用很大,因此,要满足上述条件①和条件②,保证足够的气流强度,降低无人机作业速度即可。条件③需要保证冠层扰动区域位置和雾滴流沉积位置重合,这一点实际上较难满足。无人机悬停时,雾滴流和冠层扰动区域均位于无人机正下方,当无人机快速前进时,两区域均会滞后,然而,由于不同粒子在空气中运动时速度衰减程度不同,气流衰减较快,速度损失大,而雾滴衰减慢,速度损失小,导致其最终到达作物冠层处的位置不同,这就造成叶片翻转过来后雾滴没能及时沉积在背面。在使用触杀剂防治病虫害时,靶标区域较多的雾滴沉积数量是保证良好防治效果的前提,因此消除作物冠层扰动区和雾滴沉积区之间的间距,使得两区域重合是未来重点研究方向。
通过外界干预促使作物冠层扰动区和雾滴沉积区重合有2个主要途径:优化无人机施药系统,使雾滴沉积区域平移至冠层扰动漩涡中,这一点实施起来难度较大;扩大冠层扰动区域面积,使其主动包裹雾滴沉积区域,冠层扰动区域面积受无人机机型和作业参数影响,机型对其影响体现在旋翼大小和排布方式上,旋翼越大、排布越分散则冠层扰动区域就越大,这是机身的固有特性,是难以改变的。作业过程中,不同的载重量、飞行速度和高度均会影响无人机旋翼下洗气流推进至作物冠层处时的强度,从而导致冠层扰动程度不同,面积也会有差异,因此通过调节作业参数来获得较大的冠层扰动区域是一个可行的方法。本文着重讨论了冠层扰动区域的滞后特性,未对该区域的面积进行研究,不同作业参数与冠层扰动区域面积关系仍旧是未知的,哪些参数组合能够取得较大的冠层扰动区域还有待深入研究。
(1)单旋翼和多旋翼植保无人机下洗气流所引起的作物冠层扰动区域特征有明显差异。悬停时,单旋翼无人机的冠层扰动区域呈环状,面积较大;多旋翼无人机的呈圆形,面积较小。因受机身不对称结构影响,单旋翼无人机在前进和倒退两种飞行姿态下的冠层扰动区域特征不同。前进时,冠层扰动程度小且不规则,倒退时,冠层扰动区域面积较大且呈U状分布包裹机头;多旋翼无人机2种飞行姿态下冠层扰动区域面积和形状基本一致。此外,旋翼小、布置分散将会减弱下洗气流对冠层的扰动程度。
(2)作业速度对冠层扰动区域特征有显著影响。速度低时,该区域较为集中,呈近似椭圆形分布,植株运动剧烈;速度高时,下洗气流扫掠而过,该区域呈长条状分布,植株摆动很小。当P20型植保无人机速度为3、4、5、6 m/s时,冠层扰动区域平均滞后距离分别为1.77、2.71、3.61、4.31 m。扰动区域滞后距离和无人机飞行速度成正比,对两者关系进行回归分析得出y=0.858 5x-0.738 8,R2=0.875 4。
(3)速度为3、4、5、6 m/s所对应的冠层扰动区域滞后距离变异系数分别为7.41%、8.56%、8.84%和11.75%,说明速度越快无人机下洗气流对自然风的抵抗力越弱,冠层扰动区域位置不稳定,因此不能有效抑制雾滴漂移。