基于机器视觉的植保雾滴类型识别模型建立

张开飞， 程上上， 张志,2， 丁力， 赵弋秋， 李赫

(1.河南农业大学机电工程学院，河南 郑州450002； 2.江苏大学农业工程学院，江苏 镇江 212013)

农业生产中病虫草害频发，化学防治仍然是当前主要手段，农民为确保农药喷施防治效果通常选择加大喷雾量，大量雾滴沉降土地造成了严重污染[1-4]。为了提高农药利用率，先进控制和传感器等技术被应用到喷雾机械的设计中。变量喷雾机、对靶喷雾机等精准施药机具因定量喷施特点受到大量推广，但如何快速评价其作业效果一直是测试中的难题。农药防治效果与雾化后药液雾滴在靶标分布的均匀性密切相关[5]。在农药喷雾作业后，及时获得药液雾滴在田间的沉积分布信息，对优化施药机具作业参数、促进植保机械的研发进而达到农药减量增效的目标十分重要[6-7]。

目前，田间雾滴沉积信息的获取方法主要包括直接获取法和间接获取法。直接获取法是利用蒸馏水洗脱叶片上喷洒的荧光染色剂从而得到叶片上的雾滴沉积量，但在洗脱过程中易受操作者影响导致评测误差大。间接获取法是利用滤纸、油盘、水敏试纸等材料替代叶片收集雾滴，再以人工计数或图像处理对收集的雾滴统计分析[8]。水敏试纸本色为黄色，遇水区域迅速变为蓝色并形成雾滴斑痕，易于图像处理和保存，是目前常用的植保雾滴收集材料，也是国内外学者研究的重点。机器视觉就是利用图像摄取采集装置代替人工进行测量，并通过专业设备进行图像处理[9]。祁力钧等[10]模拟田间实际喷雾情况，在利用图像采集系统采集雾滴图像基础上，通过基于寻找分离点的改进分离算法对粘连雾滴进行了分离处理。ÖZLÜOYMAK等[11]开发了基于视觉模拟评分法(visual analogue scale，VAS)的水敏试纸喷雾检测系统，并通过分水岭分割法对粘连雾滴进行分割。在相关研究中发现，受喷雾雾滴密度大小以及风向不确定等因素影响，植保喷雾作业极易产生2个或2个以上在空间位置上重叠的雾滴，进而在水敏试纸表面形成粘连雾滴斑痕，如直接对粘连雾滴计数，则会造成结果偏低。为提高检测精度，在雾滴识别过程中就需要首先准确区分单个雾滴与粘连雾滴，然后再对识别出的粘连雾滴进行分割。现有相关研究中对于粘连雾滴的识别大多通过雾滴轮廓的个别参数的取值阈值进行区分，其识别精度有待提高。本研究在通过机器视觉采集不同类型雾滴的基础上对其轮廓参数进行统计分析，并基于机器学习技术建立雾滴类型识别模型，以期提高雾滴类型识别精度并缩短识别时间，实现喷雾作业后雾滴田间分布的精准快速获取，从而为植保机械喷雾参数设置提供理论基础。

1 材料与方法

1.1 水敏试纸图像采集

水敏试纸图像采集于河南盛收机械公司试验田，通过3D打印技术制备了放置水敏试纸的多角度托板，以模拟植物叶片自然条件下的生长倾角，最大限度还原雾滴接触叶面后形成的斑痕，托板角度如图1所示。本研究采集试验选用全丰航空植保公司生产的3WQFTX-101S型植保无人机，该无人机喷幅较大，雾滴在田间均匀分布，同时能以相同速率喷洒全部田地，因此试纸前后距离对雾滴图像采集的影响较小。无人机喷施溶液为蒸馏水，飞行参数为常用植保作业参数，即无人机与采集雾滴的水敏试纸垂直高度为2.0 m，先后以3、4、5 m·s-1速率展开飞行喷雾作业[12]。所获水敏试纸由安卓LIO-AL00手机拍摄并上传至型号为TG01-155ccn的计算机进行图像处理。图像处理程序基于开源图像项目库OpenCV编写，具有较为完备图像处理接口，可提供丰富的函数库，分析方便精准，应用广泛。

图1 雾滴图像样本采集试验现场Fig.1 Test site of droplet image sample collection

1.2 雾滴轮廓参数表示方法

根据雾滴轮廓以及粘连雾滴的重叠区域的特征，综合细胞图像识别领域常用参数，本研究选取7个参数描述水敏试纸上不同雾滴斑痕轮廓的差异性[13-15]。根据饶萍等[16]的方法采用SPSS软件对7个轮廓参数与不同雾滴类型进行相关分析。

1.2.1 面积 对于宽度为n，高度为m的二值化图像，可通过对雾滴图像进行扫描并计算像素值为1的像素点总数来表示该区域的面积，其公式为:

(1)

式中：area为区域R的面积，单位为像素；n为宽度，m为高度。

图2 周长计算标准图Fig.2 Circumference calculation standard chart

1.2.3 圆形度 圆形度描述雾滴斑痕轮廓与圆形的相似程度，其计算公式为：

(2)

式中:ratio为圆形度；Dmax为雾滴质心到其全部轮廓像素的最大距离。

1.2.4 形状因子 形状因子(fac)用以度量雾滴图像的复杂程度，其计算公式为：

(3)

1.2.5 矩形拟合因子 矩形拟合因子(rect_cov)指雾滴轮廓面积与最小外接矩形面积的比值。当雾滴趋向圆形时，其外接矩形为该圆外切矩形，而狭长的雾滴外接矩形面积较大，同等面积的2个雾滴矩形拟合因子存在差异，其计算公式为:

(4)

式中:Sz为雾滴轮廓最小外接矩形的面积，单位为像素。

1.2.6 固性 固性(solidity)为雾滴轮廓面积与包含其最小凸多边形面积的比值，其计算公式为:

(5)

式中:So为包含雾滴轮廓的最小凸边形面积，单位为像素。

1.2.7 体态比 体态比(rab)是指物体雾滴轮廓的最小外接矩形的长宽比，其计算公式为:

(6)

式中:W为雾滴轮廓最小外接矩形短边的长度，单位为像素；L为雾滴轮廓最小外接矩形长边的长度，单位为像素。

1.3 雾滴类型识别模型建立

机器学习是一门多领域融合学科，在人工智能和智慧农业领域得到广泛的应用[17-18]。引入机器学习方法有助于研究7个雾滴参数选取对雾滴类型识别的相关性影响。本研究将7个雾滴轮廓参数作为驱动变量，调用K近邻分类模型、逻辑回归分类模型、决策树分类模型和支持向量机等机器学习模型，建立粘连雾滴与单个雾滴的识别模型[19-20]，图3为建立的识别模型流程图。

图3 识别模型流程图Fig.3 Flow chart of classification model

2 雾滴轮廓参数统计与分析

水敏试纸上的雾滴斑痕，经手机拍摄后上传至电脑，即获得雾滴图像。为减少图像数据量，便于后期运算，采用图像去噪和图像二值化对雾滴图像进行预处理[21]。本研究分别统计通人工选取300个粘连雾滴图像和300个非粘连雾滴图像的7个轮廓参数。图4为预处理后的部分单个雾滴图像和粘连雾滴图像。

图4 部分选取的雾滴二值化图像Fig.4 Selected partial droplet binarization image

2.1 雾滴轮廓参数统计分析

2.1.1 不同类型雾滴面积参数统计分析 单个雾滴之间在水敏试纸重叠后形成粘连雾滴图像，雾滴轮廓的面积参数可作为粘连雾滴和单个雾滴的识别依据。对单个雾滴和粘连雾滴的面积参数统计结果如图5所示。单个雾滴相对于粘连雾滴面积分布较为集中且参数整体偏小，粘连雾滴与单个雾滴的轮廓面积参数分布仍存在较大交叉部分。考虑到田间植保喷雾时，药液经喷头雾化的液滴有尺寸差异，同时也存在雾滴融合和蒸发，故单个雾滴或粘连雾滴各自产生的斑痕区域也存在较大差异。

图5 不同类型雾滴的面积参数分布Fig.5 Distribution of area parameters of different types of droplets

2.1.2 不同类型雾滴周长参数统计分析 对单个雾滴与粘连雾滴的周长参数统计结果如图6所示。与粘连雾滴相比，单个雾滴的轮廓周长参数平均值较小。粘连雾滴的轮廓周长整体分布较为分散，多数介于50～225像素之间。单个雾滴的轮廓周长分布相对集中，多数处于25～125像素中。粘连雾滴与单个雾滴的轮廓周长参数值仍存在较大部分的交叉。

图6 不同类型雾滴的周长参数分布Fig.6 Distribution of perimeter parameters of different types of droplets

2.1.3 不同类型雾滴体态比参数统计分析 在理想状态下，单个雾滴滴落水敏试纸上所形成的斑痕应近似圆形，即其体态比应接近1。粘连雾滴因粘连区域存在其斑痕与圆形有较大差异，故粘连雾滴的体态比应较小。对单个雾滴和粘连雾滴的体态比参数统计的值统计结果如图7所示。粘连雾滴和单个雾滴的轮廓体态比参数值无明显差异。考虑到田间喷雾防治时，因植株不同部位的存在叶面夹角和风场差异等影响，雾滴会在叶面滑落，故雾滴在叶面表面产生的斑痕并非圆形。当粘连雾滴的粘连区域重叠部分较大时，其轮廓体态比参数也会接近1。

图7 不同类型雾滴的体态比参数分布Fig.7 Distribution of body ratio parameters of different types of droplets

2.1.4 不同类型雾滴矩形拟合因子参数统计分析 图8为单个雾滴与粘连雾滴的矩形拟合因子参数值分布图。粘连雾滴的矩形拟合因子参数整体较为分散，大多介于0.45～0.75之间。单个雾滴轮廓的矩形拟合因子参数相对集中，多数处于0.65～0.85之间。2种雾滴的矩形拟合因子参数分布仍然具有较大的交叉区域。通过粘连雾滴分析可知，当粘连雾滴重叠区域较小时，粘连区域存在较大的凹陷区域，此时计算出的最小外接矩形面积大幅增加，致使其矩形拟合因子参数较小。当雾滴粘连区域较大时，此时矩形拟合因子参数值可接近于单个雾滴取值，粘连雾滴与单个雾滴的矩形拟合因子参数无明显差异。

图8 不同类型雾滴的矩形拟合因子参数分布图Fig.8 Rectangular fitting factor parameter distribution of different types of droplets

2.1.5 不同类型雾滴圆形度参数统计分析 单个雾滴与粘连雾滴的圆形度参数值统计结果如图9所示。单个雾滴图像的圆形度参数值大致包含了粘连雾滴图像的圆形度参数值，因此以圆形度识别雾滴类型分类方法可能会导致粘连雾滴与单个雾滴分类有误。但是，吴亚垒等[22]研究发现，如果所选雾滴的轮廓相对规整，则可将圆形度作为识别单个雾滴与粘连雾滴的依据。

图9 不同类型雾滴的圆形度参数分布图Fig.9 Distribution of circularity parameters of different types of droplets

2.1.6 不同类型雾滴形状因子参数统计分析 单个雾滴与粘连雾滴的形状因子参数值分布如图10所示。粘连雾滴轮廓的形状因子参数整体较小，多数分布在0.3～0.6中；而单个雾滴轮廓的形状因子参数分布较为复杂，多数集中在0.6～0.9范围中，而一部分参数偏小并处于0.4～0.6之间，其原因可能是雾滴形状不规整。单个雾滴和粘连雾滴轮廓的形状因子在0.45～0.65之间存在较多重叠。

图10 不同类型雾滴的形状因子参数分布图Fig.10 Distribution of shape factor parameters of different types of droplets

2.1.7 不同类型雾滴固性参数统计分析 单个雾滴与粘连雾滴的固性参数值分布如图11所示。单个雾滴轮廓的固性参数值分布非常集中，大部分介于0.90～1.00，小部分处于0.75～0.90之间。粘连雾滴的固性参数值分布相对分散，大部分值未达0.90。因单个雾滴的轮廓相对规整，其轮廓面积接近于最小凸包面积，此时计算出的固性参数值较高。而对于易有凹陷区域的粘连雾滴，其最小凸包面积大于轮廓面积，计算得到的固性参数值偏低。

图11 不同类型雾滴的固性参数分布图Fig.11 Distribution of solidity parameters of different types of droplets

2.2 雾滴轮廓参数与雾滴类型相关性分析

经过2.1统计分析发现，单一参数用于区分雾滴类型时准确率低，因此将雾滴类型视为1个整体指标，采用SPSS软件进行7个轮廓参数与雾滴类型的相关性分析，结果见表1。7个雾滴轮廓特征参数中，固性参数与粘连雾滴和单个雾滴识别的相关系数最高。但是，根据2.1.7的研究结果，仅将固性参数值0.90当作评判标准来识别粘连雾滴与单个雾滴，其分类准确度仍然较低。

表1 7个雾滴轮廓参数与雾滴类型的相关性Table 1 Correlation between shape parameters and droplet types

3 雾滴类型识别模型的建立与试验分析

3.1 识别模型选择

K近邻算法(k-Nearest Neighbor，KNN)是基于距离的分类算法，算法的主要参数为k[23-24]。k取值大时，容易造成欠拟合；k取值小，容易造成模型的过拟合。选用k取值范围1～10，SelectBest参数取值范围1～7；使用多项式回归(PolynomialFeatures)方法构建符合特征，其多项式次数依次取值1、2、3和4。通过网格搜索和交叉验证得出最佳参数：SelectBest参数取值为2，PolynomialFeatures多项式次数取值为3，k取值为4。

逻辑回归(logistic regressive)是机器学习中做分类任务常用的方法[25]，属于广义的线性模型，多用于二分类问题。通过正则权重项C依次取值0.000 1、0.001、0.01、0.1、1、10、100和1 000建立模型，正则项使用L1范数和L2范数分别训练。使用SelectBest筛选特征，使用PolynomialFeatures构建符合特征。网格搜索和交叉验证结果显示：当SelectKBest参数取值为7、PolynomialFeatures的多项式次数为3、正则项权重C为10、正则项为L1范数时模型最优。

决策树模型(decision tree)是解释性强的机器学习非线性监督模型[26]。特征选择标准(criterion)使用信息熵(entropy)和基尼函数(gini)；决策树最大深度(max_depth)取值2～10；内部节点再划分的最小样本数取值2～10 。使用SelectBest筛选特征，使用PolynomialFeatures构建符合特征。网格搜索和交叉验证结果显示：当SelectKBest参数取值为3、PolynomialFeatures多项式次数为3、决策树最大深度为4、内部节点再划分需要的最小样本数为14、以信息熵为特征选择标准时模型最优。

支持向量机(support vector machine，SVM)是结构风险最小化的学习监督模型[27]。惩罚系数C取值0.001、0.001、0.01、0.1、1、10、100和100；kernel选用高斯函数核；多项和函数系数(gamma)取值分别为0.000 1、0.001、0.01、0.1、1、10、100。使用SelectBest筛选特征，使用PolynomialFeatures构建符合特征。网格搜索和交叉验证结果显示，SelectKBest参数取值为3、PolynomialFeatures多项式次数为3、惩罚系数C取值为10、gamma系数取值为10时构建核函数为高斯核函数时模型最优。

3.2 识别模型分析

接受者工作特征曲线(receiver operating characteristic, ROC)常用于评估模型性能，是反应敏感性和特异性连续变量的综合指标。ROC曲线的横轴(假正例率)和纵轴(真正例率)在雾滴识别模型评价中分别象征雾滴类型被误判的概率和准确预测的成功率[28]。对于没有相交的模型曲线，曲线越接近(0，1)点，表示模型的分类准确性越高。对于相交的模型曲线，需引入ROC曲线与横轴围成的面积(area under the curve of ROC,AUC)进行比较，AUC的取值范围介于0和1之间，其值越大则表明模型的预测精度越高。最优参数的不同雾滴类型分类模型的ROC曲线如图12所示，逻辑回归分类模型的曲线最接近(0,1)点，逻辑回归分类模型预测精度最高且无明显相交。AUC取值以逻辑回归分类模型0.98最高、支持向量机分类模型0.97次之、决策树分类模型0.95和K近邻分类模型0.94。因此，在上述4种识别模型中，逻辑回归分类模型对单个雾滴与单个雾滴预测精度最高。因此，本文建立的雾滴识别模型中，采用逻辑回归分类模型的准确性最高。

图12 接受者工作特征曲线Fig.12 Receiver operating characteristic curve

3.3 验证试验

本研究从用于建立粘连雾滴与单个雾滴识别模型之外剩余的水敏试纸样本中随机挑选出10种不同稀疏程度的水敏试纸进行验证试验，水敏试纸样本图像如图13所示。首先使用本文搭建的识别系统分别对6种水敏试纸图像进行处理分析，得到水敏试纸对应的单个雾滴与粘连雾滴的计数，然后以人工计数结果为标准对上述结果进行评价，计数结果如表2所示。通过验证试验发现，本研究构建的雾滴类型识别模型得到的雾滴个数，与人工计数方法结果相比，平均相对误差为4.05%，雾滴识别平均正确率为95.95%，最大相对误差为6.62%，表明本研究的雾滴类型识别模型能够有效识别人眼所能识别的大部分粘连雾滴，满足实际应用要求。

表2 雾滴计数结果Table 2 Droplets counting results

续表Continuing table

图13 水敏试纸样本Fig.13 Water sensitive paper sample

4 结论与讨论

为提高图像处理技术对喷雾质量评测的准确性，本研究利用粘连雾滴与单个雾滴的轮廓参数差异性，构建雾滴类型识别模型。对水敏试纸的图像处理过程进行了改进，并进行了雾滴识别试验验证。通过研究发现，在针对喷雾质量评估时，2个及2个以上雾滴粘连会导致雾滴计数不准确问题，因此提出基于机器学习的雾滴轮廓识别方法以区分粘连雾滴与单个雾滴。建立的雾滴类型识别算法在水敏试纸图像评估中平均精度达到95.95%，可准确区分粘连雾滴与单个雾滴。本研究提出的SelectBest选择雾滴轮廓参数和PolynomialFeatures转换多项式法，建立了K近邻分类模型、逻辑回归分类模型、决策树分类模型和支持向量机分类模型，模型的AUC取值分别为0.94、0.98、0.95、0.97。由于2个及2个以上雾滴粘连会导致雾滴计数偏差大，因此本研究提出基于机器学习的雾滴轮廓识别方法以区分粘连雾滴与单个雾滴。在验证试验结果中，雾滴稀疏时，本研究算法识别结果与人工计数接近，相对误差均在5%内；雾滴分布稠密时，识别结果与人工计数的误差增加，与人工计数方法结果相比，最大相对误差为6.62%。雾滴稠密分布时水敏试纸上的雾滴斑痕分布密集，粘连雾滴轮廓的差异性复杂，而本研究算法平均相对误差为4.02%，满足植保无人机的喷雾质量评测要求，因此可以为后续粘连雾滴分割提供有力的数据支撑。