基于超像素特征向量的果树冠层分割方法

张先洁 孙国祥 汪小旵 杨海慧 魏天翔

摘要： 針对无人机精确植保过程中，果树冠层区域颜色特征和杂草相似度较高、难以分割等问题，采用基于超像素特征向量的果树冠层分割方法，以消除不同杂草特征对树冠分离的干扰，减小农药喷雾区域，节省农药使用量。通过分析无人机采集合成的样本图像在HSV彩色空间上色调与饱和度的分布情况，选取合适的阈值范围，提取样本图像中包含果树冠层与杂草的绿色区域，将提取的绿色区域RGB图像转换生成Lab和HSV彩色空间模型下的图像，然后运用简单的线性迭代聚类（Simple linear iterative clustering，SLIC）超像素分割算法将RGB图像预设分割成250个超像素单元，结合超像素的分割信息与RGB图像、Lab图像、HSV图像以及灰度图，提取超像素单元的特征向量，随机选取25%的超像素样本的特征向量作为SVM分类器的训练集，利用SVM分类器对所有样本进行预测分类，实现果树冠层与杂草分割。将基于超像素特征向量的方法和基于光谱阈值、K-means聚类的2种方法进行对比分析，结果显示，基于超像素特征向量的方法在识别果树冠层位置方面生产者精度为90.83%，在提取果树冠层轮廓上F测度值为87.62%，总体分割性能优于后两种方法。说明，基于超像素特征向量的方法能够较为准确地分割果树冠层与杂草，为实现无人机在果园中精确植保提供重要支撑。

关键词： 无人机;植保;果树冠层;杂草;超像素;分割

中图分类号： TP242.6+2;S252+.3 文献标识码： A 文章编号： 1000-4440（2021）03-0724-07

Segmentation method of fruit tree canopy based on super pixel feature vector

ZHANG Xian-jie1， SUN Guo-xiang1， WANG Xiao-chan1，2， YANG Hai-hui1， WEI Tian-xiang1

（1.College of Engineering， Nanjing Agricultural University， Nanjing 210031， China;2.Laboratory of Modern Facility Agricultural Technology and Equipment Engineering in Jiangsu Province， Nanjing 210031， China）

Abstract： Aiming at the problem such as high similarity of color features between canopy area of fruit trees and weeds which are difficult to be segmented in the process of unmanned aerial vehicle （UAV） in precise plant protection， a canopy segmentation method based on super pixel feature vector was adopted to eliminate interference of different weed characteristics to crown separation， reduce the pesticide spray area and save pesticide usage. By analyzing the distribution of hue and saturation of sample images collected and synthesized by UAV in HSV color space， the appropriate threshold range was selected， the green area of the sample image including the canopy of fruit trees and weeds was extracted. The RGB image of the green area extracted was transformed to generate the image under Lab and HSV color space model， and simple linear iterative clustering （SLIC） super pixel segmentation algorithm was then used to divide the RGB image into 250 super pixel units by default. The feature vectors of super pixel unit was extracted by combining the segmentation information of super pixel with RGB image， Lab image， HSV image and gray scale image. Feature vectors of 25% super pixel samples were selected randomly as the training set of SVM classifier， SVM classifier was used in predicting and classifying all samples to realize the segmentation of fruit tree canopy and weeds. The method based on hyper pixel feature vector and methods based on spectral threshold and K-means clustering were compared. The results showed that， the producer accuracy of the method based on super pixel feature vector in recognizing position of fruit tree canopy was 90.83%， the F value for extracting contour of fruit tree canopy was 87.62%. The overall segmentation performance by the method based on hyper pixel feature vector was better than the latter two methods. It can be seen that， the method based on super pixel feature vector can segment fruit tree canopy and weeds accurately， which provides an important support for the realization of UAV in precise plant protection in the orchard.

Key words： unmanned aerial vehicle （UAV）;plant protection;canopy of fruit trees;weed;super pixel;segmentation

无人机喷药相对于传统的地面移动式喷药可以忽视复杂的地形阻碍，同时无人机旋翼可以吹动树冠，使农药能更均匀垂直地覆盖果树冠层。近年来无人机载药量不断增加，采用无人机喷药逐渐成为果园植保的一个重要方式[1-3]。由于果树冠层与杂草等绿色植物在图像中颜色特征差异较小，导致无人机对图像中果树冠层图像分割的准确率较低，进而降低了无人机喷药的准确率。采用有效的图像分割方法准确分割图像中果树冠层是提高无人机喷药的农药利用率、实现果园中无人机精确植保的重要保障[4-7]。

针对图像中作物冠层与杂草的分割，国内外学者进行了广泛的研究[8-12]。目前大多数图像中作物冠层与杂草分割的研究是基于深度学习的方法[13]，该类方法分割效果较好，但前期需要大量的人工标注作为深度学习样本，应用成本较高。也有部分学者采用其他方法实现图像中作物冠层与杂草分割[14-15]。Le等[16]通过结合局部二值算子与植物叶片轮廓特征提高了分割作物冠层与杂草的准确率，该方法对图片中作物冠层与杂草轮廓细节的要求较高，应用场景主要为可近距离拍摄的盆栽植物冠层与杂草。程浈浈等[17]在单棵果树的侧拍图像中，利用杂草的空间位置特征将图片下方的杂草剔除，但该方法不适用于高空俯拍图像中的果树冠层与杂草分割。针对图像中作物冠层与杂草的分割已经有了较多的研究，但针对高空俯拍图像中果树冠层与杂草分割的方法研究较少。

本研究提出一种基于超像素特征向量的果树冠层分割方法，以超像素作为基本分类单元，增强图像中果树冠层单元与杂草单元的差异性，提取超像素的颜色特征与纹理特征组成超像素特征向量，采用基于小样本机器学习方法的SVM（支持向量机）分类器，以较少的样本标注实现果树冠层与杂草分割。选取基于光谱阈值、K-means聚类的2种方法与基于超像素特征向量的方法进行对比，对3种方法识别果树树冠位置与提取果树冠层轮廓的精度进行评价分析，验证基于超像素特征向量的方法在果树冠层与杂草分割上的性能。

1 材料与方法

1.1 果树正射影像图获取与预处理

本研究以山东省烟台市栖霞市官道镇的某个苹果园作为研究对象，苹果树树龄为8～9年，果树品种为烟富3。2019年10月12日，光照较好，风力1～2级以下，晴天，在10∶00-15∶00时使用Parrot无人机采集果树冠层图像，飞行高度为50 m，获得了76张分辨率为4 608×3 456像素的高分辨率RGB图像，使用Pix4Dmapper 4.1生成正射影像图。采集果园图像区域的长、宽分别为34 m、107 m，根据区域杂草干扰程度分为杂草干扰程度一般的地块（A）与杂草干扰程度严重的地块（B）。

图像的预处理工作主要包含两方面，一是对获取到的图像进行滤波处理，选取高斯滤波器对获得的图像进行滤波处理得到RGB图像;二是对提取绿色区域后的图像进行彩色空间转换，将RGB图像分别转化为Lab图像、HSV图像。

1.2 果树冠层分割流程

首先对样本图像在HSV彩色空间上进行分析，然后选取合适的阈值提取图像中的绿色区域，采用SLIC超像素算法将预处理得到的绿色区域图像分割成指定数量的超像素单元，结合超像素分割信息、RGB图像、Lab图像、HSV图像及灰度图，提取超像素的特征向量，以超像素特征向量作为依据训练SVM分类器并对超像素分类，最后，采用形态学方法处理SVM分类结果，实现杂草干扰下的果树冠层提取。

1.3 图像中绿色区域的提取

从RGB图像中提取果树冠层，首先利用光谱特征上的差异分割绿色植物与背景。在针对光谱特征的数字图像处理中常用的颜色模型有RGB、Lab和HSV等，其中HSV颜色模型符合人对颜色的感知心理。HSV颜色模型亮度分量与图像的彩色信息无关，如果去除亮度分量，只考虑色调与饱和度分量反映的颜色信息，可以去除光照条件的影响，准确地从图像中筛选出绿色像素区域。

采用人工标注的方法，将样本图片的像素分别标记为绿色区域像素与背景像素两类，针对每类像素分别在色调和饱和度2個分量上的数量分布进行统计分析。图1是对样本图像中绿色区域像素和背景区域像素在色调和饱和度2个分量上的统计分布结果。

由图1可知，绿色区域与背景区域的饱和度分布差异不明显;在色调分布上，背景区域的色调主要分布于0～0.15与0.80～1.00，绿色区域的色调主要分布在0.05～0.45。考虑到标注的绿色区域存在部分阴影像素，标注的背景区域中也存在未能全部标出的绿色像素，故选取0.10～0.45作为绿色区域的色调分布区间。以0.10～0.45作为阈值区间采用阈值法获取绿色区域二值图像，对二值图像采用形态学处理后结合原RGB图像获得绿色区域RGB图像。

1.4 果树冠层的区域提取

考虑到果树冠层与杂草在像素块上的差异相对于单像素的差异较大，本研究采用超像素算法将RGB图像预设分割为250个超像素，以超像素作为基本操作单元，降低冠层与杂草间的识别难度。单独从光谱特征分析或单独从纹理特征上分析杂草与果树冠层的差异，较难得到比较明显的差异，将光谱特征与纹理特征组合为1个组合特征，从组合特征角度分析杂草与果树冠层的差异，由于人工分析组合特征上的差异难度较大，本研究选择一种基于小样本的机器学习方法训练分类器，使用训练得到的分类器对果树冠层与杂草进行分类。

1.4.1 超像素特征向量提取 超像素算法是指将图像分成指定数量大小、形状不规则的超像素区域，每个超像素中的像素具有相似的颜色、亮度等特征。本研究采用Radhakrishna等[18]提出的基于梯度下降的SLIC算法，即简单线性迭代聚类算法。SLIC算法中参数K值（即图像预先设置分割的超像素个数）的大小设置影响对树冠目标的分割效果。将SLIC算法分割后的样本图像中目标边缘的难分类的超像素数量与超像素总数的比值记为样本图像的目标边缘模糊率，通过分析K值与样本图像的目标边缘模糊率之间的关系选取适当的K值。分别对70张样本图像进行如下操作，以获得不同K值下样本图像的目标边缘模糊率：

（1）选取的样本图像见图2a，通过人工描绘选出树冠目标区域，并将目标区域设置成白色，背景区域设置成黑色，保存为二值图，如图2b所示。

（2）将SLIC算法中的K值以50为间隔依次设置成50～400，对样本图像进行超像素分割，结合获得的超像素边缘与二值图，获得超像素边缘二值图，如图2c所示，其中白线为分割出来的超像素边缘。

（3）读取超像素边缘二值图，依次计算每个超像素中白色像素（目标像素）与总像素数量的比值，比值大于60%，记为目标超像素;比值小于40%，记为背景超像素;比值为40%～60%，记为难分类超像素。

将所有样本图像的目标边缘模糊率求平均得到不同K值下的目标边缘模糊率，详见表1。当K值小于250时，目标边缘模糊率相对较大，且随着K值增大，目标边缘模糊率的下降幅度也较大;当K值超过250后，目标边缘模糊率已经相对较小，且随着K值的增大，目标边缘模糊率的下降幅度也较小。综合考虑边缘模糊率和后期图像处理的计算量等因素，本研究选择K值为250，即每张样本图像预先设置分割为250个超像素。

选取合适的K值对样本图像进行超像素分割获得样本图像的超像素分割信息后，将样本图像的超像素分割信息与样本图像分别在RGB、Lab、HSV彩色空间模型下的图像以及灰度图结合。提取超像素在RGB、HSV和Lab 3种彩色空间模型下共9个通道（R、G、B、H、S、I、L、a、b）的均值作为颜色特征分量;将灰度图与超像素分割信息结合，统计并绘制超像素的灰度直方图以获得超像素的均值、标准差、平滑度以及一致性4个参数作为超像素纹理特征分量。将获得的13个特征分量组成超像素的特征向量并归一化保存，作为SVM分类器分类依据。

1.4.2 超像素分类 图像中果树冠层与杂草分类的目的是在保证目标分类准确性的基础上尽可能减少人工操作的工作量，这就需要在训练样本尽可能少的情况下实现较为准确的目标分类。支持向量机（Support vector machine，SVM）作为一种基于小样本的机器学习方法[19-21]，相对于已有方法表现出了更好的性能，本研究选用SVM分类器进行超像素的分类训练与预测。

SVM分类器首先需要确定所选核函数，应用较常见的核函数有线性核函数、多项式核函数、径向基（RBF）核函数和Sigmoid核函数4种，其中RBF核函数适用于多种情况[22]。采用RBF核函数进行SVM分类时，需要确定2个参数，即误差惩罚因子（C）和核参数（γ），2个参数的选择是影响SVM分类性能的关键因素。本研究采用网格搜索法确定误差惩罚因子和核参数的最优组合。具体步骤如下：

（1）随机选取25%的样本图像超像素的特征向量作为训练样本集，以所有样本的超像素特征向量作为测试集。

（2）误差惩罚因子从1到11以2为步长依次取值，核参数从0.001到100.000依次乘10取值，依次使用各种组合训练SVM分类器，并对测试集进行预测，记录预测准确率。

（3）为减弱单次训练集随机选择带来的差异性，步骤（1）和（2）重复3次，取3次结果的平均值作为最终结果，如表2所示。

如表2所示，核参数为0.010和0.100时，SVM分类准确率相对较高。在核参数不变的情况下，不同的误差惩罚因子对应的SVM分类准确率相差不大。本研究选择其中分类准确率最高的误差惩罚因子和核参数（分别为3和0.100）的组合。

1.5 果树冠层区域提取的评价方法

采用基于超像素特征向量的分割方法对所有样本图像进行分割并组合还原成2个地块图像，分别识别果树冠层位置与提取果树冠层轮廓，针对提取结果，分别从林分和单木2个尺度对果树冠层位置识别和冠层轮廓提取进行精度验证。

1.5.1 果树冠层位置识别精度验证方法 从林分尺度对果树冠层位置识别精度的评价，用树冠相对误检率（D）表示，即：

D=NNr-1（1）

式中，N为检测出的树冠数量;Nr为参考的树冠数量。

从单木尺度对果树冠层位置识别精度的评价，用基于N1∶1的用户精度（U）和生产者精度（P）[23]表示，即

U=N1∶1Nall×100%（2）

P=N1∶1Nr×100%（3）

式中，Nall为全检数，即检测出的总树冠数量，包括正确检出、错误检出以及过检出数目之和;N1∶1为正检数，即检测出的树冠位置在参考树冠位置1 m缓冲区内的数量。

1.5.2 树冠轮廓提取精度验证方法 从林分尺度对树冠轮廓提取精度的评价，用树冠面积的相对误差R表示，即

R=Sd-SrSr×100%（4）

式中，Sr为参考的树冠总面积;Sd为检测出来的树冠总面积。

从单木尺度对树冠轮廓提取精度的评价，选用F测度值作为评价标准。将分割得到的树冠与人工描绘的参考树冠作对比，若分割得到的树冠与参考树冠的重合面积与其中1个树冠的比值大于0.5，则被认为是正确提取。树冠提取的精确率（Ad）、树冠提取的召回率（Ar）、F测度值的计算公式分别为

Ad=NcNd×100%（5）

Ar=NcNr×100%（6）

F=2ArAdAr+Ad×100%（7）

式中：Nc為正确提取树冠的数量;Nd为提取树冠的总数量;Nr为参考树冠的总数量。

2 结果与分析

2.1 果树冠层分割结果

2.1.1 基于超像素特征向量的分割结果 采用基于超像素特征向量的分割方法对样本图像进行分割，对分割后得到的图像进行形态学孔洞填充以及小目标删除，获得二值图像，通过二值图像对原样本图像进行掩膜处理，得到最终的分割结果。从提取绿色区域到分割杂草与冠层区域的处理过程见图3。图3b为基于色调阈值提取的绿色区域，图3c为基于超像素特征向量分割方法的分割结果。图3b显示，基于超像素特征向量的分割方法有效地区分果树冠层与杂草，得到较为准确的冠层区域。利用图3c对原图进行掩膜处理，得到果树冠层的分割结果（图3d），对比图3d与图3a可以看出，基于超像素特征向量的分割方法能够去除杂草干扰，实现果树冠层的分割提取。

2.1.2 基于超像素特征向量、光谱阈值和K-means聚类3种方法的分割结果对比 为验证基于超像素特征向量方法的分割性能，以人工描绘的二值图为参考，选取基于光谱阈值、K-means聚类2种方法与基于超像素特征向量方法进行分割结果的对比。分别对杂草干扰程度一般的地块（A）和杂草干扰程度严重的地块（B）中的样本图像进行分割，分割结果如图4所示。

由图4可以看出，在杂草干扰程度一般的情况下，基于光谱阈值、K-means聚类的2种方法的分割结果存在较多颗粒状和小面积的错误分割，基于超像素特征向量方法的分割效果与人工描绘的二值图最接近;在杂草干扰程度严重的情况下，基于光谱阈值、K-means聚类2种方法的分割结果均出现了大面积的错误分割，基于超像素特征向量方法的分割结果提取的果树轮廓与人工描绘的作为参考结果的果树轮廓相似。

2.2 不同方法识别果树冠层位置与提取果树冠层轮廓的精度评价与分析

采用基于超像素特征向量、光谱阈值和K-means聚类3种方法分别处理杂草干扰程度一般的地块（A）和杂草干扰程度严重的地块（B）的样本图像，并将每种方法的处理结果整合，采用方法1.5提到的评价指标分别对不同方法得到的整合结果进行统计分析，结果如表3和表4所示。

在统计过程中发现，漏检较多的情况下可能出现用户精度偏大，漏检与过检同时较多的情况下可能出现相对误检率偏小，因此选用生产者精度作为识别果树冠层位置精度的主要评价指标。由表3可知，基于超像素特征向量方法识别果树冠层位置的生产者精度为90.83%，相比于基于光谱阈值、K-means聚类2种方法分别提高了10.98个、9.51个百分点，基于超像素特征向量方法的生产者精度与其他2种方法间差异显著，表明基于超像素特征向量方法在识别果树冠层位置的精度上优于其他2种分割方法。

由于基于光谱阈值方法的分割结果中存在较多的漏检，导致该方法相对误差为负，因此对3种方法的相对误差绝对值进行比较。由表4可知，基于超像素特征向量方法提取果树冠层轮廓的相对误差为2.09%，F测度值为87.62%，相比基于光谱阈值、K-means聚类2种方法的相对误差绝对值分别降低47.85个百分点、17.93个百分点，F测度值分别提高8.17个百分点、9.77个百分点， 基于超像素特征向量方法的相对误差和F测度值与其他2种方法间差异显著。其中在对地块（A）与地块（B）提取果树冠层轮廓时，基于光谱阈值、K-means聚类2种方法的F测度值相差较大，基于超像素特征向量方法的F测度值相差较小。结果表明，基于超像素特征向量方法在提取果树冠层轮廓上的精度优于其他2种方法。

3 结论

1）本研究提出一种基于超像素特征向量的果树冠层分割方法。针对果园中无人机植保场景下，果树冠层与杂草存在难以区分的情况，采用超像素作为图像分割的基本操作单元，选用依赖较少标注样本的SVM分类器实现果树冠层与杂草分割。

2）选取相对误检率、生产者精度和用户精度3个指标评价果树冠层位置识别精度，选取相对误差、F测度值2个指标评价果树冠层轮廓提取精度。基于超像素特征向量方法的相对误检率为4.32%，生产者精度为90.83%，用户精度为89.43%，相对误差为2.09%，F测度值为87.62%。

3）将基于超像素特征向量的方法与基于光谱阈值、K-means聚类的2种方法作对比分析，结果表明，基于超像素特征向量的方法在果树冠层分割上优于基于光谱阈值、K-means聚类的2种方法。

参考文献：

[1] 何 勇，张艳超. 农用无人机现状与发展趋势[J].现代农机，2014（1）：1-5.

[2] 刘春鸽，赵丽伟. 我国植保无人机现状及发展建议[J].农业工程技术，2018，38（12）：39-42.

[3] 娄尚易，薛新宇，顾 伟，等. 农用植保无人机的研究现状及趋势[J].农机化研究，2017，39（12）：1-6，31.

[4] 王大帅，张俊雄，李 伟，等. 植保无人机动态变量施药系统设计与试验[J].农业机械学报，2017，48（5）：86-93.

[5] 陈盛德，兰玉彬，周志艳，等. 小型植保无人机喷雾参数对橘树冠层雾滴沉积分布的影响[J].华南农业大学学报，2017，38（5）：97-102.

[6] 刘剑君，贾世通，杜新武，等. 无人机低空施药技术发展现状与趋势[J].农业工程，2014，4（5）：10-14.

[7] 张云硕，史云天，董云哲，等. 农用植保无人机喷洒技术的研究[J].农业与技术，2015，35（21）：46-47.

[8] WU J T，YANG J G，YANG H，et al.Extracting apple tree crown information from remote imagery using deep learning[J]. Computers and Electronics in Agriculture，2020，174：105504.

[9] CSILLIK O， JOHN C，ROBERT J，et al. Identification of citrus trees from unmanned aerial vehicle imagery using convolutional neural networks[J].Drones， 2018，2（4）：39-54 .

[10]孫 俊，谭文军，武小红，等. 多通道深度可分离卷积模型实时识别复杂背景下甜菜与杂草[J].农业工程学报，2019，35（12）：184-190.

[11]王 璨，武新慧，李志伟. 基于卷积神经网络提取多尺度分层特征识别玉米杂草[J].农业工程学报，2018，34（5）：144-151.

[12]BERGE T W，GOLDBERG S，KASPERSEN K，et al. Towards machine vision based site-specific weed management in cereals[J]. Computers and Electronics in Agriculture，2012，81：79-86.

[13]HAMUDA E，GLAVIN M，JONES E .A survey of image processing techniques for plant extraction and segmentation in the field[J]. Computers and Electronics in Agriculture，2016，125：184-199.

[14]BAI X D，CAO Z G，WANG Y，et al. Crop segmentation from images by morphology modeling in the CIE L*a*b* color space[J]. Computers and Electronics in Agriculture，2013，99：21-34.

[15]CAMILO P，LEONARDO S，NELSON V. Weed recognition by SVM texture feature classification in outdoor vegetable crop images[J]. Ingeniería e Investigación， 2017， 37（1）： 68-74.

[16]LE V，SELAM A，BENIAMIN A，et al. A novel method for detecting morphologically similar crops and weeds based on the combination of contour masks and filtered Local Binary Pattern operators[J]. Gigascience，2020，9（3） ：1-16.

[17]程湞浈，祁力钧，程一帆，等. 基于M-LP特征加权聚类的果树冠层图像分割方法[J].农业机械学报，2020，51（4）：191-198，260.

[18]RADHAKRISHNA A，APPU S，KEVIN S，et al. SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Trans on Pattern Analysis and Machine Intelligence， 2012， 34（11）：2274-2282.

[19]刘俊伟，陈鹏飞，张东彦，等. 基于时序SentineI-2影像的梨树县作物种植结构[J].江苏农业学报，2020，36（6）：1428-1436.

[20]董 松，徐晓辉，宋 涛，等. 基于过渡区研究的黄瓜病害识别方法[J].南方农业学报，2019，50（9）：2119-2126.

[21]王 振，张善文，王献锋. 基于改进全卷积神经网络的黄瓜叶部病斑分割方法[J].江苏农业学报，2019，35（5）：1054-1060.

[22]林升梁，刘 志. 基于RBF核函数的支持向量机参数选择[J].浙江工业大学学报，2007，35（2）：163-167.

[23]陈崇成，李 旭，黄洪宇. 基于无人机影像匹配点云的苗圃单木冠层三维分割[J].农业机械学报，2018，49（2）：149-155，206.

（责任编辑：陈海霞）