复杂环境中苹果树识别与导航线提取方法

张彦斐 魏 鹏 宫金良 兰玉彬

(1.山东理工大学农业工程与食品科学学院， 淄博 255000； 2.山东理工大学机械工程学院， 淄博 255000)

0 引言

农业精准化管理的首要任务在于对作物的识别提取，其结果可用于作物种植面积统计、长势分析与病虫害监测等；农业智慧化管理在于智能农机具的自主作业。对于基于机器视觉导航作业的农业机器人，作物行中心线的提取极其重要，这也是视觉导航亟待解决的关键问题[1-2]。

尽管苹果产业的发展态势较好，但大部分果园的管理方式仍简单粗放[3]。目前，已有诸多学者对苹果果实及果树的相关信息提取开展了广泛研究。实际上，多数果园环境存在杂草、遮蔽物、果树冠层阴影等干扰因素，且果树之间存在茂盛程度、高低等长势差异。复杂环境下的果树识别与导航是果园智慧化管理所面临的核心技术问题。

目前，农业机械自动导航作业的实现主要通过机器视觉和卫星定位技术。其中,视觉导航技术的实现成本低、适应性强，已成为农业机械导航的研究热点[4-7]。现阶段田间机器视觉导航多通过斜向视角提取作物田垄中心线或行中心线[8-13]，然后生成导航参数辅助导航作业。该方式视野范围较小、效率低，无法对作业区域进行全局路径规划。无人机遥感技术具有覆盖范围广、快速准确、操作灵活等特点[14-15]；同时，无人机遥感能有效弥补卫星遥感成像受云雾等天气影响的缺点。部分学者借助无人机遥感影像研究玉米、甘蔗等作物大田的导航线提取[16-19]，但对于果园中苹果果树行的导航线提取鲜有研究。

针对具有裸露土壤、遮蔽物、果树冠层阴影和杂草的复杂苹果园环境，本文在对无人机多光谱遥感影像预处理的基础上，对比使用多种机器学习算法识别本文最终融合图像和普通正射影像中的苹果树像元并分析各精度；最后以感兴趣区域划分的方式提取果树识别结果中各果树行导航线，以期为智慧果园中智能农业机器人的自主作业路径规划提供技术参考。

1 数据采集与处理

1.1 研究区域概况

本文研究区位于淄博市沂源县山东理工大学生态无人农场智慧果园(36°6′N，118°3′E)，如图1所示。果园海拔约330 m，属于温带半湿润大陆性季风气候，地形多为丘陵，年平均气温12℃左右，平均降雨量700 mm左右，全年日照时长为2 100 h左右，适合苹果树的种植。

图1 研究区概况Fig.1 Overview of study area

1.2 数据采集

数据采集时间为2021年9月30日10:00—12:30，天气晴朗，风力小于3级，采集对象为果园内随机选定的部分种植区域。研究区域面积约为7 163.1 m2，苹果树高度为4.5～5.5 m。该试验采用大疆M300型无人机，搭载传感器为长光禹辰MS600 Pro型多光谱相机。航拍前进行相机灰板定标和研究区飞行航线规划，设定飞行参数为高度50 m，速度2.7 m/s，航向重叠度80%，旁向重叠度70%。相机可获取6个波段数据，包括可见光波段、双红边波段和近红外波段，具体参数见表1。

表1 MS600 Pro型多光谱相机参数Tab.1 Parameters of MS600 Pro multispectral camera

1.3 图像处理方法

1.3.1苹果树识别提取流程

使用无人机获取多光谱遥感影像进行苹果树识别提取。首先，将获取的遥感影像进行拼接、辐射定标等预处理得到正射影像图(Digital orthophoto map，DOM)及数字表面模型(Digital surface model，DSM)图像。因果树与杂草等地物存在显著的高程差异，故DSM图像可作为区分两者的敏感特征。其次，选取计算能够显著区分果树与杂草的归一化差异绿度指数(Normalized difference greenness index，NDGI)[20]、比值植被指数(Ratio vegetation index，RVI)[21]分布图，并构建NDGI、RVI、DSM融合图像。此外，由于研究区域内存在明显裸露的土壤、灌溉设备等遮蔽物以及果树冠层阴影，非研究对象像元与苹果树像元混杂，会降低提取的精度。故选取过绿植被(Excess green，EXG)指数[22]和归一化差异冠层阴影指数(Normalized difference canopy shadow index，NDCSI)[23]以阈值分割法对融合图像中的果树冠层阴影、土壤及遮蔽物进行掩膜剔除处理。最后，通过使用多种机器学习算法分别对掩膜后的融合图像与普通正射影像中的苹果树像元进行提取并对比分析。

1.3.2遥感影像预处理及特征选取

本文使用Yusense Map V2.1.3软件分析无人机获取的6波段遥感影像，依次经过相机参数读取、空中三角测量、波段配准、影像拼接后，通过辐射定标、影像裁剪等操作完成预处理，最终得到地面分辨率为每像素3.6 cm的DOM影像，见图2。

图2 普通正射影像Fig.2 Ordinary orthophoto image

在特征选取方面，考虑到该区域杂草茂盛且与苹果树叶片颜色相近，故选取可显示绿度差异的NDGI；同时选取RVI解决果树与杂草的叶片中叶绿素含量不同以及土壤对临近植被像元的辐射影响问题，既能表征不同植被覆盖下生物量信息与叶绿素含量的相关性，又能增强植被与土壤之间的辐射差异。

按文献[20-23]中对应公式获取各植被指数分布图，构建苹果树识别提取的差异特征图像集。

1.3.3图像融合及后处理

将计算得到的NDGI、RVI分布图与DSM图像构建多特征融合图像进行苹果树的识别提取。具体融合方式为使用ArcGIS校正各图像后进行像素匹配，采用最邻近算法进行图像采样，然后使用镶嵌工具分别将体现颜色、叶绿素含量、高程特征差异的NDGI、RVI、DSM图像进行融合。

其中，为解决各特征数据的量纲差异难题以便进行加权融合，对待融合的各图像像元值进行归一化预处理。将归一化的NDGI、RVI、DSM图像中同一位置的像元求均值得到像元均值δ，计算式为

δ=(σNDGI+σRVI+σDSM)/3

(1)

式中σNDGI、σRVI、σDSM——NDGI、RVI、DSM图像中归一化处理得到的各点像元值

在3个特征中，杂草与苹果树在DSM上的差异最显著，故在像元均值δ的基础上添加2倍的DSM图像归一化像元值σDSM以突出显示苹果树像元所在的区域，有

a=δ+2σDSM

(2)

式中a——融合图像中各点像元值

将各图像同一位置的像元值按式(1)、(2)计算后作为融合图像对应位置的像元值。获取的初始融合图像如图3所示。

图3 初始融合图像Fig.3 Initial fusion image

由于裸露的土壤、遮蔽物等非植被对象的EXG指数较绿色植被明显小，为提高苹果树的识别提取精度，采用阈值分割法去除非植被对象像元。将EXG指数分布图像中各像素值进行数据直方图统计，以等步长累加的方式遍历直方图横坐标，选取明确区分非植被对象的临界点数值作为分割阈值。对NDCSI图像采用相同方法确定树冠阴影的最佳分割阈值。

使用ArcGIS重分类工具分别对NDCSI、EXG指数图像以最佳分割阈值为断点进行二值化，然后建立掩膜所需的矢量文件。将矢量文件与融合图像进行栅格配准后裁除所有非植被对象。

如图4所示，将掩膜处理后的融合图像进行滤波去噪、边界清理等处理后作为果树识别的最终图像，用于探究不同分类方法对普通正射影像和最终融合图像中的苹果树识别提取效果。

图4 最终融合图像Fig.4 Final fusion image

如图5所示，研究区内原为树冠阴影以及裸露土壤、灌溉设备等遮蔽物的像元已被较好剔除，大大降低了非植被混杂像元对果树提取的干扰，有效提高识别精度。

图5 非植被像元剔除效果对比Fig.5 Comparison of removal effects of non-vegetation pixels

2 苹果树提取

2.1 苹果树样本集合构建与识别提取方法

针对研究区多光谱遥感正射影像和最终融合图像，分别随机选取60个样本作为苹果树识别训练集，40个样本作为验证集。其中，样本采样区域尺寸均为40像素×30像素，且训练样本与验证样本不重叠。分别采用支持向量机(Support vector machine，SVM)法、最大似然(Maximum like-lihood classification，MLC)法和随机森林(Random forest，RF)法3种方法[24-28]提取2种图像中的苹果树像元，对比分析其实际效果。

2.2 苹果树识别提取精度评价与效果分析

对各方法的识别提取结果，采用计算混淆矩阵的方式给出总体精度和Kappa系数对识别精度进行评价，以制图精度和用户精度对识别准确性进行评判[29-30]。

如图6、7所示，MLC法对最终融合图像中果树像元的提取效果最优，其用户精度、制图精度、总体分类精度、Kappa系数分别为88.57%、93.93%、93.00%、0.882 4。

图6 3种方法对2种图像中苹果树的分类精度比较Fig.6 Statistical comparison of classification accuracy of apple trees in two images by three methods

图7 3种方法对2种图像中苹果树的Kappa系数比较Fig.7 Statistical comparison of Kappa coefficients of apple trees in two images by three methods

此外，相对于普通正射影像，本文构建的最终融合图像使3种方法的识别精度均得到有效提升。其中，总体分类精度提升均超10个百分点，最低为13个百分点；对RF法的用户精度提升幅度最大，为27.12个百分点；对SVM法的制图精度提升幅度最大，为9.03个百分点；对SVM法的Kappa系数提升幅度最大，为22.55%，且对其余2种方法的提升均在20%以上。

图8为对普通正射影像和最终融合图像中苹果树像元提取中Kappa系数最高的MLC法提取结果。对比图8a、8b可见，针对具有较高提取精度的相同算法，本文构建最终融合图像的方式可更好地从包含裸露土壤、遮蔽物、杂草、阴影等非果树对象的背景中有效提取苹果树像元，实现复杂环境下高精度提取苹果树像元。

图8 MLC法对图像中苹果树的提取结果Fig.8 Extraction results of two different images by MLC method

3 苹果树行中心线提取

智能机器人在果园自主作业时，可根据果树行中心线进行辅助定位和导航作业。目前作物行中心线的提取方法主要采用标准或改进Hough变换的方法。但前者易受农田环境影响，存在计算成本高、峰值检测难等弊端；后者虽降低了计算功耗，但在复杂环境下的准确性和实时性有待提升[31-32]。基于最小二乘法拟合作物行特征点获取中心线方法具有实时性好、准确性高等优点[33-34]。

3.1 提取流程与行特征点识别

苹果树行中心线提取流程为：在效果最优的MLC法对最终融合图像中苹果树像元提取结果的基础上，降噪处理后进行二值化、形态学转换，再以行为单位划分感兴趣区域提取果树轮廓，计算各轮廓质心作为行特征点，最终以最小二乘法拟合各行特征点得到果树行中心线。

由于MLC法对融合图像中苹果树像元提取的精度限制，提取结果在果树像元附近往往存在杂草及离散噪声像元。为保证导航线提取精度，读取并灰度化结果图像，采用高斯核参数为(5,5)对图像进行高斯降噪。设定初始阈值为0并使用OTSU算法重新对图像进行二值化分割。为避免临近果树的杂草像元被错误提取的影响，设定闭运算的卷积核参数为(9,9)，对图像先腐蚀再膨胀，然后设定开运算的卷积核参数为(7,7)对图像进行先膨胀再腐蚀的形态学转换处理，以便去除轮廓前景中的孔洞和黑点，保证提取轮廓的完整性。

由于研究区域内各行果树的分布及长势存在差异，本文选择平行四边形掩膜窗口作为感兴趣区域，对各行果树逐一进行轮廓提取。求取各果树轮廓的特征矩mpq后，再计算各轮廓质心横纵坐标(Cx，Cy)，并将其作为果树行中心线提取的特征点。计算式为

(3)

(4)

式中x、y——轮廓中各点横、纵坐标

M、N——轮廓中各点最大横、纵坐标

f(x,y)——轮廓中各点像素值

p、q——阶数

如图9所示，各果树行长势的差异经形态学变换处理后转换为轮廓数量的差异，长势稀疏的果树行得到的轮廓数量更多，即获取的特征点数量更多，故本文方法更利于对长势分布差异明显且长势稀疏的果树行中心线的提取。

图9 果树行特征点提取结果Fig.9 Fruit tree row feature point extraction results

3.2 中心线提取效果与分析

采用人工拟合的果树行中心线作为比较基准[13]，评判本文方法的准确性。依据实际作业场景需求，设定本文方法提取的中心线与人工拟合中心线之间的夹角误差小于5°时为有效提取，且依据两者之间夹角评价提取的准确性。同时，将本文方法与改进的Hough变换算法在相同图像预处理基础上的提取结果进行对比分析。所用计算机CPU为Intel(R) Xeon(R) E5-1650 v4，主频为3.60 GHz，内存64 GB，操作系统为Windows 11专业工作站版64位系统，IDE平台为Spyder 4，编程语言为Python。

图10 果树中心线提取结果Fig.10 Extraction results of fruit tree row center lines by different methods

图10a为改进Hough变换算法对图像各感兴趣区域内经降噪和形态学处理的果树行中心线的提取结果。可见，即便经过一系列图像预处理和感兴趣区域划分，该算法仍无法满足需求，且10次测试的平均用时为4.988 9 s。

由图10b可知，使用最小二乘法拟合特征点得到的中心线角度偏差均小于5°，平均角度偏差为0.597 5°，10次测试平均用时为0.402 3 s。

图11 各行导航线提取偏差对比Fig.11 Comparison of extraction deviation of each row of navigation line

图11为各果树行两线角度偏差的可视化比较结果。其中，横坐标为图10b中从左至右的各果树行编号。结合图10b、11进行整体分析，相较于人工拟合导航线结果，本文方法对长势较差的第6～9果树行提取的导航线角度偏差较大，但均小于2.25°；其余各行导航线偏差大部分小于平均偏差，小部分位于其附近。此外，对各行提取偏差进行统计计算，样本标准差仅为0.135 0°，说明本文方法具有较好的稳定性。

4 结论

(1)提出一种能够从包含裸露土壤、遮蔽物、果树冠层阴影和杂草的复杂环境中精准提取苹果树像元的方法。

(2)根据无人机多光谱影像得到DOM、DSM图像，计算NDGI、RVI分布图，将归一化的NDGI、RVI、DSM图像中同一位置的像元求均值后，添加2倍的σDSM构建融合图像。综合利用NDCSI、EXG指数剔除融合图像中的非植被像元构建最终融合图像。采用SVM、MLC、RF方法分别提取最终融合图像和普通正射影像中的苹果树像元，并计算混淆矩阵评价各方法的识别精度。

(3)试验结果表明，MLC法对最终融合图像中果树像元的提取效果最优，其用户精度、制图精度、总体分类精度、Kappa系数分别为88.57%、93.93%、93.00%、0.882 4。较普通正射影像，本文构建的融合图像对3种方法的识别精度均有提升。其对RF法的用户精度提升幅度最大，为27.12个百分点；对SVM法的制图精度提升幅度最大，为9.03个百分点；对3种方法的总体分类精度提升幅度最低为13个百分点；对SVM法的Kappa系数提升幅度最大，为22.55%，且对其余2种方法的提升也均在20%以上。

(4)以感兴趣区域划分的方式提取果树识别结果中的各果树行导航线，其平均角度偏差为0.597 5°，10次测试平均用时仅0.402 3 s且具有较好的稳定性，可大大提高农业智能装备的自动导航精度和实时性。