基于无人机RGB影像的大豆种植区提取方法研究

张 梦,佘 宝,,*,杨玉莹,黄林生,朱梦琦

(1.安徽理工大学 空间信息与测绘工程学院,安徽 淮南 232001; 2.安徽大学 农业生态大数据分析与应用技术国家地方联合工程研究中心,安徽 合肥 230601)

及时、准确地掌握大豆种植区的空间分布在农业生产监测、精准农业发展等方面具有积极意义。目前,人们主要采取以人工统计方法为主、遥感调查方法为辅的方式获取大豆种植信息;但是,人工统计方法效率低、周期长、成本高,且无法提供空间分布信息。卫星遥感技术具有宏观、便捷、高效等优点,在大规模农情监测中应用广泛[1];然而,其分辨率容易形成瓶颈,影像覆盖频率受制于平台的重访周期且易受大气影响[2-3],导致其在作物制图某些场景下的应用受到限制。近年来,无人机(UAV)遥感技术的兴起为人们获取地表信息提供了新的手段。与传统的大型飞机相比,无人机尺寸小,成本低,使用灵活[4-5],在土地确权、精细农业等领域已有较为成熟的应用。

在大豆遥感识别方面,国内外研究多基于卫星遥感平台展开[21-22]。基于无人机平台的作物识别研究多关注玉米、小麦、水稻等主要经济作物,在大豆上开展的研究相对较少,尤其是在作物种植类型复杂多样、农田景观破碎的地区,基于无人机平台开展大豆遥感识别的相关研究还鲜见报道。有关无人机大豆遥感识别的方法、算法、辨识性特征等的探讨大多也都还处于起步阶段。鉴于此,本文以皖北大豆主产区——阜阳市太和县为研究区,针对研究区内夏季作物种类多样、农田景观破碎的特点,基于无人机RGB影像与4种机器学习算法构建大豆种植区遥感识别模型,并借助两种方法——窗口平滑滤波、特征选择,对基于无人机的大豆遥感识别方案进行优化。

1 材料与方法

1.1 研究区概况

阜阳市太和县(33°04′～33°35′N,115°25′～115°55′E),位于安徽省西北部,地处黄淮海平原南端,属于暖温带半湿润季风气候。境内地势平坦,平均海拔33.2 m,气候温和,降雨充沛,年平均气温14.9 ℃,多年平均降水量839.4 mm,适合多种作物种植。全县总面积1 867 km2,2019年粮食作物播种面积194 959 hm2,其中,大豆种植规模(2020年达6.7万hm2)在全省县级行政单元中排名第二,为该县第一大经济类作物。该地的大豆种植于6月中下旬开始,8月中旬大豆开始结荚,10月初收获。

1.2 数据获取

于2020年8月27日在太和县赵庙镇执行无人机航拍任务,此时大豆正处于结荚期,该时期大豆顶端叶片肥大,株型紧凑,是进行大豆种植区识别研究的理想时期[23]。航拍区域内除大豆外,主要作物还有芝麻、玉米、红薯、药材等,覆盖了皖北地区夏季主要的作物类型,具有代表性。选用DJI 精灵4 RTK小型四旋翼无人机(深圳市大疆创新科技有限公司)作为作业平台执行航拍任务,搭载2 000万pixel的CMOS传感器,采集目标高清RGB相片。飞行航拍作业时间为11:30—12:30,当时天气晴朗无风,设置飞行高度200 m,航拍区域约1 km×1 km,航向、旁向重叠度均设置为80%,共获取358张航摄相片。此外,在航拍区域均匀布设9个像控点用于几何精校正,像控点坐标使用华测i70型RTK测量系统(上海华测导航技术股份有限公司)测量。

使用Smart3D软件对358张航摄相片进行处理,经过相片对齐、像控点平差计算、构建不规则三角网(TIN)模型、生成密集点云、生成网格、纹理映射等过程,获得研究区DSM数据和空间分辨率为0.056 m的数字正摄影像(DOM)。之后,借助ArcGIS 10.6软件绘制矩形边界矢量文件并用于裁剪影像,得到边缘规整的矩形影像。

1.3 研究方案

首先,对原始RGB影像进行相对辐射定标,并基于辐射定标结果计算9个可见光植被指数;其次,利用主成分分析(PCA)法对原始RGB影像进行波段信息量评价;然后,基于PCA第一分量计算6种纹理特征;接着,将研究区影像按2∶1的比例划分成A(目标区域)、B(训练区域)两个区域(图1),基于序列前向选择(SFS)方法进行特征筛选并构建特征子集,通过滑动窗口平滑滤波算法进行间隔采样,在A、B区分别生成测试集和训练集数据,基于多种机器学习算法进行训练,选取最佳特征子集和精度最高的分类器,对目标区域进行大豆种植区识别,并对结果的精度进行检验;最后,根据无人机航拍作业时的典型地物调查坐标数据,结合后期无人机正射影像,建立典型地物的无人机遥感解译标志,利用LabelMe工具对影像中的大豆种植区域进行目视解译判别,得到大豆与非大豆区域的真实分布栅格数据。

图1 研究区的区域划分示意图Fig.1 Schematic of regional division of study area

1.4 候选特征变量选取

先前的工作表明,基于原始波段的大豆遥感识别效果不理想。为此,本文考虑加入色彩空间[24]、纹理、几何扩展特征用于大豆提取。利用ENVI 5.3软件对RGB图像进行色彩空间转换和纹理特征计算,得到色调(h)、亮度(l)、饱和度(s)3项色彩特征,然后计算灰度共生矩阵纹理滤波,并通过目视检验最终保留对比度(contrast)、相关性(correlation)、同质性(homogeneity)、异质性(dissimilarity)、熵(entropy)和角二阶矩(ASM)等6种纹理特征,以及1种几何特征——冠层高度(用DSM指示)。

除上述3类特征外,在前人研究基础上,本文还选取3个波段的相对反射率和9种植被指数作为候选特征变量。首先,对原始影像的DN值(数字量化值)进行相对辐射定标,得到R、G、B波段的相对反射率,分别定义为r、g、b[25-26],然后基于此测算9种可见光植被指数——过绿指数(ExG)[27]、过红指数(ExR)[28]、归一化绿蓝差异指数(NGBDI)[29]、归一化绿红差异指数(NGRDI)[29]、绿蓝比值指数(GBRI)[30]、蓝红比值指数(BRRI)[31]、红绿蓝植被指数(RGBVI)[32]、植被提取颜色指数(CIVE)[33]、可见光波段差异植被指数(VDVI)[34]。

r=R/(R+G+B);

(1)

g=G/(R+G+B);

(2)

b=B/(R+G+B)。

(3)

VExG=2g-r-b;

(4)

VExR=1.4r-g;

(5)

VNGBDI=(g-b)/(g+b);

(6)

VNGRDI=(g-r)/(g+r);

(7)

VGBRI=g/b;

(8)

VBRRI=b/r;

(9)

VRGBVI=(g2-br)/(g2+br);

(10)

VCIVE=0.441r-0.991g+0.385b+18.787 45;

(11)

VVDVI=(2g-r-b)/(2g+r+b)。

(12)

式(1)～(12)中:R、G、B分别为无人机影像红、绿、蓝波段的DN值,VExG、VExR、VNGBDI、VNGRDI、VGBRI、VBRRI、VRGBVI、VCIVE、VVDVI分别为ExG、ExR、NGBDI、NGRDI、GBRI、BRRI、RGBVI、CIVE、VDVI的值。

1.5 特征选择算法与机器学习模型选取

上述22个扩展特征的加入有效弥补了原始影像信息量的不足,但同时也使数据量增加,导致一定程度的数据冗余,会使得机器学习算法在处理高维度且不平衡的数据时性能受限,从而影响提取精度和执行效率。为了平衡数据量与提取精度,本文采用与分类器相耦合的特征选择算法,通过计算基于单一特征的模型精度(以Kappa系数作为评价指标),对各个特征的重要性进行评估与排序。在SFS方法的基础上,每次增加一个相邻的权重稍低或排序靠后的特征组成特征集合输入模型,计算模型精度,通过对不同集合的模型精度进行差分计算,寻找导致模型精度下降特征的位置,并剔除该特征,进行多次迭代,直至保留的特征均有利于模型精度的提高。该方法具有较高的灵活性和可移植性,一次可以进行多个不利特征的剔除,提高了运算效率。

以22个候选特征为基础数据,通过滑动窗口平滑滤波算法进行间隔采样,在A、B区域分别生成测试集数据和训练集数据(比例为2∶1),采用RF、SVM、极端梯度提升(XGBoost)和BP神经网络(BPNN)4种机器学习算法结合特征优选算法进行特征子集优选,用训练集数据进行模型训练,用测试集数据计算模型分类精度,最后输出各机器学习算法的特征优选子集。基于优选特征子集构建分类模型,并提取A区域的大豆种植区,对提取结果进行精度评价。

本文基于Python 3.8平台编程实现上述算法功能。硬件配置:CPU为Intel i7-8700,内存16 GB,GPU为NVIDIA RTX 1060。

1.6 提取精度评价

选择的定量评价指标有Kappa系数、总体分类精度(OA)[35]、制图精度(PA)和用户精度(UA)。模型提取结果的Kappa系数和OA值越高,说明提取效果相对越好。

2 结果与分析

2.1 不同空间尺度的分类模型构建与精度检验

本文在样本采样中引入了滑动窗口平滑滤波处理,不同窗口尺寸下模型的精度和提取效果不同。因此,首先基于18组窗口大小对原始分辨率的RGB影像进行平滑滤波处理,模拟不同空间尺度(不同航高)的影像,对比不同空间尺度下分类模型的大豆种植区提取精度,进而确定最优空间尺度。

不同窗口尺寸下,4种算法下大豆种植区的提取精度(以Kappa系数表征)均随着窗口的增大而逐渐提高(图2),在10 pixel ×10 pixel窗口尺寸下的分类精度值达到0.82,之后提升幅度明显降低,逐渐趋于平缓。综合考虑不同窗口大小在4种算法下的表现,并尽可能地减少不同地物交界处的锯齿化和尺度效应的影响,将10 pixel ×10 pixel确定为最适合本研究大豆提取的窗口尺寸。

红色五角星标记的是最优窗口尺寸。The red stars represent the optimum window size.图2 不同方法下窗口尺寸与分类精度的关系Fig.2 Relationships between window size and classification accuracy under different algorithms

2.2 各算法的特征优选结果

依据1.5节的特征子集优选方法,得到4种算法下各个特征变量的重要性排序结果。在4种算法的评估结果中,排序均靠前的特征变量有r、BRRI、h、NGRDI、ExR,说明这些特征在大豆识别中可能具有较大的优势。其中,r在4种算法下均排名前三。

依据特征变量的重要性结果,得到不同特征变量组合形式下的分类精度与特征子集数量的关系(图3)。总体来看,随着特征变量的增加,各算法下的提取精度(以Kappa系数表征)均呈现升高趋势。其中,RF、XGBoost算法在依次输入各特征后,Kappa系数整体提升相对稳定,只在局部出现小幅降低,分别在输入的特征变量数量为22和20时精度达到最大值;SVM和BPNN算法下分类器达到精度最大值时所对应的特征变量的数量均为22。可见,在4种算法下实现最大精度所需的特征维度均较高,且在达到最大提取精度前,均存在导致分类精度降低的部分特征。按照1.5节的特征选择算法,剔除不利于大豆准确提取或会导致精度降低的特征,得到4种算法下的特征变量优选结果(图4、表1)。从数量来看,RF和XGBoost算法下的优选特征个数为9,SVM为7,BPNN为6。此时,4种算法均能够在较高的分类精度与较少的数据量之间实现平衡,且能够保证分类精度随特征数量的增加而稳步提升。相对于特征优选前各算法达到最大精度时所对应的特征维度,特征优选后,RF、XGBoost、SVM、BPNN算法下的数据量分别减少了59.1%、55.0%、68.2%、72.7%,RF、XGBoost和BPNN算法分类精度的最大值分别降低了0.000 3、0.007 8、0.007 8,而SVM算法分类精度的最大值还提升了0.020 0,分类精度变化均在可接受范围内。

红点代表最大精度所对应的特征维度。The red points represent the specific dimension corresponding to the maximum accuracy.图3 不同机器学习算法下分类精度与特征维度之间的关系Fig.3 Relationship between classification accuracy and feature dimension under different algorithms

图4 优选特征维度与分类精度的对应关系Fig.4 Relationship between singled out features dimension and classification accuracy under different algorithms

表1 不同算法的优选特征变量子集Table 1 Optimum feature-subsets under different algorithms

从特征子集优选结果来看,r、ExR、BRRI、ASM、NGRDI和DSM至少保留在3种算法的特征优选结果中,表明这些特征对大豆识别更有效。

2.3 大豆种植区提取结果

采用4种机器学习算法,将优选特征子集与原始RGB波段分别作为输入,提取得到不同方案所对应的大豆种植区(A区域影像)分布结果(图5)。与真值对比后发现,不同方案提取得到的大豆种植区与真实分布总体上较为一致,然而不同方法和不同输入数据的提取结果存在一定差异。总体来看,4种算法下基于优选特征子集的大豆种植区提取效果均优于基于原始RGB波段的提取结果,其错分和漏分现象明显减少。值得注意的是,8张分类结果图左上方区域的提取效果均不够理想,尤其是漏分现象较为严重。与原始影像对比之后发现,该区域处于原始拼接结果影像的边缘位置,存在较为明显的色彩偏移,因而在一定程度上影响到了提取效果。相比之下,RF算法结合优选特征子集得到的结果与真值最为接近,误差相对更少。

图5 不同方案下大豆种植区的提取效果对比Fig.5 Comparison of extraction effects of soybean planting areas with different schemes

在最佳窗口条件(10 pixel×10 pixel)下,运用不同算法,基于RGB影像和优选特征提取大豆种植区,依据制图精度、用户精度、总体精度和Kappa系数评价提取效果的优劣。基于优选特征获得的大豆提取精度相较于RGB影像明显提高,在RF、SVM、XGBoot、BPNN算法下,Kappa系数分别提高了0.05、0.11、0.05、0.03(表2),以SVM算法下的提升幅度最大。同样基于优选特征进行的大豆提取中,SVM算法与RF、XGBoost算法的Kappa系数持平,但其用户精度却明显略低,说明其错分误差要较后两者严重。在本研究所采用的4种算法中,RF算法下基于优选特征的大豆种植区提取结果的用户精度和总体精度均最高,分别为96.27%和93.96%,表现相对更好,且提取结果也更符合实际。

表2 不同算法下基于RGB特征和优选特征的大豆提取精度Table 2 Soybean extraction accuracy based on RGB image and optimum features under different algorithms

从前述研究也可看出,在RF和XGBoost算法下,当加入扩展特征后,其分类精度的变化较为平缓。这说明,这两种算法能够很好地支持多维度输入数据,且其运行结果也表现出较高的稳定性,因而更适于特征扩展和特征优选操作。在SVM和BPNN算法下,当加入扩展特征后,分类精度的波动相对明显,说明其提取结果易受到特征维度和特征数值范围的影响。

综上,优选特征有利于在无人机平台上获取更好的提取效果,RF算法与特征优选方法结合的方案在无人机大豆识别中具有较大的应用潜力。

3 讨论

先前的有关大豆分类识别的研究多以卫星平台为主[21-22],鲜见基于无人机平台的应用。本文利用无人机平台搭载传统RGB相机获取研究区影像。传统的RGB相机像素精细,但其工作波段少,波段跨度大,导致波谱空间的信息量少,不利于遥感影像目标信息的有效提取。加入扩展特征的目的正是为了充分挖掘原始影像中隐含的信息,扩展大豆的候选遥感辨识性特征。之后,采用特征选择方法筛选出与各算法相匹配的特征子集,能够最大限度地释放各算法的性能。这种基于评价指标自动判别筛选的特征选择方法在一定程度上能够减少人为选择带来的主观性。通过加入扩展特征并引入特征优选方法,本研究在整体上实现了较高的分类精度与较少的数据量之间的平衡,RF、SVM、XGBoost、BPNN算法下提取大豆种植区的运算时间分别为93、117、79、85 s,且其提取效果均得到了提升。这与其他学者先前的研究结论[10,17-19]一致。但是,本文并未就特征的相关性和信息冗余进行分析。今后,可继续就上述问题做进一步探讨。

无人机超高分辨率引起的细节灾难会对分类结果产生不利影响。同时,传统机器学习方法的局限也会导致分类结果中噪点过多。因此,需要采用一定的策略来减弱上述影响。本文针对原始影像,采用窗口平滑滤波处理,降低了提取结果中的噪点,使大豆种植区的提取效果得到改善,同时又最大限度地保留了空间细节,RF算法下的Kappa系数达到0.87。但是,窗口平滑滤波处理在不同场景下的适用性还需要做进一步探讨或论证。本研究结果显示,各算法对图像中间区域的提取效果较好,“错分”“漏分”主要集中在上、下部分。与原始影像对比之后发现,容易出现“错分”“漏分”的区域多处于原始拼接结果影像的边缘位置,尤其是上部区域存在较为明显的色彩偏移,因而在一定程度上影响到了提取效果。此外,研究区作物种类多样、农田景观破碎、地物分布差异的特点,也会导致类间特征值差异较大、样本分布不均,加上无人机影像的超高分辨率使得阴影、土壤背景都会呈现在其中,都可能会导致前述情况的发生。后续研究将进一步通过算法参数调优或采用深度学习算法等改善提取效果,进一步提升提取精度。

综上,本研究基于无人机RGB影像获取扩展特征,基于4种机器学习算法构建大豆遥感识别模型,通过两种方法——滑窗平滑滤波、特征选择,实现了高精度的大豆种植区提取。在最佳窗口尺寸下,RF结合优选特征的大豆提取表现最好,基于该模型优选得到的9个特征子集的总体精度最高,达到93.96%,Kappa系数为0.87,效果优于其他3种算法。此外,RF算法在执行效率、高维度数据支持和噪声容忍度方面也展现出显著优势。这说明,本研究提出的基于RGB影像的RF算法结合特征优选的提取方法在无人机大豆遥感识别中表现出较大的应用潜力。基于本文所开展的相关工作已形成一套优选方案和技术路线,可以为复杂种植结构下无人机平台的大豆遥感识别研究提供思路与技术参考。