王春雷,卢彩云,李洪文,何 进,王庆杰,江 珊
·农业信息与电气技术·
基于支持向量机的玉米根茬行图像分割
王春雷,卢彩云,李洪文※,何 进,王庆杰,江 珊
(1. 中国农业大学工学院,北京 100083;2. 农业农村部河北北部耕地保育科学观测实验站,北京 100083)
玉米根茬行的准确识别是实现玉麦轮作机器视觉式小麦自动对行免耕播种技术的前提。针对华北一年两熟区联合收获机玉米留茬收获后根茬行较难准确分割的问题,该研究以直立玉米根茬为研究对象,提出一种基于支持向量机(Support Vector Machine,SVM)的玉米根茬行分割方法。首先,利用主成分分析(Principal Components Analysis,PCA)对提取的目标(直立根茬)与背景(行间秸秆及裸露地表)的颜色和纹理特征进行分析,优选出21个特征,构成特征向量作为训练直立根茬SVM识别模型的输入;然后,根据图像坐标设置图像中间包含完整玉米根茬行的矩形区域为感兴趣区域(Region of Interest,ROI);最后,使用训练好的直立根茬SVM识别模型以25×25(像素)的窗口在ROI内滑动检测,采用阈值法分割根茬行并通过形态学处理优化得到最终的玉米根茬行二值图像。利用在农业农村部河北北部耕地保育农业科学观测实验站采集的100幅玉米根茬行图像进行试验,结果表明,本文方法对于不同行间秸秆覆盖量和不同光照条件下的根茬行分割表现出较好的准确性和鲁棒性,直立根茬平均识别准确率、平均分割准确率、平均召回率、平均分割准确率与平均召回率的加权调和平均值(F1值)分别为93.8%、93.72%、92.35%和93.03%,每幅图像的平均分割时间为0.06 s,具有较好的实时性。基于SVM的分割方法可实现联合收获机玉米留茬收获后根茬行图像的分割,为下一步检测玉米根茬行直线并将其作为导航基准线进行视觉导航的研究提供良好基础。
机器视觉;图像分割;支持向量机;主成分分析;玉米根茬行
华北一年两熟区是中国主要粮食生产基地,保持该区域粮食的稳产高产,对保障国家粮食安全具有重要意义[1]。免耕播种在秸秆留茬地直接进行播种作业,利用作物秸秆及残茬覆盖地表,具有节水抗旱、提高土壤有机质含量、增加作物产量的优势,对促进粮食稳产高产有重要作用[2-3]。然而,由于地表有秸秆残茬覆盖,易造成免耕播种机具堵塞,严重影响播种质量,故提升机具通过性能成为免耕播种技术实施的关键[4-5]。
机器视觉式小麦自动对行免耕播种技术通过机器视觉检测玉米根茬行位置,进而引导小麦对行免耕播种机自动避开玉米根茬进行作业,既可提高免耕播种机的通过性,发挥免耕播种优势,同时可降低驾驶员作业强度,提高作业效率及播种质量,对推动智能化保护性耕作技术的发展具有重要意义[6]。玉米根茬行识别是玉麦轮作机器视觉式小麦自动对行免耕播种技术实现的前提,其识别性能的好坏直接影响自动对行的精度及播种质量。为提高根茬行识别性能,研究人员针对不同田间环境下的根茬行开展了识别研究,如陈媛[7]以玉米高留茬收获且行间无秸秆覆盖条件下的玉米根茬为研究对象,提出了一种基于迭代法选取阈值的根茬行分割法,该方法可实现根茬行的有效分割,处理一幅640×480(像素)的彩色图像耗时135 ms,但在行间有秸秆覆盖时分割效果不佳。陈婉芝[8]以玉米留茬收获且行间有秸秆覆盖的根茬行为研究对象,提出一种基于遗传算法与阈值滤噪的根茬行分割法,该方法处理一幅1 280×1 024(像素)的图像耗时160 ms,相对面积误差率为24.68%,但准确性、实时性及鲁棒性还有待提高。
与其他作物相比,玉米利用联合收获机留茬收获后的根茬行图像具有目标(直立根茬)与图像背景(行间秸秆及裸露地表)颜色相近、行间秸秆形态参差不齐、秸秆覆盖量及光照变化大等特点。因此,针对直立根茬在上述背景下较难准确分割的问题,本文以联合收获机留茬收获后的玉米直立根茬为研究对象,提出一种基于支持向量机的玉米根茬行分割方法,以期为根茬行分割及后续根茬行快速检测提供参考。
玉米根茬行图像于2019年10月初在农业农村部河北北部耕地保育农业科学观测实验站采集,玉米根茬高度约30~40 cm,采集设备是Nikon D5100型数码相机,拍摄时数码相机正对玉米根茬行,相机距地面高度约1 m,与水平方向的夹角约30°。为保证根茬行图像样本的多样性,随机选取4块拍摄区域,人工分别设置0、1、2和3 kg/m2的行间秸秆覆盖量,并针对4种行间秸秆覆盖量下的根茬行进行图像采集,采集时间在8:00—18:00之间,包含晴天条件下的顺光、阳光直射、逆光,以及阴天。对于行间秸秆覆盖量为0的条件,地表含水率会随时间及天气变化而变化,因此地表图像会呈现出不同的颜色及纹理信息,进而保证了图像样本的多样性。共采集图像400张,4种行间秸秆覆盖量各100张,图像分辨率为4 928×3 264(像素)。试验各从4种行间秸秆覆盖量条件的根茬行图像中各随机选取75幅,共300幅图像用于获取目标(直立根茬)与背景(行间秸秆及裸露地表)样本图像并作为训练样本,剩余100幅图像作为测试样本。为了提高直立根茬识别模型的训练速度和识别精度,以及后续根茬行的分割性能,结合图像分割、视觉导航等相关研究[9-10],本文将所采集图像尺寸调整为640×480(像素)。
基于支持向量机(Support Vector Machine,SVM)的玉米根茬行分割方法主要分为3个步骤,如图1所示。首先,利用训练样本获取目标(直立根茬)与背景(行间秸秆及裸露地表)的样本图像,提取其在不同颜色空间下的颜色及纹理特征,并采用主成分分析法优选出最有利于区分二者的特征并进行直立根茬SVM识别模型训练;然后进行感兴趣区域选取。为提高分割效率,将能够包含图像中间完整玉米根茬行的矩形区域作为感兴趣区域(Region of Interest,ROI);最后根茬行分割。利用直立根茬SVM识别模型在ROI内进行窗口滑动检测识别直立根茬,采用阈值法分割根茬行并通过形态学处理得到最终的玉米根茬行二值图像。
为了训练直立根茬识别模型,需要提取目标(直立根茬)与背景(行间秸秆及裸露地表)的特征作为图像的特征描述子。而玉米直立根茬与行间秸秆及裸露地表颜色接近,肉眼较难区分。为寻找利于区分二者的特征,以25×25(像素)的窗口获取直立根茬样本1 500个,行间秸秆及裸露地表样本各1 500个,其中直立根茬样本在宽度上包含完整的直立根茬轮廓,且涵盖不同的光照和秸秆覆盖量条件;行间秸秆样本包含不同的光照、行间秸秆覆盖量及形态等条件;裸露地表样本包含不同的光照、形态等条件。通过提取目标与背景图像的颜色与纹理特征,构建高维特征向量,并采用主成分分析法对高维特征向量进行分析,优选出最有利于区分二者的特征。
此外,合理的颜色空间选择不仅有利于直立根茬颜色特征表达,同时能降低光照变化及复杂环境对分割效果的影响。本文选取了RGB、HSV、Lab、YCbCr和YIQ 共5种常用的颜色空间,并选择R、G、B、H、S、V、L、a、b、YCbCr-Y、Cb、Cr、YIQ-Y、I、Q、(R +G +B)/3、-0.74R+0.98G+0.875B[8]共17个分量用于后续颜色与纹理特征的提取。
2.1.1 颜色特征提取
基于上述17个分量提取的颜色特征共697个,其中每个分量下提取的特征主要包括均值、方差、最大值、最小值、二阶矩、三阶矩[11]、协方差均值、协方差方差、协方差最大值、协方差行向标准差最大值、协方差列向标准差最大值、协方差行向标准差均值、协方差列向标准差均值、协方差对角化均值、协方差对角化最大值、协方差对角化最小值等41个特征。该研究中每个值的计算顺序与该值的名称一致,如列向标准差均值即先按列计算标准差然后再计算标准差的均值。
2.1.2 纹理特征提取
基于上述17个分量提取的纹理特征共1 513个,每个分量下提取的特征有89个:基于灰度共生矩阵分别提取0°、45°、90°、135° 共4个方向下的角二阶矩、熵、惯性矩、对比度、逆方差等共40个特征[12-14];基于偏度值和峰度值分别提取二者的均值、最大值、最小值、方差、协方差等共14个特征[15-17];基于Tamura原理,通过设置不同参数提取粗糙度、对比度、方向度、线像度等共23个特征[18-20];基于方向梯度直方图的梯度幅值和梯度方向值,分别提取二者的均值、最大值、最小值和标准差共8个特征[21-22];基于快速傅里叶变换提取频谱的均值、最大值、最小值和标准差4个特征[23]。
2.1.3 特征优选
主成分分析法(Principal Component Analysis,PCA)是一种广泛应用的数据降维及特征优选方法,其基本原理是通过正交变换将一组线性相关的变量转换为线性不相关的变量,转换后的变量称作主成分[24-27]。本研究采用PCA对提取的颜色及纹理特征进行分析,并根据主成分方差贡献率及各原始特征的权重系数进行特征优选。
从获取的目标(直立根茬)与背景(行间秸秆及裸露地表)样本中共得到697个颜色特征和1 513个纹理特征,每个特征包含4 500个样本数据。首先,通过人工筛选剔除420个存在空值的特征,并将剩余特征构成1 790维特征向量。通过PCA对该特征向量进行分析,结果表明前2个主成分的累积方差贡献率为99.99%,且第1主成分的方差贡献率已达到98.2%,故选取第1主成分进一步分析。由于大部分权重系数值较小,故对权重系数值进行取对数(lg)处理,得到第1主成分中各个特征的权重系数对数值变化曲线(图2)。
根据权重系数对数曲线分布,综合考虑模型的识别准确率和效率,选取权重系数对数值大于-6.35的前21个特征(表1)为最优特征,构成21维特征向量作为训练直立根茬SVM识别模型的输入。
2.1.4 直立根茬SVM识别模型训练
支持向量机(Support Vector Machine,SVM)是经典的有监督机器学习方法之一,其能够在样本量小、非线性等情况下构造出不同类别间的最大分类面,具有很强的泛化能力,较高的准确率和效率[28-30]。
将优选的21维特征向量作为直立根茬SVM识别模型的训练样本输入,训练标签是(-1,1)。其中规定直立根茬训练样本的标签为(1),共有1 500个;行间秸秆及裸露地表训练样本的标签为(-1),共有3 000个。直立根茬SVM识别模型的训练目标是找到能够划分直立根茬、行间秸秆及裸露地表样本且使其间隔最大的超平面。此外,合理的核函数类型及其参数选择对识别模型的性能有显著影响,线性函数、多项式函数、Sigmoid函数及径向基(Radial Basis Function,RBF)函数为4种常用的函数。经多次试验,选取识别准确率较高的RBF函数作为直立根茬SVM识别模型的核函数,考虑到直立根茬、行间秸秆及裸露地表样本数为1∶2,因此基于网格搜索法利用5折分层交叉验证法获取惩罚系数和的最优取值。其中,的选择范围为2-10~210,的选择范围为2-10~210,在和组成的平面内搜索,以训练集分层交叉验证准确率均值达到最大值为指标。本文最终选择=72、=5为最优参数,此时模型的准确率最高,为96.8%。
表1 选取的最优特征及其权重系数对数值
注:L为Lab颜色空间下的L分量;a为Lab颜色空间下的a分量;b为Lab颜色空间下的b分量;R为RGB颜色空间下的R分量;G为RGB颜色空间下的G分量;B为RGB颜色空间下的B分量;V为HSV颜色空间下的V分量;YIQ-Y为YIQ颜色空间下Y分量;YCbCr-Y为YcbCr颜色空间下Y分量。
Note: L is L component of Lab color space; a is a component of Lab color space; b is b component of Lab color space; R is R component of RGB color space; G is G component of RGB color space; B is B component of RGB color space; V is component of HSV color space; YIQ-Y is Y component of YIQ color space; YCbCr-Y is Y component of YCbCr color space.
玉米根茬行图像分割的目标是实现图像中间完整玉米根茬行的分割,因此将包含该条根茬行的矩形区域作为ROI进行处理。定义图像左上角为图像坐标原点,向右是轴正方向,大小为图像宽度width,向下为轴正方向,大小为图像高度height。从采集的图像中随机选取50幅图像,手动标记根茬行所属区域的坐标范围,并综合考虑识别性能及分割效率,最终确定将玉米根茬行图像中以(7width/16,0)和(19width/32,height)为对角点的矩形区域设置为ROI。
选取Lab颜色空间下L分量作为待分割灰度图像,并将L分量ROI区域外灰度值设为0,直立根茬滑动识别及根茬行分割流程如图3所示,具体步骤如下:
1)设置ROI左端为起始点,以25×25(像素)的窗口在ROI内由左向右,从上至下进行滑动检测;
2)提取当前窗口内前述21个特征的值构成特征向量,然后使用直立根茬SVM识别模型进行标签预测,若标签预测为(-1),进入步骤3),反之进入步骤4);
3)将L分量中与当前窗口处于相同位置的灰度值设为0,同时将当前窗口向右步进25个像素,向下步进0个像素,并重复步骤2);
4)若当前窗口预测标签为1,则确定其属于直立根茬,将L分量中与当前窗口处于相同位置的灰度值设为255(灰度取值范围的最大值),以便后续对根茬行进行分割,然后将窗口退回最左端,同时向下步进25个像素块,并重复步骤2);
5)重复步骤3)~4),直至识别完整个ROI;
完成步骤1)~5)后,直立根茬区域的灰度值已被设为255,故采用阈值为255的阈值法对L分量进行分割,通过半径为2的圆盘形结构元素对分割后的二值图像进行形态学开运算处理去除毛刺、孔洞等噪声得到最终的玉米根茬行二值图像。
试验所用平台为Hewlett-Packard(HP)计算机,处理器为Intel(R) Core(TM) i7-9750H,12核2.60 GHz,32 GB RAM,显卡为NVIDIA GeForce GTX 1650,操作系统为Windows 10,编程语言为Python 3.7,图像处理及直立根茬SVM识别模型训练阶段用到的计算机视觉开源库包括numpy、OpenCV及sklearn。
试验中,使用测试样本进行玉米根茬行分割,测试样本为0、1、2和3 kg/m2共4种行间秸秆覆盖量条件下的玉米根茬行图像,每种条件各25幅图像,共100幅图像,每种包含晴天条件下的顺光、阳光直射、逆光,阴天等条件,图像分辨率为640×480(像素)。为了验证本文方法的可行性及其分割性能,选取反向传播神经网络(Back Propagation Neural Network,BPNN)[31]、极限学习机[32](Extreme Learning Machine,ELM)进行直立根茬识别模型训练,构成BPNN分割法和ELM分割法,此外还选取了基于遗传算法和阈值滤噪的分割方法[10](以下简称遗传法),将3种方法与本文分割方法的玉米根茬行分割效果进行对比,处理过程中的一些典型分割结果如图4~7所示。
其中,在参考机器学习、图像处理等相关研究中BP神经网络与极限学习机主要参数的设置[31-33],在前期试验的基础上确定本研究中BP神经网络采用4500-300-20-2 4层结构,激活函数为sigmoid函数,学习速率为0.02,目标误差为0.01,迭代次数为10 000;极限学习机采用4500-500-2的3层结构,激活函数为sigmoid函数;遗传法灰度化算子为-0.74R+0.98G+ 0.875B,分割阈值、面积阈值和偏距阈值分别为150、100和30。
为客观评价本文所提出方法的分割性能,采用Photoshop手动分割玉米根茬行,并将该结果作为真实分割结果,选取直立根茬平均识别准确率A、平均分割准确率P、平均召回率R和平均分割准确率与平均召回率的加权调和平均值(F1值)对不同方法的分割结果进行定量评价[34]。其中,直立根茬平均识别准确率A用于分析模型识别结果与真实结果之间的差异,计算方式如下:
式中C1为第幅图像中直立根茬被正确识别的个数;C2为第幅图像中被误识别为直立根茬的个数。
平均分割准确率P用于体现算法分割结果与真实分割结果之间的差异,计算方式如下:
式中P1为第幅图像中直立根茬被正确分割的像素数;P2为第幅图像中被误分割为直立根茬的像素数。
平均召回率R用于评价分割算法处理玉米根茬行图像后所得到根茬行图像的完整性,计算方式如下:
式中P3为第幅图像中直立根茬被误分割为行间秸秆或裸露地表的像素数。
F1值兼顾分割算法的准确率与召回率,对分割结果做出综合评价,计算方式如下:
从4种方法的分割结果可以看出,在不同行间秸秆覆盖量、不同光照条件下,BPNN分割法和ELM分割法的分割结果相似,2者虽然能够分割根茬行图像,但分割效果欠佳,存在严重的误分割现象。推测BPNN分割法和ELM分割法的分割效果欠佳原因是:当行间秸秆量为0时,晴天顺光、晴天阳光直射、晴天逆光条件下的根茬阴影,复杂地表(掺杂地表、细碎秸秆等),晴天阳光直射下的强光区域及阴天条件下的暗光区域等都会对直立根茬识别产生影响,导致行间秸秆或裸露地表预测为直立根茬,从而产生误分割,如图4晴天顺光、晴天阳光直射、晴天逆光和阴天条件下玉米根茬行分割结果;当行间秸秆量为1、2和3 kg/m2时,除上述原因外,分布在直立根茬附近与其呈现相近颜色的行间秸秆也会影响直立根茬的识别,造成误分割,且行间秸秆覆盖量越大误分割现象越严重,如图5~7晴天顺光、晴天阳光直射、晴天逆光和阴天条件下玉米根茬行分割结果。
遗传法对行间秸秆覆盖量有较好的适应性,能够从不同行间秸秆覆盖量条件下有效地分割出根茬顶端切口,但其过分割现象严重,即将根茬顶端切口及其以下的直立根茬部分误分割成背景,如图4~7晴天顺光和晴天阳光直射条件下玉米根茬行分割结果。此外,光照对分割结果有一定影响,相较于晴天顺光和晴天阳光直射条件下的分割结果,晴天逆光和阴天条件下的根茬分割误分割现象较明显,如图4~7晴天逆光和阴天条件下玉米根茬行分割结果。
与BPNN分割法、ELM分割法和遗传法相比,本文方法能够从含有大量行间秸秆、裸露地表等复杂的环境下较为准确地分割出玉米根茬行,如图4~7晴天顺光条件下玉米根茬行分割结果。同时,本文方法能够克服行间秸秆覆盖量变化对直立根茬识别及根茬行分割的影响,如图7晴天顺光、晴天阳光直射、晴天逆光和阴天中行间秸秆覆盖量为3 kg/m2的条件下仍能够取得良好的分割效果;另外,本文方法还能够比较有效地克服光照变化对直立根茬识别及根茬行分割的影响,在晴天阳光直射、晴天逆光及阴天等光照条件下都能够取得良好的分割效果,如图4~6晴天阳光直射、晴天逆光和阴天条件下的玉米根茬行分割结果。
综上,从分割效果可看出,本文方法分割效果较好,能够从复杂的玉米根茬行图像中有效分割出玉米根茬行,对不同行间秸秆覆盖量、不同光照等条件具有较好的适应性。
表2为直立根茬BPNN模型、ELM模型及本文模型的平均识别准确率A,以及不同方法的平均分割准确率P、平均召回率R和F1值。由于直立根茬BPNN模型和ELM模型的平均识别准确率A较低,分别为62.76%和63.71%,从而导致BPNN分割法和ELM分割法存在严重的误分割现象,使得分割结果中背景被分割成根茬切口的像素数偏多,故二者的平均分割准确率P较低,分别为61.88%和62.92%,平均召回率R较高,分别为86.94%和88.75%;而遗传法存在严重的过分割现象,即将直立根茬错分为背景的像素数过多,其平均分割准确率(90.13%)较高,而平均召回率(51.36%)较低;本文方法的平均识别准确率A、平均分割准确率P、和平均召回率R在4种方法中都是最高,分别为93.8%,93.72%,92.35%。从整体情况上看,本文方法的F1值最高,为93.03%,BPNN分割法与ELM分割法相近分别为72.3%和73.63%,遗传法的F1值最低,为65.43%。综上,本文分割方法的分割性能良好,对复杂环境具有较好的适应性。
表2 不同方法分割玉米根茬行图像的性能指标
从时间指标上看,本文方法的平均耗时为0.06 s,虽然比用时最短的ELM分割法(0.022 s)增加了0.038 s,但其平均分割准确率P、平均召回率R、F1值远高于另外3种方法,且处理速度在毫秒级,可较好满足实时处理的要求。综上,从分割性能和运行时间上看,本文方法能够从复杂的自然环境中分割出较完整的玉米根茬行,鲁棒性强,分割准确率高,实时性好。但同时,从图4~7晴天逆光条件下的玉米根茬行分割结果可以看出,本文方法在处理阴天条件下的根茬行图像时存在误分割情况,故仍需进一步探索降低阴影干扰方法。
本文以玉米利用联合收获机留茬收获后的直立根茬为研究对象,提出一种基于支持向量机(SVM)的玉米根茬行图像分割方法,该方法分割准确率高,对行间秸秆覆盖量及光照变化具有较好的适应性。
1)基于支持向量机(SVM)的玉米根茬行图像分割方法采用主成分分析(PCA)优选利于区分目标(直立根茬)与背景(行间秸秆及裸露地表)的21个特征,并将其构成特征向量进行直立根茬支持向量机(SVM)识别模型的训练,利用训练好的直立根茬支持向量机(SVM)识别模型在选取的感兴趣区域(ROI)内滑动检测直立根茬,阈值法分割根茬行,形态学处理优化分割结果,实现了复杂环境下玉米根茬行的准确快速分割。
2)分别选取反向传播神经网络(BPNN)分割法、极限学习机(ELM)分割法、遗传法和本文方法对包含4种行间秸秆覆盖量和4种光照条件下的测试样本图像进行分割。分割结果表明,本文方法得到的根茬行区域较完整,与反向传播神经网络(BPNN)分割法和极限学习机(ELM)分割法相比,误分割情况较少,与遗传法相比,过分割情况较少。
3)选取直立根茬平均识别准确率、平均分割准确率、平均召回率和平均分割准确率与平均召回率的加权调和平均值对本文所用根茬行分割方法的性能进行定量分析。结果表明,本文方法的分割性能最优,远高于其他3种分割方法,平均识别准确率、平均分割准确率、平均召回率和平均分割准确率与平均召回率的加权调和平均值分别为93.8%,93.72%,92.35%和93.03%。
4)本文方法平均处理时间为0.06 s,实时性良好。从分割效果、直立根茬平均识别准确率、平均分割准确率、平均召回率和平均分割准确率与平均召回率的加权调和平均值等综合来看,本文方法对于分割不同秸秆覆盖量、不同光照等复杂条件下的玉米根茬行图像具有良好的效果。
[1] 国家统计局. 中国统计年鉴[M]. 北京:中国统计出版社,2019.
[2] Kassam A, Friedrich T, Derpsch R. Global spread of conservation agriculture[J]. International Journal of Environmental Studies, 2018, 76(1): 29-51.
[3] 何进,李洪文,陈海涛,等. 保护性耕作技术与机具研究进展[J]. 农业机械学报,2018,49(4):1-19.
He Jin, Li Hongwen, Chen Haitao, et al. Research progress of conservation tillage technology and machine[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(4): 1-19. (in Chinese with English abstract)
[4] 王韦韦,朱存玺,陈黎卿,等. 玉米免耕播种机主动式秸秆移位防堵装置的设计与试验[J]. 农业工程学报,2017,33(24):10-17.
Wang Weiwei, Zhu Cunxi, Chen Liqing, et al. Design and experiment of active straw-removing anti-blocking device for maize no-tillage planter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(24): 10-17. (in Chinese with English abstract)
[5] 罗征. 原茬地12行小麦免耕播种机关键技术研究[D]. 哈尔滨:东北农业大学,2016.
Luo Zheng. Study on Key Technology of 12 Rows Wheat No-Tillage Planter in Original Stubble Fields[D]. Haerbin: Northeast Agricultural University, 2016. (in Chinese with English abstract)
[6] 王春雷,李洪文,何进,等. 自动导航与测控技术在保护性耕作中的应用现状和展望[J]. 智慧农业,2020,2(4):41-55.
Wang Chunlei, Li Hongwen, He Jin, et al. State-of-the-art and prospect of automatic navigation and measurement techniques application in conservation tillage[J]. Smart Agriculture, 2020, 2(4): 41-55. (in Chinese with English abstract)
[7] 陈媛. 基于机器视觉的秸秆行茬导航路径的检测研究[D]. 北京:中国农业大学,2008.
Chen Yuan. Detection of Stubble Row for Machine Vision Guidance in No-Till Field[D]. Beijing: China Agricultural University, 2008. (in Chinese with English abstract)
[8] 陈婉芝. 基于机器视觉的免耕播种机对行避茬技术研究[D]. 北京:中国农业大学,2018.
Chen Wanzhi. Study on Maize Stubble Avoidance Technology Based on Machine Vision for Row-Follow No-Till Seeder[D]. Beijing: China Agricultural University, 2018. (in Chinese with English abstract)
[9] 杨信廷,刘蒙蒙,许建平,等. 自动监测装置用温室粉虱和蓟马成虫图像分割识别算法[J]. 农业工程学报,2018,34(1):164-170.
Yang Xinting, Liu Mengmeng, Xu Jianping, et al. Image segmentation and recognition algorithm of greenhouse whitefly and thrip adults for automatic monitoring device[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(1): 164-170. (in Chinese with English abstract)
[10] 孟庆宽. 基于机器视觉的农业车辆—农具组合导航系统路径识别及控制方法研究[D]. 北京:中国农业大学,2014.
Meng Qingkuan. Methods of Navigation Control and Path Recognition in the Integrated Guidance System of Agricultural Vehicle and Implement Based on Machine Vision[D]. Beijing: China Agricultural University, 2014. (in Chinese with English abstract)
[11] 张建华,冀荣华,袁雪,等. 基于径向基支持向量机的棉花虫害识别[J]. 农业机械学报,2011,42(8):178-183.
Zhang Jianhua, Ji Ronghua, Yuan Xue, et al. Recognition of pest damage for cotton leaf based on rbf-svm algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(8): 178-183. (in Chinese with English abstract)
[12] Baron J, Hill D J. Monitoring grassland invasion by spotted knapweed (centaurea maculosa) with rpas-acquired multispectral imagery[J]. Remote Sensing of Environment, 2020, 249: 112008.
[13] Jia F, Li S, Zhang T. Detection of cervical cancer cells based on strong feature CNN-SVM network[J]. Neurocomputing, 2020, 411: 112-127.
[14] 陈彩文,杜永贵,周超,等. 基于图像纹理特征的养殖鱼群摄食活动强度评估[J]. 农业工程学报,2017,33(5):232-237.
Chen Caiwen, Du Yonggui, Zhou Chao, et al. Evaluation of feeding activity of shoal based on image texture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(5): 232-237. (in Chinese with English abstract)
[15] 杨玮,兰红,李民赞,等. 基于图像处理和GBRT模型的表土层土壤容重预测[J]. 农业机械学报,2020,51(9):193-200.
Yang Wei, Lan Hong, Li Minzan, et al. Prediction of top soil layer bulk density based on image processing and gradient boosting regression tree model[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(9): 193-200. (in Chinese with English abstract)
[16] Drewry J L, Luck B D, Willett R M, et al. Predicting kernel processing score of harvested and processed corn silage via image processing techniques[J]. Computers and Electronics in Agriculture, 2019, 160: 144-152.
[17] Nouri-Ahmadabadi H, Omid M, Mohtasebi S S, et al. Design, development and evaluation of an online grading system for peeled pistachios equipped with machine vision technology and support vector machine[J]. Information Processing in Agriculture, 2017, 4( 4): 333-341.
[18] Xu Z, Diao S, Teng J, et al. Breed identification of meat using machine learning and breed tag SNPs[J]. Food Control, 2021, 125(7): 107971.
[19] Sengupta Subhajit, Lee W S. Identification and determination of the number of immature green citrus fruit in a canopy under different ambient light conditions[J]. Biosystems Engineering, 2014, 117: 51-61.
[20] Jiang B, Ping W, Zhuang S, et al. Detection of maize drought based on texture and morphological features[J]. Computers and Electronics in Agriculture, 2018, 151: 50-60.
[21] 蔡道清,李彦明,覃程锦,等. 水田田埂边界支持向量机检测方法[J]. 农业机械学报,2019,50(6):22-27,109.
Cai Daoqing, Li Yanming, Qin Chengjin, et al. Detection method of boundary of paddy fields using support vector machine[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(6): 22-27, 109. (in Chinese with English abstract)
[22] Massah J, Vakilian K A, Shabanian M, et al. Design, development, and performance evaluation of a robot for yield estimation of kiwifruit[J]. Computers and Electronics in Agriculture, 2021, 185: 106132.
[23] 李佳,吕程序,苑严伟,等. 快速傅里叶变换结合SVM算法识别地表玉米秸秆覆盖率[J]. 农业工程学报,2019,35(20):194-201.
Li Jia, Lyv Chengxu, Yuan Yanwei, et al. Automatic recognition of corn straw coverage based on fast Fourier transform and SVM[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(20): 194-201. (in Chinese with English abstract)
[24] 陈林涛,马旭,曹秀龙,等. 基于主成分分析的杂交稻芽种物理特性评价研究[J]. 农业工程学报,2019,35(16):334-342.
Chen Lintao, Ma Xu, Cao Xiulong, et al. Evaluation research of physical characteristics of hybrid rice buds based on principal component analysis[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(16): 334-342. (in Chinese with English abstract)
[25] 陈英义,程倩倩,方晓敏,等. 主成分分析和长短时记忆神经网络预测水产养殖水体溶解氧[J]. 农业工程学报,2018,34(17):183-191.
Chen Yingyi, Cheng Qianqian, Fang Xiaomin, et al. Principal component analysis and long short-term memory neural network for predicting dissolved oxygen in water for aquaculture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(17): 183-191. (in Chinese with English abstract)
[26] Hong G, El-Hamid H. Hyperspectral imaging using multivariate analysis for simulation and prediction of agricultural crops in Ningxia, China[J]. Computers and Electronics in Agriculture, 2020, 172: 105355.
[27] Kumar S, Dhakshina, Esakkirajan S, Bama S, et al. A microcontroller based machine vision approach for tomato grading and sorting using SVM classifier[J]. Microprocessors and Microsystems, 2020, 76: 103090.
[28] 梁习卉子,陈兵旗,李民赞,等. 基于HOG特征和SVM的棉花行数动态计数方法[J]. 农业工程学报,2020,36(15):173-181.
Liang Xihuizi, Chen Bingqi, Li Minzan, et al. Method for dynamic counting of cotton rows based on hog feature and SVM[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(15): 173-181. (in Chinese with English abstract)
[29] Konstantinos L, Patrizia B, Dimitrios M, et al. Machine learning in agriculture: A review[J]. Sensors, 2018, 18(8): 2674.
[30] Azarmdel Hossein, Jahanbakhshi Ahmad, Mohtasebi Seyed Saeid, et al. Evaluation of image processing technique as an expert system in mulberry fruit grading based on ripeness level using artificial neural networks (ANNs) and support vector machine (SVM)[J]. Postharvest Biology and Technology, 2020, 166: 111201.
[31] 张建华,孔繁涛,李哲敏,等. 基于最优二叉树支持向量机的蜜柚叶部病害识别[J]. 农业工程学报,2014,30(19):222-231.
Zhang Jianhua, Kong Fantao, Li Zhemin, et al. Recognition of honey pomelo leaf diseases based on optimal binary tree support vector machine[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(19): 222-231. (in Chinese with English abstract)
[32] 王见,周勤,尹爱军. 改进Otsu 算法与ELM 融合的自然场景棉桃自适应分割方法[J]. 农业工程学报,2018,34(14):173-180.
Wang Jian, Zhou Qin, Yin Aijun. Self-adaptive segmentation method of cotton in natural scene by combining improved Otsu with ELM algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 173-180. (in Chinese with English abstract)
[33] Xu Weiyue, Chen Huan, Su Qiong, et al. Shadow detection and removal in apple image segmentation under natural light conditions using an ultrametric contour map[J]. Biosystems Engineering, 2019, 184: 142-154.
[34] 陈善雄,伍胜,于显平,等. 基于卷积神经网络结合图像处理技术的荞麦病害识别[J]. 农业工程学报,2021,37(3):155-163.
Chen Shanxiong, Wu Sheng, Yu Xianping, et al. Buckwheat disease recognition using convolution neural network combined with image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(3): 155-163. (in Chinese with English abstract)
Image segmentation of maize stubble row based on SVM
Wang Chunlei, Lu Caiyun, Li Hongwen※, He Jin, Wang Qingjie, Jiang Shan
(1.,,100083,; 2.(),,100083,)
Accurate identification of maize stubble row has widely dominated the automatic row-followed seeding using machine vision. However, it is difficult to segment the images of stubble row in the maize stubble field harvested by combine harvesters, due mainly to the indistinct chromaticity difference with naked land surface and maize residues. In this study, image segmentation was presented using a support vector machine (SVM), in order to realize precise and rapid segmentation of the maize stubble row. Firstly, principal component analysis (PCA) was used for dimensionality reduction and feature optimization of the dataset, where the specific features were selected to distinguish standing stubble, naked land surface, and maize residues. Especially, the 1 500 sample images of standing stubble, 1500 sample images of the naked land surface, and 1 500 sample images of maize residues were collected, while, 2 210 features containing 697 color features, and 1 513 texture features were obtained using sample images. Then, PCA was used to choose 21 color features of the standing stubble, naked land surface, and maize residues in the R, G, B, L, a, b, v, YIQ-V and YCbCr-Y components from the datasets. The selected color features were constructed into a 21-dimensional feature vector, which was used as the input of the standing stubble SVM recognition model. Secondly, the region of interest (ROI) was selected in the middle of the image with the integrated maize stubble row for the higher efficiency of image segmentation. Finally, the trained SVM recognition model was used for the slide detection of standing stubble within the ROI with a window of 25×25(pixel). If the currently detected window was standing stubble in slide detection, the grayscale value would be set to 255. The maize stubble row was segmented by a threshold when the slide detection was complete. The segmented binary image was then optimized using the morphological open operation processing with a disc-shaped structural element with a radius of 2 pixels. Furthermore, 100 test images were collected to verify the segmentation performance from the Scientific Observing and Experimental Station of Arable Land Conservation (North Hebei), Ministry of Agriculture and Rural Affairs in Zhuozhou City, China in October 2019. The capture size was divided into 4 classes, including 0, 1, 2, and 3 kg/m2, according to the quality of maize residues between rows. At the same time, each class included the front lighting on a sunny day, direct sunlight, backlight on a sunny and cloudy day. Moreover, the images of the 0 kg/m2class also involved different shapes and surface moisture contents, due to the change of time and weather. The results revealed that the algorithm presented higher accuracy and robustness for the stubble row segmentation under various maize residues quality between rows and different lighting conditions. The average recognition accuracy of standing stubble was 93.8% in the SVM recognition model, whereas, those were 62.76% and 63.71% in the BPNN and ELM model, respectively. The average segmentation accuracy, average recall rate, and F1in the SVM recognition model were 93.72%,92.35% and 93.03%, respectively, whereas, those in the BPNN, ELM and genetic models were 61.88%, 86.94%, 72.3%, 62.92%, 88.75%, 73.63%, 90.13%, 51.36% and 65.43%, respectively. Additionally, the average processing time was 0.06 s for a 640×480(pixel) image using the SVM recognition models, indicating excellent real-time performance. Therefore, the SVM recognition model can widely be expected to realize better performance than others in the segmentation of the maize stubble row after the maize is harvested by the combine harvesters.
machine vision; image segmentation; support vector machine(SVM); principal component analysis(PCA); maize stubble row
王春雷,卢彩云,李洪文,等. 基于支持向量机的玉米根茬行图像分割[J]. 农业工程学报,2021,37(16):117-126.doi:10.11975/j.issn.1002-6819.2021.16.015 http://www.tcsae.org
Wang Chunlei, Lu Caiyun, Li Hongwen, et al. Image segmentation of maize stubble row based on SVM[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(16): 117-126. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2021.16.015 http://www.tcsae.org
2021-05-14
2021-07-21
现代农业产业技术体系建设项目(CARS03);中国农业大学2115人才工程资助项目
王春雷,博士生,研究方向为现代农业装备与计算机测控技术。Email:chlwang@cau.edu.cn
李洪文,教授,研究方向为现代农业装备与计算机测控技术。Email:lhwen@cau.edu.cn
10.11975/j.issn.1002-6819.2021.16.015
TP391.4
A
1002-6819(2021)-16-0117-10