水稻冠层图像分割方法对比研究*

黄巧义, 樊小林, 张 木, 黄 旭, 李 苹, 付弘婷, 唐拴虎**



水稻冠层图像分割方法对比研究*

黄巧义1,2, 樊小林2, 张 木1, 黄 旭1, 李 苹1, 付弘婷1, 唐拴虎1**

(1. 广东省农业科学院农业资源与环境研究所/农业部南方植物营养与肥料重点实验室/广东省养分资源循环利用与耕地保育重点实验室 广州 510640; 2. 华南农业大学/广东高校环境友好型肥料工程技术研究中心 广州 510642)

水稻冠层信息在自动化管理上具有重要指导意义, 但田间多变光照强度环境显著降低了水稻冠层图像分割和信息提取的精度。为降低光照强度的干扰, 本文基于RGB、CIE***、HSV色彩空间和多色彩空间(包括RGB、CIE***和HSV色彩空间)构建水稻冠层图像的色彩特征组合, 然后通过支持向量机(SVM)的线性核函数对水稻冠层图像进行分类识别, 其分割方法分别定义为rgb-SVM、lab-SVM、hsv-SVM和Multi-SVM。同时, 利用此方法对不同光照强度下的水稻冠层图像进行分割, 并与常用的ExG&Otsu分割方法进行对比, 比较不同方法的分割效果和光强稳健性。结果表明, rgb-SVM的分割效果优于ExG&Otsu方法, 但对晴天条件下获取的水稻冠层图像的分割误差仍较大, 光强稳健性低; lab-SVM和hsv-SVM分割方法的分割精确度较低, 存在一定的欠分割现象; 基于多色彩空间和支持向量机的Multi-SVM分割方法的分割效果最佳, 该方法对不同光强下获取的水稻冠层图像的分割误差均控制在4.00%以内, 具有较好的光强稳健性。因此, 基于多色彩空间和支持向量机的Multi-SVM分割方法能够相对准确地将水稻像元从水稻冠层图像中分割出来, 且对田间多变光强条件具有一定的稳健性, 可为田间水稻生长发育监测和自动化管理提供一定的技术支持。

水稻; 冠层图像; 光照强度; 图像分割; 色彩空间; 支持向量机

水稻(L.)是我国最重要的粮食作物, 其种植面积及产量水平显著影响我国粮食产量安全[1]。传统水稻的稳定高产在很大程度上来源于广大稻农精耕细作的支撑, 但随着农村劳动力转移、农村劳动力老龄化、水稻传统生产效率降低以及农村土地流转, 亟需以规模化经营和科技装备为我国水稻持续增产提供新动力[1-3]。研究表明, 监测水稻冠层能获取大量的水稻生长信息, 包括生长动态、叶面积指数、生物量、氮素营养状态、开花动态以及病虫害状况[4-9], 可为规模化水稻的自动化耕作管理提供参数指导。贾良良等[9]和李岚涛等[10]认为, 基于水稻冠层图像的数字图像色彩分析技术在水稻氮素营养诊断及氮肥推荐施肥上具有应用潜力。Lee等[7]研究发现, 通过水稻冠层图像获取的作物冠层覆盖度与水稻叶面积指数、地上部分生物量和氮累积量均有很好的相关性, 因此, 他们认为水稻冠层图像分析技术可为水稻生长智能化管理系统提供技术支撑。

水稻冠层图像的智能化应用须以水稻目标图像的准确识别及分割为前提。基于红绿蓝(RGB)色彩的绿度/超绿特征差异是实现绿色作物图像分割的常用方法, 并发展出了超绿特征指数(ExG)、超红特征指数(ExR)、植被提取指数(CIVE)、超绿减去红特征指数(ExGR)、绿叶指数(VEG)等多种增强型光谱指标以优化图像分割效果[11-14]。但是, 在田间作业条件下, 水稻冠层图像的RGB颜色特征显著受光强影响, 基于RGB颜色特征的分割方法的稳健性和精确度较低[13]。刘亚东等[15]发现, 基于CIE***色彩空间的*色彩参数Otsu法的冬小麦冠层图像分割精度较高。方伟等[5]通过HSL色彩模型, 应用阈值法实现盆栽水稻图像精确分割。Wang等[16]研究发现, CIE***色彩空间的*、*色彩参数和HSV空间的H(色调)色彩指标与水稻冠层叶绿素含量均有一定相关性。CIE***和HSV色彩空间将色彩属性从光强属性中独立出来, 可以在一定程度上降低野外多变光强环境的影响[17]。因此, 有研究者试图将RGB、CIE***和HSV色彩空间中各种色彩指标进行一定的权重加和, 提高图像分割方法的光稳健性[18]。但由于水稻冠层图像显著受光强、长势、生育期、品种等多种因素影响, 固定的权重加和方法不能适应多变的野外光强环境和水稻生长环境。支持向量机(Support Vector Machines, SVM)是一种监督式学习的机器学习分类器, 通过寻求结构化风险最小化以提高分类器的泛化能力; 且在训练样本较小的情况下, 亦能获得较稳健的学习分类器, 在图像分割领域广泛应用[12,19-21]。目前, 基于SVM的作物图像分割方法只针对单一的RGB、CIE***和HSV色彩空间, 基于多色彩空间和支持向量机的图像分割方法在水稻冠层图像分割上的应用尚鲜见报道。本研究拟构建基于RGB、CIE***和HSV色彩空间的参数集合, 并采用支持向量机学习算法对水稻冠层图像进行学习识别, 比较不同分割方法的光强稳健性和精确度, 确定较优分割方法, 为水稻冠层数字图像分析技术提供技术支持。

1 材料与方法

1.1 试验区概况

试验区位于广东省江门市台山市都斛镇(112°58′10″E, 22°05′20″N), 研究区域地处广东省西南部, 属亚热带海洋性季风气候, 年平均气温21.8 ℃, 年均降雨量1 936 mm, 无霜期在360 d以上。该区域地势平坦, 属滨海三角洲平原, 为典型双季稻产区, 每年分别于3月上旬和8月上中旬进行早、晚稻插秧。试验区设定在具有代表性的较大片农田之中, 土壤属于壤质黏土, pH 5.78, 有机质含量40.86 g∙kg-1, 碱解氮160.57 mg∙kg-1, 有效磷18.96 mg∙kg-1, 有效钾230.67 mg∙kg-1。试验区种植水稻品种为‘新宁丝苗’和‘泰丰优208’。

1.2 水稻冠层图像采集

于2016年8月11日—9月25日进行多次水稻冠层图像采集。水稻冠层图像采用1 230万有效像素的数码彩色相机(Nikon D90)进行拍摄, 选用光圈优先模式, 设定ISO感光度为自动, 自动白平衡, 自动曝光, 多点自动对焦, 同时关闭闪光灯。使相机镜头统一距水稻冠层顶部1.5 m, 相机垂直向下拍摄, 相片分辨率为4 288×2 848, 以JPEG格式储存。考虑了不同光强环境对水稻冠层图像的影响, 本文在阴天、多云、晴天条件下随机拍摄水稻冠层图像共计90幅, 每个气候条件下的水稻冠层图像各30幅。

1.3 基于多色彩空间和支持向量机的水稻冠层图像分割

水稻冠层图像中目标像元(水稻)和背景像元(土壤和水等)的RGB颜色差异明显, 但田间多变的光强条件显著影响RGB颜色属性, 从而影响图像分割方法的稳健性和准确度。为降低光照条件对分割精度和稳健性的影响, 本文通过引进颜色属性和光强属性独立的CIE*ab和HSV色彩空间, 构建基于RGB、CIE*ab和HSV色彩空间的水稻冠层图像色彩特征集合, 然后采用支持向量机学习提取水稻冠层图像的分类信息, 最后分析了基于多色彩空间和支持向量机的水稻冠层图像分割方法的准确度和光强稳健性。

1.3.1 训练数据

训练数据显著影响支持向量机分类器的精确度和稳健性, 因此, 本文选取了阴天、多云、晴天3种不同光照强度条件下的代表性水稻冠层图像各1幅作为训练图像, 其平均光强强度分别为47.42、61.08和82.76, 光强跨度大, 基本满足样本图像的代表性要求。然后, 从样本图像中随机选取目标像元和背景像元的区域构建训练数据集, 并使选取的训练图像尽量覆盖原始图像的各种光照强度。

水稻冠层图像中的目标像元(水稻)与背景像元(土壤和水)的颜色对比显著, 同时, 为了提高分割方法对光强的稳健性, 本文引进了将光强属性和色彩属性独立的CIE***和HSV色彩空间作为色彩特征对水稻冠层图像进行监督式学习分割。CIE***色彩空间是CIE组织确定的一个理论上包括了人眼可见的所有色彩的色彩模式, 包含3个色彩维度:*(颜色的亮度,*=0黑色,*=100白色)、a(红/绿色彩通道的位置,a负值指示绿色, 正值指示品红)、b(黄/蓝色彩通道的位置,b负值指示蓝色而正值指示黄色), 可由RGB参数换算[22-23]。HSV颜色模型是由Smith在1978年创建的一种颜色空间, 包含3个色彩维度: H(色调)、S(饱和度)和V(亮度), 该色彩空间是模拟人眼视觉系统对色彩的感知特性进行色彩描述的, 更接近于人眼对色彩差异性的感知[24-25]。

从图1可知, 同一光强条件下水稻和背景像元的G、a、H和V色彩参数具有相对明显的双峰性特征, 但是, 晴天条件下水稻像元的G和a色彩参数与晴天、多云和阴天条件下土壤像元的混合度依然很高, 晴天条件下土壤像元的H色彩参数与晴天、多云和阴天条件下水稻像元的重叠度也很高, 不同光强下水稻和背景像元的V色彩参数呈现多峰分布特征, 无法有效区分不同光强条件下的水稻和土壤像元。阴天条件下水稻和背景像元的b色彩参数具有明显的双峰性, 但晴天和多云条件下水稻和土壤像元的色彩重叠度达到了50%以上。晴天条件下水稻和背景像元的R色彩参数具有较高的辨识度, 但多云和阴天条件下水稻和土壤像元的R混合度也较高。水稻和土壤像元的B、*和S色彩参数交叉性大, 辨识度低。综上可见, 基于单一色彩参数无法有效区分不同光强条件下的水稻和背景像元, 因此, 本文试图构建多色彩空间参数集, 以提高田间水稻冠层图像分割方法的光强稳健性和精确度。

图1 不同光强条件下水稻和背景的色彩参数分布频率图

图2展示了从训练图像中获取目标像元和背景像元的色彩特征数据, 并构建训练数据集的过程。参照Guo等[17]的方法采用图中的白色或者红色方框(方框大小为5像素×5像素)从3副不同光强条件下的训练图像中采集水稻冠层图像中的水稻和背景图像, 并将其类别定义为水稻和背景。首先, 将晴天、多云和阴天条件下获取的训练图像九等分得到9张九等分图, 然后, 应用采样框分别从每张九等分图像中人工随机采集水稻和背景像元各10组, 使采样框尽量覆盖每张九等分图的各个方位, 以保证采集的训练数据集能够较好地代表训练图像的各个光强条件, 共采集晴天、多云和阴天条件下的水稻和背景各2 250(90组×25像素)训练图像像素。然后计算所采集的水稻和背景图像中每一个像元的RGB色彩信息, 和CIE*ab色彩空间的*、a、b色彩参数和HSV色彩空间的H、S、V色彩参数, 最后构成基于多色彩空间的水稻冠层图像训练数据集。

1.3.2 支持向量机图像分割

支持向量机是Cortes等[26]于1995年提出的基于统计学习理论的一种机器学习方法, 通过核函数将训练数据中的所有色彩特征变量映射到高维空间, 然后构造超平面(), 寻求将水稻像元和背景像元之间的间隔最大的超平面, 实现图像分割效果最优化[27]。常用的SVM核函数主要有: 线性函数、多项式函数、径向基函数和Sigmoid函数。因线性核函数的计算速度最快, 且在图像分割中均表现出较好的结果, 因此本文采用线性核函数对训练数据中的各种色彩特征变量进行训练学习[27]。然后, 通过Karush-Kuhm-Tucke (KKT)和拉格朗日乘子法求解最优化分割超平面, 其计算函数为:

图2 获取训练图像中水稻冠层色彩特征构建训练数据集

R、G、B为背景或水稻像元的R、G、B色彩特征值,*、a、b为背景或水稻像元的*、a、b色彩参数值, H、S、V为背景或水稻像元的H、S、V色彩参数值。R, G, B is the R, G, B value of the background or rice pixels;*,a,bis the*,a,bvalue of the background or rice pixels; H, S, V is the H, S, V value of the background or rice pixels.

()=sgn[∑(i=1, …, n)´y´(x,)+b] (1)

式中:为拉格朗日乘子,y为水稻冠层图像中的目标像元和背景像元,(x,)为核函数,为阈值。本文分别以R、G、B、*、*、*、H、S、V色彩特征作为自变量, 水稻和背景像元作为因变量, 采用R软件中的e1071包中的linear kernel函数对训练数据集进行训练和分类。基于R、G、B,*、*、*, H、S、V和R、G、B、*、*、*、H、S、V作为自变量参数训练的SVM分割模型, 其分割方法分别定义为rgb-SVM、lab-SVM、hsv-SVM和Multi-SVM算法。

1.3.3 基于多色彩空间和支持向量机的图像分割精确度评价

为了验证本文方法在稻田多变光强条件下的分割精度及稳健性, 以阴天、多云、晴天条件下获取的水稻冠层图像各30幅作为测试样本, 采用Photoshop图像处理软件对其进行人工分割得到标准图像, 然后采用本文所提的基于多色彩空间和支持向量机的图像分割方法对图像进行分割, 计算分割结果与标准图像间的误差。分割误差为假正率(FPR)和假负率(FNR)之和, 其中FPR和FNR的计算公式分别为:

FPR=FP/(FP+TN) (2)

FNP=FN/(TP+FN) (3)

式中: TP为模型将水稻像元判别为水稻像元, TN为模型将背景像元判别为背景像元, FP为模型将背景像元误判为水稻像元, FN为模型将水稻像元误判为背景像元。同时采用最常用的绿色植物图像分割方法——超绿特征阈值分割(ExG&Otsu)法对水稻冠层图像进行分割, 比较本文方法的分割准确度和稳健性。

同时, 计算了每一种分割方法后水稻冠层图像的冠层覆盖度(canopy coverage degree, CCD), 比较不同分割方法计算所得的冠层覆盖度与人工分割方法的差异性, 其计算公式如(4)所示。并计算不同分割方法分割结果的Kappa系数(用表示), 以评价其分割结果的一致性。

CCD=分割图像中水稻像元数/冠层图像总像素数 (4)

=(0-c)/(1-c) (5)

式中:0=/,c=(1´1+0´0)/(´),为不同分割方法的分割图像与人工分割图像相同的像元数,为水稻冠层图像总像素数,1、0分别为人工分割图像中水稻和背景像元的像元数,1、0分别为分割方法所获得的分割图像中水稻和背景像元的像元数。

2 结果与分析

2.1 图像分割效果评价

以阴天、多云、晴天条件下获取的各30幅水稻冠层图像作为测试图像, 采用rgb-SVM、lab-SVM、hsv-SVM、Multi-SVM和ExG&Otsu分割方法对其进行分割。从分割结果可见(图3), 当光强较弱时(阴天), 超绿特征ExG&Otsu分割方法的分割效果较好; 但光强较强的条件下(多云和晴天), ExG&Otsu分割方法存在严重的欠分割现象, 将水稻像元误判为背景像元, 其分割结果的冠层覆盖度显著低于实际数值。同样都是基于RGB色彩空间的rgb-SVM分割方法的分割效果优于ExG&Otsu分割方法, 且对阴天条件下水稻冠层图像的分割效果优于lab-SVM和hsv-SVM分割方法; 但该方法仍无法分辨强光照条件下反光的水稻叶片, 将其误判为背景像元。基于CIE***色彩空间的lab-SVM分割方法对不同气候条件下水稻冠层图像的分割效果均较优, 其光强稳健性较高, 但分割精确度较低, 存在一定的欠分割现象。hsv-SVM分割方法也存在一定的欠分割现象, 尤其对多云和晴天条件下的水稻冠层图像欠分割现象更明显。Multi-SVM对阴天、多云和晴天条件下获取的水稻冠层图像均能实现较好的分割效果, 其计算所得的冠层覆盖度与实际数值最接近, 明显优于ExG&Otsu分割方法, 以及基于单一色彩空间的支持向量机图像分割方法。

CCD: 冠层覆盖度canopy coverage degree.

2.2 水稻冠层图像分割结果定量评价

为了验证基于不同色彩空间的支持向量机对不同光强下获取的水稻冠层图像的分割效果, 以人工分割的水稻冠层图像作为标准, 计算rgb-SVM、lab-SVM、hsv-SVM、Multi-SVM和ExG&Otsu分割方法的分割误差和Kappa系数, 包括假正率和假负率, 也就是将背景像元误判为水稻像元的比率和将水稻像元误判为背景像元的比率, 其结果如表1所示。各种分割方法对阴天条件下获取的水稻冠层图像的分割误差均较低且Kappa系数较高, 其中基于Multi-SVM分割方法的分割误差最低, 分割效果最好; 其次是rgb-SVM分割方法。对多云条件下获取的水稻冠层图像的分割结果中, ExG&Otsu、lab-SVM和hsv-SVM分割方法的分割误差均超过10%, 其中ExG&Otsu的假负率大幅度提高, 其Kappa系数低于0.50, lab-SVM分割方法的假负率也显著提高, hsv-SVM分割方法的假正率和假负率均较高; rgb-SVM分割方法的假负率也提高到5.05%, 但其分割误差相对较低; Multi-SVM分割方法的分割误差最低, 仅为3.28%, 分割效果最好。对晴天条件下获取的水稻冠层图像的分割效果中, ExG&Otsu分割方法的假负率进一步提高, 超过50%以上, Kappa系数低于0.19, rgb-SVM和hsv-SVM分割方法的分割误差也均超过10%, 而lab-SVM分割方法的分割误差反而仅为6.09%; Multi-SVM分割方法的分割误差最低, 仅为3.95%, 其Kappa系数也保持在0.89。

绿色植物存在绿光波段的反射峰和红、蓝光吸收谷, 而土壤在红光的反射率较大[15], 因此, rgb-SVM分割方法对水稻冠层图像的分割精确度相对优于lab-SVM和hsv-SVM分割方法。为了扩大水稻像元和背景像元的差异度, 大量研究者构建了各种色彩指数以提高绿色作物图像的分割效果, 其中以超绿特征指数ExG的Otsu分割方法应用最广泛[11,28-30]。本文结果表明, rgb-SVM分割方法的分割效果明显优于ExG&Otsu分割方法。但基于RGB色彩空间分割方法的分割效果显著受光强条件影响, 该结果与前人研究结果一致[8,18]。为了提高分割方法的光强稳健性, 本文通过引进CIELab和HSV色彩空间, 形成了基于多色彩空间的支持向量机分割方法(Multi-SVM分割方法)。该分割方法对不同光强下获取的水稻冠层图像的分割效果均最佳, 具有优越的分割精确度和光强稳健性。

表1 不同分割方法对阴天、多云和晴天获取的水稻冠层图像的分割误差

同一天气同列不同小写字母表示分割方法间差异达5%显著水平(LSD-test,<0.05)。Different lowercase letters in the same column for the same weather condition mean significant differences among different segmentation algorithms at 0.05 level.

3 结论

针对田间多变光强条件下获取的水稻冠层图像, 本文提出了基于多色彩空间(包括RGB、CIELab、HSV色彩空间)和支持向量机的水稻冠层图像分割方法。选取了阴天、多云和晴天3种不同光强下实地获取的广东省台山市水稻种植区水稻冠层图像作为分割样本, 采用本文提出的分割方法对其进行自动分割, 从分割效果、假正率、假负率、分割误差和Kappa系数5个方面对基于不同色彩空间SVM分割方法进行比较。试验结果表明, 基于rgb-SVM分割方法的分割效果优于ExG&Otsu分割方法, 但强光条件下获取的水稻冠层图像的分割误差仍较大, 光强稳健性低; 基于lab-SVM和hsv-SVM分割方法的分割结果中均存在较大的欠分割现象, 分割精确度较差; 基于Multi-SVM分割方法对各种光照条件下获取的水稻冠层图像的分割效果均最好, 其分割误差均在4.00%以内, 具有显著的光强稳健性。

[1] 王晓兵, 许迪, 张砚杰, 等. 农场规模、劳动力投入量与技术效率及其相关性问题研究[J]. 资源科学, 2016, 38(3): 476–484 WANG X B, XU D, ZHANG Y J, et al. The relevance of farm scale, labor inputs and technical efficiency[J]. Resources Science, 2016, 38(3): 476–484

[2] 孙良斌, 方向明. 农业生产率增长源泉、瓶颈及影响因素——基于南方五省水稻种植户的实证分析[J]. 华南理工大学学报: 社会科学版, 2017, 19(2): 22–30 SUN L B, FANG X M. A probe into sources, bottlenecks and affecting factors of agricultural productivity growth — A case study based on empirical analysis of the survey data of rice farmers in five southern provinces[J]. Journal of South China University of Technology: Social Science Edition, 2017, 19(2): 22–30

[3] 周宏, 王全忠, 张倩. 农村劳动力老龄化与水稻生产效率缺失——基于社会化服务的视角[J]. 中国人口科学, 2014, (3): 53–65 ZHOU H, WANG Q Z, ZHANG Q. Research on ageing of rural labor force and efficiency loss of rice production: Based on the perspectives of social service[J]. Chinese Journal of Population Science, 2014, (3): 53–65

[4] GUO W, FUKATSU T, NINOMIYA S. Automated characterization of flowering dynamics in rice using field-acquired time-series RGB images[J]. Plant Methods, 2015, 11: 7

[5] 方伟, 冯慧, 杨万能, 等. 基于可见光成像的单株水稻植株地上部分生物量无损预测方法研究[J]. 中国农业科技导报, 2015, 17(3): 63–69 FANG W, FENG H, YANG W N, et al. Studies on non-destructive optical method for predicting above-ground biomass of individual rice plant based on visible light imaging[J]. Journal of Agricultural Science and Technology, 2015, 17(3): 63–69

[6] FANG H L, LI W J, WEI S S, et al. Seasonal variation of leaf area index (LAI) over paddy rice fields in NE China: Intercomparison of destructive sampling, LAI-2200, digital hemispherical photography (DHP), and AccuPAR methods[J]. Agricultural and Forest Meteorology, 2014, 198/199: 126–141

[7] LEE K J, LEE B W. Estimation of rice growth and nitrogen nutrition status using color digital camera image analysis[J]. European Journal of Agronomy, 2013, 48: 57–65

[8] MUÑOZ-HUERTA R, GUEVARA-GONZALEZ R G, CONTRERAS-MEDINA L M, et al. A review of methods for sensing the nitrogen status in plants: Advantages, disadvantages and recent advances[J]. Sensors, 2013, 13(8): 10823–10843

[9] 贾良良, 范明生, 张福锁, 等. 应用数码相机进行水稻氮营养诊断[J]. 光谱学与光谱分析, 2009, 29(8): 2176–2179 JIA L L, FAN M S, ZHANG F S, et al. Nitrogen status diagnosis of rice by using a digital camera[J]. Spectroscopy and Spectral Analysis, 2009, 29(8): 2176–2179

[10] 李岚涛, 张萌, 任涛, 等. 应用数字图像技术进行水稻氮素营养诊断[J]. 植物营养与肥料学报, 2015, 21(1): 259–268 LI L T, ZHANG M, REN T, et al. Diagnosis of N nutrition of rice using digital image processing technique[J]. Journal of Plant Nutrition and Fertilizer, 2015, 21(1): 259–268

[11] GUIJARRO M, RIOMOROS I, PAJARES G, et al. Discrete wavelets transform for improving greenness image segmentation in agricultural images[J]. Computers and Electronics in Agriculture, 2015, 118: 396–407

[12] 周俊, 王明军, 邵乔林. 农田图像绿色植物自适应分割方法[J]. 农业工程学报, 2013, 29(18): 163–170 ZHOU J, WANG M J, SHAO Q L. Adaptive segmentation of field image for green plants[J]. Transactions of the CSAE, 2013, 29(18): 163–170

[13] 张志斌, 罗锡文, 臧英, 等. 基于颜色特征的绿色作物图像分割算法[J]. 农业工程学报, 2011, 27(7): 183–189 ZHANG Z B, LUO X W, ZANG Y, et al. Segmentation algorithm based on color feature for green crop plants[J]. Transactions of the CSAE, 2011, 27(7): 183–189

[14] 王远, 王德建, 张刚, 等. 基于数码相机的水稻冠层图像分割及氮素营养诊断[J]. 农业工程学报, 2012, 28(17): 131–136WANG Y, WANG D J, ZHANG G, et al. Digital camera-based image segmentation of rice canopy and diagnosis of nitrogen nutrition[J]. Transactions of the CSAE, 2012, 28(17): 131–136

[15] 刘亚东, 崔日鲜. 基于可见光光谱和随机森林算法的冬小麦冠层图像分割[J]. 光谱学与光谱分析, 2015, 35(12): 3480–3484LIU Y D, CUI R X. Segmentation of winter wheat canopy image based on visual spectral and random forest algorithm[J]. Spectroscopy and Spectral Analysis, 2015, 35(12): 3480–3484

[16] WANG Y, WANG D J, SHI P H, et al. Estimating rice chlorophyll content and leaf nitrogen concentration with a digital still color camera under natural light[J]. Plant Methods, 2014, 10: 36

[17] GUO W, RAGE U K, NINOMIYA S. Illumination invariant segmentation of vegetation for time series wheat images based on decision tree model[J]. Computers and Electronics in Agriculture, 2013, 96: 58–66

[18] MACFARLANE C, OGDEN G N. Automated estimation of foliage cover in forest understorey from digital nadir images[J]. Methods in Ecology and Evolution, 2012, 3(2): 405–415

[19] 黄林生, 刘文静, 黄文江, 等. 小波分析与支持向量机结合的冬小麦白粉病遥感监测[J]. 农业工程学报, 2017, 33(14): 188–195 HUANG L S, LIU W J, HUANG W J, et al. Remote sensing monitoring of winter wheat powdery mildew based on wavelet analysis and support vector machine[J]. Transactions of the CSAE, 2017, 33(14): 188–195

[20] 梁栋, 管青松, 黄文江, 等. 基于支持向量机回归的冬小麦叶面积指数遥感反演[J]. 农业工程学报, 2013, 29(7): 117–123 LIANG D, GUAN Q S, HUANG W J, et al. Remote sensing inversion of leaf area index based on support vector machine regression in winter wheat[J]. Transactions of the CSAE, 2013, 29(7): 117–123

[21] VAPNIK V N. Statistical Learning Theory[M]. New York: John Wiley & Sons, 1998

[22] ROBERTSON A R. The CIE 1976 color-difference formulae[J]. Color Research and Application, 1977, 2(1): 7–11

[23] 李运奎, 韩富亮, 张予林, 等. 基于CIELAB色空间的红葡萄酒颜色直观表征[J]. 农业机械学报, 2017, 48(6): 296–301 LI Y K, HAN F L, ZHANG Y L, et al. Visualization for representation of red wine color based on CIELAB color space[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(6): 296–301

[24] 肖志云, 刘洪. 小波域马铃薯典型虫害图像特征选择与识别[J]. 农业机械学报, 2017, 48(9): 24–31 XIAO Z Y, LIU H. Features selection and recognition of potato typical insect pest images in wavelet domain[J]. Transactions of the CSAM, 2017, 48(9): 24–31

[25] 杨红颖, 吴俊峰, 于永健, 等. 一种基于HSV空间的彩色边缘图像检索方法[J]. 中国图象图形学报, 2008, 13(10): 2035–2038 YANG H Y, WU J F, YU Y J, et al. Content based image retrieval using color edge histogram in HSV color space[J]. Journal of Image and Graphics, 2008, 13(10): 2035–2038

[26] CORTES C, VAPNIK V. Support-vector networks[J]. Machine Learning, 1995, 20(3): 273–297

[27] MIZUSHIMA A, LU R F. An image segmentation method for apple sorting and grading using support vector machine and Otsu’s method[J]. Computers and Electronics in Agriculture, 2013, 94: 29–37

[28] HAMUDA E, GLAVIN M, JONES E. A survey of image processing techniques for plant extraction and segmentation in the field[J]. Computers and Electronics in Agriculture, 2016, 125: 184–199

[29] 孙涛, 刘振波, 葛云健, 等. 基于数码相片Gamma校正的水稻叶面积指数估算[J]. 生态学报, 2014, 34(13): 3548–3557 SUN T, LIU Z B, GE Y J, et al. Estimation of paddy rice leaf area index based on photo gamma correction[J]. Acta Ecologica Sinica, 2014, 34(13): 3548–3557

[30] 陆秀明, 黄庆, 孙雪晨, 等. 图像处理技术估测水稻叶面积指数的研究[J]. 中国农学通报, 2011, 27(3): 65–68 LU X M, HUANG Q, SUN X C, et al. Application of image processing technology in rice canopy leaf area index[J]. Chinese Agricultural Science Bulletin, 2011, 27(3): 65–68

Comparative study of image segmentation algorithms for rice canopy*

HUANG Qiaoyi1,2, FAN Xiaolin2, ZHANG Mu1, HUANG Xu1, LI Ping1, FU Hongting1, TANG Shuanhu1**

(1. Institute of Agricultural Resources and Environment, Guangdong Academy of Agricultural Sciences / Key Laboratory of Plant Nutrition and Fertilizer in Southern Region, Ministry of Agriculture / Guangdong Key Laboratory of Nutrient Cycling and Farmland Conservation, Guangzhou 510640, China; 2. South China Agricultural University / Engineering Research Center of Environment Friendly Fertilizer of Guangdong Province, Guangzhou 510642, China)

Digital image analysis of rice canopy has widely been used for monitoring rice growth, diagnosing rice nitrogen (N) content, controlling pests and predicting rice yield. But the accuracy, stability and reliability of digital image analysis of rice canopy has greatly relied on assumed segmentation precision of rice pixels. There is current a significant progress in auto-segmentation methods for plant images captured indoor or under controlled light conditions. However, it is still hard to segment images of rice canopy taken in outdoor environments with complex and changing illumination conditions. In this paper, we proposed a segmentation method for rice canopy images taken in outdoor environment that improves the accuracy and robustness of illumination of segmentation based on multi-color spaces and support vector machine (SVM) algorithm. The rice canopy images were taken using a digital camera (NikonD90, Nikon Inc., Tokyo, Japan) in August 11st to September 25th 2016 at the largest double-season rice production area in Pearl River Delta. The camera was mounted on a tripod at 1.5 m above rice canopy with straight downward looking posture. Three typical samples taken under different illumination conditions (which changed from sunny days to cloudy days and to overcast days) were treated as test images. The training data (including rice pixels and background pixels) for modeling the support vector machine classifier was randomly picked from the test images. The color features (,,,*,*,*,,,) defined in 3 ordinarily used color spaces (RGB, CIE***and HSV) of each pixel were calculated as training data. The SVM classifiers learned from the training data with the color features from RGB, CIE***, HSV and multi-color spaces (including RGB, CIE***, HSV) were defined as rgb-SVM, lab-SVM, hsv-SVM and Multi-SVM accordingly. The accuracy and robustness of the proposed methods were examined using the test images, which were next compared with ExG&Otsu (excess green index) performance. With the help of Photoshop image editing software, the ground-truth of the rice canopy images was labeled manually and treated as the reference for segmented error calculation, including false positive rate (the rate where segmentation algorithm falsely classed background pixels as rice pixels) and false negative rate (the rate that the segmented algorithm falsely classed the rice pixels as background pixels). The results showed that rgb-SVM algorithm performed better than ExG&Otsu algorithm. While segmentation errors of rgb-SVM algorithm for the images taken on overcast days and cloudy days were respectively 5.76% and 7.74%, that of rgb-SVM algorithm for the images taken on sunny days reached 16.99%. The accuracies of lab-SVM and hsv-SVM algorithms were unstable and high under-segmentation occurred under lab-SVM and hsv-SVM algorithms for images taken on cloudy days and sunny days. Multi-SVM algorithm had the best segmentation results, which were very close to ground-truth images. Specially, segmentation error of Multi-SVM algorithm for images taken on overcast days, cloudy days and sunny days were as low as 3.11%, 3.28% and 3.95%, respectively, which were lower than that for ExG&Otsu algorithm, especially for images taken on sunny days. The results showed that the accuracy of rice canopy extraction using Multi-SVM algorithm was significantly better than that using the other methods, particularly for images taken under high illumination conditions. The Multi-SVM algorithm based on multi-color spaces and support vector machine proposed in this paper accurately segmented and extracted rice pixels in rice canopy images. It was well-suited to the changing illumination in outdoor environment, thus providing valid data support for monitoring field rice growth under natural field conditions and automated rice farming.

Rice; Canopy image; Illumination condition; Image segmentation; Color space; Support vector machine

, E-mail: 1006339502@qq.com

Nov. 1, 2017;

Feb. 5, 2018

10.13930/j.cnki.cjea.170998

S126

A

1671-3990(2018)05-0710-09

唐拴虎, 主要从事新型肥料及植物营养研究。E-mail: 1006339502@qq.com黄巧义, 主要从事植物营养及高效施肥技术研究。E-mail: huangqiaoyi@hotmail.com

2017-11-01

2018-02-05

* This study was supported by the Special Fund for Agro-scientific Research in the Public Interest of China (201503123), Guangdong Science and Technology Project, China (2016A020210035, 2014B090904068) and the Innovative Research Team in Guangzhou, China (2016B070701009).

* 公益性行业(农业)科研专项(201503123)、广东省科技计划项目(2016A020210035, 2014B090904068)和广州市创新团队项目(2016B070701009)资助

黄巧义, 樊小林, 张木, 黄旭, 李苹, 付弘婷, 唐拴虎. 水稻冠层图像分割方法对比研究[J]. 中国生态农业学报, 2018, 26(5): 710-718

HUANG Q Y, FAN X L, ZHANG M, HUANG X, LI P, FU H T, TANG S H. Comparative study of image segmentation algorithms for rice canopy[J]. Chinese Journal of Eco-Agriculture, 2018, 26(5): 710-718