基于玉米冠层原位监测的全生育期叶色建模及其应用

杜建军，袁 杰，王传宇，郭新宇※（1. 北京市农林科学院，北京农业信息技术研究中心，北京 100097；2. 数字植物北京重点实验室，北京 100097；. 首都师范大学信息工程学院，北京 100048）

基于玉米冠层原位监测的全生育期叶色建模及其应用

杜建军1,2，袁 杰3，王传宇1,2，郭新宇1,2※
（1. 北京市农林科学院，北京农业信息技术研究中心，北京 100097；2. 数字植物北京重点实验室，北京 100097；3. 首都师范大学信息工程学院，北京 100048）

针对田间玉米冠层叶色变化难以定量描述问题，该文利用田间原位冠层监测系统，在摄像机自动曝光模式下连续采集多个玉米品种的冠层图像，揭示了复杂天气条件对图像和玉米冠层颜色的影响。利用概率密度统计分析方法分别计算玉米6个关键生育期的冠层亮度-色度分布，并针对冠层色度具有明确变化趋势且分离度较高的冠层亮度区间，建立了全生育期玉米冠层叶色模型。进而，基于该模型建立了适合不同玉米生育期的冠层图像自动分割方法，将玉米全生育期的冠层图像分割精度提升到82.6%，并揭示了不同品种玉米在叶片发育过程中冠层叶色与叶龄的相关性，利用登海605和农大108的冠层叶色预测出的生育期叶龄均方根误差RMSE（root mean squared error，RMSE）分别为1.14和1.41叶。试验结果表明，该文建立的玉米冠层叶色模型能够较好描述玉米关键生育期的冠层叶色变化规律，对玉米冠层图像分割、生育期估计、玉米品种表型鉴定具有重要意义。

图像分割；图像分析；颜色；模型；玉米冠层；表型性状；特征提取；机器视觉

0 引 言

随着基因测序技术快速发展及多种植物全基因组测序工作的完成，作物表型已成为研究作物基因型-表型-环境三者关系亟待突破的瓶颈，目前各类作物表型高通量检测技术研究受到重视[1-2]。作物表型特征直接反映了作物的生长状态、趋势和发育程度，其中作物颜色是最重要的表型特征之一。受内在基因控制，作物在不同生长阶段呈现出特定颜色，同时太阳辐射[3-4]、病虫害侵袭[5-7]、土壤中微量元素（氮、磷、钾、钙等）的缺失[8-9]等外界环境因素也会对作物颜色产生显著影响。农业生产中，作物颜色特征是农业专家或农民对田间作物长势长相进行判断的主要依据之一，比如作物颜色偏黄可能是缺氮、呈现褐色可能是缺磷、叶片边缘渐退绿色可能是缺钾等。然而，这种传统作物表型观测方式存在较强主观性和随意性，难以对作物颜色表型特征进行定量化描述和分析。

近年，基于作物颜色特征的机器视觉、图像处理等技术已在农业科研和生产管理领域中得到广泛应用。利用作物颜色特征来分割或者标记感兴趣植株是作物表型检测常用方法[10-16]。Pérez-Orti等[17]利用作物与杂草颜色的差异性来去除图像分割中的杂草干扰，以便准确估算出作物冠层覆盖度。Yu等[18]在HSI颜色空间中进行作物像素色度统计分析，提出的HI方法在一定程度上克服了亮度变化对冠层色度的影响。翟瑞芳等[19]评估了自然光照对油菜图像分割影响的问题，利用多种方法分割不同天气下油菜图像，认为高斯HI颜色算法对光照条件变化不敏感，且能够取得较好分割效果。上述方法将不同生育期作物图像进行统一考虑，但未考虑到作物生长过程中自身颜色变化情况。进一步，通过分析作物颜色分布、变化规律，可以揭示出作物颜色特征与作物生育期、生理和生化状态的关系。张立周等[20]利用图像处理技术进行玉米氮素营养诊断，为玉米合理施肥提供技术支持；徐胜勇等[21]使用颜色直方图反向投影特征解释了油菜缺素情况；Cai等[22]通过计算图像中黄色与绿色比率分析了小麦叶片的衰老过程；宋振伟等[23]根据冠层色度值下降极值点确定冬小麦的灌浆期。然而，上述研究大多未充分考虑作物颜色特征所受大田复杂环境因素的影响，这使得构建的各种作物颜色表示和模型缺乏定量描述的依据。视觉观察与定量分析均表明，田间复杂环境对玉米冠层色度具有明显影响，且玉米冠层色度在不同生育期具有显著差异。迄今为止，田间复杂环境下作物颜色及其变化规律的定量研究仍然是一个难点。

针对上述问题，本文在田间搭建了玉米冠层图像数据采集系统，原位、连续获取关键生育期的玉米冠层图像序列，结合气象、生育期等条件对玉米冠层叶色进行定量化分析，通过建立玉米冠层叶色统计模型，揭示田间环境下玉米冠层叶色连续变化规律，从而为作物长势监测、长相评价、病害虫监控与防治等提供依据。

1 材料与方法

1.1 数据获取

试验田位于北京市农林科学院内，试验材料为登海605（DH605）和农大（ND108）2个品种，于2016年6月12日分别在2个独立小区（5 m×5 m）播种。每个独立小区部署一套冠层图像采集装置，如图1所示，于播种之日开始数据采集，至9月22日数据采集截止。其中成像装置采用海康威视高清网络摄像机（DS-2CD5052F，500万像素）和镜头（HV1140D-8MPIR，自动光圈、手动定焦、12 mm焦距），摄像头光轴垂直向下，距离地面高5 m。在玉米整个生育期内连续拍摄图像，并通过Wifi传送到远程服务器上存储，图像拍摄间隔设置为1 h，存储格式为JPEG图像类型，大小为1 920×1 080像素。利用气象墒情站实时获取光照、温度、湿度和土壤墒情数据，同步保存到远程服务器。另外，为了研究玉米叶色与其生育期关系，在玉米出苗至吐丝期间每天定时（16:00）人工测量并记录各小区内玉米植株的表型参数，包括叶龄、株高等。本文以登海605品种为例介绍玉米冠层图像数据集及冠层叶色建模方法。

图1 田间原位玉米冠层图像采集系统Fig.1 In-situ image acquisition system for maize canopy in field

1.2 冠层图像数据集

本文利用OpenCV完成玉米冠层图像处理，并将获取的RGB图像转换到HSV进行颜色分析。HSV是根据颜色直观特性创建的一种颜色空间，包括色度（H, [0°,360°]）、饱和度（S, [0,1]）与亮度（V, [0,1]）分量，其中色度表示颜色类别、饱和度表示颜色纯度、亮度表示颜色明暗。与常用的RGB颜色空间相比，HSV直观表示了颜色的明暗、色调和鲜艳程度，更有利于进行颜色之间定量比较。为图像表示和存储方便，OpenCV通常将HSV的值域转换为[0, 180]，[0, 255]和[0, 255]。本文中，图像亮度和色度是指整张图像的V和H分量均值，分别表示为IV（image value）和IH（image hue）；冠层亮度和色度是指玉米冠层像素的V和H分量均值，分别表示为CV（canopy value）和CH（canopy hue）。玉米冠层像素是人工监督分割出的仅包含玉米冠层的图像像素，所有非玉米冠层像素在图像中均设置为背景像素0。

摄像机数据采集模式设置自动曝光模式拍摄，以保证摄像机在不同光照条件也能清晰成像。为了明确摄像机内参及自然光照条件变化对作物颜色的影响，选取典型的晴天（7月13日）和阴天（7月14日）连续2 d的图像序列进行分析，如图2所示。晴天和阴天条件下玉米冠层叶色差异明显，由于相邻2 d内玉米生长导致的叶色自然变化较小，因此可认为玉米冠层颜色主要受天气、光照等环境条件影响。同时，对太阳辐射传感器（SOLPYR）实时获取的太阳辐射量（solar radiation, SR）进行分析发现，晴天的辐射峰值为阴天的2.66倍。进一步对晴天和阴天条件下的IV、IH、CV和CH进行定量化计算和分析，为方便显示太阳辐射与图像统计值之间的关系，根据晴天和阴天的太阳辐射值最大值对太阳辐射进行等比例缩放，统一到[0，255]值域区间，如图3所示。在晴天条件下，13:00点左右太阳辐射量达到最大值（1 948 μmol/(m2·s)，对应图3a中最大值），而在早上和晚上太阳辐射量较低，全天呈现正态分布；阴天条件下，太阳辐射量绝对值（732 μmol/(m2·s)，对应图3b中最大值）较低、分布无规律。

图2 不同天气条件下的冠层图像序列Fig.2 Canopy image sequence under different weather conditions

无论晴天还是阴天，图像亮度（IV）值和冠层色度（CH）值变化幅度不大，分别保持在160和60左右。图像色度（IH）值和冠层亮度值（CV）受太阳辐射量影响较大。晴天条件下，太阳辐射量与冠层亮度呈现明显负相关（SR越大时CV值越小）。分别对图2中玉米冠层图像序列进行统计分析，得到晴天和阴天条件下的所有冠层像素的CH值分布如图3c所示，发现CH值分布范围较广，但基本集中在[30, 99]区间内，其中晴天CH均值为65.59、标准差为8.34；阴天CH均值为67.77、标准差为9.91。太阳辐射差异导致玉米冠层CH均值及方差的漂移，且阴天中玉米冠层CH值略高于晴天。

图3 太阳辐射对图像和冠层颜色分量的影响Fig.3 Effects of solar radiation on color components of image and canopy

为了定量化分析玉米不同生育期（growth stage, GS）的冠层叶色与太阳辐射之间的关系，建立对应不同生育期的6组玉米冠层图像数据集，每组数据集中选择该生育期内约20张图像，并将这些图像获取时间的均值作为该生育期对应的玉米生长时间，如表1所示。其中，天气条件分成晴天和阴天2种类型；玉米关键生育期分别为4叶期（L4 stage）、9叶期（L9 stage）、16叶期（L16 stage）、吐丝期（silk stage）、透明期（blister stage）和乳熟期（milk stage）6个关键生育期，对应玉米生长时间分别为第15、32、52、72、91和101天。上述玉米冠层图像数据集不仅反映了不同天气条件对冠层叶色影响，也反映了不同生育期的冠层叶色自然变化，因此可用于其后的玉米冠层叶色建模。

1.3 冠层叶色建模

如图3所示，在田间复杂成像环境下，太阳辐射（SR）对图像色度（IH）、冠层亮度（CV）影响较大，而对图像亮度（IV）和冠层色度（CH）影响较小，体现了在田间环境下自动拍摄成像的特点。为了定量化描述玉米冠层亮度（CV）和冠层色度（CH）之间的关系，将表1所示的6组玉米冠层图像数据集的所有冠层像素融合在一起进行统计分析可知，玉米冠层的平均亮度值为154.45，其分布范围如图4a所示。试验表明，在冠层像素集中的CV区间内，各个CV值对应的像素CH分布均近似符合正态分布，当CV值等于154时，冠层像素的CH值分布如图4b所示。

表1 玉米冠层叶色分析图像数据集图像数量Table 1 Maize canopy image datasets for color analysis

图4 全生育期玉米冠层像素统计分析Fig.4 Statistical analysis of maize canopy pixels in whole growing stage

因此，在相同CV值条件下将CH分布规律表示为概率密度函数形式

式中μ是CH期望值，2σ是CH方差。采用极大似然法计算出各个CV条件下CH的均值与方差

式中n为像素样本数量，CHi表示第i个像素的CH值，i=1,2,…,n 。

本文分别对玉米6个关键生育期内作物像素进行统计分析，并计算出所有亮度条件（亮度为0除外）下各生育期内作物像素CH均值，如图4c所示。从图4可以发现：1）在各生育期，田间环境下太阳辐射量导致CV改变，进而影响到CH均值，这使得CV与CH之间存在复杂映射关系；2）在各生育期，CV位于[80, 200]区间的像素在总像素中占比均超过77%，且该区间内玉米冠层亮度-色度（CV-CH）曲线变化趋势明确，区分度较高；3）当CV值在[1, 80）和（80，255]区间时，各生育期的CH变化复杂且严重交叉，使得该区间不适合进行CH量化比较与分析。

对不同生育期而言，CV值在[80, 200]区间从4叶期到乳熟期的冠层像素量占比分别为86.11%、88.02%、77.53%、76.80%、73.80%和77.35%。因此，在该亮度区间内对玉米6个生育期CH值进行统计分析，利用CH均值建立关键生育期的玉米冠层叶色模型，如图5所示。

图5 玉米全生育期冠层叶色模型Fig.5 Maize canopy color model (MCCM) in whole growth stage

图5 揭示了玉米关键生育期的冠层叶色变化趋势，可以看出冠层CH值从苗期开始逐步减小，在HSV的颜色表中体现为从绿色向黄色逐渐靠近。然而，玉米生长到52 d左右（16叶期前后），玉米冠层CH值出现拐点并逐渐增加。这可能是因为玉米植株生长发育初期为营养生长阶段，利用光合作用持续积累有机物使得作物颜色逐渐加深，即CH值逐步减小。在16叶期后，玉米开始从营养生长过度到生殖生长，这个阶段属于营养生长与生殖生长同时并进时期，不仅包含根茎叶的分化和生长，而且包含了生殖器官幼穗的分化和生长[24]，叶片中养分逐渐消耗导致冠层CH值增大。

2 冠层叶色模型分析与应用

2.1 冠层叶色模型

在田间复杂环境下，实现玉米各生育期的冠层图像自动分割存在2个难点，即不同天气条件会对玉米冠层亮度和色度造成影响，同时玉米生长、发育和成熟过程中叶片颜色也会持续改变。目前，大部分基于颜色特征的分割算子未考虑作物自身颜色差异及其在生长发育过程中颜色的自然变化，采用单一颜色算子往往难以处理不同玉米生育期叶片颜色的变化。因此，玉米冠层叶色模型对实现田间环境下玉米冠层图像自动分割具有指导意义。另外，玉米16叶期前的冠层色度存在明显下降趋势，这种趋势伴随着玉米叶片的逐步生长发育，因此玉米52 d前冠层色度模型有助于实现基于图像的玉米生育期估计、玉米品种颜色表型鉴定。

本文从玉米冠层图像分割和叶龄预测2个方面详细讨论玉米冠层叶色模型的应用。

2.2 冠层图像分割

图6a显示了同一监测小区中玉米群体在6个关键生育期的冠层图像序列，可以发现玉米冠层颜色持续发生改变，尤其吐丝期前各个生育阶段冠层颜色变化较明显。针对不同生育期玉米冠层颜色特征，本文基于玉米冠层叶色模型建立了适合玉米各生育期的冠层图像分割方法（maize canopy color model for segmentation，MCCM-S）。

图6 6个关键生育期的玉米冠层图像及分割结果Fig.6 Inputted and segmented images of maize canopy at 6 key growth stages

在玉米冠层叶色建模中，生成的各生育期的冠层CV-CH曲线（图4c）揭示了玉米关键生育期的CH与CV值的统计特征，可为各个生育期的玉米冠层图像分割确定最佳分割阈值。本文采用的MCCM-S方法的核心思想是玉米每个生育期中各个CV值定义测度函数()iΨ，从而为输入图像中像素()Pi确定最佳阈值范围，其中i为图像按一维数组存储的像素序号。该测度函数表征输入像素()Pi在确定CV值条件下，其CH值与CV-CH曲线之间的距离

式中CH()i代表像素()Pi对应的CH值，ˆμ和ˆσ分别代表对应CV值的冠层CH均值和标准差。()iΨ越大表示该像素为作物的概率越小，因此可通过设置阈值T判断像素是否属于作物，即若()iΨ小于等于T则判定该像素代表作物，否则为背景。适合玉米不同生育期的阈值具有较大差异，为简化起见，本文通过多次试验确定了2个阈值范围：16叶期前阈值区间为（2.8, 3.2），16叶期后阈值区间为（3.6, 3.9）。

分别以6种分割方法，即植被颜色指数（color index of vegetation extraction，CIVE）[25]、超绿（excess green，ExG）[26]、超绿减超红（excess green-excess red，ExGR）[27-28]、植被算子（vegetation，VEG）[29]、色度（H）和基于玉米冠层叶色模型的分割方法（MCCM-S），对不同生育期玉米冠层图像进行分割。其中H分割方法是仅利用HSV颜色空间下的H分量进行分割，阈值范围设定为前文样本数据统计出的玉米冠层色度区间[30, 99]。并利用参数λ[30]表示冠层图像分割精度。

式中Bo和Fo是采用人工监督方式分割出背景和作物图像，作为参考图像；Bt和Ft分别是利用6种分割方法分割出背景和作物图像，作为结果图像；Bo∩Bt表示背景的参考图像和结果图像的交集图像；|Fo∩Ft|为目标的参考图像和结果图像的交集图像；|Bo|+|Fo|代表了整幅图像。利用玉米冠层图像分割方法得到的结果如图6b所示。颜色分割算法对不同生育期玉米冠层图像的分割性能如图7所示。H与MCCM-S分割算法对玉米苗期及9叶期图像的分割精度较差，而对16叶期、吐丝期、透明期和乳熟期图像的分割精度则高于其他算法。前4个颜色算子（CIVE、ExG、ExGR和VEG）是基于RGB颜色空间像素级别的分割方法，在玉米苗期的分割精度均超过98%，但是随着玉米生长到9叶期后，玉米冠层颜色的变化导致这些算法分割精度显著降低，其中CIVE算子在玉米透明期的分割精度仅为21.6%。通常，玉米生长会伴随着G分量相对含量的逐步降低，而基于RGB的颜色算子通常是设定固定阈值来进行像素有效性判定，这就使得各种依赖G分量的颜色算子对玉米生长后期逐步失效。相较而言，玉米9叶期后采用H可以获得比基于RGB颜色算子更高的分割精度，在玉米透明期的分割精度最低为63.35%，原因是HSV颜色空间中H分量受天气、生育期等因素影响相对较小。同时，MCCM-S方法显示出比H更高的分割精度，玉米全生育期最低分割精度达82.6%，这可能是由于MCCM-S利用统计分析方法计算出了玉米在各种亮度下色度的变化范围，进而可为图像分割提供更加合理的色度区间，这有利于提升玉米冠层的分割精度。

图7结果为田间玉米冠层图像自动分割提供了依据，在玉米生长到9叶期以前利用基于RGB颜色空间的分割算法可以获得较好分割结果，而在9叶期以后优先采用基于HSV颜色空间的分割方法，尤其是本文提出的MCCM-S方法。利用图1所示的田间原位冠层图像采集装置，可以远程实时获取玉米冠层图像序列，结合上面提出的分割策略实现玉米结构和颜色表型特征解析，对田间玉米长势长相监测、病虫害预测预警均具有重要应用价值。

图7 玉米全生育期6种算法分割精度Fig.7 Segmentation accuracy of 6 algorithms in whole growth stage

2.3 叶龄预测

基于图1所示玉米冠层图像采集系统获取玉米4叶期、9叶期和16叶期的图像序列，分别统计和绘制登海605和农大108在16叶期前玉米冠层叶色变化趋势，如图8所示。可以发现，玉米叶片生长发育期的冠层CH均值变化趋势明显，且随着新叶不断出现，CH值逐渐降低；登海605和农大108的冠层叶色差异明显，农大108冠层CH值要高于登海605，而在叶片生长发育后期，CH值逐渐趋同。

图8 不同品种玉米在叶片生长发育期的冠层叶色变化Fig.8 Canopy hue (CH) changes of different maize cultivars during leaf growing stages

在玉米叶片发育阶段（从出苗到吐丝期间），每天定时人工统计2个监测小区中玉米群体叶龄（emerged leaf number，ELN），每个群体测量9株，然后取平均值作为当天玉米实测叶龄。分别对玉米实测叶龄进行拟合，得到叶龄线性回归方程为

式中x表示生长天数，ELNDH和ELNND分别表示登海605和农大108的实际叶龄。2个玉米品种叶龄拟合的相关系数分别为0.999 7和0.995 6，表明回归直线能够较好地表示玉米叶片生长发育状态，而且玉米叶片在该阶段基本保持约3 d出现一片新叶的生长速度，其中农大108的叶片发育速度略高于登海605。

玉米冠层叶色与玉米叶龄指数（已出叶片数占主茎总叶数的百分数）均是玉米田间表型重要参数，但是否存在定量关系还有待揭示。根据图8显示的登海605和农大108的玉米冠层叶色变化规律，可假设玉米冠层叶色近似为二次曲线分布。因此，可结合式（6）为玉米品种建立基于玉米冠层叶色的叶龄预测式

在登海605和农大108的玉米冠层图像序列中，按时间次序分别选择8张和7张图像来测试玉米冠层CH值与叶片生长发育时间的关系。首先计算出图像中玉米冠层的CH均值，然后利用式（7）计算出预测叶龄，预测叶龄与人工实测叶龄的关系如图9所示。根据Person相关系数分析预测叶龄与人工实测叶龄的相关性

式中n为所用图像数量，(xi,yi)(i=1,2,…,n )为图像对应预测叶龄和实测叶龄值对，和分别为预测叶龄和实测叶龄均值。登海605和农大108的叶龄预测值与人工实测值间进行配对样本t检测，在显著水平α=0.05下，相关系数为0. 985和0. 951，表明预测方法和人工实测方法的结果具有较高相关性。叶龄预测值均方根误差RMSE（root mean squared error）分别为1.14和1.41叶，表明基于玉米冠层叶色模型预测玉米叶龄的平均误差在2叶以内。

图9 登海605和农大108玉米品种的预测叶龄与实测叶龄关系Fig.9 Relationship between predicted and measured ELN (emerged leaf number) for DH605 and ND108 maize cultivars

3 结 论

本文利用田间原位搭建的冠层监测系统，原位、连续获取玉米关键生育期的冠层图像序列，进而结合气象、生育期等条件实现玉米关键生育期的冠层叶色变化的统计分析。在HSV颜色空间下，揭示了不同太阳辐射量对玉米冠层叶色的影响，并结合概率统计分析方法建立了玉米全生育期的冠层叶色统计模型。该模型反映了田间环境下玉米冠层叶色连续变化特征，依据此模型设计的玉米冠层图像分割方法将玉米全生育期的冠层图像分割精度提高到82.6%，为田间玉米长势自动监测及冠层图像分割提供了实用方法。该模型也有助于实现对玉米冠层图像中品种、叶龄等内容的理解，玉米冠层叶色具有一定品种相关性关系，但其变化趋势基本一致，结果也表明冠层叶色与玉米叶龄存在较强相关性，利用冠层叶色预测叶龄的误差在2叶内。

玉米冠层叶色模型在长势监测、长相评价、病害虫监控与防治中具有重要应用价值。本文仅仅对玉米生长发育的关键生育期进行了冠层叶色定量分析，对玉米叶片衰老过程未涉及。另外，田间作物颜色表型，不仅直接受到植物自身生理生化机制调控，也受到光照、温度、湿度等环境因素影响，冠层叶色模型也受到摄像机内参、作物生育期图像数据集的影响，这些问题还需进一步的研究与探索。

[1] Fiorani F, Schurr U. Future scenarios for plant phenotyping[J]. Annual Review of Plant Biology, 2013, 64(1): 267-291.

[2] Andrade-Sanchez P, Gore M A, Heun J T, et al. Development and evaluation of a field-based high-throughput phenotyping platform[J]. Functional Plant Biology, 2014, 41(1): 68-79.

[3] 祝振敏，张永贤，金小龙，等. 光源光强对颜色对比度的影响研究[J]. 华东交通大学学报，2013(1)：1-4. Zhu Zhenmin, Zhang Yongxian, Jin Xiaolong, et al. Effects of illumination intensity on color contrast[J]. Journal of East China Jiaotong University, 2013(1): 1-4. (in Chinese with English abstract)

[4] 顾金梅，吴雪梅，陈永安，等. 光照强度对烟叶颜色特征向量的影响[J]. 安徽农业大学学报，2015，42(2)：322-326. Gu Jinmei, Wu Xuemei, Chen Yongan, et al. Influence of light intensity on color features of the flue-cured tobacco leaf[J]. Journal of Anhui Agricultural University, 2015, 42(2): 322-326. (in Chinese with English abstract)

[5] 李源，陈江文，黄玉珠，等. 基于RGB线性组合模型的柑橘果实为害状识别[J]. 中国农学通报，2016，32(7)：79-84. Li Yuan, Chen Jiangwen, Huang Yuzhu, et al. Citrus fruit disease and insect pest recognition based on linear combination of RGB color model[J]. Journal of Integrative Agriculture, 2016, 32(7): 79-84. (in Chinese with English abstract)

[6] 苗腾，郭新宇，温维亮，等. 基于图像处理的作物病害状态表观三维模拟方法[J]. 农业工程学报，2016，34(7)：181-186. Miao Teng, Guo Xinyu, Wen Weiliang, et al. Three dimensional visual simulation method of crop disease state based on image[J]. Transactions of the Chinese Society ofAgricultural Engineering (Transactions of the CSAE), 2016, 34(7): 181-186. (in Chinese with English abstract)

[7] 刁智华，王欢，宋寅卯，等. 复杂背景下棉花病叶害螨图像分割方法[J]. 农业工程学报，2013，29(5)：147-152. Diao Zhihua, Wang Huan, Song Yinmao, et al. Segmentation method for cotton mite disease image under complex background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(5): 147-152. (in Chinese with English abstract)

[8] Carmona V, Costa L, Filho A. Symptoms of nutrient deficiencies on cucumbers[J]. International Journal of Plant & Soil Science, 2015, 8(6): 1-11.

[9] 张凯兵，章爱群，李春生. 基于HSV空间颜色直方图的油菜叶片缺素诊断[J]. 农业工程学报，2016，32(19)：179-187. Zhang Kaibing, Zhang Aiqun, Li Chunsheng. Nutrient deficiency diagnosis method for rape leaves using color histogram on HSV space[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(19): 179-187. (in Chinese with English abstract)

[10] Gitelson A A, Viña A, Arkebauer T J, et al. Remote estimation of leaf area index and green leaf biomass in maize canopies[J]. Geophysical Research Letters, 2003, 30(30): 335-343.

[11] Nieuwenhuizen A T, Tang L, Hofstee J W, et al. Colour based detection of volunteer potatoes as weeds in sugar beet fields using machine vision[J]. Precision Agriculture, 2007, 8(6): 267-278.

[12] Georgee M, Joãocamargo N. Verification of color vegetation indices for automated crop imaging applications[J]. Computers & Electronics in Agriculture, 2008, 63(2): 282-293.

[13] Khojastehnazhand M, Omid M, Tabatabaeefar A. Determination of orange volume and surface area using image processing technique[J]. International Agrophysics, 2009, 23(3): 237-242.

[14] Montes J M, Technow F, Dhillon B S, et al. High-throughput non-destructive biomass determination during early plant development in maize under field conditions[J]. Field Crops Research, 2011,121(2):268-273.

[15] Araus J L, Cairns J E. Field high-throughput phenotyping: the new crop breeding frontier[J]. Trends in Plant Science, 2014, 19(1): 52-61.

[16] Kazmi W, Garcia-Ruiz F J, Nielsen J, et al. Detecting creeping thistle in sugar beet fields using vegetation indices[J]. Computers & Electronics in Agriculture, 2015, 112: 10-19.

[17] Pérez-Ortiz M, Peñaa J M, Gutiérrez P A, et al. Selecting patterns and features for between and within- crop-row weed mapping using UAV-imagery[J]. Expert Systems with Applications, 2016, 47: 85-94.

[18] Yu Zhenghong, Cao Zhiguo, Wu Xi, et al. Automatic image-based detection technology for two critical growth stages of maize: Emergence and three-leaf stage[J]. Agricultural and Forest Meteorology, 2013, 174-175: 65-84.

[19] 翟瑞芳，方益杭，林承达，等. 基于高斯HI颜色算法的大田油菜图像分割[J]. 农业工程学报，2016，32(8)：142-147. Zhai Ruifang, Fang Yihang, Lin Chengda, et al. Segmentation of field rapeseed plant image based on Gaussian HI color algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(8): 142-147. (in Chinese with English abstract)

[20] 张立周，王殿武，张玉铭，等. 数字图像技术在夏玉米氮素营养诊断中的应用[J]. 中国生态农业学报，2010，18(6)：1340-1344. Zhang Lizhou, Wang Dianwu, Zhang Yuming, et al. Diagnosis of N nutrient status of corn using digital image processing technique[J]. Chinese Journal of Eco-Agriculture, 2010, 18(6): 1340-1344. (in Chinese with English abstract)

[21] 徐胜勇，林卫国, 伍文兵，等. 基于颜色特征的油菜缺素症图像诊断[J]. 中国油料作物学报，2015，37(4)：576-582. Xu Shengyong, Lin Weiguo, Wu Wenbing, et al. Nutrient deficiency image diagnose of rapeseed based on color feature[J]. Chinese Journal of Oil Crop Sciences, 2015, 37(4): 576-582. (in Chinese with English abstract)

[22] Cai J, Okamoto M, Atieno J, et al. Quantifying the onset and progression of plant senescence by color image analysis for high throughput applications[J]. PLoS ONE, 2016, 11(6): 1-21.

[23] 宋振伟，文新亚，张志鹏，等. 基于数字图像技术的冬小麦不同施氮和灌溉处理颜色特征分析[J]. 中国农学通报，2010，26(14)：82-87. Song Zhenwei, Wen Xinya, Zhang Zhipeng, et al. The color characteristics of digital image of winter wheat under different irrigation and fertilization[J]. Chinese Agricultural Science Bulletin, 2010, 26(14): 82-87. (in Chinese with English abstract)

[24] 余正泓. 基于图像的玉米发育期自动观测技术研究[D].武汉：华中科技大学，2014. Yu Zhenghong. Research on Image-based Automatic Observation Technology for Critical Growth Stages of Maize[D]. Wuhan: Huazhong University of Science and Technology, 2014. (in Chinese with English abstract)

[25] Ponti M P. Segmentation of low-cost remote sensing images combining vegetation indices and mean shift[J]. IEEE Geoscience & Remote Sensing Letters, 2013, 10(1): 67-70.

[26] Meyer G E, Von Bargen K, Woebbecke D M, et al. Shape features for identifying young weeds using image analysis[J]. Transactions on American Society of Agricultural Engineering, 1995, 38(1): 271-281.

[27] Meyer G E, Hindman T W, Laksmi K. Machine vision detection parameters for plant species identification[C]// Precision Agriculture and Biological Quality, SPIE 3543, 1999: 327.

[28] Neto J C, Meyer G E. Crop species identification using machine vision of computer extracted individual leaves[C]// International Society for Optics and Photonics, SPIE 5996, 2005: 599-608.

[29] Hague T, Tillet N, Wheeler H. Automated crop and weed monitoring in widely spaced cereals[J]. Precision Agriculture, 2006, 7(1): 95-113

[30] Xiao Yang, Cao Zhiguo, Zhuo Wen. Type-2 fuzzy thresholding using GLSC histogram of human visual nonlinearity characteristics[J]. Optics Express, 2011, 19(11): 10656-10672.

Modeling of maize canopy color in whole growth period based on in-situ monitoring system and its application

Du Jianjun1,2, Yuan Jie3, Wang Chuanyu1,2, Guo Xinyu1,2※
(1.Beijing Research Center for Information Technology in Agriculture, Beijing Academy of Agriculture and Forestry Sciences, Beijing 100097, China; 2. Beijing Key Lab of Digital Plant, Beijing 100097, China; 3. School of Information Science and Technology, Capital Normal University, Beijing 100048, China)

Maize canopy leaf color is an intuitive reflection of maize growth, development, and physiological and biochemical status, and also an important trait for maize phenotypic detection in the field investigation. Both visual observation and quantitative analysis showed that different solar radiation had significant effects on maize canopy hue (CH), and the CH value of maize canopy had significant changes at different growth stages. Nowadays, high-throughput phenotyping platforms have gradually been applied from controllable indoor environment to uncontrollable field environment, however, the complex field condition brings a lot of challenges to the current phenotyping techniques. In the field-based maize growth monitoring application, how to quantitatively analyze the color variation tendency of maize canopy in field environment is still an urgent problem to be solved. In this study, we developed sets of in-situ monitoring systems in the field to continuously capture canopy image sequences for 2 maize cultivars (DH 605 and ND 108) in the whole growth stage, and respectively collected 6 data sets of maize canopy image in consideration of 2 types of different weather conditions (sunny and cloudy days) and 6 key growth stages (4 leaves, 9 leaves, 16 leaves, silk, blister and milk stages). These image data sets of maize canopy not only reflected the effect of different weather conditions on canopy color, but also reflected the natural changes of canopy color at different growth stages, so they could be used for the color quantification and evaluation of maize canopy. With these data sets, statistical analysis based on the HSV (hue, saturation, value) color space in the pixel level was utilized to reveal the relationship among solar radiation, image color and canopy color. The results of quantitative analysis showed: Solar radiation had little effect on image value (IV) and CH, but had great effect on image hue (IH) and canopy value (CV), and the distribution of the canopy pixels at the same CV value was approximately consistent with the normal distribution. And then, the canopy CV-CH distributions of 6 key growth stages of maize were calculated respectively by probability density statistical techniques. These distributions manifested clear variation tendency and distinction degree in CV domain from 80 to 200, which meant that the CH statistical values in this CV domain could be used to quantify and evaluate color differences among various growth stages of maize. Therefore, a continuous maize canopy color model (MCCM) was established based on the statistical results of 6 key growth stages, which described the successive color change of maize canopy in the whole growth stage. During the stage from leaf emergence to development (4 leaves, 9 leaves and 16 leaves stages), the CH values of maize showed a significant decreasing trend, and then the CH values increased gradually in the silk, blister and milk stages. Based on this model and CV-CH distribution, maize canopy segmentation method was further designed for different growth stages and field conditions. By the comparison with other segmentation methods based on color indices, such as color index of vegetation extraction (CIVE), excess green (ExG), excess green-excess red (ExGR), vegetation (VEG) and hue (H), the presented method could effectively improve the canopy segmentation accuracy, and obtain a segmentation accuracy of over 82.6% for maize canopy images in the whole growth stage. At the same time, this model revealed a significant correlation between the CH value and emerged leaf number (ELN) of 2 maize cultivars (i.e. Denghai605 and Nongda108), and the RMSE (root mean square error) values were 1.14 and 1.41 leaves respectively. The experimental results demonstrate that the maize canopy color model can quantitatively describe canopy color variation in different maize stages, and has important application value for the automatic image segmentation of maize canopy, the prediction of growth stages, and the phenotype identification of maize cultivars.

image segmentation; image analysis; color; models; maize canopy; phenotypic traits; feature extract; computer vision

10.11975/j.issn.1002-6819.2017.16.025

TP391.41; S333.3

A

1002-6819(2017)-16-0188-08

杜建军，袁 杰，王传宇，郭新宇. 基于玉米冠层原位监测的全生育期叶色建模及其应用[J]. 农业工程学报，2017，33(16)：188-195.

10.11975/j.issn.1002-6819.2017.16.025 http://www.tcsae.org

Du Jianjun, Yuan Jie, Wang Chuanyu, Guo Xinyu. Modeling of maize canopy color in whole growth period based on in-situ monitoring system and its application[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(16): 188-195. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.16.025 http://www.tcsae.org

2017-02-20

2017-08-08

国家重点研发计划（2016YFD0300605-01）；国家自然科学基金（31671577，31501226）；北京市农林科学院数字植物科技创新团队（JNKYT201604）

杜建军，男，副研究员，主要从事设施农业、计算机图形图像、生物力学等相关技术研究。北京 北京农业信息技术研究中心，100097。Email：dujj@nericta.org.cn

※通信作者：郭新宇，男，研究员，主要从事数字植物理论研究。北京 北京农业信息技术研究中心，100097。Email：guoxy@nercita.org.cn