基于时间序列的玉米叶片性状动态提取方法研究

黄成龙 张雪海 吴 迪 叶军立 杨万能,

(1.华中农业大学工学院， 武汉 430070; 2.华中农业大学作物遗传改良国家重点实验室， 武汉 430070)

基于时间序列的玉米叶片性状动态提取方法研究

黄成龙1张雪海2吴 迪1叶军立1杨万能1,2

(1.华中农业大学工学院， 武汉 430070; 2.华中农业大学作物遗传改良国家重点实验室， 武汉 430070)

玉米叶片性状对生长发育、遗传育种及功能基因解析研究具有重要意义，而传统的测量方式效率低、主观性强、测量性状少，已无法满足现代玉米研究的需求，为此提出一种基于时间序列的玉米叶片性状动态追踪技术。研究基于高通量作物表型平台，针对100份玉米品种资源，每间隔3 d获取8个玉米生长点图像；利用图像分割、叶片骨架提取等算法得到单片叶长、叶角度、叶弯曲度参数；基于叶片相对位置信息实现玉米叶片的动态追踪及标记。试验结果和人工测量值相比，叶长和叶夹角测量误差分别为0.92%和3.32%。叶片追踪可以得到叶片的动态变化过程，计算获取叶片长度的平均生长率及叶片弯曲度的变化分布。

玉米叶片； 动态追踪； 图像处理； 叶片标记

引言

玉米是世界总产量最大的农作物，也是种植范围最广的粮食作物[1-2]。培养优质、高产、抗逆的玉米品种是玉米育种的目标[3]，其中提高产量潜力是玉米育种和生产面临的主要压力[4]。玉米叶片是进行光合作用的重要场所，在玉米生长过程中，叶片性状作为一种重要指标，直接反映作物的长势和产量[5]。玉米叶片面积是反映植株光合作用能力的重要参数,研究表明叶面积与产量具有很大的正相关性[6]。玉米叶片的着生姿态对光能的利用也有着直接的影响[7]，具体包括叶夹角、叶弯曲度等性状, 研究表明在同等叶面积情况下，叶夹角小，叶片上挺的株型光合作用利用率高，有利于密植，并在同等管理水平下该品种较易获得高产[8-9]。

传统玉米叶片性状的测量主要依靠“一把尺子、一杆秤”的人工方法，效率低、人工接触干扰、可靠性差，不能满足现代玉米研究的需求[10]。随着机器视觉技术[11]在农业中应用的日益广泛，与玉米相关的表型技术[12]在国内外得到了快速的发展。王传宇等[13]利用双目立体视觉技术可以监测玉米叶片微小的位置变化；苏伟等[14]利用激光雷达研究获取玉米真实叶面积；赵春江等[15]采用立体视觉技术重建玉米植株的三维骨架; GE等[16]利用Lemnatec提供的GmbH系统可实时监测玉米的生长状态。综上所述目前已发表的玉米叶片表型测量技术主要关注单一时间节点上叶片复杂表型性状的获取，而进一步实现基于时间序列玉米叶片性状的动态获取将可以更好地帮助玉米生长发育、遗传育种研究[17]，如玉米不同位置叶片角度、弯曲度的变化将直接影响叶片的光合作用[18]，并最终影响产量。因此发展玉米叶片表型动态测量方法不仅具有十分重要的科学意义和研究价值，也是玉米表型技术下一步发展的重要方向。

本研究以玉米叶片的叶长、叶角度、叶弯曲度为研究对象，基于已有的高通量表型系统[19]，提出一种自动获取玉米单片叶性状的方法，并基于时间序列实现叶片的动态追踪。

1 方法

1.1 实验材料

本研究采用的100份玉米实验材料来自玉米关联群体，从热带和亚热带材料中各随机选50份。将玉米种植在直径为22 cm的塑料盆中，为植株提供相同的土壤、水、肥环境。考虑到玉米在进入抽雄期后叶片会存在凋谢、大面积交叠等复杂状况，为保证测量精度和叶片配准准确度，本研究选择叶片状况相对简单的苗期至拔节期为研究时间范围，测量时间为播种后28 d，每3 d测量一次，共获取8个时间节点的图像。人工测量叶长，采用直尺将叶片拉直，测量从叶基部至叶尖的距离；人工测量叶夹角采用量角器测量叶片与茎秆的夹角。

1.2 图像采集

本研究所采用的成像系统如图1a所示，玉米盆栽植株通过植株送检线进入成像暗室，到达旋转台，旋转台为涡轮蜗杆结构，由MHMD022G1V型伺服电动机驱动，旋转台面直径为300 mm，通过MADHT1507E型伺服控制器可实现植株稳定、精确旋转。系统拍图采用德国AVT Stingray F-504型工业相机，分辨率为2 452像素×2 056像素，通过IEEE 1394b接口上传至HP Z620图形工作站。测量完毕后通过植株出检线将玉米植株送出。

系统通过控制程序每间隔10°获取一幅侧视图像，每盆植株采集18幅图像，如图1b所示为部分角度图像。对获取的图像判断植株宽度，自动识别最大伸展面植株图像，如图1b中红色箭头所示。该图像为后续图像分析和参数提取的前提条件。本研究中对100株玉米，各采集8个生长点，每个生长点采集18幅图像，共计14 400幅图像。

图1 成像系统及采集图像Fig.1 Imaging system and acquiring image

1.3 图像处理及性状提取

1.3.1 玉米植株图像处理

基于上述获取的最大伸展面玉米图像，本研究的图像处理过程如图2所示。首先，将玉米植株按照设定的感兴趣区域(ROI)进行裁剪，如图2a所示。然后，提取RGB图像的超G分量(2G-R-B)，将此灰度图像进行Otsu[20]自动阈值分割得到图2b。再利用邻域相似性，对图2b进行区域生长得到图2c。利用并行细化算法[21]对完整的二值图像提取植株骨架，并去除细小毛刺，得到图2d。采用霍夫变换[22]对玉米骨架图像检测竖直方向上的直线，识别骨架中茎秆部分，如图2e中蓝色标识部分。根据叶片的联通性和位置信息，对叶片骨架进行识别并用不同的伪彩进行标记，得到图2f。

图2 玉米植株图像处理Fig.2 Procedures for maize image processing

1.3.2 玉米叶片性状提取

通过上述图像处理步骤可以识别植株茎秆、叶片，本研究针对玉米叶片角度、叶片长度、弯曲度性状，设计玉米叶片性状提取方法如下。叶片角度(A)如图3a所示，计算叶片切线方向与茎秆方向的夹角。图3a中的叶片骨架存在回折，无法准确描述叶片的弯曲路径，因此对叶片骨架进行重采样处理，使叶片骨架更加平滑，如图3b所示。叶片长度，即为重采样点之间欧氏距离之和。叶片弯曲度为

(1)

式中C——叶片弯曲度L——叶片长度D——叶片距离，即叶尖点到叶枕之间的欧氏距离

图3 玉米叶片性状参数提取Fig.3 Extraction of maize leaf parameters

1.3.3 基于时间序列的玉米叶片匹配

图4 基于时间序列的玉米叶片匹配方法Fig.4 Leaf matching method based on time series

基于上述植株叶片骨架重采样之后的结果，对所采集的8个生长点图像进行叶片配准。由于玉米植株叶片在生长过程中，新的叶片总是从上面长出，叶片在茎秆上的相对位置始终是不变的。基于上述特点，利用叶片骨架的相对位置信息，在玉米生长早期不存在叶片枯死的情况下，沿着茎秆路径从下至上依次配准，可以准确得到叶片之间的匹配关系。具体匹配步骤如图4所示，对任意相邻的2个时间序列玉米骨架图像，首先判断后面序列与前面序列之间是否存在镜像关系，若存在则对后面序列进行镜像操作，然后将到茎秆距离较小的叶片端点视为叶片起始位置，再计算叶片起始位置到茎秆的投影位置，最后沿着茎秆从下至上依次对所经过的叶片进行标记，不同时间序列下相同标记数值所对应的叶片即为配准叶片。

该配准效果如图5所示，叶片骨架用不同颜色标记，不同时间节点的相同颜色骨架为配准叶片。以图中箭头所示的叶片为例，左上角a表示叶片长度，b表示叶片弯曲度，c表示叶片角度，根据8个生长点的叶片配准结果可以动态展示叶片的生长过程。该自动配准方法主要针对玉米生长早期，叶片在生长后期可能有枯萎情况，导致匹配产生异常，若枯萎叶片在最下方可以直接插入死亡叶片数，这样在标记时加上死亡叶片数可使剩下叶片匹配正确，若缺失叶片在中间位置则需通过人工修正标记值来排除异常。

图5 基于时间序列的玉米叶片匹配结果Fig.5 Maize leaf registration results based on time sequences

2 结果

基于上述图像分析过程，对100株玉米植株的生长点图像进行处理。将系统测量的叶片长度、角度与人工测量结果进行对比来评价该方法的精度。测量结果所得的平均绝对百分比误差(MAPE)和均方根误差(RMSE)为

(2)

(3)

式中M——平均绝对百分比误差R——均方根误差n——样本数xai——系统测量结果xmi——人工测量结果

其中，人工测量样本为100株玉米植株中，随机抽取一个生长点，人工测量该生长点的所有叶片长度和叶片角度，求平均作为真实值。取该生长点图像进行分析，对结果求平均作为系统值。

系统测量值与人工测量值的对比结果如图6所示。叶片长度的M、R分别为0.93%、4.92 mm；叶片角度的M、R分别为3.32%、0.95°。结果表明系统具有较高的测量精度，且系统测量值与人工测量值的决定系数都大于0.97，结果表明系统测量与人工测量具有较好的一致性。结果说明结合叶片骨架和重采样的方式可以准确描述叶片的弯曲路径。

图6 系统测量与人工测量结果对比Fig.6 Result comparisons of system measurement and manual measurement

基于时间序列的玉米叶片匹配，可以获取叶片的生长速率等信息，玉米叶片平均生长率及叶片弯曲度变化如图7所示。其中叶片的生长速率是通过叶片长度的变化速率来表征，叶长在任意时间序列处的生长速率为

Yt=Xt-Xt-1

(4)

式中Yt——叶片长度在时间序列t处的生长速率，mm/(3 d)

Xt——叶片在时间序列t处的长度

t——系统测量的时间序列，取1～8的整数

图7 玉米叶片平均生长率及叶片弯曲度变化量Fig.7 Average growth rate of maize leaf length and variation of maize leaf curvature

然后计算玉米叶片在8个生长点平均长度变化率为

(5)

可以得到100个品种的平均叶片生长率，如图7所示，红色圆圈为生长率最大的品种，叶长平均生长速率为56.79 mm/(3 d)。叶片弯曲度变化计算方法类似，结果表明随着玉米植株生长，叶片弯曲度呈下降趋势。

3 结论

(1)基于高通量作物表型系统，设计了一种自动获取玉米单片叶性状的方法，可以准确获取叶片长度、角度、弯曲度性状参数，以100株玉米植株为研究对象，结果表明叶片长度和角度的测量误差分别为0.93%和3.32%。

(2)对玉米植株每3 d测量一次，并对得到的叶片骨架基于位置信息进行配准可以得到单片叶性状的动态变化过程。此外对100株玉米植株动态测量可以得到玉米叶片长度的生长率及叶片弯曲度变化分布。

(3)本研究主要是针对早期玉米植株，对于玉米生长后期可能会出现叶片枯死、叶片生长不在同一个平面等复杂状况需要进一步完善相关处理算法。本研究为玉米早期生长发育研究提供了一种新的思路。

1 严建兵, 汤华, 黄益勤, 等. 玉米产量及构成因子主效和上位性 QTL 的全基因组扫描分析[J]. 科学通报, 2006, 51(12): 1413-1421.

2 LOBELL D B, ROBERTS M J, SCHLENKER W, et al. Greater sensitivity to drought accompanies maize yield increase in the US Midwest[J]. Science, 2014, 344(6183): 516-519.

3 TOLLENAAR M, LEE E A. Yield potential, yield stability and stress tolerance in maize[J]. Field Crops Research, 2002, 75(2-3): 161-169.4 陈林, 杨新国, 翟德苹, 等. 柠条秸秆和地膜覆盖对土壤水分和玉米产量的影响[J]. 农业工程学报, 2015, 31(2): 108-116. CHEN Lin, YANG Xinguo, ZHAI Deping, et al. Effects of mulching with Caragana powder and plastic film on soil water and maize yield[J]. Transactions of the CSAE, 2015, 31(2): 108-116.(in Chinese)

5 BAVEC F, BAVEC M. Effects of plant population on leaf area index, cob characteristics and grain yield of early maturing maize cultivars (FAO 100-400) [J]. European Journal of Agronomy, 2002, 16(2): 151-159.

6 MEGHJI M R, DUDLEY J W, LAMBERT R J, et al. Inbreeding depression, inbred and hybrid grain yields, and other traits of maize genotypes representing three eras[J]. Crop Science, 1984, 24(3): 545-549.

7 WHIGHAM D K, WOOLLEY D G. Effect of leaf orientation, leaf area, and plant densities on corn production[J]. Agronomy Journal, 1974, 66(4): 482-486.

8 杨峰, 崔亮, 黄山, 等. 不同株型玉米套作大豆生长环境动态及群体产量研究[J]. 大豆科学, 2015, 34(3): 402-407. YANG Feng, CUI Liang, HUANG Shan, et al. Soybean growth environment and group yield in soybean relay intercropped with different leaf type maize[J]. Soybean Science, 2015, 34(3):402-407. (in Chinese)

9 SONG Q, CHU C, Parry M A J, et al. Genetics-based dynamic systems model of canopy photosynthesis: the key to improve light and resource use efficiencies for crops[J]. Food and Energy Security, 2016, 5(1): 18-25.

10 YANG W, DUAN L, CHEN G, et al. Plant phenomics and high-throughput phenotyping: accelerating rice functional genomics using multidisciplinary technologies[J]. Current Opinion in Plant Biology, 2013, 16(2): 180-187.

11 HENDRAWAN Y, AL RIZA D F, MURASE H. Applications of intelligent machine vision in plant factory[J]. IFAC Proceedings Volumes, 2014, 47(3): 8122-8127.

12 KLUKAS C, CHEN D, PAPE J M. Integrated analysis platform: an open-source information system for high-throughput plant phenotyping[J]. Plant Physiology, 2014, 165(2): 506-518.

13 王传宇, 郭新宇, 肖伯祥, 等. 玉米叶片生长状态的双目立体视觉监测技术[J/OL].农业机械学报, 2014, 45(9): 268-273. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20140943&flag=1.DOI:10.6041/j.issn.1000-1298.2014.09.043. WANG Chuanyu, GUO Xinyu, XIAO Boxiang, et al. Maize leaf movement monitoring base on binocular stereo vision[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 268-273.(in Chinese)

14 苏伟, 郭皓, 赵冬玲, 等. 基于地基激光雷达的玉米真实叶面积提取方法研究[J/OL]. 农业机械学报, 2016, 47(7): 345-353. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160747&flag=1.DOI:10.6041/j.issn.1000-1298.2016.07.047. SU Wei, GUO Hao, ZHAO Dongling, et al. Estimation of actual leaf area of maize based on terrestrial laser scanning[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(7): 345-353.(in Chinese)

15 赵春江, 杨亮, 郭新宇, 等. 基于立体视觉的玉米植株三维骨架重建[J]. 农业机械学报, 2010, 41(4): 157-162. ZHAO Chunjiang, YANG Liang, GUO Xinyu, et al. Corn skeleton reconstruction based on stereo vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(4): 157-162.(in Chinese)

16 GE Y, BAI G, STOERGER V, et al. Temporal dynamics of maize plant growth, water use, and leaf water content using automated high throughput RGB and hyper spectral imaging[J]. Computers and Electronics in Agriculture, 2016, 127: 625-632.

17 DESTA Z A, ORTIZ R. Genomic selection: genome-wide prediction in plant improvement[J]. Trends in Plant Science, 2014, 19(9): 592-601.

18 ORT D R, LONG S P. Limits on yields in the corn belt[J]. Science, 2014, 344(6183): 484-485.

19 YANG W, GUO Z, HUANG C, et al. Combining high-throughput phenotyping and genome-wide association studies to reveal natural genetic variation in rice[J]. Nature Communications, 2014: article number 5087.

20 OTSU N. A threshold selection method from gray-level histograms[J]. Automatic, 1975, 11(285-296): 23-27.

21 牟少敏, 杜海洋, 苏平, 等. 一种改进的快速并行细化算法[J]. 微电子学与计算机, 2013, 30(1): 53-55. MOU Shaomin, DU Haiyang, SU Ping, et al. A new improved fast parallelthinning algorithm[J]. Microelectronics & Computer, 2013, 30(1): 53-55.(in Chinese)

22 吴刚, 谭彧, 郑永军, 等. 基于改进 Hough 变换的收获机器人行走目标直线检测[J]. 农业机械学报, 2010, 41(2): 176-179. WU Gang, TAN Yu, ZHENG Yongjun, et al. Walking goal line detection based on improved Hough transform on harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(2): 176-179.(in Chinese)

Dynamic Extraction Method of Maize Leaf Traits Based on Time Series

HUANG Chenglong1ZHANG Xuehai2WU Di1YE Junli1YANG Wanneng1,2
(1.CollegeofEngineering,HuazhongAgriculturalUniversity,Wuhan430070,China2.NationalKeyLaboratoryofCropGeneticImprovement,HuazhongAgriculturalUniversity,Wuhan430070,China)

Maize leaf traits have great significance to the study of growing development, breeding and functional gene research. However, the traditional method is inefficient, subjective, and also with less measurement, which is far from the requirement of maize-related research. Therefore, an automatic and dynamic technology for maize leaf traits extraction was proposed. Totally 100 maize varieties were adopted, and eight growth points were analyzed every three days based on the high-throughput crop phenotyping platform. For each measurement, the 18 side-view images were acquired every 10°, and the maximum side-view image was identified based on the width information. Then an improved segmentation method was applied to extract the complete plant binary image. After that a parallel thinning was used to extract the plant skeleton, and Hough transform was adopted to distinguish leaf skeleton from the stem. Finally, each leaf skeleton was labelled and the specific algorithm was developed to calculate the leaf length, angle and curvature. The experimental results showed that the measurement error for leaf length and leaf angle was 0.92% and 3.32%, respectively, and the results demonstrated that this method had a higher consistency than manual method. Since the new leaf would always grow from above in maize, the leaf matching based on time series was designed and carried out by using the leaf relative-position information. With leaf registration, the leaf growth rate and leaf curvature variation were obtained. In general, this study provided a novel method for maize-related research.

maize leaf; dynamic tracing; image treatment; leaf marking

2016-12-06

2017-02-22

国家自然科学基金项目(31600287)

黄成龙 (1987—)，男，讲师，博士，主要从事作物表型研究，E-mail: hcl@mail.hzau.edu.cn

杨万能 (1984—)，男，副教授，博士生导师，主要从事植物表型组学研究，E-mail: ywn@mail.hzau.edu.cn

10.6041/j.issn.1000-1298.2017.05.021

Q948； TN911.73

A

1000-1298(2017)05-0174-05