小波变换与分水岭算法融合的番茄冠层叶片图像分割

丁永军 张晶晶 LEE Won Suk 李民赞

(1.兰州城市学院电子与信息工程学院， 兰州 730070；2.佛罗里达大学农业与生物工程系， 盖恩斯维尔 32611-0570;3.中国农业大学现代精细农业系统集成研究教育部重点实验室， 北京 100083)

小波变换与分水岭算法融合的番茄冠层叶片图像分割

丁永军1张晶晶1LEE Won Suk2李民赞3

(1.兰州城市学院电子与信息工程学院， 兰州 730070；2.佛罗里达大学农业与生物工程系， 盖恩斯维尔 32611-0570;3.中国农业大学现代精细农业系统集成研究教育部重点实验室， 北京 100083)

在基于机器视觉的作物营养诊断研究中，通常需要采集叶片样本并在实验室条件下定量测定其营养素含量，但由于叶片间相互重叠，往往使得叶片样本不能清晰地反映在群体番茄冠层图像中。为了解决这一问题，需要利用图像分析技术有效提取作物冠层图像中的叶片，并根据处理结果采集实验室测定样本。本文从复杂背景剔除、梯度图计算、小波变换、标记选取、分水岭分割等环节出发，实现了基于小波变换与分水岭算法融合的番茄冠层多光谱图像叶片分割。首先对比了4种复杂背景剔除算法，发现当增强因子a=1.3时，基于归一化植被指数(Normalized difference vegetation index，NDVI)的阈值分割目标提取准确，适合各种光照条件，时空复杂度低。其次在梯度图计算方面，近红外(Near infrared，NIR)波段图像形态学梯度在保持目标边缘的同时，能消除大量由叶脉、光照等引起的叶片内纹理细节。然后以小波分析为基础进行标记选取，发现当选取db4小波函数、4层小波分解低频系数、阈值为18的H-maxima 变换能得到最优的目标标记结果。最后对多光谱番茄冠层图像的小波变换分水岭分割和数学形态学分水岭分割结果进行叠加，发现对复杂背景及不同光照强度下的番茄冠层叶片平均误分率为21%，为基于多光谱图像分析的番茄叶片营养素含量检测提供了一定的技术支持。

图像分割； 番茄叶片； 小波变换； 标记分水岭

引言

叶片作为农作物主要营养器官，含有丰富的叶绿体组织，是进行光合作用及合成有机物的主要场所，同时也是为根系提供吸收水分及矿物质的主要动力。大量研究表明，叶片的叶面积、叶色、叶片卷曲度、叶片光谱响应等特征可以表征作物长势、营养状况、植株水分及病虫害情况。其中，JOALLAND 等[1]构建了基于甜菜叶面积的作物地下生物量估测模型。何彩莲等[2]发现马铃薯施氮水平与G/B、(G-B)/(R+G+B)成反比，而与B/(R+G+B)成正比。金千瑜等[3]研究了不同灌溉条件对不同品种水稻叶片卷曲度的影响。丁永军等[4]定量分析了叶片反射光谱的各种红边参数与番茄叶片叶绿素含量间的关系，并建立了5种基于红边位置的叶绿素预测模型。ALIREZA等[5]采用视觉传感器观测叶片淀粉积累特征，并由此对柑橘黄龙病、缺锌、缺镁进行了有效识别。

近年来，机器视觉及多光谱图像分析技术在作物长势监测方面的应用研究越来越受到关注。虽然在特定条件下取得了一定的成果和进展，但仍停留在对单个叶片或单株作物的观测水平上[6-9]。对复杂叶片重叠的群体问题研究较少，而且在试验过程中往往存在图像或光谱采集与作物营养素测定样本不完全匹配的问题，所以有必要对营养测定叶片进行有效图像分割，提高图像或光谱信息与营养诊断叶片间的一致性。目前，对于重叠叶片分割的研究主要有两种，一是借助深度信息进行分割，但要求使用基于TOF(Time of flight)技术的深度相机或双目成像系统等精密试验设备[10-11]；另一种方法为基于主动轮廓模型的重叠叶片分割，但其结果往往依赖于初始曲线的选取[12-13]。

分水岭算法是一种对重叠物体进行分割的有效工具，但是传统分水岭算法容易产生严重的过分割问题。通常有两类方法用以解决过分割问题，一类是通过制定相应规则进行分割后区域合并[14-15]，另一类则在图像分割前进行标记，取代伪极值点，优化分水岭分割[16-17]，而标记的选取方法并不唯一，应该根据被处理图像的具体特征有针对性的制定标记选取方法。本文拟通过图像照度-反射模型、目标物体亮度变化、小波变换实现标记选取及番茄冠层多光谱图像的分水岭分割。

1 方法与材料

1.1 多光谱图像的采集

试验场地为中国农业大学水利与土木工程学院可控温室，自然光照条件下共采集番茄冠层多光谱图像19幅。多光谱相机为光束分离型采集系统，单镜头分光式设计，其核心器件选用AD080CL型2-CCD图像采集器(JAI Inc.)，入射光被二向反射镜分光结构分为可见光波段和近红外(NIR)波段，并利用可见光和NIR的面阵CCD传感器同步获取同一视野范围的可见光(400～700 nm)和NIR(760～1 000 nm)图像。

1.2 形态学梯度

梯度影像能较好地描述图像的变化趋势，所以在梯度影像上的分水岭算法往往可以获得更高的分割精度[18]。对于梯度影像的提取通常有基于形态学运算的提取方法及基于空域模板的提取方法两种，而形态学梯度可以使用具有各向同性的圆形结构元素，不仅可以减小梯度对边缘方向的依赖，还可以在一定程度上加剧图像变化[19]。形态学梯度定义为

(1)

f——原始图像s——形态学结构元素 ⊕——形态学膨胀运算 ⊖——形态学腐蚀运算

1.3 标记分水岭算法

图1a为番茄冠层RGB彩色图像，可以看出叶片间存在严重的重叠粘连问题，致使叶片分割提取困难。根据图像照度-反射模型，照度分量表现为空间域上的慢变化，即图像低频对应于基本内容，而反射分量则表现为图像高频噪声、细节[20]。所以，对图像进行低频滤波将在一定程度上消除暗噪声及待识别物体表面微小的灰度变化，有助于目标对象的标记。常用的频域低通滤波包括高斯滤波、Butterworth滤波、小波变换及数学形态开闭重构滤波。图1b为番茄冠层图像亮度分布，可以看出由于叶片间相互层叠，产生亮度较低的阴影或遮挡，而叶脉亮度较高，所以目标叶片或其中一部分表现为局部极大值。这样，可以将低频图像中的局部极大值作为前景标记，并根据前景标记对梯度图进行修正，即在梯度图中将前景标记位置处的灰度值置零，达到既能消除伪局部极小值，又能保持原始叶片边缘纹理信息的目的，最终对修正后梯度图进行分水岭变换得到分割结果。

图1 番茄冠层图像及亮度分布Fig.1 RGB image of tomato canopy and its luminance distribution

1.4 二维离散小波变换(2D-DWT)

小波变换具有良好的时频局域化特性，能对信号进行多分辨率分析，信号局部特性的描述能力极强，在确定合理小波函数及分解尺度的基础上，可以有效去除图像噪声及细密纹理，并保持目标边缘。尺寸为M×N的2-D图像f(x,y)的离散小波变换为[21]

(2)

(3)

式中Wu(j,m,n)——图像在分解尺度j下的低频近似系数

i——水平、垂直和对角线3个方向，取值为1、2、3

j——分解尺度

m——水平平移

n——垂直平移

uj,m,n(x,y)——对缩放函数进行缩放、平移变换

因为Symlets及Daubechies小波函数在消失矩一定的前提下有最小的支撑域，而且满足正交特性，所以小波变换对二维图像的局部特征具有很强的描述能力。同时考虑到消失矩不宜过大也不宜过小，因此在试验过程中采用db4小波对二维图像进行多分辨率分析[22]。

2 结果与分析

2.1 复杂背景去除

基于灰度相似性的最大类间方差阈值分割方法，在许多领域得到了成功应用，又考虑到绿色作物在色调上与背景有较大的区分性，所以背景去除环节尝试了基于色调的最大类间方差阈值分割，其结果如图2a所示，可以看出作物与培养基质间分割效果较好，但仍存有塑料薄膜。又考虑到分割对象为绿色植被，试验中尝试构建超绿指数g=2g-r-b，并在此基础上进行复杂背景剔除，结果如图2b所示，可以看出剔除了绝大部分背景，但位于个别叶片之间的栽培基质未被有效去除。故又根据图像中目标物与背景间的颜色差异性，尝试了基于S*NIR空间欧氏距离的聚类分割，其分割效果如图2c所示，但该算法时空复杂度高，对尺寸为619像素×925像素的图像，处理时间为12.44 s (Intel i7-4712MQ，4 GB RAM，Windows 7专业版， Matlab 7.11)，所以本试验最终采用了基于植被指数NDVI差异性的分割方法，图像NDVI值为

NDVI=(aN-R)/(aN+R)

(4)

式中N——近红外图像R——红色分量图像a——增强因子，用以增强目标区域与背景区域的差异

当a=1时，计算结果为归一化植被指数，试验中取a=1.3。如图2d所示，算法分割效果好，自适应性高，适合各种光照条件，运算简单，对尺寸为619像素×925像素的图像，处理时间仅需156 ms。

图2 不同算法的复杂背景剔除结果Fig.2 Results of removing complex background with four different algorithms

2.2 梯度图选取

图3 不同颜色分量的梯度图Fig.3 Gradient images of different color components

在梯度图上的标记分水岭分割效果往往优于直接在原始图像上的分割，而且形态学梯度在保持目标边缘的同时，能消除部分纹理细节。试验结果表明，各分量形态学梯度图保持边缘且消除纹理细节能力的优劣顺序依次为NIR、R、G、B。图3为B分量及NIR图像形态学梯度计算结果，可以看出NIR梯度图中去除了大量由叶脉、光照等引起的叶片内纹理，为后续处理奠定了一定的基础。

2.3 标记获取

从小波函数的消失矩、支撑域考虑，试验过程中采用db4小波对去除复杂背景后的NIR图像进行多分辨率分析，为确定理想的分解层数，对所采集到的19幅图像，分别进行1～6层的小波分解，图4为不同小波分解尺度下的前景目标标记结果，可以看出第4层小波分解时的标记与分割目标最为吻合。

图4 不同小波分解尺度下的前景标记结果Fig.4 Foreground markers at different decomposition levels

另外，表1为各图像在不同分解尺度下，标记数与原始图像中实际叶片数间的对应关系。相对而言，在第4层分解下，标记数与实际叶片数最吻合，故试验中选取4层分解。具体标记获取过程为：先构造NDVI指数去除复杂背景，再对去复杂背景的NIR图像采用db4小波函数进行4层小波分解，取低频系数重构近似图像，计算H-maxima 变换并取大于阈值18的极大值作为标记，应用标记对NIR形态学梯度图进行修正(在梯度图中将前景标记位置处的灰度值置0，取代伪局部极小值)，最后对修正后的梯度图进行分水岭分割。

2.4 标记分水岭分割

图5为不同低频滤波条件下的标记分水岭分割结果，其中图5a、5b分别为通带宽度为80的高斯滤波和通带宽度取图像宽度10%的Butterworth滤波所对应的标记分水岭分割结果，其运行结果非常不理想，其中都有众多叶片未能准确分割，其原因可能与通带宽度选取有关。图5c为数学形态开闭重构滤波条件下的标记分水岭分割结果，其中存在一定程度的过分割，其原因可能与前景标记策略有关。图5d则为基于小波分析的分水岭分割算法结果，为评价分割精度，计算误分率为

表1 不同小波分解下的叶片数与标记数 Tab.1 Leaf number and marker number at different wavelet decompositions

图5 不同低频滤波条件下的标记分水岭分割结果Fig.5 Results of marked watershed segmentation using different low frequency filters

E=(v-c)/c×100%

(5)

式中v——本文算法得到的正确分割叶片数c——人工统计的叶片数

由19幅图像的分割结果可知，基于小波分析的分水岭分割对于复杂背景及不同光照强度下的番茄冠层叶片平均误分率为29%，分割精度仍有进一步提高的可能。经对比图5c、5d中标注的Ⅰ～Ⅳ各区域发现，数学形态开闭重构滤波条件下的标记分水岭分割虽存在一定程度的过分割，但对于小波分水岭算法未能很好识别的区域其分割结果却有改善。于是，计算小波分水岭分割区域的矩形度、面积凹凸比、圆形度、偏心率等4个形状参数，并构造支持向量机模型提取出未准确识别的区域，再对该区域使用形态学分水岭分割，最后将小波分水岭和形态学分水岭分割结果进行叠加，得到最终结果，如图5e所示，其平均误分率降低至21%，为基于多光谱图像分析的番茄叶片营养素含量检测提供一定的技术支持。

3 结论

(1)在主要由颗粒松散的栽培基质构成的复杂图像背景的去除方面，从去除效果、不同光照条件的适应性、算法时空复杂度等方面，对最大类间方差阈值分割、基于超绿指数的阈值分割、基于S*NIR空间欧氏距离的聚类分割、基于NDVI的阈值分割进行对比，发现当增强因子a=1.3时，基于NDVI的阈值分割最优。

(2)试验结果表明，多光谱图像各分量形态学梯度图保持边缘且消除纹理细节的能力优劣顺序依次为NIR、R、G、B。NIR梯度图中去除了大量由叶脉、光照等引起的叶片内纹理，为后续处理奠定了一定的基础。

(3)以小波分析为基础进行标记选取，发现选用db4小波函数、4层小波分解低频系数、阈值为18的H-maxima 变换能得到最优的目标标记结果。

(4)由19幅图像的叶片提取结果可知，将小波变换分水岭分割和数学形态学分水岭分割结果进行叠加，对于复杂背景及不同光照强度下的番茄冠层叶片平均误分率为21%，为基于多光谱图像分析的番茄叶片营养素含量检测提供了一定的技术支持。

1 JOALLAND S, SCREPANTI C, GAUME A, et al. Belowground biomass accumulation assessed by digital image based leaf area detection[J]. Plant and Soil, 2016, 398(1-2): 257-266.

2 何彩莲，郑顺林，万年鑫，等. 马铃薯光谱及数字图像特征参数对氮素水平的响应及其应用[J]. 光谱学与光谱分析，2016，36(9)：2930-2936. HE Cailian, ZHENG Shunlin, WAN Nianxin, et al. Potato spectrum and the digital image feature parameters on the response of the nitrogen level and its application[J]. Spectroscopy and Spectral Analysis, 2016, 36(9): 2930-2936. (in Chinese)

3 金千瑜，欧阳由男，禹盛苗，等. 土壤干旱胁迫对不同水稻品种叶片卷曲的影响[J]. 中国水稻科学，2003，17(4)：349-354. JIN Qianyu, OUYANG Younan, YU Shengmiao, et al. Influence of soil drought stress on leaf rolling index in different rice varieties[J]. Chinese Journal Rice Science, 2003, 17(4): 349-354. (in Chinese)

4 丁永军，张晶晶，李修华，等. 基于光谱红边位置提取算法的番茄叶片叶绿素含量估测[J/OL]. 农业机械学报，2016，47(3)：292-297. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160341&flag=1&journal_id=jcsam.DOI:10.6041/j.issn.1000-1298.2016.03.041. DING Yongjun, ZHANG Jingjing, LI Xiuhua, et al. Estimation of chlorophyll content of tomato leaf using spectrum red edge position extraction algorithm[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(3):292-297. (in Chinese)

5 POURREZA A, LEE W S, EHSANI R, et al. An optimum method for real-time in-field detection of Huanglongbing disease using a vision sensor[J]. Computers and Electronics in Agriculture, 2015, 110: 221-232.

6 吴倩，孙红，李民赞，等. 玉米作物多光谱图像精准分割与叶绿素诊断方法研究[J]. 光谱学与光谱分析，2015，35(1)：178-183. WU Qian, SUN Hong, LI Minzan, et al. Research on maize multispectral image accurate segmentation and chlorophyll index estimation[J]. Spectroscopy and Spectral Analysis, 2015, 35(1): 178-183. (in Chinese)

7 孙俊，金夏明，毛罕平，等. 基于高光谱图像的生菜叶片氮素含量预测模型研究[J]. 分析化学，2014，42(5)：672-677. SUN Jun, JIN Xiaming, MAO Hanping, et al. A model for predicting nitrogen of lettuce leaves based on hyperspectral imaging[J]. Chinese Journal of Analytical Chemistry, 2014, 42(5):672-677. (in Chinese)

8 SAAD A M, IBRAHIM A, El-BIALEE N. Internal quality assessment of tomato fruits using image color analysis[J]. Agricultural Engineering International: CIGR Journal, 2016, 18(1): 339-352.

9 ZHU Q B, HE C L, LU R F, et al. Ripeness evaluation of ‘Sun Bright’ tomato using optical absorption and scattering properties[J]. Postharvest Biology and Technology, 2015, 103: 27-34.

11 CHÉNÉ Y, ROUSSEAU D, LUCIDARME P, et al. On the use of depth camera for 3D phenotyping of entire plants[J]. Computers and Electronics in Agriculture, 2012, 82: 122-127.

12 DE VYLDER J, OCHOA D, PHILIPS W, et al. Leaf segmentation and tracking using probabilistic parametric active contours[C]∥International Conference on Computer Vision/Computer Graphics Collaboration Techniques and Applications, 2011: 75-85.

13 CERUTTI G, TOUGNE L, MILLE J, et al. Guiding active contours for tree leaf segmentation and identification[C]∥CLEF 2011, Conference on Multilingual and Multimodal Information Access Evaluation, 2011.

14 蔡彩，李培军，郭建聪. 基于分水岭变换及分层区域合并的城市高分辨率影像分割[J]. 北京大学学报：自然科学版，2014，50(2)：323-330. CAI Cai, LI Peijun, GUO Jiancong. Segmentation of high resolution imagery over urban area using watershed transformation and stratified region merging [J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2014, 50(2): 323-330. (in Chinese)

15 JIANG C, LI Z, CHEN X, et al. Segmentation of the synthetic aperture radar image using the watershed transformation and region merging technique[J]. International Journal of Smart Home, 2016, 10(9): 93-102.

16 WANG J, YAO P, LIU W, et al. A hybrid method for the segmentation of a ferrograph image using marker-controlled watershed and Grey clustering[J]. Tribology Transactions, 2016, 59(3): 513-521.

17 KWON G R, BASUKALA D, LEE S W, et al. Brain image segmentation using a combination of expectation-maximization algorithm and watershed transform[J]. International Journal of Imaging Systems and Technology, 2016, 26(3): 225-232.

18 李珀任，潘懋，杜世宏. 一种基于标记分水岭的高分辨率遥感影像分割方法[J]. 地理与地理信息科学，2012，28(5)：10-15. LI Boren, PAN Mao, DU Shihong. A marker-based watershed segmentation for high resolution remote sensing image[J]. Geography and Geo-Information Science, 2012, 28(5):10-15. (in Chinese)

19 张桂梅，周明明，马珂. 基于彩色模型的重构标记分水岭分割算法[J]. 中国图象图形学报，2012，17(5)：641-647. ZHANG Guimei, ZHOU Mingming, MA Ke. Image segmentation algorithm for reconstruction labeling watershed in color space[J]. Journal of Image and Graphics, 2012, 17(5): 641-647. (in Chinese)

20 高丽，杨树元，夏杰，等. 基于标记的Watershed图像分割新算法[J]. 电子学报，2006，34(11)：2018-2023. GAO Li, YANG Shuyuan, XIA Jie, et al. A new marker-based Watershed algorithm[J]. Acta Electronica Sinica, 2006, 34(11): 2018-2023. (in Chinese)

21 张毓晋. 图像工程(上册)图像处理[M]. 3版.北京：清华大学出版社，2012：215-216.

22 丁永军，李民赞，郑立华，等. 基于近红外光谱小波变换的温室番茄叶绿素含量预测[J]. 光谱学与光谱分析，2011，31(11)：2936-2939. DING Yongjun, LI Minzan, ZHENG Lihua, et al. Prediction of chlorophyll content of greenhouse tomato using wavelet transform combined with NIR spectra[J]. Spectroscopy and Spectral Analysis, 2011, 31(11): 2936-2939. (in Chinese)

SegmentationofTomatoLeavesfromCanopyImagesbyCombinationofWaveletTransformandWatershedAlgorithm

DING Yongjun1ZHANG Jingjing1LEE Won Suk2LI Minzan3

(1.CollegeofElectronicsandInformationEngineering,LanzhouCityUniversity,Lanzhou730030,China2.DepartmentofAgriculturalandBiologicalEngineering,UniversityofFlorida,Gainesville,FL32611-0570,USA3.KeyLaboratoryofModernPrecisionAgricultureSystemIntegrationResearch,MinistryofEducation,ChinaAgriculturalUniversity,Beijing100083,China)

In the study of crop nutrition diagnosis based on machine vision, it is usually necessary to collect leaf samples and quantitatively determine their nutrient content under laboratory conditions. However, due to the overlapping of leaves, the leaf samples cannot be clearly reflected in the canopy image. In order to solve this problem, it is needed to use image analysis technology to effectively extract the leaves in the crop canopy image and according to the processing results to collect laboratory test samples. Based on the complex background extraction, gradient graph calculation, wavelet transform, marker selection and watershed segmentation, the leaf segmentation of tomato canopy multispectral image was realized. Firstly, four kinds of complex background elimination algorithms were compared. It was found that the threshold segmentation based on normalized difference vegetation index (NDVI) was accurate when the enhancement factor was 1.3, which was suitable under various lighting conditions, and the space-time complexity was low. Secondly, in the aspect of gradient graph calculation, the morphological gradient of near-infrared (NIR) band image can eliminate the texture of the leaves caused by veins, light and so on while keeping the target edge. Then, markers of leaves were selected according to wavelet transform that used the low-frequency coefficient of 4-level db4 wavelet decomposition and H-maxima transform with threshold of 18. Finally, the results of wavelet transform watershed segmentation and mathematical morphology watershed segmentation were superimposed, and it was found that the average segmentation error rate of tomato canopy leaves was 21% for complex background and different light intensities, which provided some technical support for the analysis of tomato leaf nutrient content detection.

image segmentation; tomato leaves; wavelet transform; marked watershed

TP751; S24

A

1000-1298(2017)09-0032-06

10.6041/j.issn.1000-1298.2017.09.004

2016-12-19

2017-05-05

国家自然科学基金项目(31360291、31271619)、国家留学基金委西部地区人才培养特别项目(201408625069)和兰州城市学院博士科研启动基金项目(LZCU-BS2013-07)

丁永军(1978—)，男，副教授，博士，主要从事光谱及多光谱图像分析研究，E-mail: dingyj@lzcu.edu.cn

李民赞(1963—)，男，教授，博士生导师，主要从事农业信息化研究，E-mail: limz@cau.edu.cn