基于深度学习的叶片图像分割算法

王琢 汪雅婷 宋文龙 莫冲

摘  要：为了保证植物叶片图像采集质量，提高植物表型叶片图像分割精度，建立一种基于深度学习的叶片图像分割方法。以Caffe深度学习框架为基础，构建全卷积神经网络（FCN），采用有监督的学习方法，通过对数据集标注、数据集标签制作，实现叶片图像的分割。该方法充分发挥了FCN不限制输入图像的大小，实现端到端的图像分割的特点。同时采用数据增强方法，解决了在叶片数据集稀缺条件下，训练时间长，不容易收敛的问题。实验结果表明，深度学习在植物叶片分割中效果显著，像素准确率达到了91%，Mean IU达到了78.52%，技术指标优于大部分传统图像分割算法。

关键词：全卷积神经网络;图像分割;数据增强;植物叶片

中图分类号：S781.1; Q6-3 文献标识码：A 文章编号：1006-8023（2019）01-0042-05

Abstract： In order to ensure the image acquisition quality of plant leaves and improve the image segmentation accuracy of plant phenotypes， a segmentation method based on deep learning was established. Based on the Caffe deep learning framework， a full convolutional neural network （FCN） was constructed. The supervised learning method was adopted to realize the segmentation of the leaf image by labeling datasets and creating dataset labels. This method fully utilized the feature that the FCN did not limit the size of the input image and achieved end-to-end image segmentation. At the same time， the data augmentation method was used to solve the problem that the training time was long and the convergence was not easy under the condition that the blade data set was scarce. The experimental results showed that the deep learning effect was remarkable in the division of plant leaves， pixel accuracy reached 91%， Mean IU reached 78.52%， technical indicators was better than most of the traditional image segmentation algorithm.

Keywords：Fully convolutional neural networks; image segmentation; data enhancement; plant leaves

0 引言

植物是地球上物种数量最多、分布最广泛的生命形式。它是生态资源中最重要的部分，植物在人类生活中扮演着十分重要的角色。叶片是植物制造营养物质的器官，是其生长和结果的基础。利用植物叶片进行植物分类和识别是最有效、最经济的方法。而有效识别植物叶片的前提是把植物叶片从背景中分离出来，这是植物叶片图像处理中的关键环节。只有通过植物叶片图像的合理分割，对植物的分析才成为可能。叶片图像分割的本质是将像素进行分类，利用机器视觉和图像处理技术将植物叶片从背景中分割出来。很多传统的图像分割技术，例如直方图阈值法、边缘检测法、基于区域的方法以及基于随机场的方法等，都是利用植物叶片图像的边缘像素灰度值大幅度剧烈变化，其本质仍然仅仅利用到了图像灰度特征信息[1-6]。此类方法在单叶片及简单场景下能够获得较好的分割效果，但对于解决复杂背景尤其是叶片在线无损检测中分割效果不理想，受背景噪声、环境场景影响较大，系统鲁棒性较差，不能够给出有效的语义信息。

随着现代高性能计算的发展，在人工智能领域中深度学习技术越来越多的应用到了科学研究与工业生产之中，其中卷积神经网络（convolutional neural network，CNN）是深度学习网络应用最为普遍的的一种[7-10]。针对复杂背景下叶片分割效果不理想，受背景噪声、环境场景影响较大，系统鲁棒性较差等问题，提出一种利用全卷积神经网络（FCN）[11-14]的深度学习叶片图像分割方法，使用有监督学习的方法训练FCN用于植物叶片检测。

1 研究方法

1.1叶片分割网络模型结构

卷积神经网络（CNN）所构建的是多层具有自主学习的網络架构，在图像分类中应用最为广泛，但CNN网络在特征抽象过程中往往容易丢失图像的细节信息，对对象轮廓描述不清，因此在图像分割领域CNN网络存在局限性，应用较少。

针对CNN在图像细节处理中存在的问题，加州大学伯克利分校的Jonathan Long等人提出了改进型网络架构，端到端的Fully Convolutional Networks（FCN）[15-22]。

FCN和CNN的最大区别在于它将CNN中的全连接层都转换成了卷积层。图像作为输入数据进入FCN网络，前面的5个卷积层与CNN网络是相同的，但后三层的全连接层替换为卷积层。与CNN全连接层之后的一维输出不同，FCN卷积层后的输出仍然是二维矩阵。

通过对植物叶片特征的分析，研究中所使用的全卷积神经网络，是在VGG-16网络模型的基础上，去掉了softmax层。VGG-16是牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司的研究员共同开发的深度卷积神经网络[23-24]，网络模型如图1所示。

表1展示了全卷积网络模型中部分卷积层和池化层的参数设置，其中：Conv*-*表示卷积层，Pool*表示池化层。由表1可以看出，随着图像每次卷积的操作，图像的维度就会增加。因此需要池化操作对图像进行降维。然后再进行下一次的卷积过程。另外，由于模型训练的数据集数量有限，模型容易出现过拟合现象。为了防止过拟合，在训练模型中加入Dropout层。Dropout是目前深度学习中最常用的方法。其本质就是丢弃掉部分模型参数，提高模型的鲁棒性。在全连接层前的卷积层加入Dropout层，可以有效地减少过拟合。

1.2 数据采集

获取图像数据是数据集制作的前提。研究叶片图像分割的算法，数据集需要有原图像以及图像的标签（label）两部分。为了获得足够的标注的叶片图像数据集，采用从Internet检索公共数据集的方法，检索到CVPPP数据集。

CVPPP全称是COMPUTER VISION PROBLEMS IN PLANT PHENOTYPING，即“计算机视觉在植物表型方面的挑战”是欧洲IMT高级研究院为推动植物叶片研究而举办的研讨会。为了推动叶片分割领域的发展，展示在植物图像中分割所有叶片图片的困难性，IMT研究院组织了叶片分割挑战赛（Leaf Segmentation Challenge，LSC），LSC挑战赛提供了植物表型数据集。该数据集提供带注释的成像数据，并为植物叶片分割、检测、跟踪以及分类和回归问题提出合适的评估标准。

由于CVPPP数据集提供的图像标签无法直接作为本研究实验图片标签使用，因此对叶片图像进行了重新标注。

全卷积神经网络进行有监督的训练过程中需要对应人工标注过的分割图片，在实验中使用是麻省理工学院（MIT）的开源标注工具Labelme，Labelme是一个图形图像注释工具，使用Qt作为图形界面，并支持语义和实例分段的注释。所以实验中对数据集进行人工标注。

研究中选取烟草和拟南芥两种植物在不同时间段的叶片图片图像，图像大小：500×500像素;水平分辨率：96 DPI;垂直分辨率：96 DPI;位深度：24。

1.3 数据增强

数据增强是深度学习中非常常用的一种扩增数据集的方法。因为图像是高维的并包括各种巨大的变化因素。即使模型已经使用了卷积和池化技术对部分评议保持不变，沿训练图像每个方向平移几个像素的操作通常也可以大大改善泛化。卷积神经网络需要优化提高深度学习模型最好的办法是使用更多的数据进行训练。CVPPP数据集经过整理后得到的数据图片及标签图片共760张，这个数据量是十分有限的。为了提高训练数据数量与数据质量，以及减少训练模型时的过拟合现象，研究中采取了一些常用的数据增强方法，如平移变换、旋转变换。数据增强后的部分叶片图像。

1.4模型训练

实验中将数据集划分为两部分，总数的80%为训练集用来进行模型训练，20%为测试集对模型进行测试验证。因为在全卷积神经网络中无需限制输入图像的大小，因此这里采用的数据集图片尺寸不相同。最终将叶片图像数据集划分为6 240张训练图片和1 360张测试图片。

2 实验结果与分析

按照1.2中描述的网络模型进行训练后完成了网络模型参数的设定，设计了按照3种不同跳跃层结构下和不同迭代次数下的实验方案。

3种不同的方案上采样方式分别命名为FCN-8s、FCN-16s、FCN-32s。实验中，通过对1 360张测试图片的实验，对这3种方式分别进行了测试。研究中采用经典的图像分割评判指标Mean IU（平均IU）。Mean IU是图像分割的度量指标，为通过预测像素值与作为最终指标原始像素的总和的正确交集，在每个类上计算IU，之后平均获得Mean IU。

表2为FCN-32s、FCN-16s和FCN-8s 3种上采样结构准确率的对比，从表中可以获得3种上采样的像素准确率、平均准确率和Mean IU。

从表2中可以看出：无论是像素准确率、平均准确率和Mean IU ，FCN-8s都是最高的，像素准确率达到了91.87%。平均准确率达到了87.83%，Mean IU为78.52%，模型对叶片图像具有良好的适应性和较高的准确率。其平均准确率低于像素准确率，是因为平均准确率的计算综合了图像中全部类别的信息，测试集数据量大也是导致平均准确率和Mean IU低的原因。

在3种不同上采样方式的分割结果。FCN-32s情况下的分割图片十分粗糙，基本无法看出叶片图像的形状。FCN-16s情况下分割轮廓有明显改善，而FCN-8s的分割结果与标签图片十分接近，叶片轮廓清晰，形状与原图一致。因此可得出结论，FCN-8s下的分割结果最为理想，实验中选择FCN-8s网络结构。

实验搭建的卷积神经网络求解目标是最小化损失函数。训练状态曲线，纵坐标为loss值和准确率，横坐标为模型的迭代次数。

为了可视化模型的数据，将保存后的不同迭代次数下的模型进行测试，通过比较可以证实，实验迭代5万次时的分割效果最好。

综上所述，模型在迭代5万次的情况下，FCN-8s的网絡结构对叶片图像的分割效果最好。而FCN-8s的网络结构对于叶片的轮廓刻画的最好，且对叶片细节信息的展示比较好。准确率高，Mean IU 达到了78.52%。

3 结论

研究中提出将深度学习用于对植物叶片进行图像分割，并综合应用FCN，数字图像处理技术对叶片图像进行了分析。由于选取的叶片数据集数量不足，使用了平移变换和旋转变换两种数据增强的方法，抑制了模型的过拟合。针对叶片图像分割细节缺失的问题，对FCN模型3种不同方式上采样网络结构进行了研究和分析，通过实验对比，得出FCN-8s情况下的叶片图像分割效果最好。像素准确率达到了91%，Mean IU达到了78.52%。通过实验对比模型在不同迭代次数下的表现，验证了模型的适应性和稳定性。

【参 考 文 献】

[1]罗希平，田捷，诸葛婴，等.图像分割方法综述[J].模式识别与人工智能，1999（3）：300-312.

LUO X P， TIAN J， ZHU G Y， et al. A survey on image segmentation methods[J]. Pattern Recognition and Artificial Intelligence， 1999（3）：300-312.

[2]张善文，张云龙，尚怡君.1种基于Otsu算法的植物病害叶片图像分割方法[J].江苏农业科学，2014，42（4）：337-339.

ZHANG S W， ZHANG Y L， SHANG Y J. 1 Image segmentation method of plant disease leaf based on otsu algorithm[J]. Jiangsu Agricultural Science， 2014， 42（4）：337-339.

[3]轩永仓.基于全卷积神经网络的大田复杂场景图像的语义分割研究[D].西安：西北农林科技大学，2017.

XUAN Y C. Research on the semantic segmentation of complex scene image of field based on fully convolutional networks[D]. Xi an： Northwest Agriculture and Forestry University， 2017.

[4]INGROUILLE M J， LAIRD S M. A quantitative approach to oak variability in some north London woodlands[J]. London Naturalist， 1986， 65： 35-46.

[5]FRANZ E， GEBHARDT M R， UNKLESBAY K B.  Shape description of completely visible and partially occluded leaves for identifying plants in digital images[J]. Transaction of the ASEA， 1991， 34（2）： 673-681.

[6]YONEKAWA S， SAKAI N， KITANI O. Identification of idealized leaf types using simple dimensionless shape factors by image analysis[J]. Transactions of the ASABE， 1996， 39（4）：1525-1533.

[7]SODERKVIST O J O. Computer vision classification of leaves from Swedish trees[D]. Linkoping： Linkoping University， 2001.

[8]VILLENA-ROMAN J， LANA-SERRANO S， CRISTOBAL J C G. DAEDALUS at ImageCLEF 2011 plant identification task： using SIFT keypoints for object detection[C]. Amsterdam： CLEF 2011 Labs and Workshop， 2011：19-22.

[9]ROSSATTO D R， CASANOVA D， KOLB R M， et al. Fractal analysis of leaf-texture properties as a tool for taxonomic and identification purposes： a case study with species from Neotropical Melastomataceae （Miconieae tribe）[J]. Plant Systematics and Evolution， 2011， 291（1-2）：103-116.

[10]MALLAH C， COPE J， ORWELL J. Plant leaf classification using probabilistic integration of shape， texture and margin features[J]. Acta Press， 2013， 3842（4）：107-111.

[11]周昌雄.基于活動轮廓模型的图像分割方法研究[D].南京：南京航空航天大学， 2005.

ZHOU C X. Research on method of image segmentation based on active contour model[D]. Nanjing： Nanjing University of Aeronautics and Astronautics， 2005.

[12]冯林，管慧娟，荆焘，等.基于分水岭变换和核聚类算法的图像分割 大连理工大学学报， 2006， 46（6）：851-856.

FENG L， GUAN H J， JING T， et al. A method of image segmentation based on watershed translation and kernel clustering[J]. Journal of Dalian University of Technology， 2006， 46（6）：851-856.

[13]秦绪佳，杜轶诚，张素琼，等.基于边缘信息C_V模型的医学图像分割方法[J].小型微型计算机系统，2011，32（5）：972-977.

QIN X J， DU Y C， ZHANG S Q， et al. Boundary information based C_V model method for medical image segmentation[J]. Journal of Chinese Computer Systems， 2011， 32（5）：972-977.

[14]程玉柱，蔡云飞.基于分数阶CV模型的木材缺陷图像分割算法[J].林业机械与木工设备，2018，46（4）：44-47.

CHENG Y Z， CAI Y F. Wood defect image segmentation algorithm based on fractional order CV model[J]. Forestry Machinery & Woodworking Equipment， 2018， 46（4）：44-47.

[15]何宁， 张朋. 基于边缘和区域信息相结合的变分水平集图像分割方法[J].电子学报， 2009， 37（10）：2215-2219.

HE N， ZHANG P. Varitional level set image segmentation method based on boundary and region information[J]. Acta Electronica Sinica， 2009， 37（10）：2215-2219.

[16]沙莎， 彭丽， 罗三定. 边缘信息引导的阈值图像分割算法[J]. 中国图象图形学报， 2010， 15（3）：490-494.

SHA S， PENG L， LUO S D. A threshold image segmentation algorithm directed by edge information[J]. Journal of Image and Graphics， 2010， 15（3）：490-494.

[17]董金勇， 王建仑， 李道亮，等. 田间枣树叶片复杂目标图像综合分割方法[J]. 农业机械学报， 2011， 42（1）：165-170.

DONG J Y， WANG J L， LI D L， et al. Complex target image of field Jujube leaf segmentation based on integrated technology[J]. Transactions of the Chinese Society for Agricultural Machinery， 2011， 42（1）：165-170.

[18]王建仑. 田间叶片图像分割与单幅三维重建的机器视觉算法研究[D]. 北京：中国农业大学， 2013.

WANG J L. Study on field leaf image segmentation and 3D reconstruction from a single image machine vision algorithms[D]. Beijing： China Agricultural University， 2013.

[19]LECUN Y， BOSER B， DENKER J S， et al. Backpropagation applied to handwritten zip code recognition[J]. Neural Computation， 1989， 1（4）： 541-551.

[20]LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[21]HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science， 2006， 313（5786）： 504-507.

[22]KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks[C]. Advances in Neural Information Processing Systems， 2012： 1097-1105.

[23]LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation[C]. Computer Vision and Pattern Recognition， IEEE， 2015：3431-3440.

[24]林開颜， 吴军辉， 徐立鸿. 彩色图像分割方法综述[J]. 中国图象图形学报， 2005， 10（1）：1-10.

LIN K Y， WU J H， XU L H. A Survey on color image segmentation techniques[J]. Journal of Image and Graphics， 2005， 10（1）：1-10.