基于卷积神经网络的鲜茶叶智能分选系统研究

高震宇 王 安 刘 勇 张 龙 夏营威

(1．中国科学院合肥物质科学研究院应用技术研究所，合肥230088;2．中国科学技术大学，合肥230026)

基于卷积神经网络的鲜茶叶智能分选系统研究

高震宇1，2王 安1刘 勇1张 龙1夏营威1

(1．中国科学院合肥物质科学研究院应用技术研究所，合肥230088;2．中国科学技术大学，合肥230026)

机采鲜茶叶中混有各种等级的茶叶，针对风选、筛选等分选方法难以做到精确细分的问题，结合计算机视觉技术和深度学习方法，设计了一套鲜茶叶智能分选系统，搭建了基于7层结构的卷积神经网络识别模型，通过共享权值和逐渐下降的学习速率，提高了卷积神经网络的训练性能。经过实验验证，该分选系统可以实现鲜茶叶的自动识别和分选，识别正确率不低于90%，可对鲜茶叶中的单芽、一芽一叶、一芽二叶、一芽三叶、单片叶、叶梗进行有效的类别分选。

茶叶分选;深度学习;卷积神经网络;反向传播

引言

中国是世界产茶和出口茶大国，茶叶品种繁多。随着茶叶采摘机械成功研制并广泛应用，大部分鲜茶叶已实现机械采摘。但机采鲜茶叶中混有各种等级的茶叶，其中还包括碎叶、叶梗等。制茶过程中，茶叶分选是一道费工、费时而又很关键的工序，通过分选获取不同等级的茶叶，可提升茶叶品质和价值。根据茶叶的物理特性，早期已研制出了各类茶叶分选机，如风选、筛选、重力选和色选等设备，但均是较为粗略的分选，很难对每个等级的茶叶进行精确细分［1－3］。目前，茶叶分选技术已进入智能化识别分选阶段［4－5］，基于茶叶图像的几何形状和颜色纹理，利用神经网络技术可较为准确地分选出各等级茶叶［1］。但由于不同品种的茶叶在形状和纹理上存在较大差异，需要针对茶叶品种调整分选算法，分选系统的通用性还较差。

深度学习是一种特征学习方法，可以自主地学习相似事物之间的差异，通过对非线性模型的训练将原始数据变为更高层次、更加抽象的表达。对于分类任务，高层次的表达能够强化输入数据的区分能力，同时削弱不相关因素［6］。本文设计一套基于计算机视觉技术，并融合深度学习算法的鲜茶叶智能分选系统，以实现对鲜茶叶中的单芽、一芽一叶、一芽二叶、一芽三叶、单片叶、叶梗的分类识别。

1 系统结构与原理

鲜茶叶智能分选系统主要由茶叶料斗、分离系统、光电计数器、圆形转盘、控制系统、工业计算机、工业相机及镜头、分拣机构和分类容器组成，其结构如图1所示。测试过程中，首先将待测鲜茶叶倒入料斗，通过分离系统将茶叶尽可能的分离开，使每片茶叶之间没有重叠、缠绕等情况，将这些分离开的茶叶依次送入逆时针旋转的转盘中，光电计数器用于统计转盘中实时茶叶数量，反馈给控制系统以调节料斗送料速率，茶叶依次通过图像采集区，并由计算机判定每个茶叶所属类型，由分拣机构将茶叶送入相应的分类容器中。

图1 鲜茶叶智能分选系统结构示意图Fig．1 Structure diagram of intelligent sorting system of fresh tea

2 分选算法

鲜茶叶的分选算法包括茶叶图像预处理和深度学习模型的训练识别。图像预处理可以将采集图像中的有用信息提取出来，并进行图像格式归一化，使其以统一的规格输入至识别模型。识别模型的建立主要是基于卷积神经网络的结构，卷积神经网络是深度学习模型的一种，主要用来识别位移、缩放及其他形式扭曲不变性的二维图像。网络各层的特征不是利用人工工程来设计的，而是使用一种通用的学习方法从数据中学得，避免了对图像繁多的特征提取过程［7］，特别适用于相似图形的分类识别。

2.1 图像预处理

图像预处理包括茶叶图像分割和尺寸变换。图像分割的目的是突出感兴趣区域(Region of interest，ROI)，抑制背景噪声，并提取出茶叶图像。图像目标为绿色茶叶，图像背景为深黑色转盘，采集到的图像如图2所示，每幅茶叶原图为640像素× 480像素的图像。在RGB颜色空间中对采集到的图像进行颜色分析，统计图像中各颜色分量的分布，如图3所示，可见各分量的分布范围有着明显的差异［8－9］。

图2 鲜茶叶图像Fig．2 Image of fresh tea

图3 RGB分量灰度分布Fig．3 Grey value distribution of RGB vector

利用颜色分量的灰度分布差异，可基于R、G分量的差值进行阈值分割，具体方法描述如下

式中 PR——R分量灰度

PG——G分量灰度

PB——B分量灰度

PS——分割后灰度 T1、T2——判断阈值

PGmin——G分量灰度最小值

PRmin——R分量灰度最小值

PBmax——B分量灰度最大值

通过式(3)描述的方法，对鲜茶叶图像进行阈值分割，分割图像后的灰度图如图4a所示。在图像的分析与识别前，需要对阈值分割处理后的图像进行尺寸变换，以统一的格式输入至卷积神经网络，以减少无用信息，提高处理速度［10］。从灰度图像中截取最小正外接矩形，根据图像的长宽情况，均匀的扩充为最小正外接正方形，如图4b所示;将最小正外接正方形图像等比例缩小为95像素×95像素的输入图像，如图4c所示［11］。

图4 图像预处理结果Fig．4 Image preprocessing results

2.2 模型构建

卷积神经网络的基本结构包括两层，分别是卷积层C和池化层S。在卷积层中，每个神经元的输入与前一层的局部感知区域相连，并提取局部特征;在池化层中，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。卷积神经网络中的局部感知和权值共享使之更类似于生物神经网络，减少了需要学习的参数数量，降低了网络模型的复杂度，提高了神经网络的训练性能［12－13］。

根据卷积神经网络的基本结构，并结合待测样品的特征，构建了如图5所示的卷积神经网络模型［14－15］，具体描述如下:

图5 卷积神经网络识别模型Fig．5 Identification model of convolutional neural network

(1)输入层

输入层为经过图像预处理后的95像素×95像素的图像。

(2)卷积层

C1、C3、C5为卷积层，分别由6个5像素×5像素的卷积核与输入图像进行卷积运算得来，通过卷积运算，可以使原信号特征增强，降低噪声，为了使输入图像较快地降低为较小的图像，减少训练过程中的运算量，对输入图像采用如图6所示间隔像素采样的方式。卷积层的节点输出表示为

式中 n——层数 i、j——神经元数量

Mi——输入特征图像

bn——每个输出图像对应的偏置

(3)池化层

S2、S4为池化层，该层的每个单元与上一层卷积层特征图的2×2邻域相连接，如图6所示，池化层的节点输出表示为

式中 Sab——可训练的参数

a——节点横坐标

b——节点纵坐标

利用图像局部相关性的原理，对图像进行下采样，可以减少数据处理量同时保留有用信息。

(4)输出层

输出层由6个欧氏径向基函数RBF单元组成，每个单元代表不同的茶叶等级。每个输出RBF单元计算全连接层F6的输入向量和参数向量之间的欧氏距离。输入离参数向量越远，RBF输出的越大［16］，根据RBF输出值判定卷积神经网络的输出结果。

2.3 卷积神经网络的训练

2.3.1 训练集的制作

在实际测试中，茶叶较难做到规则摆放，多数茶叶都存在翘起、重叠等情况。为更好地模拟茶叶测试的实际情况，有效提升卷积神经网络的泛化能力，并提高训练集的数量，将图7所示的3类图像制作为神经网络的训练集。其中，图7a为原图经过预处理后的图像，图7b为图7a经过逆时针旋转45°后的变换图像，图7c为图7a经过映射变换后的图像，所有图像的尺寸均为95像素×95像素［17］。

图6 卷积层和池化层运算示意图Fig．6 Operation schematic diagram of convolutional layer and pooling layer

图7 训练集的图像类型Fig．7 Picture types of training set

2.3.2 正向传播

卷积神经网络通过激励-响应机制计算每个神经元的输入，从而进行正向传播，单个神经元模型如图8所示［18］。

图8 单个神经元模型Fig．8 Model of single neuron

每个神经元的输出记作

Cn－1——第n－1层神经元个数

神经网络的激活函数采用对称分布的双曲正切函数f(y)=tanh y，该函数的导数用G(x)表示。

2.3.3 反向传播

对于由一系列确定的单元互连形成的多层网络，反向传播算法可用来学习这个网络的权值，算法多采用梯度下降方法最小化网络输出值和目标值之间的误差［19－20］。每经过一次反向传播，权值wjni的增加值记作，有

式中 η——学习速率

En——最后一层(第n层)的输出误差

Cn——第n层神经元个数

根据式(12)，并参考式(9)、(10)的计算方法，可以计算得到第n－1层权值的增加值。以此类推，每一层的权值可以按照

式中 wn-new——更新后的权值

wn-old——更新前的权值进行更新，实现神经网络的反向传播。

2.3.4 学习速率

学习速率η决定了反向传播中梯度下降的步长，设置过小无法实现较快收敛，设置过大则容易陷入局部极值，使训练失败［20］。文中采用逐步变化的学习速率，设置η的初始值为0.001，变换系数r为0.941 844 921，每经过1次迭代，η更新为rη，经过50次迭代后，η保持在0.000 05，η的变化如图9所示。

图9 学习速率变化曲线Fig．9 Changing curve of learning rate

3 实验与结果分析

分别采集单芽、一芽一叶、一芽二叶、一芽三叶4种级别的鲜茶叶各100个样本的图像及单片叶、叶梗各50个样本的图像，对各等级的茶叶进行图像预处理、旋转和映射变换，得到相应的95像素 × 95像素的特征图像，各取其中80%的图像作为训练集，其余作为测试集，单芽、一芽一叶、一芽二叶、一芽三叶、单片叶、叶梗分别用代码1～6表示。

对上述训练集进行80次迭代的训练，可以实现对训练集的误识别率降至1%以下，每一次迭代后所有训练集En的平均值降至0.15%以下，其变化曲线如图10所示，可见误差得到了较好的收敛，神经网络达到了预期训练效果。

按照图5中的模型架构，使用训练好的卷积神经网络对茶叶样本进行识别。每幅茶叶图像经过图像预处理，裁切为95像素×95像素的特征图，作为卷积神经网络的输入图像，经过多层卷积神经网络后，最终得到一个1～6的输出结果，分别指代不同等级的茶叶，每一层输出结果如图11所示。

图10 卷积神经网络的训练结果Fig．10 Training results of convolutional neural network

图11 卷积神经网络各层的处理结果Fig．11 Processing results of each layer of convolutional neural network

使用训练好的识别模型对茶叶训练集和测试集的识别结果如表1所示。可见，该识别模型在训练集和测试集上均能实现较高的识别正确率。

表1 测试集和训练集识别结果Tab．1 Identification results of training set and testing set %

在鲜茶叶样品中，随机选取单芽、一芽一叶、一芽二叶、一芽三叶各100片，单片叶、叶梗各50片，将6类等级的茶叶样品分别在分选系统上进行实时测试，统计分类容器中各等级茶叶的数量，其测试结果如表2所示。由于单芽的卷曲程度不同，有少数的单芽被识别为单片叶和叶梗，而在一芽一叶、一芽二叶、一芽三叶这3类茶叶中，叶片位置存在翘起、重叠等情况，3类之间存在少数的误识别。从总体结果可以看出，每一类样品的识别正确率都不低于90%，所有样品的识别正确率为92.40%，较好地实现了不同等级茶叶的分选。

表2 茶叶各类样品识别结果Tab．2 Identification results of various kinds of tea samp les

4 结论

(1)针对鲜茶叶精确分选的需求，提出了一种基于卷积神经网络的分选方法，能够更好地模拟人工识别，可以自动从复杂数据中学习到不同类别之间的差异，适用于鲜茶叶的分类识别。

(2)卷积神经网络利用局部连接和权值共享等方法，提高了网络的训练性能，同时结合反向传播算法和逐渐下降的学习速率，可以使卷积神经网络在训练过程中实现较快的收敛。

(3)设计的鲜茶叶智能分选系统能够较好地识别每个等级的鲜茶叶样品，识别正确率不低于90%，可以实现不同鲜茶叶等级的分选，特别适用于经过风选、筛选等设备粗选后的二次精选。后期通过研究并优化卷积神经网络架构和结构参数，可进一步提高鲜茶叶等级的识别正确率。

1 张皓臻，肖宏儒，梅松，等．茶叶分选技术的现状与未来［J］．农业工程，2014，4(5):59－63．ZHANG Haozhen，XIAO Hongru，MEISong，et al．Status quo and future of tea sorting technology［J］．Agricultural Engineering，2014，4(5):59－63．(in Chinese)

2 计时鸣，王烈鑫，熊四昌，等．茶叶自动分选装置中的智能化技术［J］．农业机械学报，1997，28(4):133－138．JIShiming，WANG Liexin，XIONG Sichang，et al．Intelligent control techniques for automatic tea separators［J］．Transactions of the Chinese Society for Agricultural Machinery，1997，28(4):133－138．(in Chinese)

3 计时鸣，王烈鑫，熊四昌，等．茶叶茶梗的计算机在线识别技术机器应用［J］．农业机械学报，1995，26(1):56－60．JIShiming，WANG Liexin，XIONG Sichang，et al．Technique for on-line tea-stalk distinction and its application［J］．Transactions of the Chinese Society for Agricultural Machinery，1995，26(1):56－60．(in Chinese)

4 GILL G S，KUMAR A，AGERWAL R．Monitoring and grading of tea by computer vision—A review［J］．Journal of Food Engineering，2011，106(1):13－19．

5 常春，陈怡群，肖宏儒，等．基于神经网络图像分析的智能鲜茶叶分选机［J］．中国农机化学报，2013，34(1):137－141．CHANG Chun，CHEN Yiqun，XIAO Hongru，et al．Smart fresh tea sorter with neural network image analysis［J］．Journal of Chinese Agricultural Mechanization，2013，34(1):137－141．(in Chinese)

6 王琨，刘大茂．基于深度学习的茶叶状态智能识别方法［J］．重庆理工大学学报，2015，29(12):120－126．WANG Kun，LIU Damao．Intelligent identification for tea state based on deep learning［J］．Journal of Chongqing University of Technology，2015，29(12):120－126．(in Chinese)

7 GREGOIRE M，GENEVIEVE B O，KLAUSR M．Neural networks:tricks of the trade［M］．Springer Berlin Heidelberg，2012．

8 夏营威，冯茜，赵砚棠，等．基于计算机视觉的烟丝宽度测量方法［J］．烟草科技，2014(9):10－14．XIA Yingwei，FENG Qian，ZHAO Yantang，et al．Method for measuring width of tobacco shred based on computer vision［J］．Tobacco Science＆Technology，2014(9):10－14．(in Chinese)

9 李峻，孟正大．基于HS分量联合统计的自适应阈值分割算法［J］．东南大学学报:自然科学版，2010，40(增刊1):266－271．LIJun，MENG Zhengda．HS joint statistics based adaptive color segmentation［J］．Journal of Southeast University:Natural Science Edition，2010，40(Supp．1):266－271．(in Chinese)

10 YANN L，LEON B，YOSHUA B，et al．Gradient-based learning applied to document recognition［J］．Proceedings of the IEEE，1998，86(11):2278－2324．

11 夏营威，徐大勇，堵劲松，等．基于机器视觉的烟叶面积在线测量［J/OL］．农业机械学报，2012，43(10):167－173．http:∥www．j-csam．org/jcsam/ch/reader/view_abstract．aspx?file_no=20121030＆flag=1．DOI:10．6041/j．issn．1000-1298．2012．10．030．XIA Yingwei，XU Dayong，DU Jinsong，et al．On-line measurement of tobacco leaf area based on machine vision［J/OL］．Transactions of the Chinese Society for Agricultural Machinery，2012，43(10):167－173．(in Chinese)

12 谭文学，赵春江，吴华瑞，等．基于弹性动量深度学习神经网络的果体病理图像识别［J/OL］．农业机械学报，2015，46(1): 20－25．http:∥www．j-csam．org/jcsam/ch/reader/view_abstract．aspx?file_no=20150104＆flag=1．DOI:10．6041/j．issn．1000-1298．2015．01．004．TANWenxue，ZHAO Chunjiang，WU Huarui，et al．A deep Learning network for recognizing fruit pathologic images based on flexiblemomentum［J/OL］．Transactions of the Chinese Society for AgriculturalMachinery，2015，46(1):20－25．(in Chinese)

13 YANN L，YOSHUA B，GEOFFREY H．Deep learning［J］．Nature，2015，521:436－444．

14 卢宏涛，张秦川．深度卷积神经网络在计算机视觉中的应用研究综述［J］．数据采集与处理，2016，31(1):1－17．LU Hongtao，ZHANG Qinchuan．Application of deep convolution neural network in computer vision［J］．Journal of Data Acquisition and Processing，2016，31(1):1－17．(in Chinese)

15 赵志宏，杨绍普，马增强．基于卷积神经网络LeNet-5的车牌字符识别研究［J］．系统仿真学报，2010，22(3):638－641．ZHAO Zhihong，YANGShaopu，MA Zengqiang．License plate character recognition based on convolutionalneuralnetwork LeNet-5［J］．Journal of System Simulation，2010，22(3):638－641．(in Chinese)

16 费建超，芮挺，周遊，等．基于梯度的多输入卷积神经网络［J］．光电工程，2015，42(3):33－38．FEI Jianchao，RUI Ting，ZHOU You，et al．Multi-input convolutional neural network based on gradient［J］．Opto-Electronic Engineering，2015，42(3):33－38．(in Chinese)

17 MARTIN T H，HOWARD B D，MARK H B．神经网络设计［M］．戴葵，宋辉，谭明峰，等译．北京:机械工业出版社，2002．

18 MITCHELL TM．机器学习［M］．曾华军，张银奎，译．北京:机械工业出版社，2012．

19 SIMON H．Neural networks and learningmachines［M］．北京:机械工业出版社，2010．

20 YANN L，BERNARD E B，JOHN D，et al．Back propagation to handwritten code applied zip recognition［J］．Neural Computation，1989，1(4):541－551．

Intelligent Fresh-tea-leaves Sorting System Research Based on Convolution Neural Network

GAO Zhenyu1，2WANG An1LIU Yong1ZHANG Long1XIA Yingwei1
(1．Institute of Applied Technology，Hefei Institutes of Physical Science，Chinese Academy of Sciences，Hefei230088，China 2．University of Science and Technology of China，Hefei230026，China)

Tea is a high-value crop throughout the world．Most fresh tea leaves are picked bymachines，then various grades are mixed together including broken leaves and leaf stalks．In order to improve quality，the fresh tea leaves picked by machines need to be further classified．However，traditional methods such as winnowing and screening can only sort tea leaves roughly．A new kind of intelligent fresh-tea-leaf sorting system was proposed based on computer vision technology and deep learning method，which can identify and sort tea leaves automatically and accurately．In this system，convolution neural network(CNN)was used to recognize the images of fresh tea leaves，and there was a seven-layer network structure in the CNN identificationmodel．Through image segmentation and scale transformation，the original image was normalized as the input of CNN．CNN was able to learn the characteristics of images independently and can avoid many complicated feature extraction．The preprocessed images were rotated and mapped to serve as the training set，which enhanced the generalization ability of CNN identification model．Meanwhile，the training performance was greatly improved by sharing weights and using a declining learning rate．Experiment results showed that the system can effectively sort out several kinds of tea leaves，single bud，a bud with a leaf，a bud with two leaves，a bud with three leaves，single leaf and leaf stalk．The identification accuracy wasmore than 90%．

tea leaves sorting;deep learning;convolutional neural network;back propagation

S24;TS272.3

A

1000-1298(2017)07-0053-06

2017-04-05

2017-05-19

“十二五”国家科技支撑计划项目(2015BAI01B00)和中国科学院战略性先导科技专项项目(XDA080401)

高震宇(1986—)，男，博士生，主要从事计算机视觉及机器学习研究，E-mail:gaozy@mail．ustc．edu．cn

夏营威(1985—)，男，副研究员，博士，主要从事计算机视觉及机器人研究，E-mail:xiayw@aiofm．ac．cn

10．6041/j．issn．1000-1298．2017．07．007