机器视觉在棉花智能打顶领域的应用研究进展*

刘海涛，伊丽丽，兰玉彬, 2，韩鑫，崔立华

(1. 山东理工大学农业工程与食品科学学院，山东淄博，255000； 2. 山东省农业航空智能装备工程技术研究中心，山东淄博，255000； 3. 山东绿风农业集团有限公司，山东滨州，256600)

0 引言

棉花是我国重要的经济作物，其种植生产在国民经济发展和个人生活中具有不可替代的作用。但是，近10年来我国棉花种植面积不断减少，其中棉花生产主要依靠人工，机械化水平低是原因之一。因此提升我国棉花机械化生产水平刻不容缓，而打顶作业正是需要机械替人的关键环节[1-3]。

棉花打顶能够抑制顶芽生长，打破棉花顶端优势，改变养分的输送方向，促进棉株结铃结桃，提高棉花的产量和品质。但目前的机械化打顶仍存在准确率低、漏刀、过切等现象，严重影响棉花产量[4]。因此提高棉株在复杂田间背景下的识别定位精度，进而提升打顶质量就显得很有必要。近年来随着机器视觉技术在农业领域的快速发展，利用机器视觉技术的非破坏性、精度高、智能化程度高、信息量大、灵活等特点解决棉株识别定位精度低的问题变得越来越可行。本文对国内外文献进行了总结，归纳了机器视觉在棉花打顶领域相关的应用研究，对现有技术方法存在的问题和不足进行了分析，并提出了一些具有实际价值的建议，为后续的研究工作提出了看法。

1 机器视觉技术

机器视觉技术是指利用计算机模拟人的视觉功能，提取图像信息并加以理解分析，广泛应用于工业、农业、医学等领域。机器视觉系统由照明光源、镜头、摄像机、图像采集卡、计算机、执行机构等组成，如图1所示。利用CCD摄像机以图像形式采集作物生长状态，通过一系列图像处理操作对其进行分析，进而控制驱动执行机构完成相关操作[5-7]。

图1 机器视觉系统简图

由于不同植物或是同种植物不同部位之间在颜色、形态、纹理等方面存在着较大的差异，要实现对其特征的正确识别分类，需要利用图像分割、特征检测、边缘检测、图像变换等技术对采集的视觉信息进行针对性处理[8]，因此机器视觉技术与图像处理、模式识别、人工智能等领域密切相关。

2 棉株的识别定位技术

2.1 国外研究概述

由于国外主要使用化学打顶方式，对棉花顶叶进行药剂控制，因此在棉株识别定位方面的研究内容很少。但使用机器视觉技术在杂草和其他植物识别方面的研究起步早，成果显著。

1995年Chaisattapagon[9]使用了基于颜色、形状、纹理三种不同特征的分析方法，利用机器视觉系统在温室环境下对小麦田中的阔叶杂草进行了识别研究。1998年Burks等[10]利用颜色共生矩阵方法进行统计纹理分析，研究表明仅使用色调和饱和度统计就可以将5种杂草从土壤背景中识别分类, 其准确率高达93%。2002年Astrand等[11]为了解决甜菜种植过程中的杂草问题，使用两套视觉系统进行机械化除草，并且针对当时技术对甜菜地块种植行识别以及杂草识别方面存在的问题，提出了一种新的行识别算法和一种新的植物识别算法，结果表明利用视觉系统对甜菜和杂草的单株识别是可行的。

随着人工神经网络等模式识别方法的不断发展，其研究也越来越多的应用到了杂草等植物识别中。2002年Cho等[12]研制了一种利用(Charge Coupled Device)CCD相机对萝卜和杂草进行识别的机器视觉系统，通过分析彩色图像的二值图像形态特征，使用判别分析方法和人工神经网络分别对其进行识别，研究发现神经网络能更有效的区分两者。2016年Mads等[13]利用卷积神经网络来分类识别22种早期生长阶段的杂草和作物，并搜集了不同环境条件下总计 10 413 张彩色图片，经过训练测试，最终该网络分类的平均准确率达到了86.2%。2018年Dias等[14]针对苹果花识别困难问题，提出了一种基于深度学习的花卉识别算法，该算法对比现有的三种检测方法召回率和准确率均超过90%，优势明显且泛化性能好。

总体上，早期的科研人员利用植物的颜色、纹理、形状等传统的图像特征进行分析识别，虽然识别效果好，但图像处理过程繁琐，大部分试验在室内或温室等环境良好的条件下进行，并未考虑真实田间环境以及杂草识别的实时性。后期则趋向于利用神经网络来提取特征信息进行识别，由此积累了大量的试验数据和经验，为国内科研人员在棉株识别定位方面的研究提供了一定思路。

2.2 国内研究概述

与国外相比，国内科研人员对于棉株识别定位的研究内容丰富、方法多样，并取得了一定成果。2006年石河子大学的胡斌等研制了3MD-12型棉花打顶机，该型打顶机基本满足棉花打顶作业的农艺要求，而且也填补了国内机械化打顶的空白，开创了国内高校对棉花打顶机的设计研究。虽然机械打顶节省了人力，但漏打、过打问题突出，刀轴高度不能根据棉株的个体差异实时做出调整，从而造成打顶精度低，损伤棉桃[15]。因此对单株棉花的精准识别定位研究变得越来越迫切。

国内对棉株的识别定位技术研究可以总结为5类：机器视觉技术、超声波测距技术、激光三角测距技术、红外线技术以及仿形板技术，它们在棉株识别定位方面的优缺点如表1所示。李霞等[16]针对 3MD-12 型打顶机对棉株高度识别精准不足问题，采用标定的UC4000-30GM型超声波传感器对棉株高度进行测量研究。试验结果表明采用超声波测距时，回波声强与被测物体距离远近有关，并且要充分考虑传播介质的特性对声速带来的负面影响，利用温度补偿的方法修正声速，减少棉株测量过程中产生的误差。周海燕等[17]对比了激光、超声波两种定位方法在棉株高度测量时的应用表现，结果表明相较于超声波传感器，激光传感器在测量棉株高度方面误差小，更有优势。闫毅敏等[18]利用STC90C51单片机控制红外测距传感器和超声波传感器分别在室内外环境下对棉株顶尖高度进行测量。结果表明红外测距传感器在室外有太阳光直射条件的测量精度高于室内无太阳光直射的环境，并且超声波测距传感器在声速为340 m/s(15 ℃)条件下测量精度优于经过温度补偿后的声速测量精度。姚强强等[19]设计了接触式单体仿形装置，并对装置中仿形板的质量，仿形板到水平切割器的距离以及切割器的最大行程这三个影响棉花仿形效果的主要参数进行了优化调整，经过田间试验，打顶率达到了88.64%。

表1 棉株识别定位技术比较Tab. 1 Comparison of cotton identification and positioning technology

3 基于双目立体视觉的棉株识别定位技术

双目立体视觉技术是计算机视觉领域的重要分支，通过直接模拟人类视觉系统感知外界信息，它主要通过摄像机标定、特征提取、图像匹配、三维重建等步骤实现，一般由不同位置的两台或一台运动摄像机所拍摄的场景进行空间坐标定位[20-21]。当前以机械方式对棉花进行打顶作业时，在三维空间中对棉株的识别以及位置信息获取就显得尤为重要。

瞿端阳等[22]采用一对现代V2019摄像头构建了双目立体视觉系统，通过对摄像头的标定获得了相机内外部参数信息。实验过程中将拍摄的图像进行分割，去除不相干背景信息，获得棉株图像。并利用棉株顶点进行特征点立体匹配，经过最小二乘计算方法和误差校正最终算得棉株的深度信息且棉株定位误差在0.43～30.57 mm之间，结果表明机器视觉技术能够用于棉株识别定位。韩大龙[23]建立了动态立体视觉系统(图2)和静态视觉系统分别用于棉株定位以及棉株顶尖检测识别，并设计了基于Adaboost算法的多层级联棉株顶尖检测系统，对顶叶的检测率达到了83.41%，检测速度达到了3帧/s。冯康[24]搭建了成熟的棉花视觉系统(图3)，并利用棉花形心进行特征匹配以获得其在三维空间中的深度信息，为避免误匹配，同时再利用极线约束、唯一性约束、次序约束的匹配算法减少误差，提高匹配效率，从而最终实现空间定位，实验结果表明：该方法定位准确率达到了88%以上。樊海凤[25]详细总结了现有立体匹配方法的优点，提出了基于棉花分割信息的区域匹配方法，并根据工况特殊性，对算法进行了改进。在室内通过构建平行双目立体视觉系统进行试验，结果表明该方法是一种误匹配率低、计算量小、实时性好的匹配方法。

图2 立体视觉执行机构

图3 机器视觉执行机构

4 基于神经网络的棉株株顶识别技术

4.1 基于BP神经网络的棉株株顶识别

BP(Back Propagation)神经网络于1986年由Rumelhart[26]及其研究小组发表在Nature杂志的论文《Learning representations by back-propagating errors》上提出，BP神经网络是目前最广泛应用的神经网络模型之一。BP算法的学习过程包含两部分，分别为正向传播与反向传播。它计算正向传播的输出层结果与期望结果之间的误差，通过反向传播不断更新网络中的权值与偏差，使其误差平方和最小[27]。

刘俊奇[28]基于棉株顶尖的形态特征，利用BP神经网络对参数进行了设计，开发了适合棉花打顶机高度自动识别的棉花顶尖图像识别系统，通过Visual C++开发工具实现了对图像预处理以及棉花顶尖图像识别的算法研究。经过测试和实验，结果表明利用神经网络技术来实现棉花顶尖识别是可行。这是国内首次利用神经网络对棉花顶叶图像进行识别的研究，为以后的探究奠定了基础。

瞿端阳等研究了基于颜色特征的棉株顶叶识别方法，采用MATLABR2011a软件对采集的棉株顶叶图像进行分割处理，如图4所示，通过提取顶叶图像RGB3个通道分量的均值(Mean)、方差(Variance)、标准差(Standard Deviation)共9个特征作为棉株顶叶与其他叶片区别的特征，然后利用BP神经网络对棉株进行识别。结果表明利用棉株顶叶的颜色特征，使用BP神经网络进行识别定位，可以很好的区分出棉株顶叶和其他叶片，准确率达到了85.7%。

(a) 原始图像

4.2 基于卷积神经网络的棉株株顶识别

卷积神经网络(Convolutional Neural Network, CNN)，是一种最常见的深度学习架构，受生物自然视觉认知机构启发而来。它主要包括卷积层(Convolutional Layer)和池化层(Pooling Layer)，由于具有局部连接性和权值共享等特点，使其在大规模图像特征提取方面相较于传统手工设计的图像特征提取算法优势明显[29-30]。两种特征提取方式优缺点总结，如表2所示。1998年Lecun等[31]提出LeNet-5模型，这是世界上第一个正式的卷积神经网络模型，确立了CNN的现代结构。2012年Alex Krizhevshy提出了经典AlexNet模型，该网络模型在当年的ImageNet比赛中一举夺魁，开启了深度学习时代。VGG模型由牛津大学在2014年提出，该模型结构简洁，规律明显，它在AlxeNet的基础上，通过加深网络，进一步提高性能。VGG模型探索了卷积神经网络的深度与性能之间的关系，成功构筑了VGG16和VGG19等经典神经网络。证明了更深的网络，有助于提高分类准确度[32-33]。而后的GoogleNet、ResNet等深度从数十层到数百层的网络提出，进一步提升了对图像的识别精度。从而为未来在棉株株顶识别领域进一步的研究提供了算法基础和探索方向。

表2 图像不同特征提取方法优缺点总结Tab. 2 Summary of advantages and disadvantages of different image feature extraction methods

沈晓晨[34]采用了目标检测网络中YOLO模型的栅格思想，将棉株株顶图像划分为5×5个网格,如图5所示。并选择VGG16网络模型，把网格作为输入图像进行训练。通过1 000次迭代训练，模型在训练集中对棉株株顶识别率为91.2%，在测试集中识别率为83.4%。但由于受到CPU、GPU等硬件条件的限制，很难实现实时在线的定位识别。该测试结果表明，未来随着硬件性能的提升能够实现在田间对棉株株顶的实时定位识别，深度学习思想能够成为未来的探索方向。

图5 栅格化输入图像

李尚平等[35]采用改进的YOLOv3网络(图6)，建立了对甘蔗茎节智能识别卷积神经网络模型，通过切种装置内部的摄像头对甘蔗表面进行连续、动态的数据采集，对输入识别系统的图像特征进行实时定位与识别，标记出茎节位置，再经过数据处理将实时的茎节信息传递给多刀数控切割台进行实时切割。试验结果表明基于改进YOLOv3的卷积神经网络模型的茎节识别平均精确度为90.38%，平均识别时间达到了28.7 ms。满足连续、实时识别定位蔗种茎节的要求。该装置的研制成功对于未来在棉花打顶机的研发具有积极的借鉴意义。Zhang等[36]为了有效识别和定位麦田中的杂草，开发了基于无人机成像的深度学习杂草检测方法，相较于YOLOv3，利用更适合在移动端部署的YOLOv3-Tiny网络模型检测出图像中的杂草像素坐标并将其转化成地面真实位置从而标记在处方图上，为后续喷施除草剂作业提供支持。该研究也为棉花打顶提供了一种利用无人机识别顶叶的新思路。

图6 改进的YOLOv3网络正向传播过程

5 存在问题

棉株株顶的精准识别对于棉花打顶意义重大，通过对国内外相关文献的分析总结，结合机器视觉技术在农业领域的应用特点，发现机器视觉技术在棉花打顶方面依旧存在一些问题有待进一步改进。

1) 棉株株顶识别实时性有待提高。受到计算机硬件和相关执行机构响应速度的制约，现阶段的棉花打顶机很难对棉花顶叶实时识别打顶，即“边识别边打顶”。在保证识别精度的情况下，难以满足实时性的要求。因此一方面需要提高数据的处理速度，包括使用运算更快的处理器或是使用远程服务器进行云端识别。另一方面，从农艺角度出发，要选育出易被识别的棉花品种，避免棉花顶部杂乱无序的生长，使得棉株顶叶图像难以被摄像机采集，进而不能被及时处理，造成错识别、漏识别。

2) 棉株株顶图像识别算法有待优化。一方面随着人工智能发展，算法的革新带来的优势是显而易见的，从早期的BP神经网络到后来的VGG16网络，算法的革新带来了更好的识别效果。因此在以后的研究中可以采用目标检测方法，利用像YOLO这种端到端的网络将目标检测问题转化为回归问题。此外，对算法改进优化，减少模型冗余，使其善于处理棉株顶叶图像信息，提升识别精度。

3) 棉田复杂作业环境带来的干扰。现阶段大多数研究处于科研人员设定的理想环境下，忽略了真实棉田条件下不同时间段内光照、温度、风速等因素给棉株株顶图像采集与识别带来的干扰。因此需要对这些影响因素做进一步的探索和试验，从而对装备或是算法做出针对性的调整。

6 研究展望

1) 利用机器视觉开展棉株顶叶生长期分类研究。由于不同棉株顶叶生长期存在差异，在同一时间段内打顶可能会造成某些棉株发生早打顶或晚打顶现象，过早或过晚打顶都会给棉花后续生长和产量带来负面影响。因此对棉株顶叶的不同生长期进行的分类识别，从而实现更精细的打顶作业。

2) 利用机器视觉开展棉株物理打顶技术研究。由于现有棉花打顶机仍存在仿形精度低，蕾铃损伤高等问题，通过机器视觉技术识别定位棉株顶叶位置的同时辅以传感器，控制割刀移动的距离与角度，改进其不足，提升打顶质量。

3) 利用机器视觉开展棉株化学打顶技术研究。近年来采取人工与化控相结合的打顶方式越来越普遍，喷施化学打顶剂一方面减少人工、降低成本，另一方面对棉花进行二次打顶，抑制幼芽生长，彻底消除棉花顶端优势。但是大范围喷施化学打顶剂不仅污染环境，还造成药液浪费，因此利用机器视觉技术对棉株进行识别实现精准喷施，达到绿色环保的作业要求。

4) 利用机器视觉开展棉株打顶与病虫害防控协同作业技术研究。充分发挥机器视觉技术的优势，在识别定位棉株顶叶的同时，对其叶面病虫害进行检测评估。一方面及时发现棉花叶面初期病害信息，提前防治、减少损失。另一方面一机多用，在实现打顶作业同时，节省人工检测成本。

7 结束语

针对现有棉花机械化打顶存在的定位不清晰、漏刀、过切等现象，随着计算机硬件的推陈出新，以及深度学习等内容的不断成熟，相信利用其智能化程度高、识别精度好、灵活等特点能够实现棉株顶芽的精准识别，进而提升棉花机械化打顶质量、增加棉花产量。因此不断克服目前相关技术难点和环境局限性，相信机器视觉技术能够改善我国棉花田间管理的水平。