基于田间图像的局部遮挡小尺寸稻穗检测和计数方法

姜海燕 徐 灿 陈 尧 成永康

(1.南京农业大学信息科技学院， 南京 210095； 2.南京农业大学国家信息农业工程技术中心， 南京 210095)

0 引言

自动、准确地预估产量是水稻科学生产的重要环节。研究表明[1-2]，单位面积穗粒数是与产量最密切相关的农学性状。在水稻栽培或育种研究中，穗粒数一般通过结实率和穗数估算获得，因此，快速、准确地获取水稻穗数对智能测产意义重大。在实际应用中，水稻穗数的获取主要依靠人工统计，费时、费力。近年来，随着农业信息技术的发展，图像分析技术在植物叶片[3-6]和水果果实[7-9]的自动计数上取得成功，被认为是人工计数的有效替代方法。

田间水稻稻穗自动计数的关键是复杂场景下的稻穗识别。现有方法主要包括基于颜色或纹理的分割计数法和基于候选区域的分类计数法两类。基于颜色或纹理的分割计数法主要通过抽取穗的颜色特征[10-12]或纹理特征[13]，实现穗的分割并计数。ZHOU等[14]融合小麦的颜色、纹理和边缘特征，并训练双支持向量机模型，分割小麦麦穗；FERNANDEZ-GALLEGO等[15]使用滤波器去除土壤、叶片等无关噪声，计算局部峰值，实现麦穗的分割。穗分割方法计算简单、处理速度快，但是对光照敏感，分割效果和计数精度也容易受场景复杂度的影响。基于候选区域的分类计数法[16-18]首先生成穗的候选区域，然后对候选区域进行分类(穗或背景)并计数。常用的候选区域生成方法基于颜色或纹理特征，如LI等[19]基于Laws纹理能量生成穗部候选区域，训练BP神经网络，对候选区域分类并计算穗数。此外，一些研究尝试在生成候选区域时更充分利用物体的边界信息，将相似的像素点聚类生成超像素，进一步提高候选区域的精度。XIONG等[20]使用简单线性迭代聚类生成超像素，为田间水稻图像生成稻穗候选区域；OLSEN等[21]基于田间高粱图像生成不同尺度的超像素，并训练线性回归模型，实现计数。候选区域的生成是候选区域分类法的关键，当叶片贴近或粘连稻穗时，很难生成只包含穗或叶的高质量候选区域，含有噪声的候选区域影响分类器的分类性能，抑制最终的计数准确率。

最新的研究将卷积神经网络(Convolutional neural network，CNN)应用于田间禾本科作物的穗识别与计数。张领先等[22]利用卷积神经网络训练冬小麦识别模型，实现对麦穗、叶片和阴影的准确识别。ALKHUDAYDI等[23]基于全卷积网络实现了像素水平的田间麦穗识别与计数方法；MADEC等[24]使用基于快速区域的卷积神经网络(Faster regions with convolutional neural networks，Faster R-CNN)方法估算小麦的穗密度，并取得91%的计数准确率。田间水稻的稻穗尺寸小，在卷积神经网络抽取的深层特征中，有限的稻穗信息损失严重；稻穗因自重下垂，高种植密度下叶片与稻穗贴合更紧密，叶片对稻穗的局部遮挡使得稻穗特征中混入叶片噪声，进一步制约了稻穗识别准确率和计数精度。目前，针对遮挡稻穗自动计数的研究鲜有报道。

针对存在大量叶片遮挡的成熟期田间水稻稻穗，提出一种基于生成特征金字塔的稻穗检测(Generative feature pyramid for panicle detection，GFP-PD)方法。首先，针对小尺寸稻穗在特征学习时的特征损失问题，量化分析稻穗尺寸与感受野大小的关系，通过选择合适的特征学习网络减少稻穗信息损失；其次，通过构造并融合多尺度特征金字塔来增强稻穗特征。然后，针对稻穗特征中叶片遮挡带来的噪声，基于生成对抗网络设计遮挡修复模块OSIM，优化遮挡稻穗的特征质量。

1 GFP-PD稻穗计数算法设计

1.1 Faster R-CNN算法

本研究选择Faster R-CNN[25]作为基础框架，其网络结构如图1所示。Faster R-CNN结合相关检测算法[26-28]的优点，将特征学习、候选区域生成、目标分类及位置框回归4个关键环节集成于一个端到端网络。对于输入的原始图像，Faster R-CNN首先利用卷积神经网络提取特征图(Feature map)。候选区域生成网络(Region proposal network，RPN) 复用最深卷积层上提取的特征图，使用尺寸为3×3的滑动窗口遍历该特征图，以每个锚点(滑动窗口中心)为中心，设计不同的长宽比生成多尺度候选区域。

图1 Faster R-CNN算法结构示意图Fig.1 Structure diagram of Faster R-CNN algorithm

目标分类和位置框回归由一组级联的全卷积网络实现，输入生成的候选区域，计算待检测目标的类别概率实现分类，同时计算待检测目标最小外接矩形的中心点坐标、宽和高实现目标定位。Faster R-CNN算法在具体应用时，检测精度易被影响。首先，若特征图的目标信息较少，RPN生成的候选区域可能无法覆盖所有待检测目标，导致部分目标被漏检；其次，若某候选区域对应的特征中含有噪声，噪声将直接影响类别概率的计算结果，导致部分目标被错检。

对于本文研究对象，田间场景中含有大量无关的水稻叶片且部分稻穗被叶片遮挡。随机抽取200个稻穗进行统计，单个稻穗平均尺寸(长×宽)约为260像素×180像素，长、宽均不足原始图像的十分之一，稻穗面积仅占原始图像的0.38%。当直接应用Faster R-CNN算法检测稻穗时，存在以下两个主要问题：首先，小尺寸稻穗有限的原始信息在特征学习时不断损失，网络深层的特征图可能仅保留极少量目标信息，这导致映射特征图上的特征点所生成的候选区域并不能覆盖图像中的全部稻穗，大量小尺寸稻穗被漏检。其次，叶片遮挡不仅导致有限的稻穗原始信息进一步损失，而且使得稻穗的原始数据空间混入噪声。在特征学习的过程中，原始的局部叶片噪声将逐步传递给具有全局语义性的最终特征，这将直接导致稻穗特征质量下降，影响最终的稻穗识别和计数精度。

1.2 GFP-PD算法设计

针对小尺寸稻穗的特征损失问题，首先，通过量化稻穗尺寸与网络感受野间的关系，选择适合的特征学习网络；其次，构建特征金字塔获取多尺度稻穗特征。针对稻穗特征含有的遮挡噪声，设计生成对抗式的修复模块为特征金字塔的每一层特征构建有效的优化映射，其目的是将含叶片噪声的稻穗特征拟合为真实的稻穗特征。GFP-PD算法融合优化后的特征金字塔实现稻穗特征的有效增强，如图2所示，主要包括基于感受野分析的特征学习网络选择、基于生成对抗网络的特征修复、基于特征金字塔的特征融合和基于Faster R-CNN算法的检测4个主要环节。其中，Conv3_64表示64通道且卷积核尺寸为3×3的卷积计算，以此类推；pool/2表示窗口尺寸为2×2的最大池化计算；Cls+Reg表示计算类别和计算位置框。

图2 GFP-PD算法框架示意图Fig.2 Structure diagram of GFP-PD algorithm

1.3 基于感受野分析的网络选择

特征学习网络将输入图像的原始信息进行迭代，抽象为特征图，同一网络不同卷积层对应特征图的语义信息和空间信息各不相同；而不同的特征学习网络因其结构不同，输出的特征图也存在差异。特征图上任一像素点所对应输入图像的区域被描述为感受野(Receptive field)，卷积层感受野的计算公式为

SRF(t)=(SRF(t-1)-1)Ns(t)+Sf(t)

(1)

式中SRF(t)——第t层卷积层感受野尺寸

Ns(t)——第t层卷积的步长

Sf(t)——第t层卷积滤波器尺寸

感受野区域内图像的信息直接影响学习到的特征质量。相较于待检测目标，感受野过大，特征中混入无关噪声；感受野过小，特征不能充分描述待检测目标。因此，总是希望特征学习网络的感受野与稻穗尺寸尽可能相近。理想情况下，GFP-PD特征学习网络的感受野和待检测目标的尺寸关系为

(2)

式中Sobj(hobj,wobj)——待检测目标尺寸

hobj——待检测目标外接矩形长度

wobj——待检测目标外接矩形宽度

根据式(1)计算卷积神经网络Alex-Net[29]、ZF-Net[30]、VGG16-Net[31]和Google-Net[32]的感受野，不同网络的最后一层卷积层对应的感受野尺寸如表1所示。VGG16-Net最后一层特征对应的感受野为212像素×212像素，相较于其他网络更接近稻穗尺寸，因此选择去除分类层的VGG16-Net作为GFP-PD的特征学习网络。

表1 不同卷积神经网络的感受野尺寸Tab.1 Size of receptive field of different networks

1.4 基于生成对抗网络的特征修复

一般来说，一个成功的检测器总是基于优秀的物体特征表示和足够规模的数据学习。叶片对稻穗的遮挡使得稻穗特征中混入叶片噪声，影响最终的稻穗识别准确率和计数精度。为此，GFP-PD算法基于生成对抗网络设计OSIM来优化田间稻穗的特征表达，其核心思想是不断为遮挡噪声生成新的值并对抗式地使含有遮挡噪声的稻穗特征逐渐逼近真实稻穗特征。如图3所示，OSIM的网络结构由生成器、局部判别器和全局判别器共同构成。生成器为遮挡区域生成新特征值，局部判别器比较修复后遮挡区域与对应真实区域的差异，而全局判别器比较修复后整幅图像与对应真实图像的差异。生成器与两个判别器进行迭代，直至两个判别器无法确定生成的新特征是否是真实稻穗特征为止。

图3 OSIM网络结构示意图Fig.3 Structure diagram of OSIM

1.4.1生成器

生成器被抽象为对遮挡特征的编码和解码过程。对于输入的含有叶片遮挡的稻穗图像，生成器通过编码网络学习图像特征并为其生成新特征。编码网络选择VGG16-Net的Conv1层到pool2层作为基础结构，并在其后增加两个全连接层将填充后的新特征图传递到解码网络。为保证遮挡稻穗特征的修复精度，解码网络通过反卷积将生成的新特征解码为图像，送入判别器与真实图像进行比较。解码网络的结构与编码网络对称，不同之处仅在于使用解码网络un-pooling层替代编码网络中的pooling层。

1.4.2局部与全局判别器

生成器可以保证生成特征和真实特征最终的值相差较小，但是生成特征并不一定能够有效地表示其对应的输入图像。不仅希望生成的稻穗特征与真实稻穗在内容上相似，而且能够有效地描述稻穗与图像中其他稻穗的结构关系。因此，分别为OSIM设计一个二分类的局部判别器和全局判别器。局部判别器与全局判别器采用相同的网络结构，选择VGG16-Net的Conv1到pool2层作为基础结构并增加一个sigmoid分类层。局部判别器将生成器的注意力集中在遮挡区域的内部细节，引导修复后的遮挡区域在内容上与真实区域相似，而全局判别器则引导修复后的遮挡区域在结构上与其周围区域相近。

1.4.3损失函数

5.2 防治方法：①农业防治：深翻土壤，消灭越冬蛹；及时打杈掐尖，结合整枝把嫩叶、嫩枝上的卵及幼虫一起带走烧毁或深埋，可有效地减少卵量；摘除虫果，减少幼虫转株危害。②生物防治：在棉铃虫产卵始、盛末期释放赤眼蜂，每亩冬暖大棚放蜂1.5万头，每次放蜂间隔期为3～5天，连续3～4次。③药剂防治：应掌握在百株卵量达20～30粒时开始用药，尤其在半数卵变黑时为好，可选用90%敌百虫可湿性粉剂1000倍液，或50%辛硫磷乳油1000倍液，或2.5%溴氰菊酯乳油3000倍液，或40%菊马乳油2000～3000倍液喷雾。

为保证生成的新特征与真实稻穗特征在内容上相似，使用欧氏距离来度量生成特征与真实特征之间的差异，生成器损失函数LG计算公式为

(3)

式中M——特征图上的像素点数量

xi——稻穗的真实特征值

x′i——遮挡处生成的新特征值

局部判别器和全局判别器拥有相同的损失函数，计算公式为

(4)

式中LLocalD——局部判别器损失函数

LGlobalD——全局判别器损失函数

Ex～Pdata(x)——真实数据分布

Ez～Pz(z)——遮挡噪声分布

G(z)——噪声生成的数据值

OSIM的损失函数L由生成器和判别器共同构成，其计算公式为

L=LG+LLocalD+LGlobalD

(5)

1.5 基于特征金字塔的特征融合

不同卷积层上输出特征图的语义信息和空间信息各不相同，低层卷积特征保留目标较多的空间和细节信息，而高层卷积特征具有较好的语义性。为进一步丰富稻穗特征，GFP-PD算法参考特征金字塔网络(Feature pyramid networks，FPN)的结构[33]，抽取稻穗的多尺度特征并使用OSIM模块进行优化，按由深到浅的顺序融合高语义信息的深层特征和高细节信息的浅层特征，使得稻穗特征在具有较好语义性的同时保留更多的空间信息。

特征融合时，对深层特征进行2倍上采样后与前一层特征进行横向连接(Lateral connections)。使用RPN分别对每一层融合后的新特征生成候选区域并进行检测。横向连接的计算公式为

Fk=Sk-1A1×1+f(Sk) (k=1,2,…,n)

(6)

式中Sk-1——第k-1层输出的特征矩阵

Sk——第k层输出的特征矩阵

A1×1——1×1卷积核

f——基于最邻近插值的2倍上采样函数

Fk——第k-1层和k层融合后的特征矩阵

1.6 基于Faster R-CNN算法的检测

图4 基于GFP-PD算法的稻穗检测与计数流程图Fig.4 Flow chart of panicle detection and counting based on GFP-PD

GFP-PD算法基于Faster R-CNN算法检测目标，实现目标分类和目标定位。对于OSIM优化的稻穗特征，GFP-PD算法利用候选区域生成网络生成候选区域，使用尺寸为3×3的卷积核遍历(滑动步长为1)优化后的特征图。设计1∶1、2∶1、1∶2共3种不同尺度的长宽比，以特征图上的每个像素点(锚点)为中心生成9个大小不同的预测框。检测模块的损失函数由类别损失和位置回归损失共同构成，损失函数为

(7)

其中

(8)

(9)

式中L——检测模块的整体损失函数

Lcls——用于分类的对数损失函数

Lreg——用于定位的鲁棒回归损失函数

i——锚点编号

Pi——锚点i被预测为目标的概率

ti——生成的预测框左上顶点和右下顶点坐标组成的4维向量

Ncls——训练时的批尺寸(Mini-batch size)

Nreg——产生的候选区域数量

λ——分类损失和回归损失的平衡系数

2 基于GFP-PD算法的稻穗检测与计数

基于GFP-PD算法训练稻穗检测模型，流程如图4所示，主要包括5个步骤：原始图像采集；训练数据集构建；OSIM修复模型训练；稻穗检测模型训练；稻穗计数。

2.1 原始图像采集

水稻图像于2017年10—11月采集于江苏省南京市六合区艾津水稻生产基地(32°16′44″N，118°51′10″E，海拔4 m)，供试水稻品种为南粳46，每穴3～5苗，株间距30 cm，行间距12 cm。使用佳能EOS 70D型数码相机在水稻植株侧上方60 cm处，进行随意角度拍摄，共采集图像267幅，图像分辨率均为4 032像素×3 024像素。如图5所示，单幅图像中包含大量水稻稻穗与叶片，统计后稻穗平均尺寸约260像素×180像素，绝大部分稻穗局部被叶片遮挡。

图5 不同角度下获取的田间水稻图像Fig.5 Rice images taken from different angles

2.2 训练数据集构建

对于原始的田间水稻图像，随机选取130幅作为训练集，57幅作为验证集，将剩余80幅作为测试集。训练集、验证集与测试集在图像样本空间上没有交集，基于划分后的数据集分别构造OSIM训练数据集、水稻训练集和水稻测试集。

(1)OSIM训练数据集构建：基于OSIM的特征修复模型的损失在含有叶片遮挡的稻穗图像和未遮挡时的稻穗图像间传递，实际数据采集过程中，获得同一场景的含有叶片遮挡的稻穗图像和其对应未遮挡时的图像是困难的。因此本研究中，人工从划分后的水稻训练集和测试集图像中筛选未遮挡稻穗图像982幅，图像尺寸为128像素×128像素。通过随机丢弃部分像素来模拟叶片遮挡，构造的OSIM训练数据集部分样本如图6所示。

图6 OSIM训练数据集示例Fig.6 Examples of train data for OSIM

(2)水稻训练集构建：本研究中单幅图像尺寸为4 032像素×3 024像素，直接使用原图训练模型时导致硬件负载过高且耗时增加，因此按长、宽分别二等分切割训练集和验证集图像。切割后图像尺寸为2 016像素×1 512像素，平均稻穗尺寸为260像素×180像素，单个稻穗约占切割图像的1.54%，稻穗相对于图像依然为小目标。利用开源标注工具LabelImg对切割后的训练集和验证集图像进行人工标注，将样本中的稻穗通过最小外接矩形标出，记录最小外接矩形的左上、右下顶点坐标，标注最小外接矩形框的类别标签为稻穗。切割后的图像和对应稻穗标注文件共同组成水稻训练集。

(3)水稻测试集构建：将测试集图像按长、宽分别二等分切割组成水稻测试集。

2.3 OSIM特征修复模型训练

OSIM被设计为一个独立的插件嵌入到GFP-PD中，为含有遮挡噪声的特征和真实稻穗特征构建一个有效映射。因此，OSIM特征优化模型被独立训练。OSIM的训练采用课程策略[33](Curriculum strategy)和随机梯度下降法(Stochastic gradient descent，SGD)，整个过程包括3个阶段。首先，利用LG训练遮挡区域并获得初步模糊内容；其次，利用LLocalD提高修复区域内容的真实度；最后，利用LGlobalD调整修复区域与待检测目标的结构。随机生成特征修复模型的初始化参数，为了提高训练的有效性和效率，训练中后一阶段的模型总是以前一阶段的模型为基础微调(Fine turning)获得。

2.4 稻穗检测模型训练与稻穗计数

使用水稻训练集作为稻穗检测模型的输入数据，将通过特征学习网络获得的稻穗特征首先输入2.3节训练的OSIM特征修复模型，修复后的特征被输入RPN生成候选区域并进行识别和定位，使用随机梯度下降法和交替优化法(Alternating optimization)训练稻穗检测模型。稻穗计数时，将测试图像输入稻穗检测模型，在稻穗识别和定位的基础上统计稻穗数量。

3 实验与结果分析

3.1 模型训练软硬件平台

处理平台为AMAX的PSC-HB1X深度学习工作站，处理器为Inter E5-2600 v3，主频为2.1 GHz，内存为128 GB，硬盘容量为1 TB，GeForce GTX Titan X显卡。运行环境为Ubuntu 16.0.4、Caffe和Python 2.7。

3.2 评价指标

选用查全率Pc、正确率Pt作为模型性能的评价指标，其中查全率是指检测正确的穗数与实际穗数的比值；正确率是指检测正确的穗数与识别为稻穗的目标数量的比值。计算公式为

(10)

(11)

式中Ncor——模型检测正确的穗数

Nerr——模型检测错误的穗数

Nreal——测试图像中实际含有穗数

Ndect——检测结果为稻穗的目标数量

3.3 GFP-PD算法与其他算法的比较

为了比较GFP-PD算法和其他算法对田间稻穗的计数精度，使用2.2节构建的水稻测试集作为测试数据，选择LMM[15]、Panicle-SEG[20]和Faster R-CNN[24]作为比较对象，4种方法的平均查全率和正确率如表2所示。由表2可知，对于水稻测试数据集，本文方法性能最优，平均查全率和平均正确率分别为90.82%和99.05%，较Faster R-CNN算法提高了16.69、5.15个百分点。Faster R-CNN算法和GFP-PD算法对田间水稻的检测效果如图7所示，检测结果表明，相同测试场景下GFP-PD明显优于Faster R-CNN对稻穗的查全率。对于图7中第3列的测试图像，GFP-PD算法能够准确地检测到图像中下部的一些微小稻穗，而Faster R-CNN却无法感知，这直接验证了2.1节中关于应用Faster R-CNN算法检测尺寸小数量多稻穗效果不佳的假设。

表2 GFP-PD与其他算法对测试图像的计数性能比较Tab.2 Performance comparison of GFP-PD and other approaches on testing images %

LMM与Panicle-SEG的计数精度相近，平均查全率均能够达到82%以上，和平均正确率95%以上，但较GFP-PD算法的查全率和正确率均分别降低约8、4个百分点。原因可能是对于基于颜色特征的分割算法LMM，水稻稻穗与叶片较小麦贴合的更为紧密，这可能抑制LMM算法中滤波器对叶片等无关背景的去除性能，也提高了通过计算局部峰值来分割稻穗的难度。而对于Panicle-SEG算法，一方面可能是训练数据分布不同，Panicle-SEG算法训练数据覆盖了中国主要的水稻品种，但与本文水稻品种相似的建模数据可能相对不足；另一方面，Panicle-SEG算法构建模型的图像从小区正上方获取，而本文应用场景中叶片遮挡严重，这可能对Panicle-SEG算法中聚类生成候选区域的精度产生巨大干扰。

图7 Faster R-CNN算法与GFP-PD算法检测效果对比Fig.7 Comparison of detection effects between Faster R-CNN and GFP-PD algorithms

3.4 基于FPN的特征增强有效性分析

为进一步量化基于感受野分析的特征学习网络选择和基于特征金字塔的特征增强对稻穗计数精度的提升，选择感受野差异显著的ZF网络(Zeilerfergus net)和VGG16网络(Visual geometry group net)并构造特征金字塔，分别训练稻穗检测模型。使用2.2节划分的水稻测试集作为测试数据，结果如表3所示。

表3 网络选择和特征金字塔构造的性能分析Tab.3 Performance analysis of selecting network and constructing feature pyramid on test dataset %

由表3可知，基于ZF网络的Faster R-CNN的平均查全率和正确率分别为71.03%和92.29%，相较于基于ZF网络的VGG16网络分别降低了3.09、1.56个百分点。类似的，对于构造特征金字塔后的Faster R-CNN算法，VGG16网络的平均查全率和正确率较ZF网络也分别提高了3.75、1.20个百分点。使用VGG16作为特征学习网络的平均检测结果均优于ZF，这说明据式(1)选择特征学习网络能够提升计数结果。分析感受野和稻穗尺寸选择VGG16网络后，构造特征金字塔的Faster R-CNN算法的平均正确率与Faster R-CNN算法相近，但平均查全率为87.10%，较Faster R-CNN算法提高12.98个百分点，这表明构造特征金字塔提取并融合稻穗的多尺度特征，能够有效增强小尺寸稻穗的特征，从而进一步显著提升稻穗计数的查全率。

3.5 OSIM特征优化有效性分析

为了验证OSIM模块对遮挡场景处理的有效性，对于图6b所示的遮挡模拟图像，使用反卷积将优化后的特征上采样到输入图像的相同尺寸，修复后的图像如图8所示。视觉结果显示，通过训练OSIM特征修复模型，可以有效降低遮挡噪声对目标特征的影响；同时，修复后的噪声一定程度上补充了损失的稻穗原始信息，更为准确地描述和表示输入的遮挡稻穗场景。

GFP-PD算法对遮挡稻穗的检测效果如图9所示，绿框表示图像中真实存在的遮挡稻穗，红框表示GFP-PD算法检测到的稻穗。结果表明，GFP-PD算法能够有效地识别局部被叶片遮挡的稻穗，但是稻穗位置的预测仍然存在一定偏差。为了进一步定量分析OSIM对GFP-PD算法计数精度的提升程度，组合Faster R-CNN算法和OSIM特征修复模块分别训练稻穗检测计数模型，对于水稻测试集，实验结果如表4所示。

图8 基于OSIM修复后的稻穗特征反卷积效果示意图Fig.8 Visual effect diagram of panicle feature repaired based on OSIM

图9 GFP-PD算法对局部被叶片遮挡稻穗的检测效果Fig.9 Detecting effect of GFP-PD for panicles occluded by leaves locally

表4 基于OSIM的特征修复对计数模型性能的提升分析Tab.4 Performance analysis of feature optimization based on OSIM on 2017 test dataset %

由表4可知，对于VGG16网络，基于OSIM训练的稻穗计数模型对稻穗的识别正确率达97.34%，比Faster R-CNN提高了3.49个百分点。OSIM修复模块优化稻穗特征后稻穗识别的正确率上升，这一趋势在构造特征金字塔后也同样明显。构造特征金字塔后的Faster R-CNN算法对水稻测试集的识别正确率仅为93.87%，较OSIM特征优化后的正确率下降了5.18个百分点。正确率的变化验证了1.2节中含有噪声的稻穗特征将抑制稻穗识别正确率的假设，表明基于生成对抗网络的OSIM特征修复模块能够去除稻穗特征中的噪声，有效地提高了田间遮挡条件下成熟期水稻稻穗的特征质量，进而提升其计数精度。

3.6 GFP-PD算法的影响因素分析

对田间水稻图像计数时，发现水稻测试集中有些子图中穗和叶清晰，而有些子图中穗和叶模糊且有部分穗人眼难以识别，称之为清晰子图和模糊子图。模型对于同一图像的不同局部的计数精度偏差明显，为了进一步探究算法和模型的应用边界，基于GFP-PD算法训练稻穗计数模型，对水稻测试集的清晰子图和模糊子图的计数结果如表5所示。

表5 GFP-PD算法对不同清晰度测试图像的计数结果比较Tab.5 Results of GFP-PD for images with different definitions %

由表5可知GFP-PD算法对清晰子图的查全率为96.99%，比模糊子图高11.54个百分点；对清晰子图的稻穗识别正确率比模糊子图提高0.51个百分点。GFP-PD算法对清晰子图的计数精度明显优于模糊子图，稻穗检测模型对模糊稻穗并不敏感。如图10所示，GFP-PD算法能够准确地识别清晰子图中的绝大部分稻穗，但是对于模糊子图上半部边缘附近的稻穗存在明显漏检。由图10可知，清晰子图主要对应于原始图像的中下部分，在获取时处于相机焦点附近；而模糊子图主要对应原始未分割图像的上半部分边缘，在获取时处于相机焦点以外。模糊子图的稻穗原始信息进一步减少，虽然构造特征金字塔一定程度上增强了稻穗特征，但基于融合后特征图生成的候选区域仍然不能有效覆盖图像中所有的稻穗，这影响了本文稻穗计数模型最终的计数查全率。

图10 GFP-PD算法对不同清晰度子图的检测效果Fig.10 Detecting effects of GFP-PD algorithm for panicles with different definitions

3.7 讨论

基于感受野分析选择特征学习网络和基于特征金字塔提取并融合多尺度稻穗特征，有利于提升田间小尺寸稻穗的检测和计数精度；基于OSIM的特征修复，有利于提升田间稻穗特征的质量，显著提高了稻穗识别的正确率；基于GFP-PD算法训练稻穗检测模型，可以有效识别局部被叶片遮挡的田间稻穗并自动预测稻穗的位置。进一步分析计数结果发现，抑制计数精度的另一个主要因素是存在部分区域重叠的稻穗。如图11所示，稻穗检测模型易将粘连的稻穗识别为一个稻穗或将重叠稻穗的部分误识为一个完整的稻穗。

对于GFP-PD算法而言，构建OSIM修复模型虽然能够提高稻穗特征质量，但是消耗额外的计算量。在实际的应用中，还需要进一步考虑水稻品种(亚种)、图像采集装置、光照条件、成像高度等因素变化的影响。对于形态差异明显的不同品种水稻稻穗，下一步将尝试对特征提取网络和候选区域建议网络进行优化，提取稻穗与叶更细粒度的可分性特征来提高分类和计数的精度。

图11 GFP-PD算法对粘连或重叠稻穗的检测效果Fig.11 Detecting effects of GFP-PD algorithm for overlapping panicles

4 结论

(1)GFP-PD算法选择最佳特征学习网络并构建特征金字塔，显著提高了田间小尺寸稻穗的查全率。对于构造特征金字塔后的Faster R-CNN算法，基于VGG16网络的稻穗平均查全率和识别正确率分别为87.10%和93.87%，比ZF网络分别提高了3.75、1.20个百分点；而对于Faster R-CNN算法，基于VGG16网络的平均查全率和识别正确率比ZF网络也分别提高了3.09、1.56百分点。

(2)设计并训练OSIM能够有效去除稻穗特征中的叶片噪声，显著提高了局部被叶片遮挡的稻穗的识别正确率。对于基于VGG16网络的Faster R-CNN方法，使用OSIM修复模型优化稻穗特征前后，对水稻测试集的识别正确率分别为93.85%和97.34%；当构造特征金字塔时，使用OSIM修复模型优化稻穗特征后，识别正确率由93.87%提高为99.05%，对遮挡稻穗的识别正确率提高了5.18个百分点。

(3)GFP-PD 算法能够有效检测局部被叶片遮挡的田间小尺寸稻穗，并对其计数。稻穗计数模型的平均查全率和识别正确率分别为90.82%和99.05%，比Faster R-CNN算法结果分别提高了16.69、5.15个百分点。但GFP-PD算法对清晰稻穗的查全率较模糊稻穗提高11.54个百分点,样本清晰度是制约GFP-PD算法检测精度的主要因素。