基于机器视觉的田间小麦开花期判定方法

刘 平 刘立鹏 王春颖 朱衍俊 王宏伟 李 祥

(1.山东农业大学机械与电子工程学院， 泰安 271018; 2.山东农业大学生命科学学院， 泰安 271018)

0 引言

小麦花期决定了小麦生长期，影响小麦最终产量及性状稳定程度[1]。不同品种小麦开花期及开花性状不同；相同品种小麦在不同地区种植，开花情况也不同。目前，大量小麦育种材料和种质的花期判定主要以人工估算小花与小穗比例的方式，劳动强度大，主观性强。因此研究一种高效、准确的检测技术替代人工十分必要。

基于机器视觉的表型获取是一种快速、低成本、非破坏性的技术，可实现目标性状的精确提取[2-4]。目前小麦开花期检测主要通过提取图像特征，如：颜色、纹理特征等导入支持向量机训练[5]，或借助卷积神经网络对标注后的开花穗及未开花穗进行训练[6]，从而实现对开花小麦的识别。但以上研究没有排除光照条件对判定的影响，麦穗反光较明显时，会影响识别精度。现有研究仅对开花麦穗进行了识别，并未根据小花的个数及密度等信息判定开花情况，无法提供客观、全面的数据。

近年来，有很多学者对田间作物的颜色分量进行研究，提出基于不同分量的预处理方法，大幅提升了目标辨识度[7-11]。其中综合颜色特征可根据各空间对目标的区分效果，进行线性叠加，解决光照不均及杂波较多的问题[12-13]。在目标识别和分割算法方面，主要有：基于卷积神经网络的检测方法，以RCNN、YOLO等模型为代表[14-16]；基于基本分类和回归的K-means、K-Nearest Neighbors聚类算法[17-18]；基于颜色、亮度、纹理等特征和距离的超像素分割方法[19-20]。QURESHI等[21]对比K-Nearest Neighbors聚类、超像素分割方法，证明超像素分割在处理边界及增强贴叠情况下的分割精度方面更有优势。

与水稻、玉米等农作物相比，小麦的小花和小穗形态结构小，花与穗颜色差异不明显[22-23]，均增加了识别难度。本文采用自适应调节的综合颜色特征，降低光照及环境噪声造成的影响，同时改进超像素分割算法，提高分割精度及运算速度，最终根据分割出的小花与小穗个数比值计算开花率并完成花期判定。

1 小麦图像预处理

1.1 数据获取

图像数据拍摄地点为山东省泰安市山东农业大学农学实验站(36°9′52″N, 117°9′21″E)，拍摄期间多为晴朗天气，阴天、降雨天气较少。图像数据由数据采集机器人(图1)获取，相机采用杰锐微通DW800_2.9mm型摄像头，为提高运算速度，后续图像处理尺寸被调整至800像素×600像素。

1.2 综合颜色特征

当照明均匀时，颜色指数可明显区分各特征区域，如过红颜色分量(ExR)和过绿颜色分量(ExG)可有效地从背景杂波中区分出麦穗及叶片[8]，如图2所示，ExR比ExG更能明显区分小穗及小花。然而，当局部光照不均匀时，ExR及ExG则会造成误分类(图2)，其中标记区域为反光区，影响目标判别。

ExR=1.3IR-IG

(1)

ExG=1.3IG-IR

(2)

式中IR——图像中该点的红色像素值

IG——图像中该点的绿色像素值

HSV颜色空间的S分量对光照变化不敏感[10,13]，可一定程度上减弱光照不均匀对识别精度的影响。

在ExR中，除去光照影响，土壤噪声影响也较大，红绿归一化颜色分量(NGRDI)反映植被与土壤背景的差异[8-9]，能定量说明小麦的生长状态，通过NGRDI过滤土壤噪声。计算式为

(3)

NGRDI介于-1～1之间，当其值为负或接近零时，表征土壤及叶片；当其值为正时表征麦穗。

利用ExR、S分量和NGRDI颜色空间构造的综合颜色特征(图3)，可以从杂波背景中快速区分小穗及小花，具有很强的区分能力。为降低光照的影响，以α、β和γ参数调整各空间比重，同时，通过滤波消除综合颜色特征的高频及低频噪声。

1.3 各指标权重自适应调节

为判定不同光照条件下，各颜色空间取不同权重时对图像的影响情况，对不同时刻(图4)的田间小麦图像计算亮度分量，图4中由上到下依次为08：00、12：00、16：00时拍摄的图像。该分量表示光照对图像质量的影响程度，其比值越接近1，光照影响越小[12]，计算公式为

图4 不同时刻的光影响情况Fig.4 Light influences at different periods of time

(4)

式中R——亮度分量比值

M——光影响区域中的像素数

N——正常区域中的像素数

CCF(x,y)——对应图像坐标(x,y)点处的综合颜色特征值

不同时刻的亮度分量比值如图5所示。S分量所占权重对光照区域平均灰度与正常区域平均灰度的比值(R)影响较小，而ExR和NGRDI所占权重对R有较大影响。为减弱光照对图像造成的影响，ExR权重参数α取值0.1～0.3，S分量权重参数β取值1.5-α-γ，NGRDI权重参数γ取值0.7～0.9。

图5 不同时刻R值随各指标变化情况Fig.5 R values varied with each indicator over different periods of time

为增强综合颜色特征中各部位的差异，计算α在0.1～0.3、γ在0.7～0.9之间的图像临近对比度。针对不同情况下图像的表现情况，自动取临近对比度最高点处的各分量权重作为α、β、γ值。临近对比度随各空间权重的变化情况如图6所示。计算公式为

图6 临近对比度随各空间权重的变化情况Fig.6 Near-contrast varied with individual color space over different weights

(5)

式中C——临近对比度

δ(i,j)——相邻像素间灰度差

Pδ(i,j)——相邻像素间灰度差的像素分布概率

图7所示为使用Matlab灰度转换和综合颜色特征转换的结果，其中综合颜色特征可有效减弱光照影响且明显区分复杂环境中的小花及小穗，便于下一步的精确分割。

图7 不同品种小麦开花期图像转换效果Fig.7 Image conversion effects of different varieties of wheat flowering period

2 小麦开花期的确定

2.1 小穗与小花分割方法

小麦在开花期，麦穗发育尚未完全，倾角大且重叠程度高。为精确分割小花及小穗边界并提高计算速度，提出基于灰度变化函数和中心距离函数的超像素分割算法聚类规则。同时计算出各像素点的相似度，最终将具有同质特征的相邻像素组成不同的图像区域。灰度变化梯度、距离变化梯度、预分配图像区域尺寸和相似度的计算公式为

dc=CCFj-CCFi

(6)

(7)

(8)

(9)

式中CCFj——图像j点综合颜色特征值

CCFi——图像i点综合颜色特征值

dc——综合颜色特征的灰度变化梯度

ds——距离变化梯度

K——构造图像区域的个数

u、v——输入图像的横纵方向像素数

S——预分配图像区域尺寸

T——灰度梯度变化范围阈值

D′——聚类中心周围2S范围内各点相似度

优化超像素聚类搜索规则(图8)，首先，将聚类搜索范围限制在中心点2S范围内，随后以二维Same卷积的方式遍历整个图像，提高运算速度。

图8 聚类搜索规则示意图Fig.8 Schematics of clustering searching rules

目标区域聚类后，仍有部分图像区域因连贯弱、距离变化梯度大被划分为不同类别。为解决这些问题，提出优化搜索路径算法。从被初始聚类的图像区域中心点出发，沿8邻域方向递进搜索边界点，下位点与当前点的D′值相差大时终止该方向搜索，如图9所示，其中绿、黄色区域分别为初始聚类区域和优化后的聚类区域。

图9 优化搜索路径示意图Fig.9 Schematic of optimization search path

为提高分割精度及速度，提出了基于灰度变化和中心距离的超像素分割算法聚类规则。为避免彩色图像在田间环境噪声点过多而影响聚类效果，优化图像区域搜索线路，避免出现小目标欠分割现象。利用所提出的改进超像素分割方法，可实现小花和小穗的快速、精准分割，结果如图10所示，其中标注区域为欠分割区域及改进后的分割区域。

图10 超像素分割结果Fig.10 Results of simple linear iterative clustering

2.2 小麦开花期判定方法

小麦开花顺序以麦穗中部偏上的位置为中心呈离心规律依次开放[24]，开花期为5～6 d，前3 d每穗平均开花率分别为27.3%、45.2%和77.7%[23-24]。以开花穗及未开花穗的比例无法精确测定实际花期，同时对开花情况也无较强的指导意义。因此花期及开花状态判定应以小花及小穗数的比值为依据，来反映各品种小麦的开花情况。

综合颜色特征将小花、小穗及周边环境划分为3大区域，各区域灰度区分较大，而组内差距较小，如图11所示，小花灰度均分布在35～55之间，小穗灰度主要为75～100，叶片及土壤等灰度大于150。

图11 小花、小穗及叶片的灰度分布情况Fig.11 Gray distribution of florets, spikelets and leaves

对聚类后的各图像块判定平均灰度，确定所属类别，同时去除对比度低的模糊区域，进而分割小花和小穗。然后，分别计算小花和小穗的连通域个数，同时分别确定其个数，并以小花与小穗的比值作为开花率，当开花率超过50%时，读取图像拍摄时间并记录，最终判定开花期。育种工作者可通过图12所示的操作软件完成数据的记录及调用。

图12 软件界面Fig.12 Software interface

针对小麦育种的小区种植方式(图13)，选择某小区多幅图像，或以固定帧率截取视频中图像的方式，对图像中的小花及小穗数量进行累加，最终计算的开花率代表该小区的开花情况。

图13 小区种植方式Fig.13 Planting practices of plot

3 实验与结果分析

3.1 算法适应性分析

为检验算法适应性，对不同天气、不同拍摄角度和不同拍摄距离的田间小麦图像进行验证。天气包含晴天、多云及阴天，拍摄角度为侧拍及倾斜30°～60°拍摄，所拍摄图像涵盖1～5株/幅、6～10株/幅及大于10株/幅的情况。如图14所示，为部分田间小麦分类效果，从左到右依次为原图、小花分割结果、小穗分割结果。

图14 不同条件下的小花与小穗分割效果Fig.14 Segmentations of florets and spikelets in different situations

由图14可知，本文所提出的自适应调节的综合颜色特征能适应各时间段的复杂光照条件，不会因部分叶片及麦穗的反光造成误判，同时明显区分小花及小穗，为下一步精确分割创造前提。基于中心距离函数和灰度变化函数的超像素分割算法及改进的路径搜索算法，在种植密度大、贴叠严重时，仍能对小花和小穗边界精确分割。

3.2 算法有效性分析

从采集到的457幅图像中选择10幅穗数不同、品种不同、拍摄角度及种植密度不同的图像进行计算与分析，分别以人工方式和本文算法对小花和小穗计数并记录运算时间，统计结果如表1所示，平均运行时间为0.172 s，小花平均识别精度为91%，小穗平均识别精度为90.9%。

表1 计数统计结果Tab.1 Counting statistics results

由表1得出，在种植密度近似相同的条件下，对处于不同开花阶段的小麦，本文算法能实现精确判断。比较编号4、5得，当麦芒长度较长且密度较大时，超像素分割算法无法精确分割被遮挡小穗，导致小穗识别精度降低(图15)。当小花形态结构较小时(如编号7、8、9)，由于所占像素面积小，易被临近图像区域合并，导致算法计数结果较大程度小于实际数量。

图15 各编号原始图像Fig.15 Sample numbers corresponded with pictures

开花率反映小麦开花情况，当开花率达50%时即判定该区域小麦处于花期[23]。开花率计算公式为

(10)

式中Pflowers——开花率nflorets——小花总数

nspikelets——小穗总数

为检验本文算法的有效性，计算图15中不同品种和特征的小麦开花率，统计结果如表2所示，其中差值越小表明预测结果与实际值越接近。稀疏种植或近距离拍摄的情况下(编号1～5)，开花率波动幅度大，无法客观反映算法性能；正常视觉拍摄的情况下(编号6～10)，计算开花率较准确，平均差值仅为1.16%。

表2 开花率统计结果Tab.2 Flowering rate statistics results %

针对稀疏种植或近距离拍摄的情况，使用精确率和召回率定量评估小花及小穗识别的有效性。

对比文献[5]和文献[6]小麦单穗开花情况的识别精度，本文算法应用于单穗图像的小花及小穗识别与分割结果如图16所示，从上到下依次为编号11～14。统计结果如表3所示，其中，本文算法对小花及小穗识别的精确率分别为91.80%和92.55%，高于文献[5-6]中开花穗的识别精确率85.38%和82.9%，同时小花及小穗的召回率分别为92.56%和89.69%，高于文献[6]的召回率84.54%。

表3 单穗小麦小花及小穗识别结果Tab.3 Flowering rate statistics results

图16 单穗小麦分割效果Fig.16 Segmentation effect of single ears wheat

4 结论

(1)根据光照情况及清晰度，自适应调节综合颜色特征的ExR、S分量和NGRDI分量，实现了去除光照影响的同时保证小麦各部位的差异性。

(2)基于中心距离函数及灰度变化函数改进超像素分割方法，同时优化其路径搜索算法，实现了小花和小穗的快速及精确分割。

(3)通过不同条件下的田间小麦图像验证本文所提出的算法。算法平均运行时间为0.172 s，小花平均识别精度为91%，小穗平均识别精度为90.9%，预测开花率与实际开花率的平均误差为1.16%。对单穗小麦的小花与小穗识别精确率分别为91.80%和92.55%，优于其他检测小麦开花期的算法。