基于改进U-Net模型的小麦收获含杂率在线检测方法

陈 满 金诚谦 莫恭武 刘士坤 徐金山

(1.农业农村部南京农业机械化研究所，南京 210014；2.江苏省农业机械试验鉴定站，南京 210017)

0 引言

小麦是我国重要的粮食作物，我国小麦种植面积为全国耕种总面积的22%～30%，粮食作物总面积的22%～27%[1]。适收期小麦普遍采用机械化收获，机收水平达到97%[2]。含杂率是评价小麦机械化收获效果的重要指标。但是，目前的小麦联合收获机无法实现含杂率的在线检测。机械化收获过程，驾驶员无法实时掌握收获质量信息，不能及时发现收获过程存在的问题，易造成收获质量参差不齐，影响经济效益[3]；此外，含杂率实时数据难以检测也制约着收获智能调控技术的发展，无法实现基于收获质量的联合收获机参数自主调控，从而影响作业效率[4]。

国内外学者基于机器视觉开展了谷物收获品质在线检测研究。克拉斯公司推出了“谷物质量相机”，拍摄的图像根据非谷物成分和碎粒含量进行分析，并可在驾驶室操作面板上显示检测结果与预警信息。SINDHU等[5]开发了一种基于多种谷物特征的图像处理技术，该方法实现了4种大米品种分类，并能够检测出大米的纯度。SINGH等[6]利用形态、颜色、质地和纹理等4组谷物特征研究了4种不同稻米品种的分类，结果表明形态特征比其他3个特征更适合米粒的分类。MAHIRAH等[7-8]提出了双灯源照明谷物破碎率与含杂率检测系统，系统检测结果决定系数大于0.7。MD等[9]研究出基于机器视觉的大豆破碎籽粒、含杂识别的试验室检测装置和在线识别算法，识别准确度上裂豆为96%，污染豆为75%，缺陷豆和茎/荚为98%。国内学者也利用机器视觉、光谱探测技术开展了谷物破碎率和含杂率在线检测方法研究，初步构建了大豆和水稻破碎率及含杂率检测模型[13-15]。上述采用聚类、分水岭分割等算法，基于颜色阈值、纹理、形状等特征提取的传统分类识别方法需要人工提取浅层特征信息特征，算法效率低且通用性差。

近年来，语义分割是机器视觉领域的研究热点，它对图像的每一个像素点分配语义标签，在像素级对图像分类识别，实现端到端的像素级分割，能够获得更高的分割精度和更好的效率，为图像快速精准分割识别提供了新思路[16]。国内外学者基于语义分割技术开发了谷物表型[17-19]、品质[20-21]、病害[22]和品种[23-24]特征识别分割方法和系统，实现了小麦、高粱、玉米、油菜和花生等谷物目标特征在线检测。但缺乏小麦含杂率特征信息的图像数据库，同时现有的模型与算法无法直接应用于小麦含杂率在线检测。因此，有必要针对小麦含杂率在线检测需求，构建图像数据集与特征识别模型和算法。

为了实现小麦机械化收获含杂率的在线检测，本文提出一种结合注意力的改进U-Net模型的小麦含杂率在线检测方法，通过构建机械化收获小麦的图像数据集，研究结合注意力的改进U-Net模型的小麦籽粒和杂质分割识别算法，设计基于图像像素信息的小麦含杂率量化模型，建立基于图像信息的小麦含杂率在线检测体系，以期实现小麦机械化收获作业过程含杂率在线检测，为收获机参数智能化调控提供数据支撑。

1 小麦含杂率在线检测系统

1.1 系统组成

小麦含杂率在线检测系统主要由Nvidia jetson tx2开发套件、谷物采集装置、舵机驱动板、工业相机、LED光源、电动机等部分组成，如图1所示。采样槽为长方体形状，尺寸为长205 mm、宽25 mm、高107 mm，靠近工业相机的一侧开有100 mm×100 mm的孔，采用透明有机玻璃密封，用于拍摄小麦样本图像。工业相机采用华锐视通科技LRCP10230型USB2.0彩色工业摄像头，搭配焦距12 mm镜头，读取速度30 f/s，信噪比39 dB，镜头距透明有机玻璃105 mm。

图1 小麦含杂率在线检测装置构成图

1.2 工作流程

系统工作流程如图2所示。小麦含杂率在线检测系统上电后进行自检，并对系统进行初始化处理，完成通信检测及预测模型加载等功能。各工作组件检查完毕，控制直流舵机带动伸缩板缩回/伸出，控制采样槽内小麦样本的动态更新，拍摄静止状态的小麦样本图像。由内置图像识别程序判断图像是否满足识别要求，将满足要求的小麦图像下采样并加载到结合注意力的改进U-Net预测模型，对图像中的小麦籽粒和杂质进行在线分割识别，统计籽粒和杂质的像素。之后，结合含杂率量化模型，实时计算所拍摄的小麦样本的含杂率，检测结果显示并储存在本地，从而实现机械化收获过程含杂率在线检测。

图2 系统工作流程图

2 改进的U-Net模型设计

2.1 数据集制作

小麦样本图像于2020年5月15日在四川省广汉市连山镇惠民农机作业专业合作社小麦试验田采集，试验过程采用久保田4LZ-5B8型全喂入谷物联合收获机进行小麦机械化收获，小麦样本图像采集装置安装在收获机输粮装置的出口下方，采集装置动态自动采集小麦样本图像，程序设定保存图像为.jpg格式，图像分辨率为1 280像素×1 024像素。试验田种植小麦品种为川麦104，收获时含水率为12.1%，百粒质量为29.16 g。共采集图像200幅，小麦样本图像包含小麦籽粒和杂质(主要包括秸秆和麦壳)，如图3所示。

图3 样本图像及识别对象

使用开源标注软件Labelme 3.16.7手工标记籽粒和杂质边界，并对包括背景在内3种分类进行着色，为了增强图像的可视化，绿色代表小麦籽粒，黄色代表杂质，黑色代表背景，如图4a所示。模型训练时将采用灰度图，每个像素点的内容是一个数字，代表这个像素点所属的类别，如图4b所示。随机选取图像集中的170幅作为训练数据集，30幅作为测试集。为了进一步增强训练数据，通过将每个训练数据集图像随机旋转(30°～150°，210°～330°)、随机缩放(0.5～0.8倍，1.5～2.0倍)、随机剪切(-30°～30°)、水平镜像来进行图像增强，为每个训练样本创建6个增强样本。将数据增强后1 190幅图像以比例9∶1随机分为训练集和验证集，其中1 071幅作为训练集，119幅作为验证集。本文将以数据集为基础，开展不同模型的小麦含杂在线识别测试与验证试验。

图4 样本图像手工标记图

2.2 U-Net模型改进

U-Net模型是一种特殊类型的全卷积网络(Fully convolutional network, FCN)，它继承了全卷积网络的基本结构，不使用密集连接层构建网络，而是采用包括卷积、池化和上采样层局部连接层构建，这种做法大大减少了模型调优的参数数量，与传统的卷积神经网络(Convolutional neural networks, CNN)相比减少了冗余计算。在此基础上，U-Net 模型进一步充分利用在收缩路径中不同分辨率提取的特征信息，应用特征连接来恢复扩展路径中的相应位置的图像，从而保证模型具备高精度图像分割能力。

U-Net模型中的卷积层通过内核过滤器进行图像过滤，将强信号的图像特征提取出来，实现图像重要特征的提取。池化层对激活图进行下采样，通过降低图像的分辨率来降低特征的维度，最大池化层则过滤掉冗余信息，保留图像最强的特征信号。ReLU 层(Rectified linear unit layer, ReLU)是 CNN 中最常用的激活函数之一，它将所有负元素更改为零，同时保留正元素的值，截断卷积层生成的不重要的特征，从而保留重要的特征。转置卷积层通过使用上采样或空间插值，将提取的密集特征从粗分辨率投影到其在原始图像中的精确位置。

注意力模块是一种最初为序列依赖建模而设计的技术，最近被应用到图像分析中对特征依赖进行建模[25]。它可以逐步抑制不相关背景区域中的特征响应，并使模型专注于重要特征。本文将5个注意力门(Attention gate, AG)集成到 U-Net 模型中，从而创建一个注意力 U-Net 模型来实现小麦样本成分高精度分割识别。该注意力模块架构如图5所示，将特征图和门控信号的卷积结果结合到 ReLU 层以去除负值，并利用瓶颈卷积层减少通道维度以节省内存，并使用 Sigmoid 函数来计算最终的注意力权重矩阵，加权输入乘以缩放超参数α(初始化为1)并添加到原始输入以产生最终输出特征图像信息[26]。

图5 U-Net 模型中的注意力模块

注意力改进U-Net模型的架构如图6所示。在收缩路径中应用了3个三重卷积层和3个二重卷积层，在扩展路径中应用了5个二重卷积层。在每个卷积层之间使用5个池化层进行下采样。在扩展路径中，为了方便网络的构建与更好的通用性，在上采样时直接进行两倍上采样再进行特征融合，最终获得的特征层和输入图像的高宽相同。在两条路径的每个水平层次上，网络使用注意力门，根据来自较粗尺度的上下文信息的门控信号，对通过跳跃连接传播的特征进行过滤，实现图像的高精度分割。同时，本文使用Adam优化器来计算损失的变化方向并调整反向传播过程中的权重[27]。

图6 改进的U-Net网络结构图

2.3 网络训练

Ubuntu 20.04主机配置Intel(R)Core(TM)i7-6700 CPU 3.40 GHz 3.41 GHz的处理器，16 GB内存和NVIDIA GeForce GTX 1050 Ti 独立显卡。基于Python 3.6，torch 1.2.0，torchvision 0.4.0，scipy 1.2.1，numpy 1.17.0，matplotlib 3.1.2，opencv_python 4.1.2.30，tqdm 4.60.0，Pillow 8.2.0，h5py 2.10.0部署模型训练环境，使用GPU和CPU双设备开展注意力改进U-Net模型的训练和测试。使用网格搜索来调整包括学习率、过滤器尺寸、丢失率和衰减因子在内的超参数，在模型训练过程中使用Adam优化器来计算和调整权重[28]。训练了注意力改进U-Net模型5次获取最优的训练模型，将最优的训练模型移植到Nvidia jetson tx2开发套件，用于小麦机械化收获过程含杂率的在线检测。

注意力改进U-Net模型训练集损失函数使用基于多分类交叉熵损失，计算公式为

(1)

式中Tloss——多分类交叉熵损失

n——样本数量

x——预测向量维度

y——像素点真实值

β——像素点预测概率，取0～1

验证集采用Dice loss作为损失函数。其中，Dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围为[0,1]，Dice系数越大表示预测结果和真实结果重合度越高，其计算公式为

(2)

式中fdice——Dice系数

X——预测结果

Y——真实结果

最终，验证集损失函数Vloss计算公式为

Vloss=1-fdice

(3)

2.4 模型预测效果评价方法

采用精确率P、召回率R作为图像分割结果的评价指标，并以F1值作为准确率和召回率的评估值。召回率R表示模型在输入数据中找到所有小麦成分像素的能力，而精确率P表示模型正确分类小麦成分的像素部分。F1值是精确率和召回率的调和平均值，较高的F1值表明该模型在召回率和准确率之间取得了最佳平衡。因此，本文将F1值作为评价各模型性能的重要指标。

3 试验设计

3.1 模型性能评价试验

为了评估本文算法的性能，将其与人工标注结果以及其他机器学习方法预测的效果进行比较。本文设置4个对照模型，包括人工标注、标准U-Net模型、PSPNet模型(Pyramid scene parsing network)和DeepLabV3模型(Deep convolutional nets v3)。利用2.3节描述的主机，基于2.1节的数据集，分别训练各模型5次，选取各模型的最优训练模型对测试集图像进行预测分析。统计预测图像的精确率、召回率、F1值，分析评价模型对小麦籽粒和杂质的分割识别性能。

3.2 台架测试试验

试验地点为农业农村部南京农业机械化研究所东区，试验时间为2020年7月3日。试验小麦样本来源于四川省广汉市连山镇惠民农机作业专业合作社小麦试验田，共3个批次样本，每批次样本质量25 kg，小麦品种川麦104，收获时含水率为11.8%，百粒质量为29.16 g。

试验台架由机架、粮箱、刮板升运器、电机和小麦含杂率检测装置组成，如图7所示，采用试验台架进行3组试验。台架工作时，电机带动螺旋输送器转动，粮箱内的小麦被传送到刮板升运器上，升运器最上端连接1个出料斗，小麦从出料斗落入粮箱中，部分小麦从出料斗落入小麦含杂率检测装置中，小麦样本检测完成后，装置中小麦回落到粮箱内。试验时，首先准备好试验台架，小麦含杂率检测装置安装于试验台出料斗下方，连接好设备电源；准备3批次小麦样品；每批小麦随机均匀取3个样本点，参照DG-T 014—2019《谷物联合收割机》人工检测样本的含杂率；将样品分批次倒入试验台，小麦含杂率检测装置对样本动态采样检测30次，单次试验结束后将粮仓内的小麦清除干净，重复2次试验；记录试验数据，与人工检测结果进行比较，验证基于注意力U-Net模型小麦含杂率在线检测效果。

图7 试验台架结构示意图

3.3 田间测试试验

试验地点为四川省广汉市连山镇惠民农机作业专业合作社小麦试验田，试验时间为2021年5月16日。试验田种植小麦品种为川麦104，收获时含水率为12.3%，百粒质量为31.46 g。本次田间试验设置了3个行程的重复试验，单行程长度100 m，作业速度为4 km/h，试验现场如图8 所示。试验过程采用久保田4LZ-5B8型全喂入谷物联合收获机进行小麦机械化收获，将小麦含杂率检测装置安装在收获机输粮装置的出口下方，并连接联合收获机车载蓄电池，调试设备；启动联合收获机开始收获，小麦含杂率检测装置自动动态在线检测作业效果；完成1个行程的田间试验，停机，在粮箱中随机均匀取3个样本，参照DG-T 014—2019《谷物联合收割机》人工检测含杂率，用于检验该组数据的准确性；取样完成后清空粮仓内余粮，开机继续进行收获试验，重复2个行程的田间试验，统计试验数据，验证基于注意力U-Net模型小麦含杂率在线检测性能。

图8 田间试验现场

3.4 小麦含杂率计算模型与检测评价方法

现有的小麦联合收获机作业质量检测方法中，含杂率为样品中杂质质量占样本总质量的百分比。根据现有的测定方法，制定了基于像素点的破碎率、含杂率量化模型，计算公式为

(3)

式中Pz——含杂率，%

Tw——预测图像中籽粒像素点数

Tz——预测图像中杂质像素点数

W——图像每1 000像素点的杂质平均质量与籽粒平均质量比值，取0.084 1

系统检测与人工检测结果平均值取绝对误差和相对误差来评估基于注意力U-Net模型小麦含杂率在线检测效果，计算公式为

(4)

(5)

Raz——含杂率检测绝对误差，%

Rrz——含杂率检测相对误差，%

4 试验结果分析

4.1 模型分割识别效果

标准U-Net、PSPNet、DeepLabV3和注意力改进U-Net模型对测试集图像的分割识别效果如图9所示。标准U-Net和注意力改进U-Net 模型都生成了更好的样本成分轮廓，具有更好的连接性和更平滑的通道形状。DeepLabV3模型杂质的识别效果较好，籽粒轮廓上存在粘连的现象，并且存在部分杂质被误识别为籽粒的现象。PSPNet模型识别效果最差，存在大面积籽粒未被识别出，且识别的籽粒轮廓不清，粘连现象严重。

图9 不同模型预测识别效果

标准U-Net和注意力改进U-Net 模型在提取大多数与小麦样本成分相关的特征方面表现更好，包括粘连的籽粒和与杂质相接触的籽粒，而PSPNet和DeepLabV3模型在这一方面的识别分割效果较差。注意力改进U-Net 模型与标准U-Net相比，消除了由于籽粒堆积粘连造成局部特征信号突变，更好地提取了籽粒。相比于人工标注，各模型都存在漏识别现象，PSPNet模型漏识别最严重，标准U-Net模型次之，PSPNet模型和注意力改进U-Net 模型类似。总体而言，注意力改进U-Net模型对小麦样本成分割识别效果是最好的。

标准U-Net、PSPNet、DeepLabV3和注意力改进U-Net模型对测试集图像预测效果的精确率P、召回率R、F1值和图像预测处理时间如表1所示。在籽粒和杂质分割识别的精确率方面，注意力改进U-Net模型分别为98.96%和92.12%，比标准U-Net高0.61个百分点和2.15个百分点，比DeepLabV3提高2.95个百分点和0.78个百分点，比PSPNet提高11.02个百分点和14.43个百分点。在籽粒和杂质分割识别的召回率方面，注意力改进U-Net模型分别为62.56%和80.18%，比标准U-Net高12.45个百分点和3.12个百分点，比DeepLabV3提高11.49个百分点和16.77个百分点，比PSPNet提高18.80个百分点和14.61个百分点。在模型的F1值方面，注意力改进U-Net模型分别为76.64%和85.70%，比标准U-Net高10.33个百分点和2.86个百分点，比DeepLabV3提高10.22个百分点和11.62个百分点，比PSPNet提高18.40个百分点和14.67个百分点。在图像解析时间上，PSPNet模型用时最少，注意力改进U-Net和标准U-Net模型的时间类似，注意力改进U-Net模型单幅图像的解析时间为0.464 9 s，比PSPNet模型多耗时0.258 5 s。总体而言，注意力改进U-Net模型优于其他模型。

表1 不同模型的分割效果

4.2 台架试验结果分析

如图10所示，随机从台架试验采集的图像中选取一幅图像，使用Labelme对图像进行人工标注，分析基于注意力U-Net模型小麦含杂率在线检测系统在台架试验中的图像分割识别效果。预测结果表明：籽粒的精确率为99.30%、召回率为60.74%、F1值为75.37%；杂质的精确率为93.26%、召回率为82.80%、F1值为87.72%。由此可见，基于注意力U-Net模型预测分割效果良好，能够实现小麦样本各成分的有效分割，为样本含杂率的准确预测奠定了基础。

图10 台架试验图像分割识别效果

试验过程中，试验台和基于注意力U-Net模型小麦含杂率在线检测装置工作正常，实现小麦样本动态在线检测，试验检测结果如图11和表2所示。对于3个批次的小麦样本含杂率，装置检测含杂率最大检测值出现在批次3样本检测中，为5.64%；最小检测值出现在批次3样本检测中，为0.36%。装置离散点的检测结果存在较大的波动性，这主要是由于检测装置是通过动态拍摄样本图像，分析单层图像信息计算出实时含杂率，当检测装置拍摄的图像中杂质占据较大面积时(如图9中的中间图)，此次检测结果含杂率的数值会很大；检测装置拍摄的图像中杂质占据较小面积时(如图9中的上图)，此次检测结果含杂率的数值会相对较小。样本中的杂质含量具有随机性，针对不同的杂质样本检测装置能够实现有效识别，因此检测结果的变异系数较高，分别为68.31%、55.12%和70.33%。但是，从含杂率检测均值来看，装置的检测结果相对稳定，3个批次小麦样本含杂率平均值为1.69%，与人工检测结果相比，装置检测结果提高0.26个百分点。

图11 台架试验结果

表2 台架试验含杂率统计结果

4.3 田间试验结果分析

如图12所示，随机从田间试验采集的图像中选取1幅图像，使用Labelme对图像进行人工标注，分析结合注意力U-Net模型小麦含杂率在线检测系统分割识别效果。预测结果表明：籽粒精确率为99.34%、召回率为60.31%、F1值为75.05%；杂质精确率为90.56%、召回率为81.34%、F1值为85.70%。由此可见，本文设计的改进U-Net模型田间试验效果良好，能够实现田间收获过程小麦样本成分的有效分割与识别。

图12 田间试验图像分割识别效果

试验过程中，基于注意力U-Net模型小麦含杂率在线检测装置工作正常，实现小麦样本动态在线检测，试验检测结果如图13和表3所示。对于3个行程小麦样本含杂率，装置检测结果含杂率最大检测值出现在行程1样本检测中，为4.53%；含杂率最小检测值出现在行程1样本检测中，为0.22%。由于采样图像中杂质分布的随机性，检测结果的变异系数较高，分别为72.06%、59.48%和41.95%。但是，从检测均值来看，装置检测结果相对稳定，3个行程的小麦样本含杂率平均值为1.48%。与人工检测结果相比，装置检测结果高0.13个百分点。虽然装置与人工检测结果的数值上存在一定的差异性，但是两种检测方法的检测结果均表明实际作业过程中联合收获机含杂率小于2%，联合收获机的作业性能符合国家标准。因此，两种检测方式对于联合收获机作业含杂率是否符合国家标准的定性鉴定结果具有一致性。

图13 田间试验结果

表3 田间试验含杂率统计结果

4.4 讨论

小麦含杂率在线检测系统对小麦样本图像成分的识别分割效果稳定，籽粒分割识别精确率大于等于98%，召回率大于等于60%，F1值大于等于75%；杂质分割识别的精确率大于等于90%，召回率大于等于80%，F1值大于等于85%。不同试验条件下，系统对各成分的识别效果相对稳定，没有出现较大的波动。

小麦含杂率在线检测系统离散点抽样检测结果具有较大的波动性，这主要是由于系统动态采样过程中样本杂质是随机出现的，当系统采集的样本图像中杂质含量较高时，计算得到的含杂率就会较高；当样本图像中杂质含量较低时，计算得到的含杂率就会较低。因此，系统单个离散点的检测结果不能代表联合收获机实际收获情况。但是，装置的检测均值较为稳定，各试验过程，检测均值的结果差异性较小，检测均值能够客观地反映收获实际，为驾驶员提供实时的收获数据。

小麦含杂率在线检测系统与人工检测结果存在一定的差异性，主要原因是：人工检测结果依赖于检测人员的实际操作，检验人员操作不规范，会造成杂质漏拣、谷物籽粒抛撒，从而影响检测结果的准确性，而在线检测系统能够有效避免人为因素的干扰；人工检测是通过有限的离线样本进行含杂率检测，而在线检测系统能够实现大样本数据实时抽样检测，弥补了样本中杂质随机性所带来的检测误差。因此，虽然与人工检测结果具有一定的差异性，但小麦含杂率在线检测系统能够实现联合收获机作业过程大样本数据实时抽样检测，能够有效地提升检测效率，具有明显的先进性。

现阶段，我国谷物联合收获机智能化程度低，收获质量严重依赖于驾驶员的经验，联合收获机驾驶员在作业前自行调整清选部件上/下筛开度、风机转速、风门开度和振动筛频率等参数，但由于这些参数之间的关系比较复杂，并不是每个驾驶员都能熟练掌握，难以保证联合收获机处于最优的作业状态，易造成收获质量参差不齐。作业过程中含杂率过高时，本文研究的小麦含杂率在线检测方法能够为收获机驾驶员和整机智能控制系统提供实时预警信息，如果是清选部件上筛前段开度设置偏大，智能控制系统将调小上筛前段开度；如果是上筛后段开度和下筛片开度设置偏大，智能控制系统将调小相关筛片开度；如果是风量过小，智能控制系统将调大风板或调高风扇转速；如果是尾筛设置偏大，造成有些茎秆杂物被抛扔筒重复抛扔，部分杂物通过上筛和下筛进入粮仓，智能控制系统将适当关小尾筛，从而保证机具处于最优作业参数，适时地降低机械化收获过程的含杂率，进而提升小麦机械化收获质量。因此，本文研究的小麦含杂率在线检测系统对提升机械化收获质量有实际应用意义。

5 结论

(1)提出一种结合注意力的改进U-Net模型的小麦含杂率检测方法，将模型移植到小麦含杂率检测装置上，通过小麦机械化收获过程动态拍照采样，识别小麦样本含杂信息，实现了联合收获机作业时小麦含杂率的实时检测。

(2)结合注意力的改进U-Net模型籽粒和杂质分割识别F1值分别为76.64%和85.70%，比标准U-Net高10.33个百分点和2.86个百分点，比DeepLabV3提高10.22个百分点和11.62个百分点，比PSPNet提高18.40个百分点和14.67个百分点，结合注意力的改进U-Net模型对小麦籽粒和杂质的识别效果最好。

(3)在台架试验和田间试验中，装置在线检测含杂率均值分别为1.69%和1.48%，比人工检测高0.26个百分点和0.13个百分点。相比于人工检测方法，结合注意力的改进U-Net模型的小麦含杂率检测方法能够实现联合收获机田间作业过程大样本数据的实时检测，克服了检测样本杂质随机性，并通过大样本数据有效提升了检测准确性。