联合收获机水稻破碎籽粒及杂质在线识别方法*

陈进，张帅，李耀明，朱林军，夏慧，朱亚辉

(1. 江苏大学机械工程学院，江苏镇江，212013； 2. 江苏大学农业工程学院，江苏镇江，212013；3. 江苏沃得农业机械股份有限公司，江苏镇江，212013)

0 引言

随着我国农业机械化程度的提升[1-2]，目前谷物大多采用收获机进行收获。当收获机作业状况异常或者参数设置不恰当时，会导致收获到的谷物的含杂率、破碎率升高。而收获的谷物中杂质和破碎籽粒的含量会直接影响到收获的谷物的品质，进而影响谷物出售的价格；同时谷物中杂质和破碎籽粒的含量也是衡量收获机作业性能指标的两个重要参数。因此，对其的实时监测不仅可以给机手提供有效的控制依据，提升收获的谷物品质，还可以提高收获机的作业效率。然而，目前国产收获机的智能化程度还不高[3-5]，联合收获机作业过程的控制主要依赖于机手的感觉和经验，没有可靠的控制依据。

国内对联合收获机作业过程中谷物中杂质以及破碎的检测手段也进行了探索，顾琰将采集的RGB水稻图像转为HSV图像后进行水稻识别算法的设计；练毅对水稻图像的连通区域特征进行研究并使用决策树算法进行训练，实现了收获的水稻中不同成分的识别；韩梦娜等[6]采用电磁铁带动挡板的结构截取谷物，待谷物静止后再采集谷物图像，并利用U-net网络模型对图像进行分割，该方式虽然可以在线识别出水稻图像中的杂质以及破碎，但是检测的实时性略有不足，单幅图像的采集处理周期较长，约5 s左右，无法很好的满足实时检测的需求。

为了提升检测的实时性和精度，降低检测时间，提出了基于图像特征差异的水稻破碎杂质实时识别方法，采用图像采集装置、嵌入式处理器[7]以及显示器搭建图像处理系统，对联合收获机输粮搅龙出粮口流出的谷物进行图像采集，研究了完整籽粒、破碎籽粒与杂质图像中R、G、B三通道的分布差异以及面积差异，并根据差异进行识别。

1 系统搭建

系统组成框图如图1所示，主要包括图像采集装置、嵌入式[8]图像处理器，交互显示屏以及CAN通讯模块。其中，图像采集装置由谷物导流模块以及图像采集模块组成。

图1 系统框图

嵌入式处理器以及显示屏部署在驾驶室内，图像采集装置安装于输粮搅龙出粮口的下方。图像采集装置包括谷物导流模块以及图像采集模块，谷物导流模块引导部分从出粮口流出的谷物流入，同时嵌入式处理器控制图像采集模块采集谷物导流模块中流动的谷物的图像，并通过研究的谷物图像识别算法对图像进行处理，然后将处理的数据以及图像显示在驾驶室内的显示屏上，同时将数据上传至收获机机载CAN总线上与其它控制单元通信。

图2为图像采集装置的结构示意图，可以采集流动中的谷物图像。采集流动过程中的谷物图像可以极大的降低图像中谷物的粘连与堆叠程度。谷物导流模块主要包括谷物流动通道以及谷物流道顶板。谷物导流模块实则为一方形通道，用于引导部分搅龙流出的谷物至谷物流道内，其安装于输粮搅龙的出粮口斜下方，谷物从输粮搅龙流出，其中部分谷物被谷物流动通道所截取并流入，刮板用于阻挡过多谷物同时流入，可以引导谷物以薄薄一层的状态流入，光源安装在上侧挡板的底部，上侧挡板开一方槽为图像传感器提供视窗，图像传感器通过固定支架固定，并对在谷物流动通道上流动中的谷物不断曝光采集图像。

图2 图像采集装置结构示意图

2 图像采集与处理

2.1 图像采集

由于在联合收获机收获时，输粮搅龙[9]出粮口处的谷物流动速度都较快，若采用截取部分谷物使其静止再采集图像处理的方式反馈的结果有较大的滞后性。为了保证采集到的谷物的图像和处理所得的结果的实时性，设计了一种采集流动中谷物图像的图像采集方案，拍摄谷物收集装置中流动的谷物图像可以减少谷物的堆叠和粘连程度，为后续的图像处理降低难度。而要获取流动状态下谷物清晰无拖影的图像需要满足如下条件：在曝光时间内谷物流动的距离小于相机的精度，即曝光时间t×谷物流动速度v≤相机分辨率p。

本文利用彩色工业相机及其配套的SDK，编写图像采集程序，获取清晰的图片。驱动相机曝光存图程序的流程如图3所示，首先初始化SDK工具包和工业相机，然后设定相关曝光参数。

图3 图像采集流程图

相机触发模式设置为软触发，即触发信号由程序控制直接发出。谷物的运动速度v不超过100 mm/s，即0.1 mm/ms，相机的分辨率为200万像素(1 600 p×1 200 p)，视野大小为60 mm×60 mm，所以相机的精度p=60/1 600=0.037 5 mm/像素，根据tv≤p，得到t≤0.375 ms，因此只要将相机的曝光时间设置在0.375 ms以内就可以避免拖影，因此设定相机的曝光时间为0.1 ms。

由于相机的曝光时间设置较短，相机进光量欠缺，导致采集的图像过暗，如图4(a)所示。图像过暗因此还需设置相机另一参数即相机的曝光增益来增强光照，曝光增益可调节范围为1～8倍，图4(b)，图4(c)以及图4(d)分别为曝光增益为5倍、6倍、7倍时采集的图像，当曝光增益为5时，图像过暗，当曝光增益为7时，图像局部产生过曝现象，当曝光增益为6时，图像亮度适中，图像细节完整，因此相机的曝光增益设置为6倍最佳。曝光参数设置完成后相机收到触发信号开始曝光并保存谷物图片。

(c) 6倍增益效果图

图像采集工作于2020年11月使用上述的图像采集装置在丹阳水稻试验田完成，图像采集装置安装方式如图5所示，一共采集了200幅水稻的图像。

图5 图像采集装置安装图

2.2 水稻图像特征研究

从谷物图像中识别出破碎籽粒以及杂质，因此需要对其图像特征进行研究，利用图像特征的差异进行识别。从田间采集的200幅图像中随机选取20张进行研究，其中一张水稻原图如图6所示，图像中包含了破碎籽粒、稻秆杂质以及稻梗杂质。

图6 水稻原图

本文采集的谷物图像为RGB[10]彩色图像，设每个像素RGB色彩空间三通道的值分别R，G，B。首先从20张图片中截取出所有的完整籽粒、破损籽粒以及杂质图像，然后使用VS2013以及OpenCV3.1.0分别将完整籽粒、破损籽粒以及杂质区域中各个像素的R，G，B值提取并存入CSV文件中。

提取三个通道数据后，通过直方图分别统计完整籽粒、破损籽粒、稻秆杂质以及稻梗杂质的R，G，B值分布情况，如图7～图10所示。直方图中横坐标为各通道的通道值，纵坐标为像素个数。图7为随机选取的一颗完整籽粒的图像以及三个通道的色阶分布直方图，该籽粒在图像中的面积为10 038个像素。

(a) 完整籽粒

(a) 破碎籽粒

(a) 稻秆杂质

(a) 稻梗杂质

图8为随机选择的一颗破损籽粒图像及其三个通道色阶分布直方图，在图像中的面积为5 728个像素。图9为随机选择的一个稻秆杂质图像及其三个通道的色阶分布直方图，在图像中的面积为77 592个像素。图10为随机选择的一个稻梗杂质图像及其三个通道的色阶分布直方图，在图像中的面积为2 903个像素。

对20张图片中所有的完整籽粒、破碎籽粒、稻秆杂质以及稻梗杂质进行统计发现，形状上完整籽粒在图像中的面积均在10 000个像素左右，破碎籽粒在图像中的面积均在6 000个左右；颜色上完整籽粒、破碎籽粒、稻秆杂质以及稻梗杂质在G通道的G值分布情况相近，差异较小，不利于区分，因此主要研究R值与B值[11]的分布差异，对R值和B值统计之后的结果如图11所示。

图11 R值和B值范围统计图

完整籽粒R值主要分布于[75, 150]之间，B值主要分布于[40, 120]之间；破碎籽粒R值主要分布于[35, 65]，B值主要分布于[55, 120]；稻秆杂质的R值主要分布于[55, 125]，B主要分布于[2, 43]；稻梗杂质的R主要分布于[63, 79]，B主要分布于[47, 113]。从图中观察发现图中完整籽粒、破碎籽粒、稻秆杂质以及稻梗杂质的R值与B值分布范围重叠部分较小，破损籽粒、稻梗杂质、稻秆杂质、完整籽粒可以通过R值与B值的分布差异区分。

2.3 图像处理

2.3.1 识别算法整体设计

谷物图像识别的总体算法流程如图12所示，主要思路为利用谷物中完整籽粒、破碎籽粒、稻秆杂质以及稻梗杂质图像的R与B通道的分布差异进行图像粗提取，然后通过图像二值化以及形态学操作进行处理，精确提取破碎籽粒以及杂质。

首先利用R和B的阈值粗提取出破碎籽粒和杂质图像，然后将粗提取的图像转为灰度图像后对其二值化，分割出图像中的前景以及背景。图像二值化需要选择一个合适的阈值，然而使用固定阈值作为图像前景和背景分割阈值的适应能力较差，同一个阈值无法满足多幅图像。因此使用动态阈值法对图像进行二值化处理。最大类间方差法[12-14]又称为大津法，可以动态地确定最佳分割阈值，其主要思想找到一个阈值t使得两类像素平均灰度的类间方差最大。因为方差可以衡量灰度的分布均匀程度，方差越大则说明图中两类像素的灰度差异越大，即前景以及背景被错分割的几率越小。其具体过程为：对于灰度图像P(x,y)，图像大小为a×b，灰度分割阈值为t，灰度小于阈值t的像素点个数为p个，其平均灰度为m；灰度大于等于阈值t的像素点个数为q个，其平均灰度为n；整幅图像的平均灰度为g，类间方差记为s，则有

p+q=a×b

(1)

(2)

(3)

t的取值范围为0～255，将式(1)和式(2)代入式(3)求得s最大时的t为最佳分割阈值。

图12 算法总体流程图

图像形态学处理可以对图像的形状特征进行处理，例如可以将二值图像局部区域放大缩小等操作，其基本思想为使用一个结构元素与图像进行卷积运算，结构元素可以为任意形状，常用的结构元素有十字形和矩形。

图像膨胀与图像腐蚀为最基本的形态学操作，图像膨胀就是求局部最大值的操作，实现方式为在图像的左上角开一个与结构元素相同大小的滑动窗口，将结构元素为1的位置所对应的滑动窗口中相应像素的最大值赋给锚点；图像腐蚀与图像膨胀相反，为求局部最小值，将结构元素中为1的位置所对应的滑动窗口中相应像素中的最小值赋给锚点。

2.3.2 破碎籽粒识别

谷物原图如图13(a)所示，根据上述R值与B值的范围统计结果，设定RGB谷物图像的R通道的阈值范围为R∈[35, 65]，B通道的阈值范围为B∈[55, 120]，对图像中的每一个像素的R与B值进行判断，若某个像素的R或者B不在阈值范围内，则令该像素的R，B，B值均为0，即可粗提取出破损籽粒的图像，然后对粗提取后的图像使用最大类间方差法二值化，如图13(b)所示，由于破损籽粒中有少部分像素点的R与B的值不在阈值范围内，在图中显示为黑色的空洞，而非破损籽粒中也会有少部分像素点的R与B的值在设定阈值范围内，则在图像中会有部分残留像素。进一步提取二值图中所有的连通区域[15]，由于破碎籽粒在图像中的面积约为6 000个像素，考虑到会有漏识别的像素，因此设定连通区域面积阈值为3 500，保留所有面积大于3 500个像素的连通区域，去除所有小于3 500的连通区域，如图13(c)所示。最后使用5×5大小的十字形结构元素对图10(c)进行三次膨胀操作后再进行三次腐蚀操作，即可精确提取破碎籽粒的图像，如图13(d)所示。

(a) 谷物原图

2.3.3 杂质识别

稻秆与稻梗杂质的识别方法与破损籽粒识别方法相同，识别谷物原图13(a)中的稻秆杂质，首先分别设定R和B通道的阈值范围为R∈[55, 125]和B∈[2, 43]，稻秆杂质粗提取后的图像如图14(a)所示，二值化之后的图像如图14(b)所示。然后提取二值图像中所有的连通区域，由于稻秆杂质的面积通常较大，因此设定连通区域面积的阈值为6 000个像素，剔除面积小于6 000个像素的连通区域后的图像如图14(c)所示，最后使用5×5的十字结构元素对图像进行六次膨胀操作后再进行六次腐蚀操作后填补图像中的空洞，提取出的杂质图像如图14(d)所示。

(a) 粗提取稻秆杂质

设定稻梗杂质的R和B通道的阈值范围为R∈[63, 79]和B∈[47, 113]，稻梗杂质粗提取后的图像如图15(a)所示，二值化后的图像如图15(b)所示，提取二值图像中所有的连通区域，并且设定连通区域面积阈值，由于稻梗杂质的面积较小，一般为2 000～3 000 个像素左右，因此剔除连通区域面积小于1 500个像素或者大于3 500个像素的连通区域，如图15(c)所示；最后使用5×5的十字结构元素对图像进行两次膨胀操作后再进行两次腐蚀操作提取出稻梗杂质，如图15(d)所示。

(a) 粗提取稻梗杂质

3 识别结果分析

3.1 识别功能验证

对田间采集的200幅图像进行识别，图像识别程序运行于嵌入式图像处理器上，在程序中加入处理时间计算程序，单幅图像的平均处理时间为1.86 s，满足了实时识别的要求。图16为从200幅图像中随机抽取的3幅图像以及相对应的处理结果。

从图16中可以看出，水稻破碎籽粒以及杂质的大部分区域均被正确识别，但是有一些误识别的区域。图16(a)中圆圈标记处的破碎籽粒未被识别出，原因为该颗破碎籽粒面积过小，被设定的连通区域阈值剔除；图16(a)中长方形标记处为田间的枯草杂质，未被识别出，原因为算法设计时未考虑这种偶发的情况；图16(c)中圆圈标记处的稻秆杂质有分叉，而在图16(d)中对应的提取结果分叉消失，原因为在进行膨胀操作时将分叉裂隙缝合，后续的腐蚀操作无法再使其裂开。

(a) 原图1

3.2 识别结果量化评价

使用精确率(precision)和召回率(recall)作为图像识别的评价指标，并以F1值[16]对精确率和召回率进行评估。

1) 精确率[17]是预测正确的正样本数占预测为正样本总数的比值，其公式定义

(4)

2) 召回率[18]是预测正确的正样本数占实际正样本总量的比值，其公式定义

(5)

3)F1值[19]是precision和recall的综合指标，其公式定义

(6)

式中：TP——正确识别的像素个数；

FP——误识别的像素个数；

FN——未识别到的像素个数。

对田间试验采集到的200幅图像进行统计，使用Photoshop手动抠选每一幅图像中的破碎籽粒、稻秆杂质以及稻梗杂质并统计各自的TP、FP、FN值，使用式(4)～式(6)计算量化评价结果，平均量化结果如表1所示。

表1 识别结果评估Tab. 1 Evaluation of identification results

对各成分识别的F1值均达到了90%以上，大部分都可以被正确识别出，但是仍然存在部分误差，对于部分颜色特征极为相近的杂质和完整籽粒可能会产生误识别，利用图像中不同成分的R、G、B值的分布差异以及面积差异完成识别，为了进一步提高识别精度，后续可以结合相关机器学习算法寻找最佳的R、G、B阈值以及面积阈值。

4 结论

1) 联合收获机在进行水稻收获时，水稻破碎和杂质情况无法实时获取。为了可以实时获取收获的水稻破碎以及杂质含量，对联合收获机水稻破碎以及杂质的在线识别方法进行了研究。研究设计流动水稻图像采集装置，装置对从联合收获机输粮搅龙流入粮箱内的谷物随机采样并完成其图像采集。研究水稻图像的处理算法，通过水稻中完整籽粒、破碎籽粒、稻秆杂质以及稻梗杂质的图像RGB分布差异以及面积差异设计水稻图像识别算法。

2) 研究设计的流动谷物图像采集装置图像采集的速度较快，保证了检测的实时性；同时该装置也降低了所采集的图像中水稻粘连以及堆叠的程度，便于后续的图像处理。研究的基于RGB水稻图像特征差异的处理算法能够成功识别水稻中的破碎籽粒以及杂质，平均单幅图片的处理周期在1.86 s左右。对200幅图像的识别结果进行了像素级别的评估，破碎籽粒、稻秆杂质以及稻梗杂质的识别F1值分别为92.92%，90.65%，90.52%。

3) 研究的谷物图像采集装置及水稻破碎杂质在线识别算法可以在线识别水稻中完整籽粒、破碎籽粒、稻秆稻梗等杂质，为水稻联合收获机作业参数在线自动调控提供技术支撑。