基于图像分析的玉米籽粒损伤检测研究

张 涛 张 莹 唐兴隆 李 鸿 李 平杨清慧 代治国 张先锋,*

(1 重庆市农业科学院，重庆 401329；2 重庆市经贸中等专业学校，重庆 402160)

玉米是我国重要的粮食作物之一，随着农业机械化程度不断提高，各种机械设备对籽粒的静载、振动、挤压、碰撞、冲击等作用，难免会造成不同程度的机械损伤[1-3]。玉米籽粒受损伤后极易吸湿、霉变、生虫，直接降低玉米的贮存时间、等级等[4-6]。因此，提高品质检测技术，对玉米种植、收获、加工、分类具有重要意义。目前玉米籽粒品质检测主要依靠人工或机械筛选，因此，研究自动、准确、快速的玉米籽粒机械损伤检测技术尤为重要。

机器视觉技术通过模拟人的视觉功能，对图像进行处理、信息提取与识别，具有无损、精度高、速度快、非接触等优点，在农产品外观品质检测、自动分级等领域已广泛应用[7-9]。大量学者已经采用图像分析、神经网络、流行学习算法等技术，对水稻[10]、大豆[11]、马铃薯[12]、花椒[13]、小麦[14]等作物的品质和外形缺陷进行了研究[10-14]，并取得了令人满意的效果。近些年，随着软硬件技术发展，学者们基于机器视觉识别理论及算法开发了一些实时在线分选系统，系统分类准确率达到90%以上，可以满足实际生产的要求[15-16]。玉米方面，学者采用数据融合、边界算法、阈值分割等方法对籽粒的机械裂纹、内部应力损伤、霉变等进行了识别研究[17-19]，同时开发了视觉精选系统[20]，极大提高了品质分拣的生产效率。流行学习算法在农产品缺陷检测方面的可靠性和准确性较高，但需要的样本数量极大，众多特征叠加会产生大量冗余信息[5,12]，而图像分析可以通过区域分割、特征提取、输入模型，快速进行判别。目前，针对玉米籽粒区域分割算法综合对比和自动判别研究鲜见报道。因此，本研究综合分析灰度法、色度阈值法、色彩恢复的多尺度Retinex法、基于卷积的Sobel法对玉米籽粒图像的分割质量，提取二值化图像特征，建立玉米籽粒机械损伤判别分析和逐步剔除识别模型，以期为玉米种子外观品质检测、分级设备的设计提供理论基础和技术支持。

1 材料与方法

1.1 试验材料

选用重庆市农业科学院玉米所提供的黄色马齿型渝单2号玉米籽粒。在2020年收获期取样，风干后玉米籽粒含水率为13.28%，人工剥除苞叶后进行机械脱粒。随机挑选轮廓完整的正常样本80粒和机械损伤样本(无病虫害)120粒，样本集按照3∶1的比例分为构建集(150粒)和验证集(50粒)，样本集参数和机械损伤类型分别如表1和图1所示。

表1 玉米籽粒样本集特征值Table 1 Characteristic values of corn kernels sample set

注：a:单裂纹; b:龟裂纹; c:不规则破裂; d:轻微破损; e:纵向破损1/2。Note: a:Single crack. b:Turtle crack. c:Irregular fracture. d:Slightly damaged. e:Longitudinal damage 1/2.图1 玉米籽粒的不同损伤类型Fig.1 Different damage types of corn kernel

1.2 试验设备

Epson V19扫描仪，爱普生(中国)有限公司，将上盖设计成箱盒结构，避免挤压跑偏或光线干扰等影响。采集过程：将玉米籽粒放置扫描台上，正常样本任意面放置，机械损伤样本则选损伤一面朝下，通过计算机将扫描图像保存备用，设定图像大小为540×650像素，图像格式为.jpg，颜色空间为RGB。TH6018-45X放大镜，义乌华衡光学仪器有限公司。

1.3 试验方法

1.3.1 试验方案 玉米籽粒机械损伤检测的主要步骤为图像分割、特征提取、损伤判别。本研究选择灰度法、色度阈值法、基于卷积的Sobel法、色彩恢复的多尺度Retinex法(multi-scale Retinex with color restoration)对初始图像进行分割，对比分析分割质量；其次使用标定块法提取图像特征，并进行值域统计与分析，筛选出正常与机械损伤之间差异显著的特征指标；最后用判别分析法和逐步剔除法建立玉米籽粒机械损伤检测模型，并分别对构建集(150张)和验证集(50张)的图片进行识别，利用准确率衡量模型识别精度。

1.3.2 图像评价指标 图像评价指标是衡量分割质量和反映纹理信息的重要参数。本研究选择均方误差、图像熵、峰值信噪比、平均梯度作为评价指标[21-22]，寻求最优分割算法。图像熵是反映平均信息量的指标，其值越大，图像越清晰，计算公式为：

IE=-∑pjlog2(pj)

(1)

式中，IE表示图像熵，bit/pixel；pj表示图像第j级灰度值的概率。

峰值信噪比是指图像中最大信号值与背景噪音的比值，用来衡量处理前与处理后的图像差异，其值越大，说明分割效果越好，失真越小，计算公式为：

(2)

式中，PSNR表示图像峰值信噪比，dB；L，K分别表示图像的行数和列数，M(x,y)表示原始图像信号，N(x,y)表示处理后图像信号，x,y为像素点坐标值。

均方误差是指图像经过处理以后，与理想图像的误差大小，其值越小越好，计算公式为：

(3)

式中，MSE表示图像均方误差；A为处理后图像；B为理想图像。

平均梯度是表达图像微小细节反差和纹理变化特征能力的指标，可用来衡量图像的清晰程度，其值越大说明图像层次越丰富，计算公式为：

(4)

式中，AM表示图像平均梯度；F(l,k)表示图像在(l,k)位置的灰度值。

1.3.3 区域分割 区域分割是将前景与背景分开、去除无效信息，对玉米籽粒目标进行定位和标记的过程。分割质量决定了图像携带信息的可信度以及噪声的干扰度。

柳红喜欢闻公公身上的烟味儿。或许不仅仅是烟味儿，公公身上有着香烟味、汗臭味以及其他气味混杂在一起的男人味儿。这男人味儿很尖，很刺鼻，但柳红就是喜欢闻。都说男人是臭男人，但这臭男人身上的味儿，却让柳红心醉。每次洗衣服时，柳红都会偷偷地闻苏长河换下的脏衣服，那上面就有着她喜欢的气味。

1.3.3.1 灰度法分析 灰度法是通过确定灰度阈值，将图像进行二值化处理。具体步骤：①将RGB三通道图像转换成灰度图像(图2-a)；②采用3×3大小中值滤波处理(图2-b)；③利用最大类间方差法(Otsu)进行二值化分割(图2-c)。

图2 灰度分割流程中的灰度图像(a)、中值滤波(b)和分割结果(c)Fig.2 Gray image (a), median filter (b) and segmentation result (c) in gray scale segmentation process

1.3.3.2 色度阈值法分析 色度阈值法是指在色度-饱和度-亮度(hue-saturation-intensity，HSI)颜色空间中，采用阈值法将物体和背景进行分割。具体步骤：①对原始RGB图像进行3×3大小均值滤波处理(图3-a)；②将滤波处理图像转换为HSI颜色空间(图3-b)；③对色度(Hue)图像进行3×3大小的均值滤波处理(图3-c)；④利用最大类间方差法(Otsu)进行色度(Hue)图像二值化分割(图3-d)。

图3 色度阈值分割流程中均值滤波(a)、色度图像(b)、均值滤波(c)、分割结果(d)Fig.3 Average filtering(a), hue image(b), average filtering(c) and segmentation results(d) in hue threshold segmentation process

1.3.3.3 基于卷积的Sobel法分析 基于卷积的Sobel法是通过计算亮度函数梯度值进行分割。具体步骤：①对原始RGB图像进行均值去噪(图4-a)；②将彩色图像转化为灰度图像(图4-b)；③对灰度图像进行直方图均衡化增强(图4-c)；④基于卷积的Sobel法对图像进行二值化分割(图4-d)。

图4 基于卷积的Sobel分割流程中均值滤波(a)、灰度图像(b)、直方图增强(c)、分割结果(d)Fig.4 a.Average filtering(a), gray image(b), histogram enhancement(c) and segmentation results(d) in Sobel based convolution segmentation process

1.3.3.4 色彩恢复的多尺度Retinex法分析 色彩恢复的多尺度Retinex法是通过理论算法恢复色彩功能和局部细节增强，以便得到图像中的有用信息[23]。具体步骤：①利用MSRCR函数对图像进行增强，减小噪声干扰(图5-a)；②对增强图像进行3×3大小的均值滤波(图5-b)；③利用最大类间方差法(Otsu)将对象和背景分割(图5-c)。

图5 色彩恢复的多尺度Retinex分割流程中图像增强(a)、均值滤波(b)、分割结果(c)Fig.5 Image enhancement(a), average filtering(b) and segmentation results(c) in multi-scale retinex with color restoration segmentation process

1.3.4 形态特征提取 利用Matlab软件在色彩恢复的多尺度Retinex法分割基础上进行面积、周长、最大费特雷直径、最短费特雷直径特征自动提取，主要用于统计正常与机械损伤样本特征阈值及构建判别模型。由于无参照物和镜头畸变等影响，难以获取玉米籽粒实际尺寸，因此采用标定块法[24]。标定块颜色为蓝色，如图6所示，正好是RGB三原色之一，二值化图像提取容易。

图6 标定块与玉米籽粒原图Fig.6 Calibration block and corn grain original picture

已知标定块真实面积为10 mm×10 mm，提取图像中标定块的像素面积为m0，则单位像素点真实面积S0为：

(5)

假设玉米籽粒像素面积为m1，玉米籽粒真实面积S为：

S=S0×m1

(6)

通过边界上所有像素总和来表示玉米籽粒周长，假设边界像素总和为m2，则真实周长C为：

(7)

最大费雷特直径为过中心点最长的线段，简称长轴，假设长轴上的像素总和为m3，则最大费雷特直径D1为：

(8)

最短费雷特直径为过中心点最短的线段，简称短轴，假设短轴上的像素总和为m4，则最短费雷特直径D2为：

(9)。

1.4 数据处理

本研究借助Matlab2018a软件对图像进行区域分割和特征提取，采用Excel 2019软件对数据进行整理和绘图，利用SPSS 22.0软件对数据进行相关性和判别式分析，建立判别分析法和逐步剔除法损伤识别模型。

2 结果与分析

2.1 不同分割方法结果对比

选取机械损伤样本进行图像分割，结果如图7所示。其中灰度法中残存噪声与图像混合，边缘连续性较差(图7-b)；色度阈值法和基于卷积的Sobel法纹理清晰、信息量大，能够更好地显示裂纹细节，但边缘连续性和完整性差，为后续形态特征提取带来不便，而且极易受噪声污染(图7-c、d)；色彩恢复的多尺度Retinex法图像边缘清晰、完整、连续，背景噪声小，但同灰度法一致，细节信息丢失严重(图7-e)。

图7 机械损伤样本(a)的灰度法(b)、色度阈值法(c)、基于卷积的Sobel法(d)、色彩恢复的多尺度Retinex法(e)分割结果Fig.7 Segmentation results of mechanical damage sample (a) by gray scale method (b), hue threshold method (c), Sobel based convolution method (d) and multi-scale retinex with color restoration(e)

对4种分割方法二值化图像质量指标进行分析，结果如表2所示。处理前后图像失真从小到大依次为基于卷积的Sobel法、色彩恢复的多尺度Retinex法、色度阈值法、灰度法，其中基于卷积的Sobel法的均方误差和峰值信噪比分别为1.831 5和45.545 5 dB；二值化后图像所携带的细节信息是用以判别是否有机械损伤的重要依据，信息量越大越好，基于卷积的Sobel法的图像熵和平均梯度最大，其值分别为2.838 7 bit/pixel、 7.358 4；4种分割方法的运行时间较为接近，其值为0.743 9～1.325 7。基于卷积的Sobel法在分割玉米籽粒时优于其他3种方法。

表2 图像分割质量评价参数Table 2 Image segmentation quality evaluation parameters

2.2 玉米籽粒图像特征统计与分析

2.2.1 形态特征 对玉米籽粒形态特征进行自动提取，结果如表3所示。构建集中正常样本的面积、周长、最大费特雷直径、最短费特雷直径均值分别为109.04 mm2、37.46 mm、8.83 mm、5.99 mm，机械损伤样本均值分别为87.85 mm2、31.07 mm、6.73 mm、3.45 mm，其值均低于正常样本，但机械损伤的玉米籽粒形态特征分布范围比正常籽粒广，说明产生机械损伤后玉米籽粒形态结构差异较大，形态参数均有减小趋势，可作为图像损伤判别的重要因子；利用置信区间法[25]获取构建集正常与机械损伤样本的最优阈值，其中置信水平为95%，可得正常样本的面积、周长、最大费特雷直径、最短费特雷直径最优阈值分别为[107.15,110.92]、[36.90,38.02]、[8.63,9.03]、[5.81,6.18]，而机械损伤样本其值分别为[85.50,91.46]、[32.07,34.25]、[5.75,6.87]、[3.15,4.23]。

表3 玉米籽粒形态特征统计分析Table 3 Statistical analysis of grain morphological characteristics of maize

图8 正常与机械损伤玉米籽粒二值化图像熵(a)和平均梯度(b)对比Fig.8 Comparison of binarization image entropy (a) and mean gradient (b) between normal and mechanical damage corn kernels

为确定各形态指标对判别玉米籽粒完整性的贡献程度，本研究利用相关系数法确定权重值[26-27]。具体步骤：首先采用SPSS软件获得不同形态指标间的相关系数(表4)，其次对某指标与其他指标之间相关系数绝对值求平均值，单项指标相关系数平均值占所有指标相关系数平均值总和的比例，即为单项指标在综合指标中的权重，所有指标权重之和等于1。表4中所有形态指标之间均呈正相关，除最大费特雷直径与最短费特雷直径外，其余指标间相关性均达到了显著或极显著水平。各形态指标的权重系数如表5所示，对判别玉米籽粒是否产生机械损伤贡献程度由大到小依次为面积、周长、最短费特雷直径、最大费特雷直径，其权重系数分别为0.299 5、0.283 2、0.241 7、0.175 5。

表4 玉米籽粒形态特征相关系数矩阵Table 4 Correlation coefficient matrix of maize grain morphological characteristics

2.2.2 二值化图像质量特征 由上述二值化图像质量分析结果可知，基于卷积的Sobel法得到的图像信息量大、噪音小，因此利用该方法对构建集正常和机械损伤样本进行图像分割。选取反映图像信息量和纹理特征的熵和平均梯度作为评价指标，进行正常与机械损伤样本群之间的对比，结果如图8所示。正常样本的图像熵主要分布在1.5～3.9 bit/pixel，平均梯度主要分布在5.8～8.7，平均梯度相比熵的分布较为集中，说明正常样本之间图像的纹理差异较小；而机械损伤样本主要分布在两端，熵分布范围为0.4～1.9 bit/pixel和2.5～6.9 bit/pixel，平均梯度分布范围为3.3～6.2和7.8～13.8，主要是受籽粒完整性或裂纹形态影响。整体上正常和机械损伤样本图像熵和平均梯度最优阈值有所不同，但由于损伤类型的多样性，部分存在重叠，因此为实现准确识别，还需结合籽粒的形态特征进行筛选。

表5 各形态特征指标的相关系数平均值和权重系数Table 5 Average value of the correlation coefficient and the weight coefficient of each soil property

2.3 玉米籽粒机械损伤识别模型构建

2.3.1 判别分析模型 判别分析是根据研究对象一系列特征值判别其类型归属问题的一种统计方法[28]。本研究利用SPSS软件中的判别分析模块建立玉米籽粒机械损伤识别模型，其中自变量为上述提取到的面积(S)、周长(C)、最大费雷特直径(D1)、最短费特蕾直径(D2)、熵(IE)、平均梯度(AM)，得到多元线性判别模型式(10)，Y为判别系数，当Y大于0时，为正常籽粒，反之则为机械损伤籽粒。通过Wilks’Lambda检验(表6)，得到该模型P<0.000 1，相关性为0.805，说明模型拟合程度高，性能稳定，能够较好地根据图像提取特征进行玉米籽粒机械损伤识别。

Y=0.086×S+0.254×IE-0.107×AM+

0.075×C+0.330×D1+0.172×D2-12.354

(10)

表6 Wilks的Lambda检验结果Table 6 Wilks’ Lambda test results

2.3.2 逐步剔除模型 逐步剔除模型的原理为首先设置筛选参数及阈值，利用逻辑判断函数对研究对象进行逐步参数检验，最后通过返回值判别是否产生机械损伤或分类。参数的选择及先后次序尤为重要，筛选参数应为形态结构和纹理特征的重要构成因子。根据玉米籽粒的机械损伤类型和图像提取特征分析，本研究筛选参数及次序为面积、最短费特雷直径、最大费特雷直径、平均梯度，其阈值分别为[91.46,∞)、[4.23,∞)、[5.75,∞)、[5.8,8.7]。如果某一参数特征值在阈值范围内，则进行下一参数的筛选，否则直接定义为机械损伤籽粒，依次循环，直至得到返回值。将正常与机械损伤样本返回值分别编码为1和-1，逐步剔除模型的逻辑关系如图9所示。

图9 逐步剔除逻辑关系Fig.9 Stepwise elimination logical relationships

2.3.3 模型验证 对构建集和验证集的样本利用判别分析模型和逐步剔除模型进行检测，试验结果如表7所示。

由表7可知，判别分析和逐步剔除的平均准确率分别为93.00%和85.67%，平均误判数分别为6.5粒和13.5粒，表明判别分析模型优于逐步剔除模型，这可能是由于籽粒结构差异较大，逐步剔除分析时受阈值限制，个别极限特征籽粒会被直接归为机械损伤，而判别分析是综合所有因子共同作用的结果，但整体识别率均高于85%。2种模型在构建集和验证集的准确率较为接近，其差值分别为2.00%和3.33%，说明所建的识别模型稳定、有效，可用于玉米籽粒自动损伤判别。

表7 2种玉米籽粒机械损伤识别模型试验结果Table 7 Experimental results of mechanical damage identification model for two kinds of maize grains

3 讨论

图像分割是目标提取和分析的关键步骤，由于应用场景、对象等差异，分割方法选择尤为重要。研究表明，阈值分割法具有计算简单、运算效率高等优点，但极易受图像噪声影响，边缘检测分割法在噪声抑制和边缘检测之间取得了很好的平衡，但适用于有明显边缘的图像[15,29]。本试验通过灰度法、色度阈值法、色彩恢复的多尺度Retinex法、基于卷积的Sobel法对玉米籽粒进行区域分割，并以二值化图像熵、均方误差、峰值信噪比、平均梯度为评价指标，能更好地量化图像分割质量。本研究结果表明，色彩恢复的多尺度Retinex法得到的二值化图像轮廓清晰、连续、完整，与陈进等[15]的研究结论一致，说明该方法能够有效校正光照不均匀，在提取对象外形轮廓中效果较好；而基于卷积的Sobel法具有噪声低、纹理清晰、信息量大等优点，其玉米籽粒的二值化图像熵和平均梯度值是其他3种方法的两倍以上，因此，更适用于分析图像细节。

确定二值化图像特征阈值是分类的主要步骤，通过差异性统计，选取有明显区别的特征指标进行判别[19,24]。本研究以95%置信区间法和相关系数法得到了单形态指标正常与机械损伤样本的最优阈值和各形态指标对判别是否产生机械损伤的贡献程度，这对建立损伤判别模型至关重要。目前也有文献报道[12，20]采用流形学习算法、神经网络等对农产品损伤进行快速检测，主要采用主成分分析法对图像数据进行降维处理，寻求数据的内在规律，但计算复杂度高，需要大量样本数量才能构建稳健的映射关系，阻碍了其在实际农产品分类中的应用。袁瑞瑞等[30]利用最小二乘判别分析法建立的损伤长枣识别模型准确率为96.67%，本研究根据二值化图像特征构建的判别数学模型平均准确率在90%左右，说明该方法能有效提供分类，玉米损伤识别准确率较低，原因可能是样本数量较少，图像特征值不够丰富，下一步将针对图像获取环境和判据参数的优化开展研究，并开发分类执行机构，提高实际生产意义。

4 结论

本研究采用多种图像分割技术对玉米籽粒进行区域分割和二值化处理，发现基于卷积的Sobel法在分析表面细节时优势明显，而色彩恢复的多尺度Retinex法能够提取完整、清晰的轮廓信息，更适用于杂质判别或定位标记；基于权重系数得到了形态指标对判别玉米籽粒损伤的影响次序，但指标间存在一定关联性，因此，不能仅依靠单一指标进行判别；建立的多元线性玉米籽粒损伤判别模型准确率为93%，该方法满足玉米考种或种子品质检测要求，能够避免人工目测产生的检测疲劳、主观因素多、费时等问题。但由于品种间形态的差异，该模型不具有通用性，下一步将针对判别模型的参数优化开展研究。