基于高光谱图像的小麦种子纯度/含水量检测系统

朱潘雨，方雯昕，黄 敏，赵 鑫，陈艳萍

(1.江南大学 轻工过程先进控制教育部重点实验室，江苏 无锡 214122；2.江苏省农业科学院粮食作物研究所，南京 210014)

0 引言

种子是一切农业生产的基础。小麦种子的纯度和含水量是反映小麦种子质量的两个重要指标。随着杂交技术的广泛使用，各种新品种的小麦种子不断涌现，为改善作物产量和品质，提高农业经济效益提供了条件。但是育种过程中的去雄不彻底，育种区域内其它品种的污染，都会导致小麦种子纯度的降低，并最终影响到作物的产量和品质[1]。小麦种子的含水量对小麦种子的寿命有着重要的影响。当小麦种子含水量过高时，会使小麦种子呼吸作用过于旺盛，并使微生物大量繁殖，从而使贮藏小麦种子的寿命大大缩短；而当小麦种子含水量过低时，则会使小麦种子失水死亡[2]。因此，小麦种子的纯度、水分是我国《农作物种子检验规程》规定的小麦种子检验的必检项目。

传统的小麦种子纯度检测主要包括形态鉴定、田间种植、生化方法和分子标记技术；而含水量检测主要采用烘干减重法、甲苯蒸馏法和卡尔费休法等。上述方法存在实时性差、难以满足小麦种子企业在收储环节对小麦种子逐批次检测的需要。近年来，具有快速、无损检测优点的高光谱图像技术被引入到小麦种子的纯度和含水量检测领域，涌现了大量的研究报道[3-8]。然而，现有的研究都是基于实验室条件，当面向收储环节的现场应用时，需要解决下列问题：1)利用高光谱图像进行小麦种子纯度和水分检测时，涉及到系统校准、图像采集和后续的数据分析处理等多个环节；但现有的设备集成度差，需要操作人员具备较高的技能，导致现场应用困难；2)小麦种子品种的多样性、种植环境的时空分布变化会导致数据分析模块的性能退化，需要及时更新维护数据分析模块。

为了满足小麦种子纯度和含水量检测的现场应用需求，本文基于高光谱图像技术，开发了小麦种子纯度/含水量自动检测系统。检测系统集成了系统校准、高光谱图像采集、数据分析，模型更新、报告输出等功能模块，具有功能完善、操作简便、可扩展性强等优点。所设计的小麦种子纯度(准确率>90%，精确率>90%，召回率>90%)和含水量(决定系数>0.9，均方根误差<1.0%)检测系统为促进高光谱图像技术在小麦种子质量检测领域的现场应用提供了可能。

1 高光谱成像技术

高光谱成像技术通过高光谱相机获取被测物体在不同波段下的空间图像(称为高光谱图像)，并借助于化学计量学方法构建高光谱图像与被测物体感兴趣指标(成分、种类等)的函数关系，从而实现感兴趣指标的无损快速测量[9-12]。图1给出了由高光谱相机获取的高光谱图像数据结构。其中，x和y代表空间信息，z代表光谱(波段)信息。为了获得完整、清晰的被测物体的空间信息，高光谱成像系统需要涉及到光源功率、高光谱相机焦距、平台运动、图像采集等多个环节的协调控制；同时为了获得高精度的检测模型，需要开发和维护后续的数据分析模块。本文对上述关键环节进行集成优化，以实现小麦种子纯度/含水量的高精度检测。

图1 高光谱数据结构

2 系统硬件设计

2.1 硬件整体设计

如图2所示，基于高光谱图像的小麦种子纯度/含水量检测系统的硬件模块主要由STM32控制模块、温湿度传感器、步进电机(含驱动板)、载物台、数粒板、光源(含控制器)，高光谱相机、Windows操作平台和操作暗箱9部分组成。STM32控制模块以STM32F103RBT6芯片为控制核心，控制步进电机1和2的移动速度和方向，实现成像系统的焦距调整和多粒小麦种子图像的不失真采集。为了保证采集环境温湿度的稳定和高光谱图像的信噪比，STM32控制模块通过RS232协议控制光源5的功率，并通过RS485协议读取温湿度传感器6采集温湿度信息。除软件操作平台外，整个硬件系统放置在操作暗箱内，以避免环境光的干扰。在采集小麦种子高光谱图像数据时，将载有小麦种子的数粒板放置在载物台上，通过上位机软件完成对电机运动的控制，光源功率的调节和图像的采集。

图2 系统总体结构图

2.2 电机模块

基于高光谱图像的小麦种子纯度/含水量检测系统所使用的步进电机1和2的驱动器工作电压为24 V，输入脉冲下降沿有效，控制电机的移动速度以及移动方向，脉冲低电平为0～+0.5 V，高电平为+5～+28 V。以电机1控制为例，由于STM32的IO输入输出高低电平分别为+3.3 V和0 V，欲使其低电平满足0～+0.5 V，高电平满足+5～+28 V，应将STM32的IO口接1 kΩ的上拉电阻和+5 V电平实现漏极开路输出，如图3所示。图3中PC12为STM32引脚获取输入脉冲，HPWM接驱动器控制电机移动速度，电机移动方向控制原理也类似。

图3 漏极开路输出电路原理图

为了防止载物台移动到两端时，电机保持继续转动对电机本身造成损害，本系统采用了工作电压为24 V的NPN型接近开关来检测载物台是否移动到电机两端，该接近开关的电源线接+24 V和地，信号线向STM32发送高低电平。其工作原理为当接近开关前端检测到金属物体时，接近开关触发，灯亮且信号线释放低电平。由于信号线在高电平时为+24 V，需要将其接22 K电阻分压，才能保证STM32接收到的高电平为+3.3 V，当STM32接收到金属感应接近开关的低电平信号时，立即向电机发送停止信号。

2.3 温湿度检测模块电路

CCD成像器件在无光注入情况下产生暗电流信号，暗电流受温度的强烈影响[13-15]。为了减小温度变化对暗电流产生影响，导致前后采集到图像的暗电流不一致，本系统采用高精度的SHT20温湿度传感器用来监测操作箱内温湿度变化，在操作暗箱内温湿度不再发生变化的前提下进行图像采集。该温湿度传感器电源线分别接+12 V和GND，由于开关电源输出电压为24 V，为了减少外部元器件的使用，并且使得系统的集成化程度更高，本系统采用TPS5430DDAR芯片将24 V电源转为12 V电源电路模块集成到开发板上，电路原理如图4所示。图5为TTL转RS485电路原理图，主芯片为SP3485EEN，U6接温湿度传感器信号线，用于与SP3485EEN传输信号，PA2，PA3接STM32芯片对应引脚，用来建立SP3485EEN与STM32通信，STM32接PA4控制接收器和驱动器使能。

图4 24 V转12 V模块电路原理图

图5 TTL转RS485模块电路原理图

2.4 成像模块和光源功率调节

成像模块和光源功率调节模块为图像采集模块的硬件部分。成像模块采用由美国Corning公司生产的microHSI-410高光谱相机以线扫描的方式进行数据采集，其波段范围为400～1 000 nm，空间分辨率最大为1 000×1 265个像素点，其中1 000为线扫描下完整批次的总条数，1 265为每条线扫描下获取的像素点，光谱分辨率在2～8 nm编程可调。在接收上位机的指令后，电机1运动，相机打开并根据相应参数调整曝光时间对实验样品进行拍摄，将每次线扫描采集到的高光谱数据传输至上位机整合成一副完整的高光谱图像。

本系统采用Illumination Technologies公司生产的卤素光源，光源功率0～150 W内连续可调，具有稳定的光照强度输出，误差控制为±0.1%以内。该光源配套的光源控制器具有手动调节，基于RS232协议的编程指令调节和基于RS485协议的编程指令调节3种方式。其中后两种方式通过DB15的双排接口接收STM32传送过来的指令。本系统基于RS232协议，实现光源功率调节，主要由STM32控制RS232模块，进而控制满足需求的光照强度。相应的硬件实现电路原理如图6所示，图中IN1，OUT1分别接DB15的引脚6和引脚7，以建立RS232与单片机通信。光源具有近似稳定的线性输入输出，在实际开发中需要将其转为对应的二进制编码(例如“255”在程序中应为“11111111”)传到TTL转RS232模块即可实现对光源强度的控制，本系统与手动调节类似，采用10个档位进行调节，在上位机发出光源强度指令信号以后，STM32获取到该指令，并通过RS232对光源强度进行调节。

图6 TTL转RS232模块电路原理图

3 软件设计

3.1 整体设计

基于高光谱图像的小麦种子纯度/含水量检测系统的软件部分基于Python编程语言实现，由数据管理模块，系统校正模块，图像采集模块，数据分析模块和模型更新模块组成，软件操作平台框架如图7所示。软件操作平台设计流程如下：1)系统运行以后首先会出现登录界面，获得普通权限可以完成系统校正，图像采集，数据分析操作等功能；在登录界面获取管理员权限才能进入模型更新模块；2)在系统校正模块中，实验人员随机设置初始化曝光时间，光源强度和样品移动速度，在系统校正模块中预拍摄一张图像，获取到最佳的光源强度和样品移动速度参数；3)系统校正模块中获取到的参数自动导入图像采集模块中，实验人员即可进行图像采集；4)在数据分析模块中对采集的图像进行分析，包括含水量和纯度检测两项指标；5)根据实际需要在模型更新模块中可对模型进行训练和更新，数据管理等操作，其流程如图8所示。

图7 软件操作平台设计

图8 软件操作平台设计流程

3.2 系统校正模块

美国Corning公司为本系统使用的microHSI-410高光谱相机提供了一套与python编程语言相适应的API接口，使对相机的初始化设置，拍摄数目，曝光时间等多种操作可以通过编程实现。根据需求，系统校正模块应当实现聚焦调节，光源校正和速度校正3种校正以匹配图像采集所需最佳参数，界面如图9所示。初始化基本参数设置包括光源强度，曝光时间和速度。本模块实现的功能为移动电机2实现焦距的调节，预拍摄一副白板校正图像实现光源校正，预拍摄一副正圆物体的图像实现速度校正。具体软件实现如下：1)将获取的“光源强度”值编码为“utf-8”写入串口并传输至下位机，下位机与RS232通信对光源亮度调节(通信方式见2.3)；2)通过定时器给电机2分配移动速度，使STM32接收到上位机的指令后，即可实现对电机2移动方向和移动速度的控制；3)“光源校正”板块操作开始后，系统自动打开相机并通过相机API接口提供的set_exposure函数对曝光时间进行设置，同时将给出的初始速度进行编码写入串口传输至下位机，电机开始移动。结束拍摄时，相机关闭且调用时间线程停止电机移动，拍摄完成。此时系统自动提取拍摄到的光谱数据并将其最大值的2/3作为最终的光源强度。利用界面弹出对话框确定用户是否保存系统分析的光源强度数值，如需保存则将此数值写入txt文档中；4)“速度校正”板块拍摄原理与“光源校正”板块类似，不同之处在于本板块需要拍摄的是正圆形的物体，系统后台会自动提取此高光谱图像下的图像信息，根据轮廓检测算法提取到正圆形物体所处的感兴趣区域[16-19]，计算其长短轴之比来匹配合适的物体移动速度，使其满足图像采集过程中不失真的要求，同时界面会弹出对话框，确定用户是否保存系统分析的速度数值，如需保存则将此数值写入txt文档中。

图9 系统校正设计

3.3 图像采集模块

在进入本系统图像采集模块的同时，系统会自动导入用户在系统校正模块中保存的光源强度，曝光时间和速度，实验人员也可以根据实际需要自行设置，完成上述设置即可进行图像采集操作。本系统进行小麦种子含水量测定和品种纯度鉴定除需要采集正常的样品图像外，还包含采集高光谱反射实验所需的黑板校正图像和白板校正图像以消除暗电流影响[20-23]，校正公式：

(1)

R，D，I0，I分别为全白板图像、全黑板图像、采样图像和校正后的图像。由于采集1 000条样品即可完成一个批次数据的拍摄，所以设计样品采集图像在每个波段下的空间分辨率为1 000×1 265个像素点。相应地，对于黑白板校正图像的设计均为采集10条样本数据，即共10×1 265个像素点，对其求平均再将其维度扩展为1 000×1 265，利用以上处理数据对图像进行校正。图10显示了拍摄全黑板图像，全白板图像以及样品图像相应的界面。为了提高效率，减少内存占用，本模块采用边采集图像边保存的方式。即在采集图像的同时，借助gdal包将拍摄到的数据逐条写入hdr文件中，并默认保存到当前目录的“HDRData”目录下。用户也可以根据采集图像前弹出的对话框自定义文件保存路径。为了将拍摄到的图像直观地展示出来，系统选取波长分别为635 nm，525 nm，460 nm下对应图像组合成的伪RGB图像[24-26]，通过matplotlib和pyqt5展示，如图10所示。同时为了方便实验人员对图像波形有基本的了解以及便于后续的操作，系统将光谱数据通过界面展示出来，即用户可以点击图像内的任意位置，显示其波形图，图10左下角所示。

图10 样品采集模块

3.4 数据分析模块

偏最小二乘算法(PLS，partial least squares)的基本思想是最小化误差的平方和找到一组数据的最佳函数匹配。首先对高光谱数据矩阵X和含水量矩阵Y进行主成分分析：

X=TP+E

Y=UQ+F

(2)

主成分个数由权重项w决定，分解得到各自对应的得分矩阵T、U和载荷矩阵P、Q，残差项分别为E、F。通过主成分分析T=XP，可以将高光谱数据矩阵和含水量矩阵分别降至相应的低纬度空间，并保留原矩阵中的大部分有效信息。再对建立各自得分矩阵之间的线性回归方程：

U=TB

(3)

B为回归系数矩阵：

B=TU(TTT)-1

(4)

最后X相对与Y的线性回归可转变为X得分矩阵相对于Y的线性回归[27]：

Y=TBQ

(5)

PLS-DA是最常用的一种线性判别算法。PLS-DA的基本思想是通过PLS分类技术在特征提取过程中获取样本的分类信息，然后建立自变量和分类变量之间的回归模型，进而有效地提取出与分类有关的特征变量，实现数据的分类识别。主要步骤如下：首先对光谱矩阵X和类别向量Y进行正交分解，得到光谱矩阵和类别向量Y的得分矩阵T和U，见式(7)和式(8)。然后对得分矩阵T和U进行线性回归，求得回归系数B，如式(9)和式(10)所示。最后通过式(11)求得未知样品光谱矩阵Xtest的预测类别Ytest。其中P和Q分别为光谱矩阵X和类别向量Y的载荷矩阵；E和F分别为光谱矩阵X和类别向量Y的PLS拟合残差矩阵[28]。

X=TP+E

(7)

Y=UQ+F

(8)

U=TB

(9)

B=(TTT)-1(TTU)

(10)

Ytest=XtestBQ

(11)

本研究数据处理流程如下：1)设定好光源强度，移动速度，对实验样品进行高光谱图像采集；2)将采集到的高光谱图像进行黑白板校正和阈值分割，其中黑白板校正公式为公式(1)，由于高光谱图像在第180波段(757 nm)处最为清晰，所以选择在此波段下进行阈值分割，获取感兴趣区域，所拍摄的高光谱的伪RGB图像与阈值分割后的图像如图11(a)，11(b)所示；3)提取阈值分割后感兴趣区域(即小麦种子所在区域)对应的高光谱数据，在小麦种子纯度检测中，以每粒小麦种子在300个波段下的平均光谱作为输入量，小麦的品种作为输出量，利用PLS-DA建模；在小麦种子含水量检测中，以每批小麦种子在300个波段下的平均光谱作为输入量，小麦的品种作为输出量，利用PLS建模。

图11 所拍摄高光谱图像和阈值分割后图像

上述对小麦种子含水量的PLS算法模型和纯度检测的PLS-DA算法模型已经嵌入到本系统的数据分析模块当中，数据分析模块界面如图12所示。用户可根据图像采集模块中背景和实验样品的波形，选择合适的数值对阈值进行设置，即图12中阈值设置1。对拍摄的图像进行预处理调用了opencv的结构体元素，该结构体的核函数大小由用户通过下拉框对阈值2进行设置，目的是按照需求对感兴趣区域进行腐蚀膨胀，获取到相对标准样品的形状。图中“模型选择”中通过系统后台遍历本地路径下已经训练好的品种纯度检测的模型。本模块连接打印功能，将模块分析的结果生成检测报告，检测报告主要包括品种纯度鉴定图像，含水量，检验日期和从数据库获取到当前的检验人员用户名等。

图12 数据分析模块

3.5 模型更新模块

光谱信息易受环境、时间的影响，当待测样本的产地或者年份发生改变时光谱信息也随之改变，导致建立的模型的稳定性变差、泛化能力减弱[29]。为了提高系统的泛化能力以及确保小麦种子含水量和纯度的检测精度。本系统模型更新模块采用重新练进行模型更新。具体实现为：1)在人机交互界面提供相应接口，将实验人员选择的信息(模型，数据，文件等)记录在相应的txt文档里面；2)模型更新或生成期间根据txt内容进行读取并运行，生成相应的模型；3)由用户选择是否对生成的新模型进行保存。具体操作为用户在如图13所示的界面中选择需要更新的模型，导入需要更新的数据，选择需要运行的程序系统后端会自动运行程序并自动生成对应模型。

3.6 数据管理模块

在进入系统界面之前，普通实验人员通过获得相应权限之后可以对前述3个模块进行操作(系统调节，图像采集和数据分析模块)。为了防止普通实验人员的误操作，在进入模型更新模块之前需要点击“管理员”获得更高级别的权限才能进入。同时为了方便数据的管理以及提高数据的安全性，本模块添加了mysql数据库功能。将mysql数据库应用到本系统当中，可以实现对对实验人员和管理人员的管理，以及对模型、实验数据和检测报告等重要资源的添加、删除、上传、下载等操作。数据管理模块如图13所示。

图13 模型更新和数据管理模块

4 实验与结论

4.1 含水量检测

本实验共使用50批小麦，每批20粒，共1 000粒小麦种子。将小麦种子根据含水量不同划分为5个梯度等级，每个梯度10个批次。第一个梯度每批20粒小麦含水量为0 mg(0 mg/20粒)，第二个梯度为720 mg/20粒，第三个梯度为1 440 mg/20粒，第四个梯度为2 160 mg/20粒，第五个梯度为2 880 mg/20粒。实验采用烘干减重法，烘干前将每个批次小麦拍摄高光谱图像并称重，记录下此时重量M2，然后将其放入130℃恒温烘干箱中烘干1小时，烘干后称重并记录下此时重量M1。含水量测定公式如下：

(12)

式中，M2为烘干前的质量，M1为烘干后的质量，R为含水量。

本实验目前涉及到的含水量检测模型是围绕偏最小二乘回归算法展开的。实验将每批20粒小麦种子样品在对应的高光谱图像经过黑白板校正与阈值分割后，以300个波段下的平均光谱作为输入量，含水量作为输出量。采用PLS训练上述40批小麦种子样本干燥前的平均光谱和含水量，对上述剩余10批小麦种子样品进行预测，选择决定系数(R2)，均方根误差(RMSE)作为评价指标。PLS相关指标分别为决定系数0.943，均方根误差0.81%，满足系统含水量实际检测需求，10批小麦种子的真实值和预测值如表1所示。

表1 11批小麦种子含水量的真实值和预测值

4.2 纯度检测

本实验选取伟隆169，百农4199，济麦44，周麦33四个品种的小麦种子样品各1280粒。实验目的是进行纯度鉴别，即在混有上述4类小麦种子样品中，鉴别出满足需求的种子类别的小麦种子样品(以下称为正样本)，将其余3个种类的小麦种子样品视为杂质样本(以下称为负样本)。

本实验对小麦种子的纯度鉴别是基于PLS-DA模型的基础之上实现的。实验对每个品种各拍摄了10批样本，每批小麦种子数量为128粒，对每批小麦种子样品对应的高光谱图像经过黑白板校正与阈值分割后，以每粒小麦种子在300个波段下的平均光谱作为输入量，小麦的品种作为输出量。实验选取了8批伟隆169共1 024粒作为正样本，百农4 199，济麦44，周麦33各80粒作为负样本，训练偏最小二乘判别分析模型，对剩余2批共1024粒小麦种子的正负混合样本进行预测。

类似地，在上述实验样本的基础上，以1 024粒济麦44作为正样本，伟隆169，百农4 199，周麦33各80粒作为负样本用偏最小二乘回归算法模型对剩余2批共1 024粒小麦种子的正负混合样本进行预测进行预测，选取准确率，精确率和召回率作为评价指标。结果如表2所示，其中正样本为伟隆169和济麦44的准确率分别为96.5%和98.8%，精确率分别为93.0%和96.1%，召回率分别为93.0%和99.5%，满足系统小麦纯度检测的需求。

表2 鉴别不同品种正样本预测结果

5 结束语

基于高光谱图像的小麦种子纯度/含水量检测系统弥补了人工检测方式效率低下，当前高光谱设备采集的集成度低，实时性差等不足，在硬件方面以STM32F103RBT6为核心实现对电机，光源强度，温湿度信息读取等控制，软件方面以Python编程语言为基础集数据管理、系统校正、图像采集、数据分析、模型更新于一体实现对小麦种子纯度/含水量检测。以偏最小二乘算法和偏最小二乘判别算法对该系统进行验证并取得了良好的效果，证明了该系统可行性。

目前本系统对于模型的更新，需要一定数量的数据进行训练，这也是当前系统存在的不足，未来应当实现用少量样本集成相关算法实现对模型的更新。