一维卷积神经网络的手持式可见/近红外柑橘可溶性固形物含量无损检测系统

蔡健荣, 黄楚钧, 马立鑫, 翟利祥, 郭志明, 3*

1. 江苏大学食品与生物工程学院, 江苏 镇江 212013

2. 江苏省智能农业与农产品加工国际合作联合实验室, 江苏 镇江 212013

3. 现代农业装备与技术教育部重点实验室(江苏大学), 江苏 镇江 212013

引 言

柑橘是我国消费量最高的水果品种之一, 因其水分含量高、 营养丰富且风味独特而日益受到消费者的青睐。 随着人们生活水平的不断改善, 消费者由柑橘的大小、 颜色等外部品质, 转向更加关注柑橘以可溶性固形物含量(soluble solids content, SSC)为主的内在品质。 因此柑橘产业需要内部品质快速无损检测技术进行分级和评价, 提高柑橘品质一致性与商品化处理水平。

近年来, 无损检测技术由于其低能耗、 实时、 快速等特点被广泛使用, 主要包括光谱、 电子鼻、 机器视觉、 超声传感、 核磁共振等技术[1]。 其中近红外光谱技术由于能够从特定波段反映出待测物内不同的化学组分, 被广泛用于水果内部品质的检测。 目前已开发了便携式水果内部品质无损检测设备[2]。 这些便携式设备主要以微型光谱仪为核心, 辅助嵌入式系统、 光源、 电源、 散热器等, 已用于检测苹果[3]、 大桃[4]、 猕猴桃[5]、 番茄[6]等水果的多种品质指标。 但是光源多为卤钨灯, 能耗高且易导致水果热损伤, 影响检测精度; 光谱仪的探测器响应范围宽, 导致采集的光谱包含大量冗余信息, 影响计算速度和成本; 部分设备需与计算机连接采集光谱, 携带不便; 每台仪器独自建模, 人工操作复杂, 这些因素已成为水果内部品质无损检测未能实用化的技术瓶颈[7]。

本研究设计基于宽谱LED光源及云技术的便携式柑橘内部品质检测系统, 其中采用宽谱LED光源和特征响应窄带光电探测器, 满足便携、 操作简便、 低成本、 低功耗等需求; 结合基于物联网的云端数据系统, 便于模型优化更新。 同时, 设计了一种新的一维卷积神经网络, 用于分析柑橘的可溶性固形物含量。 该算法相比于传统偏最小二乘法等多元校正算法, 克服了运算速度慢, 预测不准确的缺点。 进一步研究迁移学习方法在装置之间的模型传递以提升其拓展性。 为提高我国柑橘的经济附加值, 提高农民的经济效益提供帮助。

1 实验部分

1.1 硬件系统设计

柑橘可溶性固形物含量手持式无损检测系统由手持式柑橘可溶性固形物含量无损检测仪与柑橘光谱仪云端数据系统两部分构成。 手持式无损检测仪获取的柑橘光谱数据, 通过4G/5G模块上传到云端服务器, 光谱数据可在云端数据平台查看和下载。 此外, 模型可上载至云服务器, 便于模型更新, 检测系统将光谱数据上传后调用云模型进行计算, 检测结果返回至液晶显示屏, 整体所用时间<2 s。

手持式水果内部品质无损检测仪的装置结构图如图1所示, 其硬件系统主要由宽谱LED光源、 微型光谱仪、 单片机及其相关电路、 可充电锂电池、 黑色软垫圈、 液晶显示屏、 通讯模块等部分组成。 无损检测仪尺寸为50 mm×120 mm×30 mm, 可以单手完成操作。

图1 手持式柑橘可溶性固形物含量无损检测仪示意图

在近红外光谱技术无损检测水果可溶性固形物含量的过程中, 通常需要检测器在700～900 nm波段具有较高的灵敏度, 这是由于与可溶性固形物相关的含氢基团在该波段有响应。 一般的无损检测装置通常选用卤素灯光源, 但卤素灯成本高, 功率大, 产热多。 本研究定制化开发波长范围在600～1 000 nm均具有高照度的LED光源, 比较适合柑橘可溶性固形物含量无损检测。 为提高柑橘光谱漫反射式区域性信号采集的代表性, 光源模块设计过程选用14个呈圆周对称排布的定制宽谱LED频闪光源, 该光源主要增强了LED光源在750～900 nm波段范围的能量, 且每个灯珠的功率仅为3 mW。 相较于卤素灯, 具有功耗低、 使用寿命长、 体积小的优点。

随着微机电加工技术的发展, 微型可见/近红外光谱仪的开发广受关注, 因此近年来国内外研究人员开发的基于可见/近红外光谱技术的便携式检测设备, 大多使用微型光谱仪作为硬件系统的核心。 本系统光谱采集模块选用C14384MA-01超紧凑型可见近红外光电传感器(日本, 滨松), 其体积为11.5 mm×4.0 mm×3.1 mm, 质量为0.3 g, 光学分辨率为1 000 nm, 波长响应范围为640～1 050 nm, 成本低的同时具有结构紧凑、 精密度高、 重量轻的特点。 用漫反射的方式采集柑橘光谱, 检测时柑橘样本置于探头上, 使其赤道部位紧贴中心位置的接收探测器, LED光源发出的光经与水果作用后, 光谱信号被光电探测器获取, 并进行相应的模组转换。

手持式水果内部品质无损检测系统的示意图如图2所示。 RISC微处理器选用ARM(Advanced RISC Machine)处理器, 主要功能模块由可编程逻辑门阵列(field programmable gate Array, FPGA)负责实现。 柑橘光谱信号被分光传感器接受后, 经16位ADC模数转换芯片转换成数字模拟信号。 之后光谱数据通过4G/5G模块传到水果光谱仪云端数据系统中, 调用云端模型进行SSC预测, 预测结果将传回手持式仪器, 并在液晶显示屏上显示。 此外ARM上还添加了温度传感器接口, 可以得到光谱采集时段的温度数据, 后续可进行温度补偿以提高检测精度。

图2 手持式柑橘可溶性固形物含量可见/近红外无损检测系统示意图

1.2 水果光谱仪云端数据系统设计

水果光谱仪云端数据系统是一个基于物联网技术的数据库系统, 可以通过4G/5G模块与手持式无损检测终端进行交互。 其主要功能模块如图3所示, 主要包括用户库、 设备库、 检测数据库和模型库。 用户库包括普通用户和管理员, 普通用户可以管理用户信息与查询信息, 管理员有维护数据及管理其他用户的权限。 设备库可以查询每台设备的硬件信息, 还可以修改曝光时间以及脉宽调制值等光谱采集参数。 成功采集光谱后, 检测数据库支持下载光谱数据, 同时还会显示检测时段温度等相关信息。 此外, 模型库还可以调用云模型直接计算得到柑橘可溶性固形物含量, 具有较高的实用性。

图3 水果光谱仪云端数据系统功能模块

1.3 材料及柑橘光谱采集

在镇江当地水果市场采购外观均匀、 无损伤病害的澳洲柑橘180个, 先在室温20 ℃的实验室内放置12 h备用, 以消除温度对模型的影响。 采用手持式无损检测仪采集光谱, PWM(pulse width modulation)值设置为60, 积分时间设置为80 ms, 设备参数均在云端数据系统进行调整。 获取柑橘光谱前先使用标准聚四氟乙烯白板采集参考光谱3次以避免错误。 柑橘光谱均在赤道位置采集, 柑橘样品每旋转120°采集一次光谱并标记位置, 三次采集的平均光谱为最终样品光谱, 同时采集实时暗光谱数据。 得到的光谱数据通过lg(1/T)公式转化为相对吸光度, 其中T为柑橘样本的反射率。

1.4 柑橘可溶性固形物含量测定

为确保柑橘SSC检测的准确性, 柑橘SSC通过传统破坏性测试获得。 每个样本将标记处的果肉挤压获得果汁, 用温度校正数字折射仪(ATAGO RX-5000a. Japan)测量可溶性固形物含量, 之后进行读数并记录。 在剔除异常数据后, 剩余样本数量为159。 随机选择其中30组光谱数据用于迁移学习的比较验证, 其余柑橘样本用Kennard-Stone法按照3∶2的比例随机划分为校正集与预测集[8], 柑橘样本可溶性固形物含量实测值如表1所示, 可以发现校正集的可溶性固形物含量范围要大于预测集, 这有助于提高模型的稳健性。

表1 柑橘可溶性固形物含量测定统计结果

1.5 光谱数据处理

1.5.1 一维卷积神经网络模型

卷积神经网络(convolutional neural network, CNN)是深度神经网络的一个子集, 被广泛应用于计算机视觉等领域[9]。 由于近红外光谱可以反映含氢基团振动的倍频和合频吸收, 反应物质化学成分以及含量的相关信息, 因此可以将连续的近红外光谱曲线看作一维方向上相关联的像素点, 该性质使卷积神经网络应用于近红外光谱分析具有可行性。 相比于二维卷积神经网络, 一维卷积神经网络(one dimensional-convolutional neural networks, 1D-CNN)结构更简洁、 对硬件需求更低, 适合手持式水果内部品质无损检测。

提出了一种新的基于可见/近红外光谱的1D-CNN模型, 用于对柑橘可溶性固形物含量的预测。 它由1个输入层、 2个卷积层、 2个池化层、 1个全连接层和1个输出层组成。 基于可见光谱的一维CNN操作示意图如图4所示, 一维CNN的结构描述如下:

图4 一维卷积神经网络结构

输入层: 输入层用于接收一维可见/近红外光谱数据, 用于后续的处理。 其中光谱矩阵的宽度、 高度、 通道数均设为1。

卷积层: 卷积层通常用于提取输入数据的特征, 由一维卷积核组成。 卷积是通过在整个频谱上滑动一个核(W=[w1,w2,w3, …wN]T), 用一定的步骤, 即“stride”, 来产生一个新的表现形式来代表光谱曲线, 也称为输出特征图, 其中wi表示一个权重。 每个卷积层可以识别简单的光谱特征, 复杂特征的提取可以通过卷积层的叠加来实现[10]。

激活函数: 卷积层提取特征后, 将输出特征映射传递给激活函数, 实现网络层的非线性变换。 在卷积层中, 常用的激活函数为线性整流函数(ReLU), 其定义为:

ReLU=max(0,WTx+b)

(1)

式(1)中,W为核的权值,x为输入的可见/近红外光谱,b为偏差。 Leaky ReLU函数属于对ReLU函数改良后的函数。 相比ReLU函数, LeakyReLU在x≤0时x中有一个小小的系数, 可以避免出现很多输出为0导致无法继续学习的神经元[11]。

池化层: 池化层通常被设置在卷积层之后, 池化层负责将光谱数据划分多个区域, 并将各区域的代表特征提取出来, 重新排列组合成一组新的光谱数据。 池化层用于降低卷积层卷积结果的参数数量, 同时可以筛选特征变量, 有利于减少模型计算量, 防止过拟合。 池化方式主要包括平均池化、 最大池化。 1D-CNN模型中的池化方式均为最大池化[12]。

全连接层: 全连接层通常位于卷积神经网络结构的末尾, 包含大量与扁平化层所有元素相连接的神经元, 负责对数据进行全局特征分析, 经运算处理后输出结果。

输出层: 在输出层中, 输出类型决定了将用哪种类型的激活函数, 输出层的节点等于目标变量的个数[13]。 为了预测柑橘的可溶性固形物含量, 将节点数设为1。 在全连接层后直接用RegressionLayer进行回归分析, 得到预测的可溶性固形物含量值。

1.5.2 模型训练

1D-CNN网络模型的训练将采用自适应矩估计(Adam)算法。 该方法为随机梯度下降的一种变体, 且提前迭代终止可以预防过拟合。 模型训练的相关参数, 学习率Ir=0.001, 最大迭代次数MaxEpochs=30, 训练集被分成多个批次, 最小批处理样本数BatchSize=10。

1.5.3 模型评价方法

为评估1D-CNN模型的可溶性固形物含量预测效果, 使用偏最小二乘回归(partial least squared regression, PLS)、 人工神经网络(artificial neural network, ANN)、 支持向量机(support vector machines, SVM)三种传统回归方法分别建立柑橘可溶性固形物含量预测模型, 与1D-CNN进行对比。 ANN一般包含输入层、 隐藏层和输出层。 ANN的学习过程就是根据训练数据来调整神经元之间的连接权重以及每个功能神经元的阈值。 SVM通过寻找最优的线性分类超平面以实现定量或定性判别。 所有模型均使用与1D-CNN模型相同的数据集进行模型训练与预测。 此外, 在一维卷积神经网络模型中, 由于卷积层、 池化层具有提取近红外光谱特征波长, 消除无信息变量的作用。 因此相比于其他回归模型, 无需对原始光谱进行复杂的预处理过程。

建立模型时, 以近红外光谱数据作为模型的输入数据, 以柑橘的可溶性固形物含量作为参考数据。 选取均方根误差(root mean squares error, RMSE)和Pearson相关系数(R)作为模型评价的两个指标。 在标定过程中, 利用光谱数据和参考数据对模型进行训练。 校正集的RMSE和R(记为RMSEC和Rc)被用来选择超参数的最合适值。 在验证过程中, 将选择的最优模型应用于验证样本。 预测集的RMSE和R(记为RMSEP和Rp)来评估模型预测精度。 一般来说, 一个好的模型应该有较高的Rc和Rp值, 较低的RMSEC和RMSEP值。 所有的计算都是在Windows 11下使用Matlab 2020b软件(Mathworks Inc., USA)。

1.6 基于卷积神经网络的模型传递

在建立1D-CNN可溶性固形物含量预测模型的过程中, 由于不同仪器间的光学响应具有一定的偏差, 获取的近红外光谱会产生差距, 进而导致原模型在其他仪器上使用精度下降, 重新建模需要消耗大量时间、 人力和物力。 因此针对深度学习算法, 提出用迁移学习方法进行模型传递的尝试。

迁移学习是指利用数据、 任务或模型之间的相似性, 把从一个区域学习的信息应用于其他区域的一门技术, 主要研究两个不同数据分布的领域[14]。 采用基于模型的模型迁移, 即在源域(Source Domin)成功建立一维卷积神经网络模型的基础上, 冻结前面的卷积层不变, 仅调整新拼接上的全连接层的参数; 最终利用目标域(Target Domin)上的数据去修正、 调整新的模型。 可以在仅用少量样本的条件下完成多台仪器模型的训练, 大大减少了手持式设备开发过程的工作量。 由于迁移学习相比目标域重新训练模型省去了卷积池化等特征提取的过程, 模型训练的相关系数也得到了相应简化: 学习率Ir=5×10-5, 最大迭代次数MaxEpochs=10, 最小批处理样本数BatchSize=1。 在从机校正集光谱中分别选择5, 10, 15, 20, 25, 30个样本用于迁移学习的比较验证, 同时用主机的1D-CNN模型对从机预测集进行可溶性固形物含量预测作为对比。 模型传递的效果用预测均方根误差RMSEP来评价。

2 结果与讨论

2.1 柑橘光谱数据分析

由于处于两端的光谱波段噪声较大, 不能用于分析, 故截取信噪比较高的541.83～899.40 nm波段, 共计97个波段用于后续的光谱数据处理。 图5为柑橘原始近红外光谱图。 可以发现柑橘光谱在800～900 nm范围内仍有较强响应, 且样本之间的光谱特征变化趋势相似。 全波段有三个较为明显的吸收峰, 其中650 nm附近的吸收峰位于叶绿素吸收区, 750 nm附近的吸收峰与碳水化合物和水的含量相关; 860 nm附近的吸收峰可能与温度和光程的校正相关[15]。 这说明手持式水果无损检测仪可以获取与柑橘可溶性固形物含量相关的光谱信息, 满足柑橘可溶性固形物含量无损检测的要求。

图5 柑橘样本的相对吸光度光谱

2.2 1D-CNN模型分析

对柑橘光谱进行了1D-CNN模型的训练, 训练集网络的均方根误差如图6所示。 横坐标表示训练迭代次数, 总数为210次。 可以看出CNN模型的均方根误差随迭代次数增加快速下降, 经过50次网络训练后训练均方根误差为0.887, 然后下降速度放缓至收敛, 在210次迭代时训练均方根误差最终降低为0.488。 可以看出卷积神经网络模型稳定性与泛化性能较好, 满足柑橘内部品质分析的要求。

图6 1D-CNN网络训练图

经优化模型参数后, 用PLS, ANN, SVM三种传统回归算法与1D-CNN进行比较, 各模型可溶性固形物含量预测效果如表2所示。 但受限于光电传感器较低的分辨率, 相关系数较低。 可以发现, 各模型回归性能的排序为: ANN

表2 不同算法回归效果

究其原因, 主要是由于一维CNN方法考虑了输入数据的空间信息, 该算法利用空间局部相关性, 通过增强相邻层神经元之间的局部连接模式来研究原始NIR光谱中的局部模式, 并通过采用权重共享来降低过拟合的风险。 这些网络的每个卷积层的输出直接与输入频谱的小区域相关[16]。 因此, 一维CNN方法可以在训练后识别输入数据的重要区域, 避免了原始光谱数据中一些微小特征峰的丢失[17]。 研究表明1D-CNN在信号提取, 特征学习及复杂关系建模等方面具有一定的优势。

2.3 迁移学习传递效果

从机选择不同数量的样本建立1D-CNN迁移学习模型, 预测均方根误差RMSEP随校正集样本数的变化如图7所示。 可以发现, 迁移学习样本数量小于10时, 模型传递效果不佳; 随着样本数的增加, RMSEP逐渐减小; 当样本数量为30时, 柑橘可溶性固形物含量模型传递效果最优, 从机预测集RMSEP为0.531。 略低于直接建立校正模型的检测精度, 但减少了工作量, 这对于新型手持式柑橘可溶性固形物含量无损检测系统的开发, 检测设备的批量生产具有重要意义。

图7 使用迁移学习方法时RMSEP随不同柑橘标准样本数量变化

将每台仪器建立的柑橘可溶性固形物预测模型载入云服务器, 可以实现云模型调用、 数据存储与下载、 相关参数与结果显示等功能。 但仪器的老化、 柑橘品种的更新等外部因素依然会对SSC无损检测精度产生影响, 因此需定期进行模型的维护和更新。 利用基于模型的迁移方法, 定期选择少量具有代表性的样本作为新的训练集, 基于原有1D-CNN模型卷积层池化层的参数不变, 可以重新建立柑橘可溶性固形物预测模型。 从而实现云模型的快速更新, 提高云模型的适用性和稳定性。

3 结 论

(1) 基于可见/近红外光谱技术, 以宽谱LED光源与特征响应微型光谱仪为核心配件, 结合处理与显示模块、 电源模块和4G/5G模块, 设计了手持式柑橘可溶性固形物无损检测系统。 其中4G/5G模块与基于物联网技术的水果光谱仪云端数据系统相连接, 使系统可以实现光谱采集参数修改、 数据上传与下载、 云模型调用等功能。 仪器大小为11.5 mm×4.0 mm×3.1 mm, 满足手持式设备的要求。

(2) 提出了一维卷积神经网络的柑橘可溶性固形物含量预测方法, 该网络包含7层网络结构, 采用随机梯度下降为迭代法。 用手持式无损检测系统主机采集159个柑橘样本的光谱并建立1D-CNN回归预测模型。 研究结果表明, 与PLS、 ANN、 SVM等传统回归方法对比, 1D-CNN具有更高的可溶性固形物含量预测精度:Rp=0.812, RMSEP=0.488。

(3) 用迁移学习方法对从机进行模型传递, 探讨了从机训练集样本数对模型传递效果的影响。 训练集样本数为30时, 1D-CNN模型性能最优, 从机预测集RMSEP达到0.531, 减少从机训练时间同时保持了模型精度。

研究表明, 柑橘可溶性固形物含量可见/近红外光谱手持式检测系统结合1D-CNN模型可以实现柑橘可溶性固形物含量的无损、 快速分析, 对可见/近红外手持式无损检测系统开发具有指导性意义。 此外, 基于云服务的近红外光谱分析平台的构建, 对近红外光谱分析网络化、 柑橘产业智能化具有积极的推动作用。