基于深度学习的高光谱腊肉营养安全分级

肖洪兵，郭培源，王 瑜

（1 北京工商大学人工智能学院 北京 100048 2 北京工商大学 食品安全大数据技术北京市重点实验室 北京 100048）

传统腊肉制品因独特的熏制风味而深受消费者喜爱。腊肉虽美味可口，但由于我国腊肉健康营养体系不健全，尤其是原料肉的来源、生产条件和安全控制技术等方面存在问题，因此导致近几年腊肉的品质与安全问题日趋突出。例如，过氧化值和酸价过高，亚硝酸盐残留，挥发性盐基氮（TVBN）含量过高，氧化程度TBA 严重，菌落总数超标，蛋白质和脂肪水解及氧化等品质问题。这些品质指标的低下会导致人体动脉粥样硬化，组织缺氧，甚至中毒、致癌等诸多问题，威胁着消费者的健康[1]。当腊肉因微生物污染而变质或因自身酶分解作用而发酵时，其内在物理结构、成分组成信息以及外在特征信息会发生改变。过氧化值、酸价是目前腊肉国家标准评价腊肉香肠安全的主要理化指标。传统的常规微生物腐败检测方法都具有一定的破坏性，且耗时，难以满足工业需求，目前还没有一种技术可以快速、无损、准确地检出腊肉细菌性腐败导致的品质下降；而采用高光谱成像技术有望攻克这一难题，进而实现肉类中的营养品质检测和健康风险评估[2]。高光谱图像包含丰富的光谱和空间（图像）信息，利用这些信息是获得准确分类结果的前提[3]。高光谱图像分类的难点在于与传统的图像特征提取方法相比，高光谱成像数据具有高维、难获取和空间变异性等特点。随着机器学习的发展，许多方法被应用到高光谱图像数据处理中。支持向量机（SVM）[4]在小样本、非线性和高维特征的数据应用方面取得一定进展。深度学习作为机器学习的一个分支，可实现性能优良的图像特征提取，特别是卷积神经网络（CNN），作为一个成功的视觉任务模型，在人脸识别、目标探测和跟踪等领域取得前所未有的成就，可以通过网络实现图像的深度特征提取[5]。然而，高光谱深度学习在食品领域的研究仅停留在对光谱或图像的研究上，尚未真正实现“光谱与图像集成”。

近几年国内外文献报道了一些新的研究方法。文献[6]通过高光谱技术，分析了生鲜肉中肌内水分含量分布，以及持水性与肉的品质和风味的关系，研究了脂肪及脂肪酸组成直接影响肉的嫩度和多汁性。Barbin 等[7]应用近红外900～1 700 nm区域的高光谱成像系统，获取猪肉表面的光谱信息，经多元散射校正处理后，建立了猪肉颜色参数、pH 值、滴水损失预测模型。Chao 等[8]将高光谱技术应用于猪肉等级划分，结合主成分分析法对特征波长进行建模分析，最后得到的分级准确率达96%。文献[9]利用高光谱900～1 700 nm 波段，根据鸡蛋中n-3 多不饱和脂肪酸含量，对鸡蛋进行分级及含量预测，对两种DHA 含量鸡蛋的判别正确率达100%。Elmasry 等[10]利用高光谱，对禽类产品鸡皮肤肿瘤和胴体表面污染物进行无损检测。

国内外研究表明，虽然一些技术在鲜肉、果蔬等无损检测技术方面取得进展，但是腊肉等的品质检测与风险评估的理论与方法还存在许多问题。本文以腊肉的高光谱成像为研究对象，利用CNN 结合SVM 的算法，优势互补，实现深度提取特征与传统机器学习提取特征的巧妙结合[11-12]，基于腊肉的高光谱图像信息（或空间信息）与光谱信息，开展融合高光谱的图、谱特征信息的腊肉营养健康风险研究。

1 研究方法

本试验采用德国GaiaSorter 高光谱分选仪系统，该系统主要包括高光谱成像仪，CCD 相机、光源、暗箱、计算机等。其技术参数为：光谱扫描范围350～1000 nm，光谱分辨率1.8 nm，采样间隔0.9 nm，测定速度为每个样品小于0.5 min，快速准确，不需要任何化学试剂及特殊的样品准备，可检测生肉及熟肉产品。试验前，将腊肉的每个样品平均分为2 份，1 份用作生化值的测定，另1 份用作高光谱数据的扫描。将分割好的腊肉放置于水平移动平台上，在采集光谱时，需要保持周围环境的稳定性，用钨灯去照射样品。通过水平台的自动移动，完成光谱的采集。

以国家生化检测标准的组分含量特征信息为基准，利用高光谱的图、谱识别技术，研究腊肉的内在结构与外在特征信息，对其进行营养品质检测及健康风险评估。通过提取同一腊肉检测对象不同品质指标呈现的不同光谱分布特征，对所测腊肉的关键营养品质进行预测；并通过高光谱图像不同波段具有的图像特征信息建立优化检验模型，对腊肉的健康风险进行评估；最后以国家生化检测标准含量特征信息值为参考，在人工智能多数据融合的基础上，快速确定被测腊肉的健康风险等级，为消费者提供安全营养的食用腊肉保障。

本文提出的方法主要分两个部分，结构框架如图1所示，分别提取空间（图像）信息和光谱信息。高光谱图像信息利用卷积神经网络（CNN）自动提取空间相关深度特征[13-15]；光谱信息经过预处理和主成分分析法（PCA）得到光谱特征；然后将光谱特征与空间深度特征整合，输入SVM 进行训练预测，得到分类结果。既通过PCA 等提取的特征增强了图像的判别信息，减小了冗余信息；同时，又利用CNN 网络挖掘内部复杂结构特征的长处，加快模型训练的收敛速度，并降低对训练数据的需求，提高了模型性能[16-17]。因而，本分类方法能够充分挖掘出样本特征的泛化能力、可靠性，有效解决小样本问题带来的弊端，并利于正确分类。

图1 系统组成Fig.1 System composition

2 结果与分析

2.1 腊肉的光谱特征

图2是60 个腊肉样本的平均光谱数据图。可以看出不同腊肉样品的光谱图变化趋势大致相近，然而吸光度存在一定差异，这种差异是由于腊肉内部的物质成分或品质（如过氧化值、酸价、菌落信息）引起的。试验结果表明利用高光谱研究腊肉的营养品质是可行的。

图2 腊肉样品平均光谱图Fig.2 Spectrum of mean bacon samples

2.2 SVM 腊肉品质检测二分类模型

针对待检测的未知腊肉样本，从高光谱数据的光谱维和图像维综合判断腊肉的品质，在光谱维中采集腊肉的酸价和过氧化值指标，在图像维参考图像颜色特征值和微生物菌落信息，通过模型预测仿真以及测定，最终将每项指标输入到SVM 支持向量机分类预测模型中，通过检验，结果精度要求不足的情况下，可进行参数调优。将高光谱技术采集到的酸价、过氧化值、菌落信息等数据作为特征量输入SVM 支持向量机进行预测分类，可建立初步的腊肉食品营养品质识别模型，对腊肉品质进行快速识别。分类预测模型结构如图3所示。通过生化试验得到腊肉主要检测指标的标准值，包括脂肪降解指标酸价和过氧化值、图像颜色值、微生物菌落总数；利用高光谱检测技术测量腊肉的酸价、过氧化值，通过主成分分析算法进行波段选取，建立定量分析模型，经过预处理和波段选择后，模型的酸价、过氧化值的预测均方根误差大大减小，所用波段维度大大降低，不仅减少了计算所用的时间，同时也提高了检测精度；利用上述生化试验与光谱分析得到的数值作为网络输入，将腊肉的品质评价标准在国标的基础之上分为可食用与不可食用两类。

图3 二分类预测模型结构图Fig.3 Structure diagram of two-classification prediction model

2.3 CNN 特征提取

CNN 网络可以根据任务类型，适当快速地自学习，针对任务类型的固有特征，而不是人工提取、筛选的一些特征对任务进行研究。而且，CNN 可以提取图像的多层次、多尺度特征，不同层提取到了不同的特征，例如：像素特征、边缘直线特征、直线特征的线性组合、复杂的轮廓特征、深度特征，对于特定的任务、特定的类型学习特定的特征，对于模型的泛化能力有显著的提升。同时，CNN 学习的特征更容易可视化和理解。卷积网络学习到的特征不需要人为干预，使得网络学习到的特征更能代表样本的特征。腊肉的CNN 网络可视化特征如图4所示。

从图4可以看出，CNN 网络在提取特征的过程中，上层的特征比下层的特征抽象，由于抽象的特征是通过网络的任务类型学习到的，因此，CNN 在图像特征提取领域要比其它传统特征提取网络的表现更好。

图4 特征可视化图Fig.4 Features visualization

2.4 多分类器设计

分类器设计的好坏，将直接影响最终的分类结果。为了实现更精细的腊肉食用风险分级，需要在SVM 二分类模型的基础上实现多分类。多分类器设计是健康风险评估的最后一个环节，也是至关重要的环节。本项目采用了三维CNN-SVM 模型，该模型的设计基于如下几点考虑：

1） 混合模型通过结合CNN 和SVM 的优点来弥补其各自的缺点，因此该模型结果优于任何一种单一分类器。

2） CNN 的学习方法基于经验风险最小化，即通过训练使分类错误最小化。当通过反向传播算法找到第一个分类超平面时，无论是局部还是全局最小值，训练过程都会停止，算法不会继续优化分类超平面，容易陷于局部最小值，因此泛化能力低于SVM。

3） SVM 基于结构风险最小化原则，即将训练集数据泛化误差最小化，通过求解二次规划问题，使不同类别样本之间的边缘最大，得到的分割超平面是全局最优解，能够有效避免陷入局部最优解。替换CNN 的输出层后，由于SVM 的泛化能力很高，分类准确率得到了进一步提高。卷积神经网络对输入图像进行卷积和下采样计算，可自动提取出具有很高代表性的图像特征。且由于CNN 在特征图上采用权重共享技术，在一定程度上，当输入图像有少许形状失真时，这些特征是不变的。CNN 方法避免大量的人工参与，能够提取出比传统方法更显著的特征，这正是CNN 与SVM 结合的独特优势所在。

4） 试验对比发现，三维卷积神经网络的分类性能远远优于二维卷积神经网络，说明在用二维卷积神经网络提取特征时，会削弱图片数据中的关键特征，丢失大量可供学习、训练的有用信息。而三维卷积神经网络比二维神经网络在深度上多出了一维，将连续波段的图像堆叠起来，在形成的立方体内进行卷积等一系列特征提取操作，更有利于抓取图片在第三维度上的相关信息。就高光谱图像而言，本身就具备三维图像的特性，在图像的基础上增加了光谱的波段维度，因而3D-CNN在三维立体图像的分类识别上有很强的优越性，极大的提高了识别准确率。

CNN-SVM 的多分类器方案如图5所示。腊肉经过预处理后，将传统机器学习算法所提取的光谱有效特征与经过深度学习模型（3D-CNN）提取的图像特征通过SVM 融合，最终输出四分类结果。

图5 CNN-SVM 多分类器Fig.5 CNN-SVM multiple classifier

2.5 融合图谱特征的营养品质与健康风险综合评估模型

按照上述步骤，将高光谱的光谱模型检测结果与图像特征提取模型的输出结果，通过多数据融合算法，建立一个综合的腊肉品质的检测和评估模型。接下来，通过量化的方法，实现对腊肉品质的快速检测和评价。

2.5.1 风险模型分级过程 根据消费者的实际需要和人们对美好生活的新要求，在前面两分类的基础上，建议将腊肉的营养品质和健康风险评估等级设为四级，为此网络的输出单元数目为4，即输出的结果为四级健康风险分类：安全营养、安全不营养、不安全、危险。

在实验室试验过程中，依据国标和食品营养安全需求，按照样本的实际情况，根据生化试验结果，对腊肉品质参照表1所示的各项指标，可进行相应等级的简单划分。例如：国标规定中腊肉过氧化值含量应≤0.5 g/100 g，超过此值时即为超标。

表1 依据生化指标的腊肉品质等级划分Table 1 Classification of bacon quality according to biochemical indexes

为了进一步量化和精细划分，科学的风险分级确定和计算需经过3 个环节：确定风险权重系数→计算风险值→风险分级。这一确定的分级结果可用于验证腊肉健康风险分级评价模型的结果是否正确。其中，风险值（Risk）的计算方法如式（1）所示。

式中，Risk——风险值；i——风险因素，i=0，1，…，n；pi——各风险因素发生的概率，pi=0 或1；Ri——各风险的权重系数。

为此，建议腊肉营养品质与健康风险分级如表2所示。

表2 腊肉营养品质与健康风险分级表Table 2 Bacon nutritional quality and health risk rating scale

2.5.2 模型结构的确定及验证 将反映腊肉品质内在特征的光谱特征信息与反映腊肉品质外在特征的图像信息作为深度学习融合算法的输入，能实现融合图谱特征的健康风险综合评估模型。具体步骤如下：

1） 利用三维CNN 算法建立了基于高光谱图像信息的腊肉营养品质检测和风险评估模型。通过256 个波段的高光谱图像作为CNN 模型的输入，经过特征提取层提取了关键的图像信息，并在输出层得到了预期的分类结果。如图6所示。将腊肉的高光谱数据中全部高光谱图像作为数据源，即每个样本有256 幅高光谱图像，每一幅图像宽和高都是66，则网络输入的尺寸为256×66×66×1，即尺寸为66×66、深度为1、维数为256 的三维数据。将腊肉的品质分为4 类，所以网络的输出单元同样有4 个。模型的特征提取层一共有3 个三维卷积层和三维池化层的组合。首先确定池化层，选择最大池化，核尺寸均为2×2×2，步长均为2，相当于将特征图压缩为原来的1/8；在池化层参数固定的前提下，将卷积步长设置为1 并不使用0 填充时，根据网络输入的数据尺寸，3 个卷积层的核尺寸为：9×3×3，9×5×5，9×5×5，各层核数量根据经验设置；最后，特征提取层的输出结果为270 张尺寸为25×5×5 的特征图。

图6 腊肉营养品质CNN 网络结构图Fig.6 CNN structure diagram of bacon nutritional quality

由于从图像特征提取层得到的图像特征，其特征值的数量会很大，往往远大于光谱特征值的数量，因此在本层首先要对图像特征进行压缩。在压缩过程中，考虑到光谱数据所包含的有效信息远大于图像数据，图像特征值的个数应小于光谱特征值的个数；然后，将光谱特征和压缩后的图像特征融合起来，组成联合的高光谱特征，作为特征融合层的输出接入到全连接层，最后由输出层可得出结果。

2） 通过CNN-SVM 结构实现多数据融合的评估。具体地，本项目所构建的混合CNN-SVM 模型使用SVM 分类器代替CNN 模型的输出层。一般来讲，CNN 结构中最后一层是输出单元，输出对样本数据分类的边界概率，这个概率是根据前一隐藏层的输出与网络权重和偏置项的线性组合来计算的，边界概率最大的那一类即为样本的最终类别。这里使用SVM 替换CNN 的输出层，将CNN全连接层的输出作为提取出的深度图像特征，连同传统机器学习提取的特征，构成特征矩阵输入SVM 进行分类，按照库的4 种类型，输出反映腊肉品质的四分类结果。

基于建立好的CNN-SVM 模型，随机从样本中抽取40 组已知等级的腊肉数据，每个等级抽取10 个样本，输入SVM 模型中进行分类预测，预测结果如图7所示。

图7中很清晰的看出模型把样本分成4 类，结果显示，出现3 个误差点，总体预测准确度为92.5%。试验结果表明，利用高光谱图像技术，以及SVM 多数据融合技术，对腊肉的品质进行分级预测是可行的，且正确率有一定保证，能够完成对腊肉品质的分类识别。下一步可以根据需要，实现更精细的分级结果。

图7 CNN-SVM 模型对腊肉的分类Fig.7 Classification of bacon by CNN-SVM

上述试验结果表明，设计的CNN-SVM 模型，综合使用腊肉的光谱和图像数据，腊肉的内在品质信息和外在特征信息得到充分利用，将图像深度提取特征与光谱提取特征巧妙结合，有效地提高了模型的精度，设计出了准确可靠的腊肉营养健康风险的四分类器，实现了对腊肉的安全营养品质评估。

3 结论

本研究以高光谱成像技术和深度学习为基础，着眼于腊肉光谱特征和图像特征的获取与识别，将腊肉的内在成分及外在特征信息作为检测与评估参数，采用CNN-SVM 模型，把深度提取特征与传统机器学习提取特征有机结合，实现了多信息数据融合的腊肉营养品质检测与健康风险评估方法。本研究揭示了腊肉品质的高光谱成像获取的光谱特征信息变化规律及图像特征信息变化规律，在实现腊肉营养品质检测及健康风险评估的基础上，可建立腊肉类食品的安全营养品质评价标准，以科学指导人们健康饮食，具有重要的社会价值和经济价值。