机器学习结合视触多感知特征融合的盐渍海参等级评定方法

朱鑫宇，康家铭，邵卫东，刘 阳，张 旭，杨继新，王慧慧,*

（1.大连工业大学机械工程及自动化学院，辽宁 大连 116034；2.国家海洋食品工程技术研究中心，辽宁 大连 116034；3.大连工业大学食品交叉科学研究院，辽宁 大连 116034）

海参富含蛋白质、氨基酸，具有很高的营养和药用价值[1]。但海参体内含有自溶酶，不易贮存与运输[2-3]。通过盐渍方式脱除海参体内的部分水分，可抑制微生物的生长，实现长期保存，是目前应用最广泛的海参产品处理方法之一[4]。盐渍海参易于复水、方便贮存和运输，既可作为干海参、即食海参的原料，也可作为最终产品直接售卖，市场需求量较大。针对市售盐渍海参等级，SC/T 3215—2014《盐渍海参》[5]规定，海参一级品盐分质量分数不高于20%，二级品盐分质量分数不高于22%，合格品盐分质量分数不高于25%。不同等级的盐渍海参在颜色、形态和气味上很难直接分辨，滋生出一些不法商家以不合格品作为优质品出售，以次充好，牟取暴利，损害消费者权益。

目前，对盐渍海参等级的评定主要有实验室检测[6]和人工检测[7]两种方法。实验室检测通过测定盐分与蛋白质含量，结合行业标准进行等级鉴定，通常采用直接滴定法、电位滴定法测定海参含盐量[8]，凯氏定氮法、分光光度法和燃烧法测定蛋白质含量[9]，但实验室检测法耗时长，对检测人员专业性要求较高，是一种有损检测方法。海参富含胶原蛋白，随着盐离子浓度增加，蛋白质逐渐变性并降解，持水性下降，组织结构收缩，导致海参质地特性发生复杂改变[10-11]。鉴于上述质构特性在盐渍过程中发生变化的特点，人工检测成为目前海参盐渍过程等级评定的主流方法。该方法是鉴评人员依据经验，采用人工的方式对海参施加压触力，通过手指和眼睛感知海参动态回复过程力的变化和形态回复情况，判断样品硬度、弹性等质构特性，实现盐渍海参等级鉴评[7]。人工检测对检验人员的经验要求很高，不适用于短时、大批量检测。因此，亟需一种快速、非破坏性的检测方法实现盐渍海参的等级评定。近年来，随着各类无损检测技术的发展、传感器控制功能的拓展与精度的提高、人工智能领域技术的进步，智能感知技术[12]在肉类表观品质鉴评[13-14]、脂肪含量测定[15]、适口性预测[16]和掺假鉴伪[17]等方面取得了较好的效果。Wang Huihui等[10]通过工业相机跟踪海参受力后回复过程的轮廓变化，利用海参轮廓二值图提取海参纹理特征构建识别模型，实现了合格盐渍海参与含盐量超标海参的鉴别，但该方法仅采用了单一图像特征；此外，人工检测盐渍海参等级是针对海参受压触后回复阶段形状动态变化的综合感知，二值轮廓仅表征了特定时刻的静态形状信息，针对等级差异较小的合格品评定效果较差。力学特征能够简单直观地反映食品的物理特性，已广泛应用于肉类品质、水果自动评定等食品检测领域[18-20]。海参受到压触后，在轮廓动态变化的同时，本身的力学特征也会发生复杂变化，鉴于此，如在采用单一图像特征的基础上融入多种力学特征，可能是实现盐渍海参等级智能评定更为可靠的方法。闫朋涛等[21]尝试将下压力做功值和压触后海参偏心率、细度比进行融合，实现了超标盐渍海参的识别，但该方法通过视觉感知的特征仅为压触前后的静态轮廓，对于差异较小的合格品等级评定仍不适用。轮廓动态变化特征的提取是开展上述研究的关键。动态能量图是一种根据被测物运动的步幅、步态周期反映样本动态变化信息的图像[22]，具有多角度、高适应性等特点[23-24]，目前在运动个体身份识别[25]、生物特征检测[26]、安防监控领域[27]、智能家居领域应用广泛[28]，同时根据动态能量图提供的轮廓动态特征，在肌音信号分类、早期疾病的识别和风险预警方面[29-30]也取得了一定的进展，可为表征海参轮廓的动态变化提供思路。

为了更客观、快速、准确地评价盐渍海参等级，本研究以不同等级盐渍海参为研究对象，针对盐渍海参受力后动态回复情况，获取轮廓动态变化和力学检测数据，通过构建动态能量图，提取图像纹理特征以及基于统计分析的力学特征，利用单因素方差分析、主成分分析（principal component analysis，PCA）法进行特征降维与融合，基于视触多感知融合特征，结合支持向量机（support vector machine，SVM）实现合格盐渍海参等级评定。由于SVM的分类精度和泛化能力依赖惩罚因子c和核函数参数g的选取，在此基础上根据融合数据特点采用遗传算法优化SVM。在种群进化过程中优化参数，能够随着迭代次数的增加平衡适应度函数收敛速度，提高全局收敛性，实现对盐渍海参等级的评定。

1 材料与方法

1.1 材料

海参购自大连长兴水产市场，将鲜活海参置于带冰保鲜盒内运至实验室，贮存在4 ℃冰箱中备用。

1.2 仪器与设备

JSM-6460LV扫描电子显微镜购自日本JEOL公司。

获取海参轮廓变化图像与力学信息的设备为盐渍海参等级评定系统由实验室自行研发，如图1所示，该系统主要组成包括质构仪、载物台、矩形探头、工业相机和控制模块。根据海参形状和大小，将实施压触力的探头设计为矩形，规格为90 mm×160 mm，探头运动分为4个阶段：向下空载运动阶段（P1）、加载压力至目标力阶段（P2）、静止并保持目标力阶段（P3）、迅速恢复至原点阶段（P4）。系统参数设置：图像位深24 bit、图像分辨率1 280×720、帧频30 fps、探头空载速率60 mm/min、触发力0.2 N、探头加载速率30 mm/min、目标力60 N、探头复位速率990 mm/min、回程时间3 s。

图1 盐渍海参等级评定系统示意图Fig. 1 Schematic diagram of the grade evaluation system for salted sea cucumber

1.3 方法

1.3.1 海参样品制备

将备用海参分成3 组，每组100个，经去内脏、清洗、煮制后，分别置于质量分数为19%、21%和23%氯化钠溶液中，腌渍6 d，每24 h更换一次氯化钠溶液，腌渍结束后用吸水纸除去样品表面水分待用。在进行图像和力学数据采集后，根据SC/T 3011—2001《水产品中盐分的测定》[8]采用直接滴定法测定盐分质量分数。根据SC/T 3215—2014分级方法，将盐渍海参样品分为一等品（G1）、二等品（G2）和合格品（G3）。

1.3.2 图像与力学数据采集

取3种等级盐渍海参，通过盐渍海参等级评定系统进行图像与力学数据采集。测试开始前，设置系统参数。测试时，将样品置于载物台中央，利用矩形探头对被测海参实施压触力，工业相机在P4阶段采集海参回复过程轮廓变化图像，同时通过质构仪获取海参的力学信息。测试结束对载物台、探头进行1 次快速清洗。每种等级的盐渍海参制备100个样本，3个等级的盐渍海参最终获得300 组图像数据、300 组力学数据。

1.3.3 显微组织观察

为了探究盐分变化对海参微观组织结构的复杂变化，证明本实验方法的可行性，利用JSM-6460LV扫描电子显微镜对不同等级盐渍海参的显微组织进行观察。取海参样品体壁中部0.5 cm×0.5 cm×0.5 cm的切片，放入体积分数2.5%戊二醛溶液中浸泡10 min。利用乙醇溶液（50%、70%、90%、100%）对样品进行梯度脱水，二氧化碳临界点干燥，液氮冷冻并脆断，采用离子溅射镀膜法喷金后观察[31]。

1.4 数据处理与分析

采用SPSS 17.0软件处理统计数据；采用Matalb 2020软件进行图像预处理。

2 结果与分析

2.1 海参盐分测定结果

如表1所示，一等品（G1）海参盐分质量分数在18.53%～19.62%之间，二等品（G2）海参盐分质量分数在20.56%～21.48%之间，合格品（G3）海参盐分质量分数在28.64%～23.58%之间。3个等级的盐渍海参均遵循SC/T 3215—2014的盐分质量分数标准分级。

表1 部分样品盐分质量分数统计数据Table 1 Statistical data of salt content of selected samples

2.2 图像预处理及关键帧选取

由于盐渍海参等级评定系统采集的图像受仪器噪音、实验环境等因素的影响，为保证精确提取与海参轮廓变化相关的图像特征，根据Wang Huihui等[10]的方法对P4阶段采集的第1～90帧图像进行预处理，获取标准化后的海参二值图，如图2所示，主要流程包括灰度化、去噪、图像分割、形态学处理、标准化。

图2 图像预处理流程Fig. 2 Flow chart of image preprocessing

为了尽可能减少图像的数量和精确描述回复过程，提取海参从开始回复到结束过程中面积变化明显部分对应的帧序列图像作为表述海参回复过程的关键帧。帧面积计算如式（1）所示。

式中：A为样本图像回复过程所有帧序列的面积；i、j分别表示图像的横、纵坐标；Pij表示对应坐标像素值；N为帧数。

由于此处为二值图像，所以只对像素值为1的像素块进行累加，根据公式（1）计算样本图像回复过程所有序列的面积，最终取面积变化趋势最明显的50 帧序列图像作为关键帧用于后续研究（图3）。

图3 图像面积Fig. 3 Image area

2.3 动态能量图的构建和显微结构分析

能量图通过计算图像中像素点的强度，可完整地表现被测物在一个形态变化周期中能量的累积。关键帧经预处理后的每一帧图像即是某一时刻形态能量的反映，能量图中较高灰度值的像素点表示该点在一个形态变化周期出现的次数较多[32]。本实验选取P4阶段作为一个完整的形态变化周期，在此周期内，获得每一时刻海参样品轮廓，即每帧关键帧图像的海参二值轮廓，能量图计算如式（2）所示。

式中：E（x，y）表示能量图；N表示一个形态变化周期内的关键帧图像数（本研究中N＝50）；It表示第t帧关键帧图像；（x，y）表示像素点坐标。

图4 动态能量图与组织微观结构Fig. 4 Dynamic energy diagram and microscopic structure

如图4所示，在G1（图4A1）、G2（图4A2）和G3（图4A3）样品最内侧轮廓内部灰度值最高均为50，表明该区域在一个周期内出现的次数较多，由于该区域不包含受压触作用下轮廓动态变化信息，将其定义为能量图的静态区域。通过阈值分割将静态区域予以剔除，去除静态区域对轮廓动态变化特征的干扰，并将该图像定义为动态能量图。在P4阶段，动态能量图中海参轮廓的像素值在整个序列中构成一个动态信号[33]，表征盐渍海参轮廓的时变特征。动态能量图中P4阶段初始时刻的轮廓变化最大，P4阶段结束时刻轮廓变化最小。由于相同等级的海参质构特性相似，受压触变形、撤力回复的轮廓变化也近似；而不同等级海参弹性、硬度等质构特性差异较大，因此其受压触后最大变形程度不同，撤力回复的速度也不同，在同一时间段（P4阶段）内，由于轮廓变化的速度不同，动态能量图差异明显。动态能量图的构建过程如式（3）所示。

式中：T表示一个步态周期内的静态区域灰度值（本研究中T＝50）；E（x，y）表示能量图；CE（x，y）表示动态能量图。

通过剔除能量图中静态区域，获得G1（图4B1）、G2（图4B2）和G3（图4B3）样品的动态能量图，图中最外层轮廓为P4阶段采集的第1帧海参轮廓，最内层为采集的第50帧海参轮廓。Nejib等[34]对盐渍处理鲨鱼肉品质影响的研究结果表明，盐分含量增加会导致鲨鱼肉的硬度增加、弹性下降、黏聚性增加。动态能量图中，在相同的目标力作用下，P4阶段的3 组样品变形量依次为G1样品＞G2样品＞G3样品，质构仪撤力后轮廓变化速率依次为G1样品＜G2样品＜G3样品，这可能是盐渍海参盐含量增加，进而硬度增加、弹性下降导致。海参盐渍过程中，硬度、弹性变化的同时，组织微观结构也会发生改变，如图4C1所示，G1组样品体壁中胶原纤维呈薄片状，有大量蜂窝状网孔且分布均匀，具有一定方向性。随盐含量增加，G2样品（图4C2）体壁出现丝状胶原纤维，在纤维断面出现片状单元结构且容易断裂，呈丝状和薄片状的组织互相交织成杂乱网孔结构，孔隙大小不均匀。这可能是海参胶原纤维和凝胶结构在盐渍作用下发生降解，胶原蛋白被破坏所致。G3样品（图4C3）孔隙较G2样品（图4C2）更为致密，这可能是盐渍溶液浓度越高，水分与盐分的交换速度越快，海参体壁中水分大量流失，胶原纤维丝快速凝集、收缩导致。综上所述，随着盐含量的增加，不同等级盐渍海参的组织结构发生复杂变化，轮廓变形程度、回复速度均存在差异，通过动态能量图可以看出，由于回复速度的不同导致相同时间点对应的轮廓图像不同，反映在动态能量图中即轮廓线的纹理特性存在差异，回复速度越快，轮廓线纹理越密，回复速度越慢，轮廓线纹理越稀疏，证明通过建立图像纹理特征与盐渍海参等级的关系，可实现不同等级盐渍海参的识别。

2.4 特征提取

针对上述步骤中获得的动态能量图和质构分析获得的力学数据进行特征提取，用于建立盐渍海参等级评定模型。本实验选用直方图和灰度共生矩阵两种方法对动态能量图进行纹理特征提取，对力学变化数据进行统计计算，以此表征海参样品受压触作用后回复过程轮廓和力学的时变特性[35-36]。

2.4.1 纹理特征提取

纹理是图像固有特征之一，可以被定义为纹理基元的局部统计特征[37]。通过对海参回复过程中形变图像的纹理变化进行分析研究可知，不同等级的海参轮廓变化不同，图像表征过程中纹理差异很大。基于直方图的纹理特征包括平均值（m），表示纹理平均亮度；标准差（σ），表示纹理的平均对比度；平滑度（R），表示纹理的平均平滑度；三阶矩阵（μ），表示直方图的偏斜性；一致性（U），表示灰度值间的差异；熵（e），表示纹理的随机性。本实验面向动态能量图的0°（水平）、45°（主对角线）、90°（垂直）、135°（次对角线）4个方向分别提取基于灰度共生矩阵的如下纹理特征：对比度（C），表示灰度反差度；相关性（Cor），表示纹理一致性；能量（E），表示纹理均匀性；同质性（H），表示纹理局部变化度；最大概率（Pmax），表示纹理偏移性；熵（En），表示图像纹理粗细度。图像纹理特征提取过程如式（4）～（16）所示[38-40]。

式中：zi表示灰度值i的像素数；p（zi）表示灰度值i在图中出现的概率；N表示图像像素总个数；L表示灰度级数；Pij表示相隔距离1 Px的一对像素分别具有灰度值i和j出现的概率；K表示图像阶数（本研究中K＝2）；mr和mc分别表示灰度共生矩阵行、列平均值；σr和σc分别表示灰度共生矩阵的行、列标准差。

2.4.2 力学特征提取

Hao Mengzhen等[11]研究发现不同等级盐渍海参的硬度、弹性等力学性能存在显著差异，导致海参受力过程发生复杂变化。采集P4阶段的力学信息，计算平均值、几何平均数（G）、标准差（SD）、中位数（Me）、一阶范数（||x||1）、二阶范数（||x||2）、下压做功（W1）、回复做功（W2），以此作为用于盐渍海参等级评定的力学特征进行建模，计算公式如式（17）～（22）所示。

式中：Ai表示i时刻对应力的大小；n表示采集的力学数据个数；F表示下压和回复过程海参所受的力；s表示位移量；h表示海参最终的位移量。

为消除量纲的影响，使各个特征属性在数量级上保持一致，力学特征和纹理特征采用均方差标准化处理[41]。

2.5 特征降维

本实验主要利用图像纹理和力学特征进行后续建模，因数据量较大，其中的冗余信息对模型精度和速度影响较大。为实现初步降维，剔除对等级影响不显著的冗余信息，在0.05的显著水平下，对图像和力学原始特征数据进行单因素方差分析[39-40]。结果表明，特征m、s、R、μ、U、e、C（45°、135°）、H（45°、135°）、Cor（0°、45°、90°和135°）、e（0°、45°、90°和135°）、Pmax（0°、45°、90°和135°）、En（0°、45°、90°和135°）、SD、Me、||x||1、||x||2、W1和W2与盐渍海参等级呈显著正相关。经单因素方差分析后，继续采用PCA法剔除显著特征中的冗余信息，同时实现图像纹理特征和力学特征的融合。前5个主成分的纹理特征、力学特征方差累计贡献率已达到99.99%，说明上述5个主成分可以代替特征99.99%的数据信息，因此选取前5个主成分进行后续建模。

2.6 盐渍海参等级评定模型

2.6.1 SVM模型

SVM在解决非线性、小样本及高维数据识别中优势明显，通过建立一个超平面作为决策曲面，对不同类别的样本进行分割，分割原则为间隔最大化[40]；本实验基于PCA的融合特征构建SVM模型，模型定义为PCASVM。用于建模的训练集为T210＝（∂×Y）m，验证集V90＝（ρ×Y）n，其中，m为训练集样本个数（m＝210），n为验证集样本个数（n＝90），输入矩阵∂由210个样品（G1样品＝70、G2样品＝70、G3样品＝70）的融合特征组成，输入矩阵ρ由90个样品（G1样品＝30、G2样品＝30、G3样品＝30）的融合特征组成，输出Y为样本对应的类别标签，G1样品对应标签为1，G2样品对应标签为2，G3样品对应标签为3。模型分割超平面如式（23）所示。

式中：w表示分割超平面法向量；b表示超平面偏置；T表示矩阵转置。

2.6.2 基于遗传算法对SVM模型优化

使用SVM处理离散的融合特征和引入RBF中需要确定惩罚因子c和核函数参数g，两者的选择直接影响了SVM的分类精度和泛化能力[42]。遗传算法是一种全局优化概率搜索算法[43]，因其具有鲁棒性强、适用性广、操作简单等优点而得到广泛的应用。本实验采用遗传算法来搜索最优参数。其主要思路是选择合适的适应度函数，先产生初始种群，通过编码产生染色体，仿照自然界的淘汰机制对个体进行选择、交叉和变异等操作，最后由满足条件的个体进行反编码得到最优解。

本算法首先对训练集T210和验证集V90进行均方差标准化处理，消除量纲差异。设定c和g的搜索范围、步长、终止代数和种群最大数量分别为2～210、10、200和20。随机生成初始化种群。计算个体适应度，即代表每代个体的优劣程度。为提高SVM分类性能，用样本辨识度表征适应度[44]，如式（24）所示。

式中：Ff表示样本辨识度/%；δj表示样本j的类别标签；Fj表示样本j的预测标签；m为训练集样本个数（本研究中m＝210）。

为避免过拟合和欠拟合，模型采用5折交叉验证，对种群进行选择、交叉、变异，直至满足遗传算法终止条件（种群最佳适应度最高），得到优化参数。将得到的优化参数应用到SVM分类器中并在验证集V90中进行测试，判断是否符合期望精度，若未达到，则继续寻优。图5所示为SVM模型参数优化过程的适应度曲线。遗传算法中橙色圆圈和红色点分别代表每次迭代的平均适应度和最佳适应度。当满足遗传算法终止条件时，即当验证集的交叉验证准确率（CVAccuracy）最高时确定PCA-SVM模型c和g。本实验CVAccuracy的最大值为100%，此时PCA-SVM模型c和g分别为0.441 9和10.382 9。盐渍海参等级评定模型结果如表2所示，所有等级的盐渍海参都能准确识别。

图5 SVM模型参数优化的适应度曲线Fig. 5 Fitness curve for optimization of parameters in SVM model

表2 模型混淆矩阵结果Table 2 Results of model confusion matrix

2.6.3 模型评价

依照Wang Qian等[45]的方法，基于混淆矩阵，通过准确度（Accuracy）、精确率（Precision）、召回率（Recall）和综合评价指标（F1-Score）对模型进行评价。其中，Accuracy表示模型对G1、G2和G3等级的整体判别能力，Precision表示模型判别正确的可信度，Recall表示盐渍海参中实际和预测结果一致的比例，F1-Score表示模型的综合得分，Accuracy、Precision、Recall和F1-Score越大，说明模型性能越好。Accuracy＞80%，说明该方法可以用于实际应用；Accuracy＞95%说明该方法具有优秀的盐渍海参等级评定能力；Precision和Recall大于90%，说明该方法评定准确且可信度高，F1-Score≥0.95，说明模型整体泛化能力强，模型稳定[46]。评价参数计算过程如式（25）～（28）所示。

式中：TP表示正确识别出盐渍海参的类别数量；TN表示未正确识别出盐渍海参的类别数量；FP表示非该类别的盐渍海参被识别为该类别的数量；FN表示该类别的盐渍海参被识别为非该类别的数量。

模型性能表现如表3所示，利用视触多感知融合特征构建PCA-SVM模型可实现盐渍海参等级评定的实际应用。模型的Accuracy、Precision、Recall和F1-Score均为1，说明将纹理特征同力学特征相融合，结合SVM模型，在不同等级（G1、G2和G3）的评定过程中均具有优秀的性能。

表3 基于SVM的盐渍海参等级评定模型性能Table 3 Performance of SVM model for quality evaluation of salted sea cucumber

3 结 论

在盐渍海参等级评定系统施加的压触力作用下，本研究通过将海参轮廓图像纹理和海参压触力特征融合，结合机器学习，提出了一种实现合格盐渍海参等级评定的新方法。建立盐渍海参轮廓动态能量图，提取6种直方图纹理特征和24种灰度共生矩阵纹理特征，同时采集压触作用下的海参力学信息，获取基于统计分析的8种力学特征，通过单因素方差分析剔除对等级评定影响不显著的特征，利用PCA法对纹理、力学特征进行降维与融合，在保证盐渍海参等级特征信息完全的基础上，尽可能消除提取特征中的冗余信息，提取主成分作为融合特征，采用遗传算法优化SVM建立盐渍海参等级评定模型。模型结果表明，PCA-SVM模型检测效果优异，其Accuracy＝1、Precision＝1、Recall＝1、F1-Score＝1。综上，将海参回复过程中轮廓变化图像与海参受力的力学信息进行融合，结合SVM模型，可实现客观、快速、无损的盐渍海参等级评定。