基于机器视觉技术制作烤羊肉比色卡

王 博，胡晓妍, ，于芳珠，刘登勇,2,

（1.渤海大学食品科学与工程学院， 生鲜农产品贮藏加工及安全控制技术国家地方联合工程研究中心， 辽宁锦州 121013；2.江苏省肉类生产与加工质量安全控制协同创新中心， 江苏南京 210095）

烤羊肉是我国传统风味肉制品，颜色棕黄，色泽油亮，肉香浓郁，深受消费者喜爱[1]。随着人们食品安全意识的提高和市场需求量增大，传统加工方式已不能满足人们的需要，工业化加工逐渐代替传统加工方式，并正在向标准、营养、健康、智能的方向发展[2]，然而目前在工业化生产中能够对产品质量进行及时、快速评价的标准化方法仍存在不足。烤羊肉作为传统肉制品，色、香、味、形独具特色[3]，消费者往往通过这些特点来评价产品质量。其中颜色是消费者感官评价最直观的指标也是反映食品质量的重要因素,不仅能表征食品的新鲜度，还是食品成熟度的重要指示因子，在食品加工及储藏过程中也可以通过颜色变化及时发现食品品质的改变，烤羊肉加工过程中颜色是用来判断成熟度的重要依据[4-7]。因此建立一种能够识别烤羊肉颜色的标准方法对于精准控制其颜色，实现标准化生产具有很好的现实意义。比色卡是一种可进行颜色对照识别，在一定范围内统一颜色标准的工具，目前在食品领域应用较少，制作烤羊肉比色卡检测颜色只需通过简单对比，操作方便准确率高[8-9]。

比色卡制作要采集大量样本的颜色信息，传统颜色识别方法主要为仪器测定和感官评价，仪器测定结果准确，但对样品具有破坏性且成本较高；感官评价简单方便，但容易受外界因素影响且存在一定个人主观性[10-11]。机器视觉是利用机器代替人眼，模拟人类视觉功能的一项技术，通过图像采集、信号转换、数据处理分析等最终实现对物体的识别，可应用于多种领域[12-13]。在肉类食品中的应用如：监测碎肉在连续油炸过程中凝集增加的变化[14]、评估肉类食品的质量参数[15]、在线预测识别猪肉的颜色和大理石花纹[16]以及禽类产品尺寸、质量、体积的测定和分级分类[17]等，方法智能新颖且具有识别速度快、准确率高、不具破坏性等特点[18]。因此利用机器视觉技术对烤羊肉图像进行采集和处理，减少误差提高比色卡准确率[19]。

本研究以烤羊肉为实验目标，基于机器视觉技术制作烤羊肉颜色比色卡，实现对烤羊肉颜色的实时检测，在生产过程中能够及时控制产品质量，研究为烤羊肉质量评价管理提供了基础依据。

1 材料与方法

1.1 材料与仪器

羊外脊 锡林郭勒盟羊羊牧业股份有限公司提供，羊品种为内蒙古锡林郭勒盟苏尼特羊（月龄6月，均重30 kg）。

NB-HM3810电烤箱 厦门建松电器有限公司；CR-400色彩色差计 日本柯尼卡美能达公司；LED迷你小型摄影棚 绍兴上虞风景户外用品有限公司；VGA2USB图像采集卡 加拿大艾普飞公司；EOS-R6照相机 日本佳能公司；HP ZHAN 66 R5-4500笔记本电脑 中国惠普有限公司。

1.2 实验方法

1.2.1 样品制备 购买排酸成熟24 h后的新鲜羊肉于4 ℃条件下运回实验室-18 ℃下冷冻保存。实验前将冷冻的羊肉放置室温解冻1 h，去除筋膜和多余脂肪，制备规格均为长×宽×厚20 mm×20 mm×10 mm的肉样，利于羊肉烤制过程中成熟度一致。待肉完全解冻，表面温度升至室温后置于烤盘，放入上下温度220 ℃电烤箱中。通过控制烤制时间获得羊肉在烤制过程中的所有颜色变化，经预实验得出，本实验所用电烤箱在羊肉烤制25 min时，表面已经出现焦糊，因此选取烤制时间范围为0～25 min。每min烤制15块羊肉共390块，得到试验样品。

1.2.2 比色卡制作方法 为确定烤制过程中所有颜色的变化，选择0～25 min共26个时间点的烤羊肉样本进行图像采集，并对采集图像进行预处理来提高质量，读取预处理后的图像信息，利用算法将图像信息转化为计算机可识别的颜色参数继而建立比色卡。

1.2.2.1 图像采集 图像采集均由图1所示自主设计的图像采集装置获取，该装置主要由照相机、图像储存卡、灯板、摄影棚、背景板及计算机组成。其中灯板、背景板及相机固定在摄影棚内。将相机在采集效果最佳的高度固定，采集的图像通过图像储存卡传输到电脑，从而获取烤羊肉样品图像。

图1 图像采集装置示意图Fig.1 Schematic diagram of image acquisition device

1.2.2.2 图像预处理 由于图像采集装置在进行烤羊肉图像采集时会受到外界因素干扰，影响图像真实特征信息的提取，进而影响颜色识别效果，因此需要对采集的图像进行预处理。图像预处理可以在不实质性增加图像数量的情况下使图像增广，让有限的图像产生一些相似又不完全相同的样本。常用的图像预处理方法有以下几种：图像滤波、几何变换、图像增强、图像复原等[20]。本研究采用以下四种预处理方式：随机对比度调整、随机亮度调整、随机旋转调整、随机缩放调整[21]。

1.2.2.3 构建图像识别模型 利用Xception-CNN模型处理获取烤羊肉图像，处理流程如图2所示。模型的最后一层为全连接层，负责整个神经网络的输出，通过Softmax激活函数得到最终的输出。损失函数（Loss function，简称 Loss）用来评价模型的预测值和真实值不同的程度，解决回归任务的基础函数为均方误差损失函数（MSE）。

图2 基于 Xception-CNN 模型的图像数据处理方法Fig.2 Image data processing method based on Xception-CNN model

MSE 表示如式（1）所示：

其中，n表示一个Batch中的样本数量；y表示期望输出；y′表示实际输出。

1.2.2.4 制作比色卡 机器视觉技术采集样品图像，将样品图像信息转化为计算机可以识别的参数，再利用算法处理图像信息进而制作比色卡。常规算法处理的数据，会出现计算机难以将数据换算为可识别的颜色参数的情况，本研究采用均值算法、K-Means算法和K-Means+图像降噪三种算法，能够解决这一问题对图像进行有效处理，处理后能较好地呈现出样品颜色信息[22]。

利用均值算法[23]制作比色卡：通过计算全局的RGB均值得到该图像的主色调，将图像划分为若干个小块，用大小为32×32的滑块遍历每块图像，计算每个色块的RGB值，得到32×32区域的像素块均值，最后由局部的RGB均值逐渐变为全局的RGB均值，即为该烤羊肉图像的颜色数值，将数值转换为对应颜色，再将对应的颜色按照烤制时间排序，即可得到均质算法制作的比色卡。该算法原理简单，实现起来比较容易，聚类的效果比较好，在可解释性方面较强，再调整参数时只需调整簇的个数即可。

利用K-Means算法[24]制作比色卡：将26组图像经过像素块遍历得到的颜色信息作为数据集，在各个数据集中生成质心，共形成26个时间段的质心。选取在烤羊肉图像的颜色参数范围内的26个与颜色参数相同维度的质心，分别计算每一个颜色数据到26个质心的距离（欧氏距离），使每个数据分组于距离最近的质心。更新质心的位置重新计算，经过不断重复计算直到质心位置不发生变化或只发生微小的变化，提取质心周围类簇群所对应的RGB信息值并做均值处理，可以得到这26个时间段的RGB信息，根据烤制时间进行排列即可得到K-Means算法制作的比色卡。该算法在处理大的数据集时是相对可扩展的，并且具有较高的效率。

利用K-Means算法+图像降噪处理[25]制作比色卡：由于羊肉会存在一些难以剥离的肌内脂肪，使烤羊肉表面颜色识别产生误差，使得部分图像不能完全代表烤羊肉实际的颜色，这些质量较差的图像即为聚类中的噪声数据和异常数据，影响分类准确率。因此在K-Means算法的基础上提出通过自动替换，将噪声数据和异常数据替换为周边的正常数据。该方法能够有效的去除异常数据，有利于提高比色卡的准确度。

1.2.3 比色卡识别准确率验证 由于比色卡均通过算法制作，验证比色卡准确率时若单独采用算法验证可能会出现泛化性差的问题[26]，若单独采用感官验证可能存在主观性影响实验结果，所以本研究采用K-medoids算法结合感官实验验证三种比色卡的准确率。K-medoids算法区别于制作比色卡的三种算法，使验证方法统一，利于验证结果准确。

1.2.3.1 算法验证 利用K-medoids算法[27]验证比色卡准确率，将测试集样本图片划分若干个区域，用大小为5×5的滑块对每个区域的RGB值进行均值处理，从中随机选26个点作为初始的类簇群区域中心点，其余点按与这26个点的最小距离分配到对应最近的类簇群，以此类推，比较每个样本到类簇群中心点的距离，将样本划分到最近的类别中，在新组成的类别中重新计算中心点，直到26个中心点不再变化为止，最终得到26个类簇群的RGB值，将26个类簇群的RGB值与三种算法识别的RGB值进行对比，以此进行比色卡识别准确率验证。

1.2.3.2 感官实验 制备0～25 min的烤羊肉样品，根据GB/T 16291.1-2012[28]培训和筛选出15名感官评定员，其中男生6名，女生9 名，平均年龄为24周岁，身体健康、无色盲、能有效辨别色差。

喜好度评价：根据以上方法选定感官评价员结合A.N[29]方法加以修改，经过预实验结果可知，烤制10 min后的羊肉中心温度达到75 ℃，为可食用的状态[30]。因此评价样品为11～25 min的烤羊肉样品，并根据九点感官评价法（表1）对烤羊肉的颜色进行打分[31]，以评分作为实验结果。

表1 九点感官评价法数字标度表Table 1 Nine-point sensory evaluation method digital scale

准确率检验：26个样品背面标记烤制时间，将顺序打乱后随机放置；感官评定员参照三种算法制作的比色卡为26个样品评定烤制时间，每种比色卡评定完成后间隔10 min，根据感官实验数据对比真实数据得到3种比色卡的感官实验准确率，重复3次，以准确率平均值作为实验结果。规则同上，感官评定员未用比色卡直接对样品进行烤制时间的评定，结果与利用比色卡评定烤制时间的准确率进行对比，以此判断比色卡的应用效果。

1.3 数据处理

本研究统计分析的实验环境为Python 3.7，主要使用了Python的第三方扩展模块“Pylab”和“Matplotlib”绘制图像、使用“Numpy”进行高维度矩阵计算、使用和“Keras”、“Tensorflow”开源深度学习框架搭建模型。使用“Scikit-learn”开源的机器学习模块对模型进行评估和分析，采用Origin 9.0和IBM SPSS Statistics 26.0软件对数据进行统计处理。

2 结果与分析

2.1 图像采集结果

每块烤羊肉采集 4 张图像，共采集烤羊肉样品图像1560张，均为384×384格式，采用1.2.2.2方法进行图像预处理后，共获得6240张图像，定义为数据集Roast Mutton，将其按8：2随机分配为训练集与测试集，训练集中包含4992张图片用于构建和优化试验模型，测试集为剩余的1248张图片，用于测试模型的准确性，样品图像以圆形输出。

2.2 图像预处理结果

烤羊肉的局部图像经过随机亮度调整、随机图像缩放调整、随机对比调整和随机旋转调整等方法进行预处理后，结果如图3所示。从图中可以看出，在不改变图像原本属性的前提下，随机对比度与随机亮度的调整使烤羊肉图像亮度产生差异，改善图像质量，并且可以增强局部细节；经过随机旋转和随机缩放调整后，改变了图像的原有位置、方向和量级，相当于一幅新的图像，进而衍生出了更多有利于提升测试结果的准确率的训练样本。将预处理后的烤羊肉图像部分代替原图作为展示图，能更好地展现图像预处理的效果。

图3 烤羊肉图像预处理结果Fig.3 Image pretreatment results of roast mutton

2.3 模型识别

损失函数对Xception-CNN模型训练集样本训练结果表明，Xception-CNN模型在训练过程中随迭代次数增加，Loss值逐渐下降，训练轨迹收敛性良好。一般情况下，训练过程中的Loss值越小表明模型的准确率越高，总体性能越好[32]。所以Xception-CNN对不同颜色的烤羊肉图像具有较高识别准确率，可以用于处理获取烤羊肉图像。

2.4 比色卡建立

2.4.1 均值算法制作的比色卡 均值算法制作比色卡的主要过程如图4（A）所示，首先使用大小为32×32的滑块遍历烤羊肉原图，得到32×32区域的RGB均值像素块，再将区域RGB均值像素块大小逐渐增加至64×64→94×94，最后由局部的RGB均值逐渐变为全局的RGB均值。在遍历所有图像得到烤制时间0～25 min共26个时间段的样品图像颜色后，将各个烤制时间段的图像颜色按烤制时间依次排列，得到的即为均值算法制作的比色卡，结果如图5（A）所示。

2.4.2 K-Means算法制作的比色卡 K-Means算法制作比色卡的具体过程如图4（B）所示，在每块烤羊肉样品图像上获取10个如“原图”所示的5×5像素块后，每个像素块利用大小为2×2、长为1的小滑块进行遍历，遍历结束后每个5×5像素块可以得到16个包含4个RGB信息的2×2小滑块，将每个小滑块进行RGB均值提取。经处理后根据烤制时间进行排列即可得到K-Means算法制作的比色卡，结果如图5（B）所示。

图4 三种算法制作比色卡的过程Fig.4 Process of constructing colorimetric cards with the three algorithms

图5 三种算法制作的比色卡Fig.5 Colorimetric cards constructed by the three algorithms

2.4.3 K-Means算法+图像降噪处理制作的比色卡本研究通过4种方式对图像进行预处理，但由于噪声数据和异常数据会使数据边界偏移，影响聚类效果。因此，研究利用图像降噪处理方法对烤羊肉图像做进一步处理[33]。通过机器学习，将K-Means同类簇中心点覆盖到RGB值过低和过高的部分并自动替换成颜色正常的部位。如图4（C）所示，192×192区域由于表面不平整导致RGB值差别较大，则将该部分RGB值替换为类簇中心点值以去除异常数据。K-Mean算法+图像降噪处理比色卡制作过程同K-Means算法，结果如图5（C）所示。

2.4.4 比色卡识别准确率验证结果 利用上述均值算法、K-Means算法、K-Means算法+图像降噪对数据集进行处理，生成的比色卡RGB值依次如图6A～图6C所示。

由图6A～图6C可知在0～25 min的26个时间点内，均值算法的RGB值与K-Means算法的RGB值始末状态区间波动较小，呈相对平稳的梯度变化；而K-Means算法+图像降噪处理后的RGB值波动较大，R值在13 min后迅速减小，尤其是在16 min后呈现明显下降的趋势，原因是图像降噪处理去除大量的噪声信息。根据三种比色卡的RGB值和对应的烤制时间做多元线性回归分析，结果如表2所示。由表可知K-Means算法建立的方程拟合效果好（R2=0.962），均值算法和K-Means+图像降噪处理的方程拟合效果一般（R2=0.790，R2=0.714），K-Means算法能够更好地反映烤制时间和对应图像颜色信息之间的关系。

表2 三种比色卡的RGB值信息与烤制时间的多元回归模型Table 2 Multiple regression model of RGB value information and roasting time of 3 colorimetric cards

图6 三种比色卡RGB颜色信息和K-均值算法产生的比色卡感官识别结果Fig.6 RGB value information of the three colorimetric cards and sensory recognition results of colorimetric cards produced by the K- means algorithm

2.4.4.1 算法验证结果 样本数据分层取样建立验证集并获得对应的三种验证比色卡，并使用Kmedoids算法处理得到验证集比色卡的RGB值；然后将三种比色卡的RGB值与其值对比，从而对三种比色卡的准确率进行检验。K-medoids算法验证结果如表3所示。由表可知，比色卡的算法识别准确率分别为均值算法85.60%、K-Means算法95.70%以及K-Means算法+图像降噪处理93.40%。

表3 算法验证与感官验证的比色卡平均识别准确率结果Table 3 Algorithm verification and sensory verification colourimetric card average recognition accuracy results

2.4.4.2 感官验证结果 烤羊肉的感官喜好度评分结果如图7所示。由图可知，烤羊肉的颜色喜好度评分呈现先上升后下降的趋势，从11 min开始评分逐渐升高，因为羊肉在此阶段随烤制时间延长颜色逐渐由浅棕色变为黄棕色，14 min时评分最高，颜色喜爱度最高；羊肉烤制15 min后颜色喜好度评分开始下降，烤制25 min时评分最低，因为在15～20 min阶段羊肉颜色进一步加深，20 min后逐渐出现焦糊现象，所以20 min后的评分普遍较低。

图7 烤羊肉颜色喜好度评分Fig.7 Roast mutton color preference score

验证比色卡识别准确率结果 感官实验验证结果如表3所示，比色卡的感官识别准确率分别为均值算法67.32%、K-Means算法73.71%和K-Means算法+图像降噪处理68.74%。结合图8，三种比色卡的感官识别准确率在14和15 min不理想，原因是烤制14和15 min的羊肉处于成熟阶段，呈棕黄色差别并不明显，因此感官评定员对此时间段的颜色难以区分。为此，本研究将烤制14和15 min的感官数据去除后重新计算准确率，结果显示，平均识别准确率均提高，均值算法制作的比色卡感官识别准确率为71.25%、K-Means算法为78.86%、K-Means算法+图像降噪处理为72.30%。感官验证试验的准确率顺序与算法验证的准确率顺序相符合（K-Means算法＞K-Means算法+图像降噪处理＞均值算法），结果表明K-Means算法的识别效果准确率最高。

图8 感官实验验证烤制时间的识别准确率Fig.8 Sensory experiments verify the accuracy of roasting time recognition

将未用比色卡进行烤制时间验证的准确率与利用三种比色卡对照识别烤制时间的准确率结果进行对比。如图8所示，未用比色卡识别烤制时间的准确率，在9～24 min时低于均值算法比色卡；在1～25 min时低于K-Means算法比色卡；在8～25 min时低于K-Means+图像降噪处理算法比色卡，结果表明烤制后期羊肉表面颜色变化迅速，根据样品颜色直接判定羊肉烤制时间存在的误差增大，导致准确率下降，比色卡能够较好地呈现出样品的颜色信息以及抗外界干扰，借助比色卡能够在一定程度上提高对羊肉烤制时间的识别准确率。

3 结论

本文采用机器视觉技术建立烤羊肉颜色识别比色卡，对烤羊肉的颜色进行快速识别，并对识别准确性进行了验证。结果表明：三种比色卡都能够呈现出良好的颜色梯度变化，反映羊肉烤制过程中的颜色变化，其中K-Means算法比色卡经K-medoids算法验证准确率为95.70%，感官验证准确率为73.71%，效果在三种比色卡中最好，与烤制时间的相关性也最强，所以K-Means算法制作的比色卡感官属性更好。综合来看，制作烤羊肉比色卡可以将羊肉烤制过程中所有可能出现的颜色直观的呈现出来，表明基于机器视觉技术制作比色卡具有良好的可行性。颜色能够反应产品信息，在加工过程中可通过比色卡对烤羊肉成熟度进行对比判断，也可以将比色卡作为消费者对烤羊肉颜色喜爱度的评价标准，便于商家调查分析各类消费群体对产品的成熟度等不同需求，及时对产品进行调整；在生产生活中，比色卡可作为质量评价依据，对烤羊肉及时进行监测、控制烤制时间，使产品拥有良好的感官特性，方便商家以及消费者在生产、消费过程中进行质量检查，为产品颜色识别和感官评定提供参考依据。研究发现比色卡可在一定程度上反映出烤羊肉的成熟度，烤羊肉的成熟度是导致其颜色变化的重要因素，因此可基于本研究方法，针对比色卡与烤羊肉成熟度之间的关系等方面展开进一步系统研究。