染病熟对虾的褐变特征提取方法研究

洪 辰，刘子豪，汪许倩，高 乐，郑震宇

（嘉兴学院信息科学与工程学院，浙江嘉兴 314001）

正常养殖或从海里捕获的对虾受到环境中细菌 或病毒的侵染，抑或在运输、加工过程中保鲜不当均可能导致对虾关联产品新鲜度下降。新鲜度作为衡量虾主要的品质指标，保证了对虾产品质量安全的基础，新鲜的虾即使价格高，也同样畅销。南美白对虾，因其味美、营养价值高，需求量持续增大，据2020 年中国渔业统计年鉴显示，我国南美白对虾养殖产量已达181.56 万吨，年总产量一直居于所有养殖虾类的首位，是我国养殖产量最高的虾种。冻熟对虾作为我国近年来一种新的熟制对虾加工产品，主要以南美白对虾为原料加工制成，自投放市场后，需求不断增长，但由于我国保鲜技术仍未能获得实质性突破，在冷藏和运输过程中出现的褐变现象降低了对虾感官品质，影响对虾产品实际销售，已成为影响水产业发展的主要问题之一。

熟对虾的典型品质衰减特征即体内产生了褐变物质，由于南美白对虾富含酪氨酸及其衍生物，易被酪氨酸酶催化氧化成醌类化合物，其进一步发生酶促反应生成大分子的黑色物质，在外壳沉积大量黑色素，极易褐变。但虾体内部发生氧化反应并非导致褐变的唯一因素，也可能是病毒性疾病、寄生虫性疾病、细菌性疾病等因素造成的结果，非正常氧化形成的褐变虾流入市场后可能会造成食物中毒、流行性病毒传播等不可估量的危害。目前，我国虾类水产品行业分选褐变熟对虾主要以人工方式为主，工人通过肉眼观察对虾褐变部位和面积来甄选出不同品质的对虾，人工分选方式存在主观性强、生产效率低且分选精度不稳定等缺点，难以满足对虾日益增长的市场需求，自动化的对虾检测装置应运而生。Luzuriaga 等设计开发了一种可重复、精准测量虾的视觉质量装置，该装置量化了冷藏期间对虾的褐变程度，并计算虾仁的黑变面积占比与其人工分级的相关性。Mohebbi 等运用自动阈值法研究熟虾仁在干燥过程中颜色变化与水分含量的关系。以上研究均能实现对虾的自动化检测，本文基于以上方法构建不同颜色模型提取对虾褐变特征，将褐变区域占比作为熟对虾品质分级的核心条件，实现对褐变虾的精准识别与快速剔除。

本研究综合利用传感技术、光谱技术、几何代数学、统计学模式识别等多领域技术手段，以熟对虾为研究对象，将动态图像采集技术与图像处理技术相结合，从图像中提取重要的信息，构建熟对虾品质的在线实时检测系统，以实现熟对虾分选的自动化、智能化，并提高分级效率，保障对虾品质，从而让消费者吃上放心、安全的对虾产品。

1 材料与方法

1.1 材料与仪器

试验所选取的冷冻熟对虾 购置于嘉兴秀洲区大润发超市，其中少数对虾样本存在轻微褐变，大部分为未发生褐变的正常虾。

DELL G3 3590 笔记本电脑，Intel（R） Core（TM）i5-9300H CPU @ 2.40 GHz 处理器，内存8 GB 美国Dell 公司；德国映美精30 万像素彩色工业相机，型号为DFK-23G618，镜头型号为VT-LEM0618-MP3德国映美精公司。

1.2 实验方法

1.2.1 设备组装和原理 本研究通过构建机器视觉系统来获取动态生产线上的对虾图像，通过计算机对图像进行特征提取与分析，判别对虾是否发生褐变，从而进一步剔除褐变虾。对虾图像采集装置如图1 所示，主要由CCD 工业相机与LED 条状照明光源构成。

图1 图像采集装置Fig.1 Image acquisition device

图像采集装置的主体是光照箱，主要由工业相机、白色和红色光源带、反光贴纸、吸光贴纸、挡光板、变压器组成。白色光源带起增加亮度作用，红色光源带起降低光源反光率作用。壁上的反光贴纸可以增大LED 射出光子的反射率，外侧的黑色吸光贴纸可以减少部分光照溢出。挡光板可以阻挡自然光等外界光干扰，变压器可以控制光源开合。此光照箱可达到拍摄区域亮度合适，拍摄照片清晰易处理的效果，装置具体搭建过程如图2 所示。

图2 图像采集装置搭建过程Fig.2 Construction process of image acquisition device

1.2.2 数据采集 试验中多数褐变虾样本通过正常虾暴露在常温有氧环境下一段时间得到，不同虾的褐变程度存在差异，部分样本图像如图3 所示。

图3 正常熟对虾与褐变熟对虾Fig.3 Normal cooked shrimp and melanotic cooked shrimp

为提高采图效率，训练集和测试集均采用对虾正反面拍照的形式，其中正常熟对虾样品为134 只，褐变熟对虾为58 只。经过图像装置采集到单只熟对虾训练集图像共217 幅，单只熟对虾测试集图像共166 幅，追加单只熟对虾验证集图像共100 幅。其中单只熟对虾训练集图像包括正常熟对虾图像151 幅，褐变熟对虾图像66 幅；单只熟对虾测试集图像包括正常熟对虾图像116 幅，褐变熟对虾图像50 幅；单只熟对虾验证集图像包括正常熟对虾70 幅，褐变熟对虾图像30 幅。

为了实现褐变虾的在线检测，本研究基于Visual Studio 2015 开发了一套利用机器视觉技术的南美白对虾褐变检测软件，操作人员只需在软件界面上点击指定按钮即可实现检测，用户终端界面是由微软基础类库（Microsoft Foundation Classes, MFC）所搭建，图像处理中所使用的开源计算机视觉库（OPENCV）版本为3.4.2。

1.2.3 对虾图像预处理 本研究利用图像采集装置获取动态生产线上的熟对虾图像，其中包括正常虾以及褐变虾图像，分辨率均为640×480 dpi。首先，针对原始的熟对虾图像，提取的目标对虾的灰度峰值与背景峰值存在较大差异，运用背景灰度差异法可实现对感兴趣区域对虾图像的分割与提取，从而得到二值图像，但分割后的二值图像仍然存在不完整的情况，图像整体虽在人肉眼中能够被识别，但计算机难以分辨存在边缘及其轮廓内部不连续的图像。随后采用连通区域处理技术，并用中值滤波来处理图像轮廓边缘出现的不平滑情况，使轮廓边缘更为流畅，从而得到适应人眼视觉的感兴趣区域灰度图像。经过以上步骤处理，能够得到接近完整轮廓图像，图4显示了图像预处理的主要流程。

图4 图像预处理的流程示意图Fig.4 The flow chart of image pre-processing

1.3 对虾褐变判别

1.3.1 图像颜色特征提取 颜色特征的提取，必须在特定的颜色空间中进行。最常用的颜色空间是RGB空间，多用于颜色显示和图像处理，但它的均匀性非常差，两种不同颜色之间的直觉差异色差不能用颜色空间模型中两点间的距离差表示，描述方式难以按人眼关注的焦点进行表达。相对于RGB 空间，HSV空间能够更直观地展示色彩的明暗、色调以及鲜艳程度，更接近于人类视觉经验和对色彩的认识；Lab 颜色空间则具有更宽广的色域，其表现在位图获得同样的精度下，需求更多的像素数据。褐变作为一种颜色特征在图像整体中具有显著特点，但在不同颜色空间中的表达也存在差异。为了更好地提取对虾褐变特征，本研究分别在RGB、HSV、Lab 三种颜色空间中构建相应的颜色模型，颜色模型主要由各通道分量决定。

1.3.2 对虾褐变特征提取 对虾褐变是由于虾体内的多酚氧化酶发生酶促反应而产生黑色素，酶促反应的持续时间决定了褐变程度，本节主要阐述使用不同颜色空间提取褐变特征的过程。由RGB 颜色空间构成可知：黑色主要与通道值有关，而与、通道关系较小，分量越小，颜色越趋于黑色。对虾在褐变过程中，颜色主要由橙色变成褐色，再由褐色转变为黑色。因此，分量可作为表征褐变程度的指标，将该分量设定在一定范围内能够提取对虾褐变特征，本研究将分量范围设定为0～77。

使用HSV 颜色空间提取颜色特征需由RGB 图像进行转换，转换公式如式（1）～（3）所示，max（,,）表示所取三通道分量的最大值。HSV 颜色空间显示了各个基本色对应的色调（），饱和度（），亮度（）三个参数的模糊取值范围，例如黑色对应分量在0～180，分量在0～255，分量在0～46。本文中的熟对虾可能存在酶促反应时间较短而呈现轻微褐变的情况，仅使用黑色所对应三个分量范围提取褐变特征存在局限性，需扩大设定分量范围。本研究提取褐变特征的分量范围设为0～180，分量设为0～255，分量设为0～70。

Lab 颜色空间中的明度和颜色是分开的，通道对应亮度，而通道和通道对应颜色。分量表示从纯黑到纯白，取值范围是[0, 100]；分量表示从红色至绿色的范围，取值范围为[-128, 127]；分量表示从黄色到蓝色的范围，取值范围是[-128, 127]。因此，分量是最能表征对虾褐变程度的指标。Lab 通过RGB 的转换公式如式（4）～（8）所示，其中式（4）～（7）中的X、Y、Z 由式（8）矩阵相乘得出，本研究将分量范围设定为0～60。

由于褐变特征与虾眼区域的颜色特征相似，使用以上颜色模型提取到的褐变区域均包含虾眼区域。故第一步提取到的褐变特征区域需剔除虾眼，保留实际褐变区域，虾眼与褐变区域之和占比e以及褐变区域占比e公式如式（9）～（10）所示：

其中，area1 表示包含未剔除虾眼的褐变区域面积；area2 表示剔除虾眼后的褐变区域面积；whole_area 表示求得的对虾整体面积，以上三个指标的单位均为像素。

此外，由于正常虾不存在褐变，即可直接通过以上所构建的模型得到虾眼区域，从而依据公式（9）得到虾眼占比即e，虾眼提取准确率EA（Eye Accuracy）由以下公式得出：

其中ES（Number of eyes successfully segmented）表示通过以上方法成功提取虾眼图像数目，TI（Total number of images）表示该集合中的所有图像数目。

2015 年，洪寒梅采用双阈值分割法提取变质对虾的褐变特征，但对虾足部及产生的阴影区域易被误认为是褐变区域。阈值分割法是根据图像各个像素点的灰度差异，选择合适灰度级作为阈值，将目标区域与背景区域分割出来，但如果部分像素点灰度级近似，尤其在剔除虾眼区域时，所属虾眼区域的像素点与一些冗余像素点灰度相近，易导致误分割，因此，分割后的对虾褐变区域需要进一步剔除虾眼部分，才能得到真实的褐变区域。2016 年，刘子豪提出了通过获取虾头点及骨架线端点坐标的方法提取虾眼，该方法虽能够准确的定位虾眼，但流程较为复杂，耗时较长。

以本团队的前期研究为基础，本文提出了一种剔除虾眼区域的方法，在一定程度上简化了虾眼的分割流程，提高了程序运行速度。首先，通过阈值分割法提取熟对虾二值图像，再提取二值图像轮廓特征；其次，计算轮廓矩，并提取对虾轮廓质心centroid，得到质心坐标p1；然后，构建颜色模型提取褐变区域，并定位褐变区域坐标p2；最后，根据p1 到centroid的距离一般大于p2 到centroid 的距离以及虾眼区域相较于部门冗余联通区域面积更大的特点实现虾眼定位，并以黑色像素点填充剔除。

1.3.3 对虾褐变程度分级 浙江省地方标准中给出了对虾产品的人工分级标准，其中，一级品不存在褐变，二级品存在轻微褐变，三级品存在多部位褐变，本文根据该标准以褐变区域占比e对熟对虾品质分级，e由式（10）得到，具体见下表1。褐变区域占比e越小，则对虾的品质等级越高，更为新鲜。

表1 熟对虾分级标准Table 1 Grading standard for cooked shrimp

2 结果与分析

2.1 熟对虾训练集的试验结果与分析

2.1.1 虾眼提取试验结果分析 基于以上所提研究方法，表2 给出了训练集中正常熟对虾图像经过不同颜色模型提取后的结果，其中包含三种颜色模型相应虾眼占比的各项数值，虾眼提取准确率可由式（11）得出。通过表中数据可知，构建的三种颜色模型均能以较高的准确率提取正常虾的虾眼，由此能够为后续的褐变判别试验提供支持。由于正常虾不发生褐变，提取后只存在虾眼区域，虾眼占比即e，而褐变虾的褐变区域仍包含虾眼区域，因此e的大小可以初步判断对虾是否褐变，其由上述式（9）得出。

表2 不同颜色模型下正常熟对虾训练集虾眼提取试验结果Table 2 Test results of eye extraction from normal cooked shrimp training set under different color models

2.1.2 三种颜色模型的训练结果 提取褐变特征首先需要排除虾眼的干扰，虾眼剔除方法已在上述给出，在经过图像预处理后，褐变虾与正常虾剔除虾眼并提取褐变特征的整个过程如图5 所示，正常虾由于未发生褐变，删除虾眼区域后，呈现图像为纯黑。

图5 熟对虾提取褐变区域过程Fig.5 The process of extracting browning area from cooked shrimp

此外，所构建的不同颜色模型提取对虾褐变区域的效果存在差异，使用RGB 颜色模型提取的褐变区域较HSV、Lab 颜色模型更为完整，但也可能存在过分割的问题，这是由于不同模型所使用的对应分量存在差异，图6 为三种颜色模型提取熟对虾褐变特征的主要过程。

图6 不同颜色空间提取褐变区域的过程Fig.6 The process of extracting browning area in different color models

基于上述结果，三种不同颜色模型下熟对虾训练集的试验结果见表3，分割准确率表示成功剔除虾眼保留褐变区域的对虾图像数目与图像总数比，该情况下的分割准确率即为识别准确率。耗时表示单只虾所耗费的时间，包括图像预处理中读取图像时间、提取感兴趣区域二值图像的时间、中值滤波及连通域方法等形态学操作的时间与剔除虾眼、保留褐变特征等消耗的时间总和。从中可以得出，剔除虾眼提取褐变特征的方法对褐变虾的识别率相较于正常虾更高，但对未出现褐变的正常虾，显然不必进行褐变特征提取。为了简化流程并提高正常虾识别率，可将虾眼与褐变区域之和占比e作为初始阈值，由于正常虾褐变区域占比e为0，将e作为判断该对虾是否正常的指标，若e小于设定阈值，则为正常；若e大于设定阈值，则初步判断其为褐变虾，需进一步剔除虾眼提取褐变特征。

表3 不同颜色模型下熟对虾训练集试验结果Table 3 Test results of cooked shrimp training set in different color models

三种颜色模型下的虾眼占比数据已在表2 给出，根据该表设定了不同阈值e进行试验，结果如表4 所示，表明设定阈值e的方法既提高了正常虾识别率，又使褐变虾识别率保持在原先附近水平。

2.2 熟对虾测试集及验证集的试验结果与分析

根据表4 给出的熟对虾训练集试验结果，选取三种颜色模型对应最优阈值e对测试集进行试验，见表5。结果显示，所构建RGB 颜色模型平均识别率最高，达到92.77%，但耗时略长于HSV、Lab 颜色模型，单只虾识别的平均耗时需91.36 ms。Lab 在三种颜色模型中耗时最短，平均识别率仅次于RGB 颜色模型。

表4 不同颜色模型下熟对虾训练集设定阈值e1 的试验结果Table 4 Test results of setting threshold e1 of cooked shrimp training set in different color models

表5 不同颜色模型下熟对虾测试集在最优阈值下的试验结果Table 5 Test results of cooked shrimp test set under optimal threshold in different color models

本研究在此基础上就对虾褐变判别追加了相应的验证集，以此进一步验证方法的可靠性。试验结果见表6，结果显示在验证集试验中，各个颜色模型同样表现出良好的应用效果。

表6 不同颜色模型下熟对虾验证集在最优阈值下的试验结果Table 6 Test results of cooked shrimp verification set under optimal threshold in different color models

综上，通过引入颜色简化模型提取对虾的颜色特征，判别对虾是否发生褐变的方法在识别率与运行效率上均具有一定可行性。

2.3 所提方法对比试验结果与分析

本文所提颜色空间提取方法适用于识别正常熟对虾以及褐变熟对虾的情况，对虾次品杂质包含了褐变虾、残缺虾，剔除次品杂质中的褐变虾具有显著意义。列举了本文构建三种颜色特征模型识别方法与传统对虾次品识别方法的对比结果，如表7 所示。

从表7 中可以看出，本研究所提方法的算法复杂度较低，较此前方法的识别率与运行效率均有所提高。通过试验分析，RGB 颜色模型在三种颜色模型中识别率最高，能够很有效地运用于检测对虾褐变，且在运行效率上也具有良好表现。

表7 本文所提方法与此前提出的方法对比Table 7 Comparison between the method proposed in this paper and the methods proposed before

2.4 基于RGB 颜色特征的对虾褐变程度分级试验

对虾不同部位多酚氧化酶的酶活性不同，导致各个部位褐变的顺序和程度不同。在实际生产中，工作人员根据褐变面积、褐变深浅对熟对虾进行品质分类。图7 为不同程度褐变的熟对虾经过颜色模型提取褐变区域并剔除虾眼的结果。

图7 不同程度褐变的熟对虾Fig.7 Cooked shrimp with varying degrees of browning

本文选用以上构建的RGB 模型根据表1 的分级标准用于测试集试验，设定初始阈值e为0.02，试验结果见表8，其中一级品数目112 只，二级品17只，三级品29 只。116 幅正常熟对虾图像中作为一级品的数目112 只，其中4 只正常虾被判别为褐变虾；而50 幅褐变熟对虾图像中仅4 幅被误判为正常虾，及未成功提取褐变特征4 幅。

表8 测试集熟对虾分级结果Table 8 The grading results of tested cooked shrimps

表7结果显示了总体分级准确率可达到92.77%，因此，本研究方法能够代替人工对熟对虾褐变程度分级，从而剔除鲜度较低的对虾，甄选出品质良好的对虾。

3 结论

本文针对褐变熟对虾在传统人工挑拣方式下存在分选效率低、精度差的问题，提出了一种基于颜色简化模型的熟对虾褐变特征提取方法。通过试验，本文可得出结论如下：

a.本研究构建了三种颜色模型分别提取对虾的褐变区域，将褐变区域占比作为判别对虾是否发生褐变的条件，相较于双阈值分割法，不易发生误分割现象，能取得较高的识别率。在对116 幅正常虾和50 幅褐变虾测试集样本的试验中，所构建的RGB 颜色模型识别率最高，可达到92.77%，识别速率达到91.36 ms/只，在识别率及运行效率上均具有一定优势。

b.本文所提方法避免了传统分拣中受到人为主观意志的影响，具有快速无损检测、识别精度高、智能化的特点，有助于保证虾类产品的鲜度。在实际的运用中相较于人工筛选具有更大的优越性，在未来的对虾加工产业有较高的商业价值和良好的商业前景。

本研究也存在一些不足，未将不同部位发生褐变的虾分类，只是从宏观上将发生褐变的虾识别出来并分级。在今后的研究中，将探究其他方法实现对不同部位发生褐变的虾分类，并提高识别准确率。