刘朝阳, 王永强, 周聪玲, 强斯祺
(天津科技大学机械工程学院,天津市轻工与食品工程机械装备集成设计与在线监控实验室,天津 300222)
室外池塘养殖是我国水产养殖的主要模式之一,2021年全国池塘养殖面积超过300万 hm2,产量突破2500万t,占养殖总产量的49%[1]。目前传统的投饵方法是人工投饵或者投饵机投饵,均存在诸多弊端。其中,人工投饵主要依靠养殖人员的经验,缺少有效的监督管理,且随意性较大,容易造成饲料浪费、水质环境污染以及养殖鱼群生长不均等问题。而目前的自动投饵机只能做到定时、定量投放,无法根据鱼群的摄食状态实时调控投喂时间和投喂强度,极易发生饵料投喂不足或者投喂过剩的情况。因此,智能化投饵控制技术显得尤为重要。吴强泽[2]设计了一种以PLC为控制单元的智能上料机,其以温度为输入参数,时间为输出参数,实现定时投料,喂食时间由前1 d的平均水温决定,结果表明鱼类生长对水温有很高的要求,在最适合的水温环境下,摄食效果最高。Bórquez-Lopez等[3]研究了水产养殖环境中溶解氧和温度对饲料消耗的影响,利用模糊逻辑(fuzzy logic,FL)和成员函数(member functions, MF)对饲养方法进行评价,开发了基于FL的专家系统指导饲养工作的系统。
机器视觉技术以检测速度快、精度高、成本效率高的优点,为水产养殖领域中的智能化投喂提供了可能。赵建等[4]提出了一种基于改进动能模型的鱼类摄食活动强度评价方法。在HSV色彩空间下对水面的反射区域进行分割和提取,利用Lucas-Kanade光流、统计方法和信息熵计算分析反射面积变化的不规则程度,根据反射区的变化幅度评价鱼的摄食活动强度。该方法能较好地描述不同胃肠饱胀指数罗非鱼在单轮多次投喂中的摄食活动强度。陈彩文等[5]提出了一种通过分析鱼群的纹理来评估鱼群摄食活动强度的方法。首先,利用均值背景建模重建无鱼的背景图片,提取目标鱼群;然后使用灰度共生矩阵对目标鱼群进行纹理特征分析,得到鱼群的摄食强度,结果表明,鱼群纹理特征中的对比度参数与传统面积法评估得出的鱼群摄食强度线性决定系数可达0.8942。 Zhou等[6]提出了一种基于卷积神经网络(convolutional neural network,CNN)和机器视觉的鱼食强度自动分类方法,该方法的分类准确率达到90%。但由于室外池塘养殖环境的复杂性,目前针对室外池塘养殖投饵系统的智能控制研究较少。因此,本文选用室外池塘养殖中的鲤鱼(Cyprinus carpio)作为研究对象,利用纹理特征中熵、能量、相关性、对比度4个参数分析鱼群摄食强度,同时采用独立性权系数法确定4个参数的最佳权重,建立数学模型,并由支持向量机对鱼群摄食状态进行分析识别。本研究可为室外池塘养殖投饵系统的智能控制提供一种有效的解决方法。
试验区位于天津市东丽区宽达水产3号养殖池塘,该养殖池塘占地0.4 hm2,2021年5月10日在市场选购一批鲤鱼苗投放至该池塘。试验时间为2021年8月1—2日,此时池塘养殖密度为鲤鱼5.0万~5.5万尾·hm-2,鱼体长度10~13 cm,体质量规格在400~600 g。养殖期间对池塘水质进行监测,保证鱼群生长环境健康。其中溶解氧在连续24 h内,有16 h以上大于5 mg·L-1;水温保持在最为适宜的20~32 ℃;pH在6.5~8.5。
图像采集设备为大恒图像MER-504-10GM/C彩色工业相机,分辨率为2448×2048,镜头型号为HN-1624-20M-C1/1X。采集状态包含鱼群未摄食(T0)、弱摄食强度(T1)、强摄食强度(T2)3种;采集速度为30 f·min-1。
在MATLAB 2017b软件提取鱼群未摄食(T0)、弱摄食强度(T1)、强摄食强度(T2)3种状态的图像纹理特征。在进行纹理特征提取时首先将彩色图像进行灰度化,然后选取灰度共生矩阵中熵(entropy,ENT)、能量(energy,ASM)、相关性(correlation,COR)、对比度(contrast,CON)4个二次统计量来表示鱼群的纹理特征信息,计算公式如式(4)。熵表示图像中纹理的非均匀程度或复杂程度;能量表示图像灰度分布均匀程度和纹理粗细度;相关性表示灰度共生矩阵元素在行或列方向上的相似程度;对比度表示图像的清晰度和纹理沟纹深浅的程度。
式中,L表示图像灰度级,i和j表示灰度值,d表示相隔距离,θ表示方向,P表示在θ方向上,相隔距离d的1对像素分别具有灰度值i和j出现的概率。
为提高灰度共生矩阵的计算效率,将灰度等级L设置为16级,像素距离d设置为1[7]。方向θ取0°、45°、90°、135°,其中θ取0°,即0°扫描,像素对是水平的;θ取45°,像素对是右对角线的;θ取90°,像素对是垂直的;θ取135°,像素对是左对角线的;不同θ表征的纹理信息不同,为了综合性描述图像纹理特征,将4个方向求取均值作为特征值。
鉴于特征融合可以在多个原始特征集中获得最具差异性的信息,同时能够消除不同特征集之间因相关性而产生的冗余信息。本文提出了一种基于熵、能量、相关性、对比度4个参数特征加权融合模型。首先利用灰度共生矩阵提取图像熵、能量、相关性、对比度的特征值作为数据样本;然后利用独立性权重法计算参数特征值间的复相关系数(R)[8],将得到的复相关系数R取倒数并进行归一化即得到参数间的权重;最后按照鱼群摄食规律对4个参数特征值拟合,根据4个参数在1个完整摄食周期的曲线走势建立数学模型并赋上权重。
式中,Ri为复相关系数,m为指标个数,xˉ为x的平均值,x͂为x中除去xi后剩余m-1个变量的线性组合,i=1, 2, 3...m。任意指标xi的R越大表明该指标与其他指标间的共线性越强,即信息重叠越大,权重分配越小。
鱼群摄食状态作为调控投饵机投饵参数的重要依据,所以需要对整个投饵过程中鱼群的摄食状态进行实时识别。本文只针对鱼群未摄食(T0)、弱摄食强度(T1)、强摄食强度(T2)3个状态的分类识别,并通过构建SVM分类器实现对输入图像的快速识别,判断出鱼群所处的摄食状态。在SVM分类器构建中核函数的选取以及参数的寻优对分类准确率有直接影响。如式(6)和(7),本文选取RBF核函数并通过libsvm对核函数参数g与惩罚因子c自动寻优[9]。
式中,g表征支持向量个数,g越大支持向量越少,g越小支持向量越多,支持向量的个数会影响分类器的训练速度与预测速度;SVM模型中的惩罚因子c,表征对误差的宽容度。c越高,越容易过拟合,反之容易欠拟合。
由图1可以看出,鱼群在不同摄食强度下的水面状态不同。其中,鱼群在未摄食状态下水面趋于平静;在弱摄食强度下水面产生波动;在强摄食强度下水面变化剧烈。同时对比2021年8月1日(东北风3~4级)与2日(东北风1~3级)采集的图像可以看出,风力等级为3~4级时鱼群在未摄食状态下水面波纹明显,但风力等级为1~3级时鱼群在未摄食状态下水面趋于平静,且风力等级为3~4级时鱼群弱摄食强度和强摄食强度状态下的水面变化比风力等级为1~3级时更明显。因此,将水面状态的变化理解为水面纹理变化,通过对水面纹理变化的分析可对鱼群摄食状态进行监测和评估。
图1 鱼群图像样本Fig. 1 Sample of fish image
对鱼群未摄食、弱摄食强度、强摄食强度3种状态的图像各抽取1000帧图像的纹理特征进行提取。通过表1可以看出,4个参数在每种摄食状态下的特征值都有一个区间,且同一参数不同摄食状态下的特征值均值不同。由此分析,熵、能量、相关性、对比度4个参数均能有效地表征鱼群摄食状态,通过设置不同的阈值范围可对鱼群摄食状态进行分类识别,同时对4个参数特征值的统计能够为阈值范围的确定提供基础依据。
表1 图像样本参数特征值统计Table 1 Statistics of eigenvalues of parameters of the image sample
随机选取650帧图像,其中未摄食(T0)200帧、弱摄食强度(T1)200帧、强摄食强度(T2)250帧。如表2所示,采用独立性权重法计算这650帧图像中熵、能量、相关性、对比度的权重,结果显示,熵的权重最高,达到47.04%,表明熵与能量、相关性、对比度之间的共线性关系最弱,信息重叠最小;相关性的权重最低,为12.70%,表明相关性与熵、能量、对比度之间的共线性关系最强,信息重叠最大。同时将650帧图像熵、能量、相关性、对比度的特征值按周期特性进行数据拟合。如图2所示,1~100帧为T0,鱼群未摄食,水面平静;101~200帧为T1,鱼群开始摄食,水面的波动量开始增大; 201~450帧为T2,鱼群摄食强烈,水面变化剧烈; 451~550帧为T1,部分鱼群吃饱,鱼群整体摄食强度变弱,水面的波动量开始减小;551~650帧为T0,鱼群摄食完毕,水面恢复平静。从拟合结果可以看出熵、能量、相关性、对比度在T0、T1、T2状态间的特征值有交集且相邻状态间的特征幅值比较相近,存在交集表明鱼群的摄食状态会出现误判,相邻状态间特征幅值相近表明易出现交集。由此可知,鱼群摄食状态识别的难易程度与T0、T1、T2之间特征幅值的间隔有关,间隔越大越不容易出现交集与误判,鱼群摄食状态识别的难度也就越小。同时通过这4个参数在1个完整周期的曲线走势可以发现能量与相关性的走势呈“凹”型,熵与对比度的走势呈“凸”型。由此可以构造数学模型来突显T0、T1、T23种状态间的变化趋势,数学模型如下。
表2 独立性权重法计算结果Table 2 Calculation results of independence weight method
图2 特征值拟合曲线Fig. 2 Eigenvalue fitting curve
式中,y为量化特征值,x1为对比度,x2为能量,x3为熵,x4为相关性。
为验证参数加权融合模型的有效性,将650组原始样本数据代入参数加权融合模型并进行数据拟合。由图2数学模型拟合曲线可以看出,参数加权融合模型中T0、T1、T2之间不存在交集,且特征幅值的间隔更为明显,这为后续鱼群摄食状态的识别进行了优化。
SVM模型中核函数参数g与惩罚因子c自动寻优结果为4和11.3137。利用650帧图像作为训练集对SVM模型进行训练,训练完毕后在不同摄食状态下每个区间内重新选取1000帧图像作为测试样本进行摄食状态识别。由表3可知,经参数加权融合模型处理后鱼群摄食状态识别准确率达到99.77%,单帧图像处理时间为0.48 s。其中T1区间共有7帧样本图像识别错误,将错误识别样本与正确识别样本进行对比分析。从图3可以看出,相较于正确识别样本,错误样本纹理变化更为剧烈,但大部分纹理变化是水面波纹产生的。由表4可知,正确识别样本在参数模型中的计算结果为0.7371,属于T1样本阈值范围内。7个识别错误样本的计算结果分别为1.3814、1.4242、1.2873、1.3357、1.2925、1.2834、1.3553,均超出了T1状态下的阈值上限,且在T2样本阈值范围内,但靠近T2阈值下限。由此分析,鱼群摄食状态出现识别错误的原因是鱼群在摄食强度较弱的状态下风力变大引起的水面纹理波动剧烈,与鱼群强摄食状态下的纹理特征较为相似,导致结果出现错误。虽然风力等级对鱼群摄食状态的识别有一定影响,但本文提出的方法在整体识别准确率与效率上展现出了优越性。
表3 鱼群摄食状态识别结果统计Table 3 Statistics of experimental results
表4 误差结果统计Table 4 Error result statistics
图3 样本对比Fig. 3 Sample identify comparison
参数加权融合模型是基于统计方法得出,前文已经验证了模型的有效性。为了验证模型的可靠性,重新对1个周期内的T0、T1、T2各抽取1500帧图像,随机分成各500帧的3组样本进行纹理特征提取。基于这3组特征值,用独立性权重法对参数加权融合模型进行权重赋值,并对2.4中的测试样本重新识别。由表5可知,由于统计数据的不唯一性,权重系数赋值会存在小范围波动,但不会对鱼群摄食状态的识别准确率产生影响。总之,参数加权融合模型在鱼群摄食状态的识别中具有一定的可靠性,但在以后的工作中仍需要进一步的完善。
表5 权重波动试验统计Table 5 Experimental statistics of weight fluctuation
本文利用机器视觉、图像处理技术将鱼群摄食状态提取纹理特征参数熵、能量、相关性和对比度表征;利用独立性权重法确定4个参数最佳权重并建立参数加权融合模型,可提高鱼群摄食状态的识别准确率。该方法可为养殖过程中的精准投饵提供技术支撑,具有较强的实用性。
陈彩文等[5]通过分析鱼群纹理评估鱼群摄食活动强度,其依靠单一特征参数进行分析,本文选取熵、能量、相关性和对比度4个参数重,通过建立参数加权融合模型提高鱼群摄食状态的识别准确率。杨朦朦[10]研发了一种能进行精准化投喂作业的智能投饲装备,基本结构由送料装置、称重装置和抛料装置组成,根据水温和溶氧量设计了二维模糊控制器,将水温和溶氧量输入模糊控制器后得到精准的投喂量。其方法主要基于鱼群生活的水质参数,没有对鱼群的摄食行为进行分析和识别,本文在保证鱼群生活环境健康的情况下,利用机器视觉实时监测鱼群摄食强度,以此控制投饵机投饵,为智能化投饵提供了一种有效的解决方法。乔峰等[11]通过图像处理技术提取鱼群位置、数量特征值,分析鱼群摄食规律。鉴于鱼群抢食时密度过大产生堆叠,此方法不能有效地计算鱼群数量,本文通过鱼群摄食过程中池塘的水面纹理变化监测鱼群摄食情况,可减少程序的复杂程度,消除因计算鱼群位置与数量产生的误差,同时发现风力等级对鱼群摄食状态的识别有一定影响,为下一步的研究提供了思路。