基于稠密光流和统计学的虾苗活力检测方法

薛江浩,陈 明,苗扬扬,江静粼,丁 寅

(1 上海海洋大学信息学院,上海 201306;2 上海市极栈信息科技有限公司,上海 201306)

南美白对虾(Penaeusvannamei)是目前养殖产量最高的三大虾类之一,在养殖过程中虾苗的选取是关键的一步,苗种质量的好坏直接影响到养殖生产的效益[1]。目前,在实际水产养殖中,虾苗质量检测方法主要是依赖专业人员进行感官评价,即通过观察虾苗的游动活力来判断,但这种方法的评价结果容易受评价人员主观影响[2]。有学者提出微生物法和化学法进行水产品质量评估,例如杨其彬等[3]通过进行抗性试验和病毒检测建立评估斑节对虾虾苗活力和质量的标准。但此类方法均需要过多人为参与且检测效果常无法兼顾快速和准确,因此客观准确地实现虾苗质量检测有重要的研究价值和现实意义。

随着中国水产养殖业和计算机技术的发展,在水产养殖中应用计算机技术的相关研究越来越多。如单佳楠等[4]通过多种机器学习方法建立金鲳鱼质量检测模型,验证表明基于机器视觉技术的金鲳鱼质量预测模型可靠性高; Liu等[5]、Zhou等[6]提出了鱼群聚集系数和鱼群摄食抢食强度2个系数来量化鱼群的聚集和抢食强度;张志强等[7-8]运用机器视觉提取淡水鱼的颜色和长短轴之比等特征来实现淡水鱼分类;Duarte等[9]通过计算视频的帧间差值来计算鱼群的图像处理活动系数,该系数和人工观测指标有相关性。在虾苗养殖领域,范松伟等[10]提出的虾苗自动计数模型在均匀背光环境下能对一定密度的虾苗自动计数;Jonas等[11]引入伪彩色可视化技术快速获取虾的丰富度和空间分布的变化;刘子豪等[12]引入香农信息论构造不同虾样本的特征差异模型,建立了一个用于染病虾识别的自适应卷积神经网络,该网络在单个数据集上的识别精度为97.96%。上述研究主要是通过机器视觉或统计学等方法对鱼虾的运动信息进行建模,然后利用神经网络或算法做进一步的分析和检测。对虾苗进行质量检测,可以通过虾苗的游动状态来估计虾苗的活力和品质,但对于虾苗这种体积小、游动速度较快的多目标跟踪场景,对跟踪的鲁棒性和可靠性仍有较大的挑战[13]。

光流法目前已经被广泛应用于运动目标检测与跟踪的相关研究中,其本质是计算两个图像之间的一个矢量场,即第一个图像中目标的像素如何移动以形成第二个图像中的相同目标,主要用于序列图像的运动近似估计[14-15]。文献[16-17]将光流法和其他运动目标检测方法结合,从而提高特殊场景下的目标检测效果。Zhang等[18]提出一种新的光流神经网络的训练策略,目的是在低光照条件下依然可以保持光流估计的效果;Sana等[19]构建了一种基于边缘保护滤波器的光流法,对光流法存在的边缘不明确问题有所改善;李泉成等[20]利用光流提取视频的运动特征对原图像进行光流增强从而提高气体泄露检测的精确率。高云等[21]在Res-net网络中加入光流信息和注意力机制,从而增加梅花鹿攻击行为的识别精度。文献[22-23]使用光流法提取视频中目标的运动特征,并采用不同方法对运动特征进行建模来实现鱼群的行为检测。上述研究主要是通过光流法提取视频的光流信息作为行为特征,说明光流信息能较好地表征运动目标的行为信息。

本研究拟利用计算机视觉技术,研究基于稠密光流和统计学运动特征的虾苗活力检测方法。采集不同活力程度的虾苗视频,使用基于Python语言的图像处理库OpenCV将视频转为灰度视频,同时将视频分辨率压缩至360×360像素以减少光流法的运算量。利用Gunner Farneback(GF)稠密光流法从视频中提取虾苗帧间运动特征,GF光流法计算所有像素点在相邻帧间的偏移量,形成每个像素点的运动矢量,包含幅值强度和相角角度两个维度的行为信息,二者包含了虾苗运动的主要信息。在对每一帧幅值强度和相角角度统计分析的基础上,应用改进后的信息熵(weighted information entropy,WIE)以及互信息(mutual information,MI)2种方法来对虾苗进行活力检测。

1 材料与方法

1.1 试验材料

本研究试验对象为南美白对虾虾苗,试验数据采集于上海海洋大学滨海养殖基地,试验虾苗长度约1～2 cm。南美白对虾对环境变化适应能力很强,对高温的忍受极限可达43.5 ℃,但对低温的适应能力较差,在水温在18 ℃以下时,虾苗基本停止摄食,水温在9 ℃以下时,虾苗开始昏迷甚至死亡[24]。因此,本研究将虾苗活力分为“活力弱”“活力中”“活力强”3类,虾苗活力分级及状态如表1所示。

表1 虾苗活力分级

为得到3种不同活力程度的虾苗,准备3个底面直径30 cm、深40 cm的试验箱a、b、c。3个试验箱的水温分别为24℃、16℃、8℃,试验中将同一批正常饲养的虾苗(约50只)分为3组分别放入3个试验箱中饲养3 h,其间正常喂食。3 h后拍摄虾苗的游动情况。

1.2 图像采集系统

本研究所有的试验数据采集使用如图1所示的计算机视觉系统。

图1 计算机视觉系统

该系统包括3个试验箱、3个恒温器、3台高清摄像机和1台计算机。恒温器采用家庭鱼缸恒温机(冷暖一体),可以保证试验箱水温变化不超过0.5℃,高清摄像机使用罗技C920高清摄像头,视频图像分辨率为1 920×1 080像素,帧率为30帧/s,拍摄期间虾苗光照环境不变。试验开始通过恒温器将水温恒定后放入虾苗,在不同温度下正常养殖3 h后,使用计算机控制摄像机开启并使用罗技capture视频录制软件进行视频采集,录制时间超过1 min,检测时截取其中连续30 s作为研究对象。所有视频均采用俯拍视角,摄像机通过立杆固定于试验箱顶部中央,距水面0.5 m,保证拍摄视角水平及拍摄范围覆盖整个试验箱。

1.3 试验方案设计

为了避免试验的偶然性,本研究共进行7组试验,试验1#～4#组为实验组,每组试验条件相同,在不同温度下饲养3 h后采集不同试验箱中虾苗的游动视频,每次试验选择不同活力的虾苗视频的连续900帧(30 s)作为研究对象。试验5#～7#组为验证组,为了模拟实际生活中可能出现不同质量的虾苗混合在一起的情况以及验证2种方法的有效性,试验5#～7#组将不同活力的虾苗进行混合后再采集视频,混合后的虾苗总数基本保持不变。其中试验5#组的虾苗为试验箱a和试验箱b中虾苗1:1混合;试验6#组的虾苗为试验箱b和试验箱c中虾苗1:1混合;试验7#组的虾苗为试验箱a和试验箱c中虾苗1∶1混合。

2 虾苗活力检测算法

2.1 基于稠密光流法的虾苗帧间运动特征提取和分析

2.1.1 光流法提取帧间运动特征

光流[25]是空间运动物体在观察成像平面上的像素运动的瞬时速度,包含了物体表面结构和动态行为的重要信息,是对真实运动的近似估计。本研究使用经典的GF稠密光流法提取虾苗帧间运动特征,该方法在图像的全局范围内计算每个像素点在相邻帧间的偏移量,形成光流位移场。运动特征提取流程如图2所示。

图2 帧间运动特征提取流程

由图2可知,光流场中不同颜色表示像素点的相角角度,颜色亮度的高低表示幅值强度的大小,即某一帧的光流场反映了虾苗瞬间的游动情况,因此通过对幅值强度和相角角度的统计学分析可以获得不同活力虾苗运动特征的特点。

使用光流法提取虾苗的帧间运动特征建立在3个假设的基础上:1)相邻帧之间的亮度恒定,即同一虾苗目标的像素值在相邻帧间不会发生变化;2)短距离运动,即相邻帧之间的时间足够短,且虾苗的运动距离较小;3)空间一致性,即虾苗像素点具有相同的运动趋势。

基于假设1),同一虾苗目标在相邻帧中亮度保持不变,可建立式(1):

p(x,y,t)=p(x+x′,y+y′,t+t′)

(1)

式中:p(x,y,t)表示坐标为(x,y)的像素点在t时刻的像素值;p(x,y,t)表示该像素点在t+t′时刻移动到p(x+x′,y+y′,t+t′)位置后的像素值。对式(1)进行泰勒展开,推导出光流方程如式(2)所示:

pxu+pyv+pt=0

(2)

式中:px为像素值p对位置x的偏导;py位像素值p对位置y的偏导;pt为像素值p对时刻t的偏导;u为光流沿x方向的运动矢量;v为光流沿y方向的运动矢量。

GF稠密光流法使用多项式展开的方法求解u和v,对每个像素的邻域使用一个二次多项式来近似表达,然后通过分析前后两帧像素点的多项式展开系数估计2个方向的运动矢量。这种方法具有较高的鲁棒性和可靠性,满足实际应用的需求。

虾苗像素点移动的幅值强度(pixels)和相角角度(°)计算如式(3)如式(4):

(3)

(4)

式中:mag为坐标为(u,v)的像素点移动的幅值强度(pixels);ang为坐标为(u,v)的像素点移动的相角角度(°),由此可以得到视频中每一帧所有虾苗像素点的运动特征,包含幅值强度和相角角度2个运动矢量。

2.1.2 运动特征统计学分析

运动特征统计学分析如图3所示。

图3 运动特征统计学分析

Freeman等[26]最早在手语识别中使用直方图的方法,直方图可以对数据进行初步分析,得到数据的分布情况。对不同活力虾苗视频某相邻帧的帧间运动特征进行直方图分析,将幅值强度和相角角度的取值范围分为若干个区间,然后分别统计二者的值在各个区间出现的次数。如图3a和3b分别为不同活力虾苗视频中某一帧的幅值强度和相角角度的统计直方图,横轴分别表示幅值强度和相角角度,纵轴表示不同值出现的频率。图3c所示为幅值强度和相角角度的联合分布直方图,横轴表示幅值强度,纵轴表示相角角度。不同活力的虾苗其视频每一帧的幅值强度和相角角度的数值分布呈现不同的趋势,且二者的相关性也有显著差异。因此可以利用帧间运动特征的这一特性来实现虾苗的活力检测,本研究提出基于WIE和MI的2种检测方法。

为了避免统计维数过大,以及摄像机的微小晃动造成的噪声影响,本研究通过拍摄没有虾苗时的试验箱视频,计算此时提取到的幅值强度的最大值T1,即噪声像素幅值强度的最大值,通过筛选幅值强度小于T1的像素点去除噪声像素,经过计算后T1的值为1.4 pixels。相角角度每隔3°进行一次统计,幅值强度每隔0.04 pixel进行统计一次。

2.2 基于加权信息熵(WIE)的虾苗活力检测

1948年,Shannon首先在信息论中引入了熵(Entropy)的概念,把熵作为一个随机事件的不确定性信息量的度量称为信息熵(Information Entropy),可以用来描述任何一种体系或物质运动的混乱度和无序度[27]。

(5)

将信息熵引入对相邻帧的幅值强度的统计分析,通过计算幅值强度的信息熵可以间接反映出虾苗运动速度混乱程度,以此来分析虾苗的运动状况。但对于不同活力的虾苗,按照原始计算方式得到的不同活力虾苗的信息熵没有明显的区别,针对此问题,本研究提出一种加权信息熵(Weighted Information Entropy)用于对虾苗的幅值强度进行统计分析,公式为:

(6)

式中:xi为幅值强度的大小,p为幅值强度取值的概率。

因为活力较高的虾苗对应像素的幅值强度会更大,所以通过在计算中引入具体幅值强度的值,使活力不同的虾苗的加权信息熵会有明显区别。

本研究应用加权信息熵Hw来进行虾苗的活力检测。其中x为某一帧虾苗运动特征的幅值强度所构成的随机变量,其概率分布用p(x)表示,Hw表示某一帧光虾苗幅值强度的加权信息熵。根据Hw的公式可知,活力越强的虾苗其Hw越大。根据对同种活力的不同批次的虾苗Hw指标进行分析,确定合理的指标阈值,可以实现对虾苗活力的检测。

2.3 基于互信息(MI)的虾苗活力检测

互信息(Mutual Information)是信息论中的重要概念,用来衡量随机变量之间的相关性。假设有2个离散型随机变量X和Y,则互信息I(X,Y)可以定义为:

(7)

式中:p(x,y)为X和Y的联合概率分布函数;p(x)和p(y)分别为X和Y的边缘概率函数。

根据上式可知:互信息的值越大,说明变量之间的相关性越强,如果互信息为0,则说明2个变量相互独立。本研究应用互信息I(X,Y)来进行虾苗活力检测。其中x和y分别为某一帧虾苗运动特征的幅值强度和相角角度所构成的随机变量,二者的概率分布分别用p(x)和p(y)表示,p(x,y)表示二者的联合概率分布。活力越强的虾苗,其幅值强度和相角角度的相关性越强,互信息MI值就越大。

3 结果与讨论

3.1 结果分析

如图4所示为试验1#～4#基于WIE和MI的虾苗活力检测结果。黑色实线为不同时刻的检测值,2条虚线是区分3种不同活力虾苗的阈值指标。对于基于WIE的虾苗活力检测方法,本研究设定阈值为11.3和4.8;对于基于MI的活力检测方法,本研究设定阈值为0.182和0.09。由图4a可以看到,对于基于WIE的活力检测方法,活力强的虾苗WIE指标基本保持在11.3以上;活力中的虾苗WIE指标基本保持在4.8～11.3之间;活力弱的虾苗WIE指标基本保持在4.8以下。因此将基于WIE的活力检测方法的阈值设定为11.3和4.8时对不同活力的虾苗有较高的区分度。由图4b可以看到,对于基于MI的活力检测方法,活力强的虾苗MI指标基本保持在0.182以上;活力中的虾苗WIE指标基本保持在0.09～0.182之间;活力弱的虾苗MI指标基本保持在0.09以下。因此将基于MI的活力检测方法的阈值设定为0.182和0.09时对不同活力的虾苗有较高的区分度。

图4 试验1-4组的虾苗活力检测结果

表2给出了2种检测方法的评价指标数据,精准度表示算法预测的所有属于该类别的样本中预测正确的比例,召回率表示所有真实属于该类别的样本中被算法正确预测的比例。由表2可以看出,基于WIE的检测方法对3种类别均有较好的效果,而基于MI的检测方法则出现了较多误检。整体而言,2种检测方法均能取得较好的试验效果。

表2 基于WIE和MI的虾苗活力检测方法

3.2 验证实验结果

如图5所示为试验5#～7#的检测结果,从图中可以看出2种方法都在一定程度上体现出混合后虾苗的整体活力情况。对于基于WIE的活力检测方法,在试验5中虾苗的WIE指标基本都保持在4.8以上,部分超过11.3;在试验6中虾苗的WIE指标基本维持在4.8左右;在试验7中虾苗的WIE指标多数维持在4.8两侧,少部分超过11.3。对于基于MI的活力检测方法,在试验5中虾苗的MI指标保持在0.182;在试验6中虾苗的MI指标保持在0.09;在试验7中虾苗的MI指标基本分布在0.04～0.182之间。试验5#～7#组侧面反映出2种检测方法的有效性。

图5 试验5～7组的虾苗活力检测结果

3.3 讨论

对比鱼类行为检测[28-29],本研究的难点在于虾苗目标小且通体透明,游动敏捷,行为特征较鱼类更难以捕捉;对比传统运动目标跟踪检测[30],被跟踪目标的静态特征多样且明显,而虾苗静态特征几乎没有,无法应用现有的特征提取器,因此先检测再跟踪的方法难度较大。冯国富等[31]采用YOLOv4目标检测算法和DeepSort多目标跟踪算法记录虾苗应激前后的相关特征值,使用单一颜色和纹理特征的算法准确率为91.98%和96.56%。针对以上问题,本研究在光流法提取虾苗的整体运动特征基础上进行统计学分析,得到不同活力的虾苗特征分布情况;对特征应用加权信息熵和互信息,使得不同分布的特征计算结果有显著差异。

4 结论

本研究基于计算机视觉技术,设计了一种基于稠密光流和统计学特征的虾苗活力检测方法。本研究对光流信息进行统计学分析后,首次将其与信息熵、互信息等信息论概念相结合,并创新性地改进原始信息熵的计算方法使之能更好地表征虾苗的运动情况。改进后的信息熵和互信息两种检测方法的精准度都在98%以上,可以有效实现虾苗活力检测。虾苗活力检测方法是实现自动化虾苗质量检测的关键之一,但由于虾苗目标小且近乎透明,所以该方法所需的检测条件较为苛刻,仍需在后续的研究中对其进行改进以应对真实的养殖环境。除此之外,也可以围绕虾苗质量的其他评估指标,例如虾苗肠道的干净程度、肝胰脏的颜色等,提出虾苗质量评价方法,从而提升虾苗养殖的信息化和数字化水平。

□