多维度深海鱼类识别算法

李 晨，刘怡丹,2，孙科林，李 勃，全向前，刘凯斌

(1.中国科学院 深海科学与工程研究所，海南 三亚 572000；2.同济大学 海洋与地球科学学院，上海 200092)

随着成像技术的飞速发展，人们渴望通过成像角度理解海洋动态，尤其是海底生物.通过固定摄像头拍摄特定区域，是一种直观和有效的方式去记录和理解场景[1].随着摄像头的彩色化、高清化，使得通过视频监控获取更多的海洋信息成为可能.计算机处理视频监控涉及运动目标提取和识别技术[2].

运动目标提取算法可分为2类.一类是基于图像增强的算法：图像超分辨[3]，增强信噪比[4]，显著度增强[5]，时域、频域增强[6]等.该类算法从信号角度出发忽略了目标的形态属性，造成虚警率较高.第二类是基于运动目标建模的算法：帧间差异[7]，模糊集模型[8]，Bayesian模型[9]，趋向性模型[10]，运动预测模型[11]，局部约束模型[12]，GMM运动模型[13]，低秩模型[14]，纹理模型[15]等.该类算法充分考虑了目标形态特征，但所建模型复杂度高，面对复杂条件目标提取效率较低.

目标识别算法也可分为2类.一类基于传统特征的算法：声学特征[16]，多角度形态学特征[17]，鱼群分布特征[18]，颜色特征[19]，纹理特征[20]等.该类算法基于目标先验信息予以建模，但对于复杂条件下，如遮挡、阴影等条件下，识别性能不足.第二类是基于深度特征的算法：SVM[21]，AdaBoost[22]，梯度森林模型[23]，基于神经网络的数据融合模型[24]等.该类算法基于深度学习理论构建网络，建立训练样本和测试样本之间的映射关系，取得了不错的效果，是当前主流的研究方向.

虽然利用计算机手段对鱼类的提取与识别已取得了一定的效果，但仍存在以下问题：① 目标运动形态多变，导致提取不完全.如目标突然运动，出现拖尾.② 当目标运动后，保持长时间静止，使得运动目标淹没在背景中，导致目标提取失败.③ 鱼行进的不确定性，同一类鱼形态会发生改变，仅从空间维度建立模型，无法有效对鱼类识别.

为此文中对视觉认知原理进行研究：从时间维度改进GMM算法得到变化区域；从空间维度根据局部边界相似性，完整提取运动目标；从时空维度建立关联的深度学习模型，实现鱼类识别.

1 算 法

视频监控是通过固定摄像头拍摄特定区域的技术.视频监控可视为一组图像数据组成.图像Ii可以表示为

Ii=B+Fi，

(1)

式中：B为纯背景图像，即在整个视频中客观存在，并且一直保持静止状态的图像；Fi为运动目标.从时间维度分析，Ii-1和Ii之间具有连续性.从空间维度分析，Fi具有完整性，局部相似性.从时间与空间维度分析，随着时间的推移B会因光照变化产生变化，而其在空间结构不会产生变化.

基于以上分析文中提出运动目标提取与鱼类识别算法，流程如图1所示，从时间维度建立改进GMM模型提取运动区域，在空间维度基于传统帧差法建立物体特征模型实现完整运动目标提取，抑制拖尾以及阴影的影响.在时空维度，引入投票机制，与数据库中的数据动态判断，得出识别结果.

图1 算法流程图

1.1 时间维度算法

从时间维度分析连续帧之间的差异是判别运动目标的主要方式.文献[25]提出了GMM算法，该算法符合人类认知过程，具有运算速度快，可较好地提取出运动目标的优势.其基本思想是使用多个高斯分布表示序列图像中每个像素点的特征，如果当前帧中的某像素的特征与高斯分布相匹配，则被判定为背景像素，否则为前景像素：

(2)

式中：k表示高斯模型的个数；η是高斯概率密度函数；ωi,t、ui,t、Σi,t分别是t时刻对第i个高斯模型权值、均值、协方差矩阵.权值ωi,t更新：

ωi,t=(1-α)ωi,t-1+α(Mi,t).

(3)

将各高斯模型分布按照优先级次序进行排列，构建背景模型：

(4)

式中：α是学习因子；Mi,t是匹配模型；T是设定阈值，用于真实反应背景的数据占总数据的最小比重.

GMM算法仅从像素值变化角度建模分析，但未充分考虑目标、噪声等因素带来的影响，导致检测错误.所以从像素变化的稳定性角度予以分析，主要思想是为寻找图像中稳定的像素点来抑制不稳定的像素点.

GMM算法判断像素点x的状态记为g(x).统计像素点在N帧图像前景与背景转化的次数记为φN(x).设定阈值T用于判断是否为稳定像素点.当φN(x)

(5)

φN(y)=min(φN(X)),y∈X,

g(x),g(y)∈{B,F},

1.2 空间维度算法

根据改进的GMM算法，从时间维度动态更新B与F，降低B与F错分类的概率，后续需要从空间维度进一步判别，完整提取运动区域.图像帧差算法，其主要思想是选取两帧图像逐点计算像素值差的绝对值，以特定阈值来衡量其差别.传统算法背景帧的选取是固定的.背景帧和阈值的选取直接影响提取结果.在GMM算法初步提取出运动区域的基础上，构建自适应的差分体系，实现完整提取运动区域.

步骤1：令第k帧图像Ak对应的灰度图像为Gak，更新的第k帧彩色背景图像记为Bk，其对应的灰度图像为Gbk，其中B1=A1.

步骤2：Gak与Gbk自适应的计算分割阈值为Tk.令Q(x,y)=|Gak(x,y)-Gbk(x,y)|，

(6)

式中：Nk为Rak所含像素点个数，x,y∈Rak.

步骤3：根据Tk计算Gak与Gbk的差异，得到潜在的运动点Gdk(x,y)：

(7)

对Gdk进行数学形态学操作，并标记连通区域记为{Rdk}M，表示共有M个连通区域.

步骤4：完整提取运动目标：

(8)

(9)

式中：x,y∈Rfk.若L(Gak,Fk)>L(Gbk,Fk)，则说明Fk∈Gak，从Gak提取Fk；反之，则说明Fk∈Gbk，从Gbk提取Fk.

由于鱼运动的不确定性，使得同一类鱼在空间上展示为不同体态，导致识别失败.根据鱼类运动的连续性，需要关联时间维度和空间维度建立模型，引入投票机制，动态对鱼类识别.

2 试验结果与分析

试验平台为WIN7环境，VS2015编写的程序.试验数据采用10组视频数据和10组监控数据组成数据库.将数据库分为3类.包括类型1：首帧为纯背景图像，目标一直运动.类型2：目标运动后，长期保持静止状态.类型 3：目标保持长时间静止然后运动.

2.1 性能展示

类型1：首帧没有运动目标，后续鱼一直运动，如图2所示.首先根据时间维度模型对变化的区域进行提取，得到疑似运动区域.然后通过空间维度对阴影部分予以去除，准确得到运动目标.

图2 类型1数据处理效果图

类型2：首帧没有运动目标，然后有一条鱼进入视野，与类型1类似，在第30帧图像鱼开始运动，随着时间的推移这条鱼长时间保持静止状态，如图3所示.传统的算法由于仅从时间维度建模，导致鱼会渐渐淹没至背景中，导致提取失败，而文中提出的算法在时间维度的基础上，建立空间模型实现目标分割，完整地提取出鱼.

类型3：首帧包含运动目标，随着时间的推移目标运动，如图4所示.由于引入了时间和空间维度，使得目标运动后不会产生拖尾现象.完整地提取出鱼.

图4 类型3数据的处理效果图

2.2 运动目标提取算法性能比较

为验证文中算法的有效性，从分割精度与处理时间予以分析.采用面积交迭度[26](area overlap measure，AOM)作为分割效果的评价指标，定义为

(10)

式中：AOM表示面积交迭度；γ为人工标记的运动区域；ν为算法分割出的运动区域；S(·)表示对应区域的像素点数.AOM取值越大表明分割效果越好.检测结果如表1所示.

表1 AOM值和处理时间统计

传统GMM算法[25]通过前景与背景像素分布的不同，用多个高斯模型予以拟合，计算速度快，可实现运动目标的提取.SGMM算法[13]在GMM基础上建立shadow分布模型.FGMM算法[6]从频域角度改进GMM算法，较传统GMM模型效果有所改善.MPM算法[11]建立运动预测模型，判别目标运动速度进而实现目标提取.LRM算法[14]建立低秩模型，可实现较小目标的有效提取，但速度较慢.EEM算法[15]根据边界不变性，提取运动目标，对于类型2,3的情况算法效果有所改善.通过对比ROC曲线可直观地得出，文中提出的算法从时间、空间两个维度综合考虑，时间维度改进GMM算法，空间维度引入边界判别机制，降低了错误判别的概率.虽然面对类型1文中的算法略低于LRM.然而面对类型2,3较主流算法均大幅度提高，并且处理速度达到0.04 s·帧-1.

2.3 鱼类识别性能比较

为验证算法有效性，引入受试者工作特征曲线(receiver operating characteristic curve，ROC)来衡量效果，其中纵坐标为真阳性率(true positive rate，TPR)，横坐标为假阳性率(false positive rate，FPR).对比各种算法的识别效果如图5所示.MVW算法[17]从多角度对鱼进行观察，实现鱼类识别.SVM算法[21]将鱼类识别视为分类问题.HSV算法[19]从颜色空间建立模型实现对不同颜色的锦鲤识别.TEX算法[20]从纹理特征入手，对鱼类识别.ABT算法[22]建立AdaBoost分类器实现鱼类识别.而文中提出的算法从时间和空间维度建立模型实现了鱼类识别，效果最好.

图5 ROC曲线

3 结 论

1) 在时间维度，依据鱼类目标运动的连续性，构建符合视觉感知的GMM模型，提取运动区域，提升了运动目标的检出精度.但对于运动幅度小或者目标因长时间停留时，会出现漏检测的情况.

2) 在空间维度，借鉴帧差法的思想，构建模型，利用数学形态学对目标区域进一步提取，尤其是运动幅度小或者目标因长时间停留的情况.

3) 在时空关联维度，由于鱼运动的不确定性，使得同一类鱼在空间上展示为不同体态，导致识别失败.根据鱼类运动的连续性，关联时间维度和空间维度建立模型，引入投票机制，动态对鱼类识别.

4) 文中提出的算法可满足不同条件下的运动鱼类提取，AOM达到80%以上，具有鲁棒性.