基于DiMP的类特定养殖奶山羊跟踪方法

宁纪锋 张 静 杨蜀秦 胡沈荣 蓝贤勇 王勇胜

(1.西北农林科技大学信息工程学院, 陕西杨凌 712100; 2.农业农村部农业物联网重点实验室, 陕西杨凌 712100;3.西北农林科技大学机械与电子工程学院, 陕西杨凌 712100; 4.西北农林科技大学动物科技学院, 陕西杨凌 712100;5.西北农林科技大学动物医学院, 陕西杨凌 712100)

0 引言

奶山羊是一种以产奶为主的小型反刍动物,其乳制品脂肪球径小,钙镁含量高于牛奶,是现代乳业的重要原料之一[1]。随着智慧畜牧和精准饲养理念的提出[2-3],研究者们通过部署传感器采集实时数据,获取家畜身体状况信息和生理指标,从而对养殖过程进行疾病监测、行为识别和异常预警[4-6]。近年来,人工智能模型驱动畜牧业高质量发展的相关研究显著增加,主要集中于动物行为检测和识别领域[7-9],其中,计算机视觉技术在动物福利、牲畜生产、监测动物方面表现出巨大潜力[10-11],为畜牧管理者生产决策提供评估和分析的依据。因此,设计一种鲁棒、实时的奶山羊跟踪算法对奶山羊智能化管理中的行为分析和精准饲喂具有重要意义[12]。

相较牛和猪等其他畜牧动物,奶山羊通体雪白,躯体无明显花纹,群聚时相似目标干扰现象严重[13]。同时,奶山羊运动矫健、敏捷,对跟踪算法的速度和鲁棒性有更高需求[14]。传统的监测方法通过在家畜躯体穿绑可穿戴设备监测运动轨迹,但是其会限制家畜的活动。ZHANG等[15]设计了一种基于视觉图像分析的测量方法,利用固定位置装置捕获视觉图像,无需人工接触测量绵羊的体尺参数。VAYSSADE等[16]用GPS设备记录奶山羊位置间隔,结合阈值和监督分类跟踪其活动。WANG等[17]基于Faster R-CNN[18]在监控录像中提取关键帧,改进区域前景的分割,使算法适应视频监控目标检测的时空连续性。SU等[19]在SiamRPN[20]骨干网络中加入多卷积残差块和降采样多卷积残差块,提取奶山羊高维深度语义信息,建立实时和低成本的奶山羊跟踪算法。随后,其又提出AMTracker[21]方法,使用EfficientNet[22]为骨干网络,融合多层特征并引入注意力机制提升模板分支和类分支的相关度,使用无锚框的跟踪网络定位奶山羊位置也取得了良好的结果。这些研究表明深度学习方法识别和跟踪奶山羊的可行性,但算法的改进仅局限于增强骨干网络、增加功能性模块等传统思路[23],未充分挖掘奶山羊独有的外观细节并增强网络对奶山羊类的针对性学习,跟踪时对相似目标干扰抵抗性差,易发生跟踪漂移[24]。

本文提出类特定的实时奶山羊跟踪算法,区别于通用跟踪算法使用的基准数据集COCO[25]、LaSOT[26]、TrackingNet[27]、Got-10K[28]等预训练网络参数,而是利用跟踪目标类的唯一性,用奶山羊数据集训练区分度更大且判别力更强的奶山羊识别定位模型。其次,在线跟踪时,对边界框回归网络调制向量以指数平滑方式融合奶山羊类特征进行在线更新,适应跟踪目标的表观变化。在奶山羊跟踪数据集上,与代表性跟踪算法的比较结果验证提出方法的有效性。

1 数据获取与处理

1.1 数据采集与标注

实验地点位于陕西省杨凌农业高新技术示范区西北农林科技大学奶山羊基地,于2021年6—7月采用索尼FDR-AX100E型和索尼A5000型两种摄像机拍摄。视频拍摄时长为30～60 s,索尼FDR-AX100E型摄像机拍摄的视频帧速率为29.97 f/s,分辨率为1 440像素×1 880像素,索尼A5000型摄像机拍摄的视频帧速率为25 f/s,分辨率为1 920像素×1 880像素。使用Labelme图像标注工具对采集到的视频进行标注。

1.2 数据集构建与分析

奶山羊数据集由52个视频序列组成,其中训练集包括18个视频,测试集包括34个视频。视频平均长度为701帧,共计36 430幅奶山羊图像,图像中包含模糊、严重遮挡、光线不足、离开视野等不同情况,综合羊只体尺、光线明暗、羊只数量、运动状态、模糊程度和远近景情况,将拍摄视频分为单只羊类、小目标类、快速运动类和群羊类。如图1所示,单只羊类图像清晰易识别(图1a);小目标类多远景,羊静立、久卧或慢速运动,部分存在遮挡(图1b);快速运动类羊剧烈运动,多模糊、形变较大(图1c);群羊类指视野中多只羊,目标混入羊群出现遮挡,易发生相似目标干扰,对算法判别能力要求高(图1d)。奶山羊分类数据集数量划分情况如表1所示。

表1 奶山羊数据集不同类视频平均帧和视频数Tab.1 Average frames and number of different types of videos in dairy goat dataset

图1 奶山羊跟踪数据集示例Fig.1 Examples of dairy goat tracking data set

2 研究方法

2.1 DiMP跟踪方法

DiMP[29]是一种判别式目标跟踪模型,包含分类分支和边界框回归分支:前者可区分目标和背景,预测模块主要用于训练判别式目标模型f、初始化模块和循环优化器模块。初始化器根据训练集得到模型的初始解,然后将其送入循环优化器获得判别式目标模型f,其参数以数据驱动的方式学习,如标签置信分数yc,空间权重函数vc,正则化参数λ以及目标掩码mc,图像x与滤波器f经过卷积操作得到预测的目标中心,计算与真实目标中心c的残差,得到判别前后背景的分类模型;后者继承自ATOM模型[30],基于目标模型的调制向量预测当前跟踪目标的位置与尺寸,参考IoUNet[31],提出了目标特定的IoU预测,适用于不同种类目标对象,以训练学到统一的经验权重,进行通用目标类的识别和定位。

2.2 基于类特定实时奶山羊跟踪算法

DiMP网络采用目标特定策略预测跟踪目标边界框的尺寸与位置,该策略虽然提高了算法对通用目标跟踪时的普适性和泛化能力,但在特定类目标跟踪方面,将极大抑制异类目标独有特征的表达和传递,降低算法对该既定目标类的敏感性和适应性。在线跟踪时,边界框回归分支使用第1帧作为整个跟踪序列的调制向量,由于跟踪初期后续帧与第1帧相似度高,调制向量可为边界框精准回归提供支撑,但随着帧数增加,后续帧目标变化,调制向量仅包含第1帧特征,相较整个跟踪序列的形态变化,特征单一且不具备代表性,难以应对表观变化较大的跟踪目标[32]。

本文提出的类特定跟踪算法包括2方面:基于奶山羊训练集的类适应性训练和基于类特定融合的IoU-Refine分支改进。类适应性训练方法使跟踪网络在识别特定跟踪类时,借鉴目标检测中采用迁移学习训练网络识别特定类的思想,对执行特定类任务的跟踪网络应用迁移学习方法,解决DiMP原始模型和具体应用域之间不一致问题,有效过滤冗余信息并加速模型收敛。同理,由于跟踪目标仅有奶山羊类,因此可以有效增强IoU-Refine分支的融合效果,类调制向量提取奶山羊类丰富的语义特征和先验知识,与跟踪序列第1帧调制向量以指数消融方式进行融合,自适应地优化特征,弥补仅采用第1帧调制向量造成的特征不具代表性问题。

2.2.1基于奶山羊训练集的DiMP类特定跟踪模型

由于通用跟踪算法对跟踪目标的不可知性,一般采用目标特定的策略设计跟踪网络,本文利用跟踪目标的类特定性,将奶山羊数据集在DiMP网络原始训练权重基础上微调,建立对奶山羊类敏感适应的判别式分类器模型f。具体过程为,首先选择一个奶山羊视频序列,随机挑出若干帧,一部分作为训练集Mtrain,另一部分作为测试集Mtest。然后,骨干网络ResNet[33]使用MoCov2[34]在ImageNet[35]上初始化训练出的模型,将Mtrain和Mtest分别输入到特征提取网络得到参考分支和测试分支的特征信息Strain和Stest。基于参考分支特征Strain提取的目标特征得到初始化模型,输入循环优化器得到最终的判别模型f,并与测试集提取的特征进行卷积得到打分,再结合测试标签Stest进行评价,反向传播以更新骨干网络参数。通过该方法可为后续正负样本分类和边界框评估提供更精准的特征映射,以此增加跟踪奶山羊过程中对目标和背景的判别能力。

2.2.2基于IoU-Refine分支的类特定调制向量

由于DiMP所使用的边界框回归网络的参考模板仅用视频序列的第1帧制作调制向量,难以完整反映奶山羊跟踪过程中出现的不同形态变化且后续帧和第1帧形态存在较大差异。因此,本文在线跟踪阶段,随着跟踪的进行,以指数平滑方式在第1帧调制向量中逐通道融合奶山羊类调制向量,构造随时域更新的调制向量,以适应奶山羊表面模型的变化,改进的向量融合方式如图2所示。

图2 类调制向量的融合网络Fig.2 Fusion of class modulation vector and the first frame modulation vector

α=ae-T+b

(1)

(2)

式中a、b——自适应权重

T——跟踪帧数

α——融合权重比

跟踪序列测试帧产生调制向量为z(xi,Bi),尺寸为K×K×D,K为池化层空间输出,通过通道乘法与c(xi,Bi)融合,送入模块g预测当前帧的边界框,计算当前目标预测边界框与真实框的IoU。

3 实验与结果分析

3.1 模型训练

实验硬件环境为GeForce RTX 2080Ti GPU,显存12 GB,操作系统为Ubuntu 1604LTS,使用PyTorch 1.7.1深度学习架构,编程语言及版本为Python。改进后DiMP模型采用MoCov2在ImageNet训练得到的权重对骨干网络进行初始化,其余部分使用DiMP预训练模型权重进行初始化。使用奶山羊训练集训练50个迭代周期(epoch),批处理量设置为4,输入图像的分辨率为288像素×288像素,使用Adam优化器优化模型,初始学习率设置为2×10-4,动量参数为0.9,调制向量更新频率为150。

3.2 评价指标

采用5项指标评价算法的跟踪效果。为了对模型的性能进行恰当的排序,需要明确性能参数的优先级。AUC是ROC(Receiver operating characteristic)曲线下的面积,描述分类器对正、负例的分类能力,值越高表示算法判别能力越强。精确率(Precision)为目标中心点坐标与真实值的误差距离在给定阈值范围内的视频帧数占总视频帧数的百分比,值越高表示算法定位能力越强。OP50(Overlap precision of 50%)和OP75(Overlap precision of 75%)分别为真实框和预测框重叠率超过50%和75%的视频帧数占总视频帧数的百分比,重叠率为重叠区域面积与预测矩形面积、真实矩形面积、重叠区域面积和的比值。归一化精确率(Norm Precision)使用目标中心点坐标与真实值的距离归一化距离替换Precision的绝对距离进行评估。

3.3 实验结果分析

3.3.1不同算法实验结果对比

为了验证改进模型的有效性,将ATOM模型、DiMP模型、SiamRPN模型在测试集上的结果与本文改进模型进行了对比实验,结果如表2所示,(+)表示将该模型在奶山羊训练集上参数微调后在测试集上进行对比实验。

表2 奶山羊测试数据集实验结果Tab.2 Experimental results of dairy goat test dataset %

由表2可知,改进DiMP模型各项指标均优于其他6种目标跟踪模型。ATOM、SiamRPN、DiMP和改进DiMP模型的速度分别为26、27、33、30 f/s。在AUC方面,改进模型为76.20%,分别比ATOM、DiMP和SiamRPN模型高10.40、6.17、6.09个百分点。改进模型的识别准确率为60.19%,分别比ATOM、DiMP和SiamRPN模型高18.93、14.18、8.50个百分点。改进模型的OP50、OP75和Norm Precision分别为89.55%、78.60%、87.55%,与DiMP模型相比,提升5.21、15.68、6.90个百分点。其中,ATOM、DiMP模型在奶山羊训练集上进行参数微调后,识别性能和定位精度有效提高,但SiamRPN使用奶山羊训练集微调参数后结果下降,分析原因是由于SiamRPN作为孪生系列算法,目标定位依靠跟踪帧与模板帧间的交互获取目标特征信息,且网络结构多为浅层,参数量少,难以在微调训练中学习复杂特征信息,导致鲁棒性差和泛化能力下降。

改进DiMP模型在OP75和Precision上均有显著提升,表明在DiMP采用类特定训练和融合类特征调制向量的奶山羊跟踪模型,识别性能和定位精度有效提高,验证了改进DiMP模型的有效性。图3为改进DiMP模型在奶山羊数据集上训练时的损失函数变化曲线,可见,该方法收敛速度较快,当迭代次数为20时,训练损失值由0.23降至0.09。

图3 损失值收敛曲线Fig.3 Convergence curves of loss value

3.3.2不同类别数据集上实验结果对比

采用ATOM、DiMP、SiamRPN和改进DiMP模型分别对单只羊测试集、小目标测试集、快速运动测试集和群羊测试集进行跟踪,以比较不同算法对不同场景的跟踪效果。场景中包括了一些困难场景,例如,小目标测试集特征不明显、群羊测试集多出现遮挡和相似目标干扰以及快速运动测试集多出现形变和模糊等现象。表3通过改进DiMP模型与其它3种跟踪算法对4类奶山羊跟踪场景AUC结果加以比较。

表3 不同算法在分类测试集上的AUCTab.3 AUC results of different algorithms on classified test set %

可以看出,在单只羊测试集、快速运动测试集和群羊测试集上,改进DiMP模型相较其他算法各项指标都有明显提高。改进DiMP模型比DiMP模型在单只羊、快速运动和群羊上的AUC分别高出5.4、6.5、8.14个百分点,说明改进DiMP模型对于形变、模糊、相似目标干扰问题的鲁棒性显著增强,进一步验证了改进算法良好的判别能力。

在小目标类别中,SiamRPN的跟踪效果优于改进DiMP、DiMP、ATOM 3种算法,改进DiMP的AUC无明显提升,推测原因是由于小目标类奶山羊多为远景,目标小且特征不明显,SiamRPN用模板信息与搜索区域信息进行相似性度量预测边界框的方式,优于DiMP算法中IoU预测模块的目标模板为待搜索图像提供调制向量预测边界框的方式,且跟踪过程无明显模糊和形变,DiMP和改进DiMP在线训练时循环优化器模块判别正、负样本的过程对该数据集提升效果有限。

3.3.3消融实验

表4为消融实验用于验证改进DiMP模型各个模块对跟踪性能的影响。可以看出,采用迁移学习方法使AUC和精确率分别提升5.47个百分点和14.00个百分点;而最后通过添加类特定融合方法,使得改进模型最终的AUC和精确率达到76.20%和60.19%,进一步提升了精度。实验结果表明,改进DiMP模型在各项指标上都比原始模型有显著提升,AUC和精确率分别提升6.17、14.18个百分点,验证了提出方法的有效性。

表4 改进DiMP模型消融实验结果Tab.4 Ablation analysis of experimental results of improved DiMP model %

3.3.4定性评价

图4为3个不同类型奶山羊视频序列的跟踪结果。可以看出,出现相似目标干扰和模糊的跟踪困难场景时,原始DiMP模型预测框过大,未贴合目标,且存在跟踪漂移现象,而改进DiMP模型预测的目标框能够准确框住目标。表明提出的跟踪方法能够适应奶山羊目标表观的变化,从而得到准确的跟踪结果。

图4 改进DiMP跟踪方法跟踪结果示例Fig.4 Example of improved DiMP tracking method

4 结论

(1)为了实现复杂情况下精确、鲁棒的奶山羊目标跟踪,本文提出了一种类特定的DiMP奶山羊目标跟踪方法,充分利用奶山羊跟踪对象单一固定的优势,结合迁移学习和指数融合的类调制向量,构造适应奶山羊类外观变化的判别性网络和高质量的外观融合模板,从而获得准确的预测边界框和可靠的位置信息,提高了算法在面对奶山羊相似目标干扰、模糊、遮挡和外观变化时的跟踪精度和成功率。在4种场景类别奶山羊测试集上的实验结果验证了改进方法的有效性。

(2)基于奶山羊目标跟踪的类特定先验性条件,采用迁移学习策略,使DiMP模型向奶山羊跟踪任务收敛,AUC从70.61%提升到75.50%,显著增强了目标跟踪性能。

(3)使用类特定方法代替目标特定方法进行跟踪时,采用该类数据集训练的模型,并在参考模板中融合该类的特征信息,可得到更强的奶山羊表观特征,AUC从75.50%提升到76.20%,进一步提升了跟踪性能。