基于多特征融合相关滤波的运动奶牛目标提取

秦立峰 张晓茜 董明星 岳 帅

(1.西北农林科技大学机械与电子工程学院， 陕西杨凌 712100；2.农业农村部农业物联网重点实验室， 陕西杨凌 712100；3.陕西省农业信息感知与智能服务重点实验室， 陕西杨凌 712100)

0 引言

奶牛目标区域的精确提取是后续奶牛的跛行检测[1-2]、呼吸检测[3-4]、个体识别[5-6]以及行为识别[7-9]的基础，对奶牛养殖业的发展有重要的意义[10]。基于机器视觉和图像处理、机器学习等智能化技术可帮助实现对奶牛目标的精准提取[11-12]。然而，由于奶牛养殖场环境差异大、背景复杂，且奶牛活动姿态差异大，使得基于视觉方法的奶牛目标提取精度有待提高。

传统用于图像或视频中奶牛目标提取的常用算法有边缘检测法[13]和背景建模法[14]，前者对于复杂背景以及相似的颜色干扰难以取得较高准确率，目标范围易存在较大误差[15]；后者则对于背景依赖大，参数量往往较难估计，不同场景背景下的模型难以移植，且算法稳定性受光照影响较大[16]。刘冬等[17]提出了一种动态的建模方法，基于GMM采用局部更新的策略和基于色度和亮度偏差的二分类算法对奶牛目标进行实时检测，平均模型复杂度比GMM降低了50.85%，前景误检率、背景误检率分别降低了19.50%和13.37%。宋怀波等[18]提出了一种无参核密度估计背景建模的方法，解决了现有的参数化模型实现奶牛目标检测方法的缺陷，算法平均前景正检率为95.65%。但阈值选取上不能够达到自适应。ZHAO等[19]在背景减去法的基础上融合帧差法并实时调整奶牛的RGB通道系数来进行运动奶牛的目标检测，目标检测精度为88.34%，但对环境变化比较敏感。近年来，深度学习方法在奶牛个体识别与检测中得到广泛研究，JIANG等[20]在YOLO v3的基础上对奶牛关键部位进行了检测，算法的平均检准率达到93.73%，召回率为97.51%，检测帧率为21 f/s，然而深度网络结构较复杂、难以硬件实现，与实际应用仍有一定距离。

相关滤波算法[21]广泛应用于目标跟踪领域，通过目标模板训练相关滤波器对目标的可能位置区域进行滤波，最大响应位置即为目标中心[22]。核相关滤波算法(Kernelized correlation filter, KCF)[23]已成为基本方法，它采用HOG特征，利用多通道模式；常用的高斯核、线性核和多项式核3种核函数中，高斯核精度高但速度低，线性核精度较差但速度高。尺度自适应多特征融合相关滤波算法(Scale adaptive with multiple feature tracker, SAMF)[24]在KCF算法基础上将CN特征、HOG特征和灰度特征串联融合训练相关滤波器，并与预设的7种尺度进行匹配，可实现最佳位置和最佳尺度下目标位置的实时预测。

综上，基于边缘检测和背景建模的奶牛目标提取对背景依赖较强，难以实现不同场景间的算法移植；深度学习网络的实际应用仍存在一定困难；而相关滤波器建模简单，具有速度快、抗干扰能力强的特点，本文将相关滤波算法融入目标提取基本框架，提出一种融合相关滤波和边缘检测的养殖场奶牛目标提取算法CFED，进行奶牛目标提取。该算法首先从视频帧图像中提取奶牛目标颜色特征CN和HOG特征，分别训练相关滤波器，将各自的滤波器响应图进行融合，获取准确的目标范围。利用目标边缘点邻域特征生成方向可调的滤波器，在不同方向上卷积图像得到多方向上的边缘响应。利用奶牛颜色特征在目标范围内快速提取奶牛目标，最后与边缘检测的结果图像进行融合，实现奶牛目标提取。

1 材料与方法

1.1 奶牛视频材料获取与标记

试验视频于2017年5—7月于陕西省杨凌科元克隆股份有限公司的奶牛养殖场采集，拍摄对象为侧面行走状态下的荷斯坦奶牛。采用一台SONY HDR-CX290E型摄像机固定拍摄，摄像机位于与奶牛垂直距离约3 m处。视频格式为avi，帧速率为25 f/s，帧宽度为880像素，高度为720像素，码率为2 000 kb/s。对于所选用的奶牛视频段，先将其转换成帧图像，若首帧没有奶牛出现，则忽略该帧，将出现奶牛的第1帧图像作为视频首帧，奶牛视频帧图像如图1所示。利用Matlab中Ground Truth Labeler工具，手动逐帧标记奶牛目标位置，标记结果如图1b所示。标记数据包含4个参数，分别为目标跟踪框左上角位置的行、列坐标以及理想跟踪框的长度和宽度。将每个帧图像的标记数据存入文件，作为算法评估的基础。

由图1a可见，养殖场实地拍摄的监控视频的背景十分复杂，有泥土、墙、砖、玻璃、栏杆等，且奶牛目标受到不同程度的遮挡。试验共采集了处于这样复杂环境的9段视频，均确保奶牛处于视频中，考虑到雨雾天气下及夜间监测实际需求，采集的视频中包含了晴天、雨天、夜间视频，以用于验证算法的稳定性。视频具体信息如表1所示。

表1 奶牛视频信息Tab.1 Video information of cows

试验平台为Windows 10系统便携式计算机，处理器为Intel(R) Core(TM) i5-9300HF，主频为2.40 GHz，GPU为NVIDIA GeForce GTX 1660 Ti，内存为16 GB，硬盘为1 TB。算法开发平台是Matlab R2018b。

1.2 基于相关滤波算法的奶牛目标定位

1.2.1总体技术路线

本研究技术路线如图2所示。在离线状态下，提取训练图像的HOG特征和CN特征[25]，并预设尺度池，训练相关滤波器。在线的奶牛目标提取分两步，首先利用SAMF进行奶牛位置预测，获取奶牛目标候选区域框，并对原始图像进行掩膜操作，得到候选框内的原图像；然后对候选区域图像进行边缘滤波和颜色阈值快速分割后，将二者结果相融合，最后利用形态学处理得到奶牛目标区域。

1.2.2相关滤波进行目标定位的基本原理

目标解表示为

(1)

式中αi——最优封闭解

利用循环矩阵的性质，结合离散傅里叶变换(DFT)，得到核正则化最小二乘(Kernelized RLS，KRLS)的最优解为

(2)

式中F——离散傅里叶变换函数

kxx——训练样本的自相关核输出向量

α——最小二乘最优解

x——采样的训练样本

核函数使用高斯核。在新的一帧中，通过获取候选窗口图像块z来检测目标的位置。则分类器的输出响应为

=F-1(kxz⊙α)

(3)

kxz——训练样本与测试样本的互相关核输出向量

⊙——元素乘积运算符号

z——测试样本

1.2.3SAMF尺度自适应核相关滤波器

(1)奶牛特征提取

通过对目标区域的梯度方向直方图进行统计得到HOG特征，它反映了图像局部的梯度方向，表征图像边缘和形状信息，对目标旋转和尺度的变化不敏感，且不受图像形变影响。CN特征是一种最为接近人眼视觉的特征，与灰度特征相比，CN特征更丰富地描述了目标部分的位置信息。HOG特征和CN特征具有互补性，利用这两个特征分别训练相关滤波器，二者的响应加权组合可实现准确的目标定位。

HOG特征提取过程为，先将原始图像灰度化并进行Gamma校正，实现图像对比度调节，并抑制噪声。对图像所有像素点，利用[-1 0 1]和[1 0 -1]T梯度算子分别对原图像进行卷积，得到x和y方向上的梯度分量；再将图像平均划分成尺寸为4×4的子块；将360°划分为若干区间，根据像素点梯度方向差异，通过双线性插值将其幅度累积到直方图中，将小块内梯度直方图进行统计得到每个小块的特征描述子。每3×3个子块组合成一个块，将每个块内所有特征描述符串联连接，即得到该块的HOG特征。整个目标区域的HOG特征由全部块的HOG特征组合得到。

CN特征假定不同颜色名称具有相等的先验概率，通过对目标像素进行非线性映射得到各个RGB值到11种颜色名称的映射关系。这种映射可以表示为F：RGB→v，其中v是一个11维的向量，vi=P(ci|xRGB)是将RGB值xRGB分配给特定的颜色名称ci的概率。区域(region)的颜色名称描述符Kregion被定义为来自区域内像素的概率分布的总和

(4)

式中N——区域内的像素个数

(2)利用SAMF算法进行奶牛目标定位

将当前帧和上一帧的数据用线性叠加的方式结合来更新滤波器，以进行后续跟踪。对滤波器T的更新公式为

(5)

μ——更新系数

本文中尺度池设置为{0.985，0.99，0.995，1.0，1.005，1.01，1.015}。在比较过程中同时对待选目标进行这7种尺度计算，选择响应值最大者作为当前帧的目标尺度。

1.3 目标框内基于边缘检测的目标精确提取

根据SAMF算法获取的奶牛目标区域框如图3所示。后续只对此区域框内像素进行处理，可减少大量背景干扰，提高算法整体效率。

由图3可见，奶牛目标框较准确地确定了奶牛目标区域，表明基于相关滤波的目标初提取效果较好。为了更精确地提取奶牛目标，在候选区域内利用方向可调滤波器检测奶牛目标边缘，以进一步在候选区域内准确定位奶牛位置。方向可调滤波器使用不同方向的模板对图像进行卷积得到图像的边缘，具有灵活、快速的特点[26]。本文采用三阶模板，其幅度系数ga、gb、gc、gd和角度系数ka、kb、kc、kd分别为

(6)

(7)

式中x、y——高斯函数求偏导的方向

θ——方向可调滤波器的方向输入

通过不同方向上幅度系数和角度系数乘加运算产生最终模板，即

G=kaga+kbgb+kcgc+kdgd

(8)

式中G——线性组合后的最终模板

在0°～360°范围内，每隔30°生成一个模板，共13个模板；分别对图像做卷积，将所有方向上卷积结果进行叠加得到边缘检测结果，再二值化后得到边缘二值图。对图3所示奶牛候选区域进行边缘提取的过程图及结果如图4所示。

方向可调滤波器提取出的奶牛图像边缘仍存在伪边缘及噪声。再使用颜色特征对图像进行目标提取，以消除噪声和无效背景，并保留奶牛目标。由于奶牛部位像素主要为黑色或白色，因此设置双阈值Tw、Tb对像素点进行判定，判定规则为

(9)

式中bw(x,y)——分割后的图像

I(x,y)——原图像中的像素值

Tw——白色判定阈值

Tb——黑色判定阈值

对图4所示的奶牛候选区域进行颜色分割的结果如图5a所示。

1.4 滤波结果融合和形态学处理

将方向可调滤波器提取出的边缘图像与颜色特征分割出的目标区域图像叠加，如图5b所示，可见奶牛目标内的伪边缘线条以及部分空洞得到了填充，但是由于背景复杂，背景像素中有很多与目标像素值相近的点，且目标有一定遮挡，使得目标提取结果仍有较大误差，因此进一步采用数学形态学方法处理。

首先用尺寸为15像素×15像素的正方形结构元素进行腐蚀，消除背景上的小目标区域。对腐蚀过的图像用30像素×30像素的正方形结构元素进行膨胀处理，填充图像内部孔洞和边缘处的小凹陷，并磨平目标区域向外的尖角，使目标区域连接成尽量大的连通区域，如图5c所示。最后再用半径为15像素的圆形结构元素进行腐蚀，使其尺寸尽量匹配真实目标的尺寸，目标提取结果如图5d所示。

2 评价指标

选用重叠率和误检率进行目标提取效果评价。将算法提取的目标区域像素集合记为D，手动标记的目标像素集合记为A，则重叠率(Overlap rate，OR)计算式为

(10)

式中OR——重叠率

误检率分为假阳性率(False positive rate，fp)和假阴性率(False negative rate，fn)。fp是算法将背景像素误判为目标像素的个数与实际的全部背景像素个数的比值。fn是算法将目标像素判断为背景像素的个数与实际的全部背景像素个数的比值。记总像素数为N，真实奶牛目标像素数为p，算法得到目标像素数为a，算法正确提取的目标像素数为t。m1=a-t，表示算法中误把背景像素判断为目标的像素数；m2=p-t，表示算法误把目标判断成背景的像素个数。则fp、fn计算公式分别为

(11)

(12)

通过3项指标值的均方差σ分析算法的稳定性。均方差越小，算法稳定性越高。

3 试验结果与分析

分别对9段视频的图像帧进行算法测试与评估，用Adobe Photoshop对试验图像手动分割出奶牛目标，得到目标二值图作为真实值，用于评价指标的计算。

对测试图像进行目标提取，计算提取结果的OR、fp、fn及样本均方差，如表2所示。由表2可见，9段视频的图像帧奶牛目标提取的平均重叠率为92.93%，平均假阳性率为5.07%，平均假阴性率为5.08%。OR、fp、fn的均方差分别为3.79%、0.91%、1.08%。该结果表明算法可准确对奶牛进行定位和目标提取，且稳定性较好。

表2 CFED算法提取奶牛目标结果Tab.2 Cow target results extracted with CFED algorithm %

为了进一步考查CFED算法性能，本文将CFED与Otsu、K-means算法、帧间差分法和GMM[27-28]算法进行目标提取结果对比。其中，帧间差分法利用视频序列连续性、运动目标在帧间变化明显的特点，对连续帧通过差分运算，再经灰度阈值判断获取目标位置[29-31]。GMM通过对背景像素的分布建立混合高斯概率模型，并使用期望最大(EM)算法训练模型参数，最后对视频中的像素进行最大似然判定。5种算法对9段视频帧图像提取的结果如表3所示。

表3 不同算法性能对比Tab.3 Performance comparison of different algorithms

由表3可见，CFED算法平均重叠率最高，比Otsu算法、K-means算法、帧间差分法、GMM分别高35.63、32.84、20.28、14.35个百分点，平均假阳性率和假阴性率最低。在运行时间上，CFED算法为0.70 s，速度较快且在不同视频不同干扰下没有受到影响，该结果表明所用算法具有较好的目标提取效果，可为复杂奶牛场环境的奶牛目标提取提供一定的参考。

4 讨论

4.1 尺度变化对目标提取的影响

如图6所示，在奶牛尺度变化的视频中，由于奶牛与摄像机距离变换而产生了尺度的变化，且其中还存在另一头不完整的奶牛干扰，在此情况下SAMF所采用的尺度池方法，位置滤波与尺度滤波同时进行，实现目标区域提取过程中的尺度自适应，使得奶牛目标提取在位置和尺度两个方面同时达到最优，较好地定位到了奶牛目标位置，使得后续的提取操作更便于进行。平均重叠率、平均假阳性率、平均假阴性率分别为95.64%、5.10%、4.37%。

4.2 天气情况对目标提取的影响

图7为雨天奶牛视频帧图像，可以看出算法仍可提取出主要奶牛目标区域。帧图像上的平均重叠率、平均假阳性率、平均假阴性率分别为92.19%、4.11%、5.12%，提取效果有所降低，这是因为雨水影响使得奶牛运动情况发生改变，且雨雾影响导致图像质量退化。

图8为夜间奶牛视频帧图像提取结果。由于光照强度低，奶牛的体色与栏杆以及背景相似度增大，导致提取结果较多的目标像素被认为是背景，OR、fp、fn的平均值分别为87.70%、6.39%、6.77%， CFED仍可将奶牛目标提取出来，但总的来说，夜间指标值相较于正常光照下偏低，说明光照强度对算法的影响较为显著，下一步应在这方面加以改进使得算法能够很好地适应夜间环境。

4.3 遮挡情况对目标提取的影响

奶牛养殖环境复杂，栏杆的遮挡情况普遍，本文采集的9段视频中有6段存在栏杆遮挡，导致最终提取到的奶牛目标不完整。针对此情况，对图像进行了孔洞填充和形态学操作，可以对奶牛目标进行一定程度的填补。图7和图8都在栏杆的干扰下较为完整地提取了奶牛目标。

另外室外环境下，飞鸟会对奶牛目标造成部分遮挡干扰。若飞鸟未对奶牛目标形成遮挡，算法在目标定位阶段将飞鸟作为背景排除；若飞鸟在奶牛目标框内对奶牛形成遮挡，算法通过多特征提取和形态学处理也能把飞鸟的影响降低。如图9所示，第1行是受飞鸟干扰的3帧图像，第2行是对应的目标提取结果。由该结果可见，飞鸟遮挡下奶牛目标提取仍较完整，在该视频帧上平均重叠率为94.80%；平均假阳性率、平均假阴性率分别为4.32%、4.28%。综上所述，本文算法在遮挡干扰上具有较好的鲁棒性。

4.4 交叉重叠对目标提取的影响

在目标提取问题中，同类对象间的交叉和重叠对特定目标精确提取影响严重。这是由于同类对象具有相似特征，很难精确定位出重叠部分的对象边缘。如图10所示，图像中两头奶牛交叉重叠，且存在一定程度的栏杆遮挡，前景奶牛(1号)的提取受到背景奶牛的严重干扰。

在目标定位阶段，算法将背景奶牛(2号)的不完全重叠部分剔除，如图10b所示，为后续的目标提取提供了便利，目标提取结果如图10c所示。由于重叠部分奶牛特征对目标奶牛特征的提取造成严重的假阳性干扰，使图像边缘检测产生较大误差，使算法性能有所下降，在该视频帧上平均重叠率为90.03%；平均假阳性率、平均假阴性率分别为6.06%、5.85%。目标重叠部分边缘的精准检测将是下一步提升算法性能的关键研究内容。

5 结论

(1)将相关滤波算法SAMF引入视频帧奶牛目标提取中，提出多特征融合相关滤波的奶牛目标提取算法(CFED)。试验结果表明，本文算法平均重叠率达到92.93%、假阴性率和假阳性率分别为5.07%和5.08%，相较于传统的Otsu算法、K-means算法、帧间差分法和GMM，平均重叠率分别提高了35.63、32.84、20.28、14.35个百分点，表明CFED算法具有很好的目标提取效果，为养殖场环境下的奶牛目标精准提取提供了一种有效方法。

(2)本文算法具有很好的稳定性，对遮挡、尺度变化、雨雾影响等复杂环境条件具有较好的适应性。同时本文算法对单帧图像的目标提取时间为0.70 s，处理速度较快。