刘怡然,马亚州,张 勇,张宏娇
(山西农业大学 信息科学与工程学院,山西 太谷 030801)
中国是世界上第一大猪肉生产国和消费国,猪肉是人们日常饮食中首选肉类膳食,其市场供应量和产品质量与人民的健康生活密切相关,生猪养殖在我国畜牧业中占据着举足轻重的地位。母猪的生产管理是生猪养殖环节中重要一环,其健康不仅关系到自身繁殖率和生产力,还关系到仔猪的出生和健康。然而,母猪能否正常繁殖的前提在于母猪发情是否正常,因此,在一定的时间范围内正确地鉴别与判断母猪发情状态是提高母猪生产率的技术关键。
在我国规模化、集约化生猪养殖场中,一般都采用限位栏饲养模式,对母猪的健康及发情状态信息的监控与采集主要依靠饲养员的连续观察,人力负担繁重,主观性强且精度较低。近年来,研究人员将关注点放到了母猪的行为及健康状态上,大部分是针对母猪运动、分娩、母性行为等角度展开,监测方法也由人力朝电子测量、视频监测和声音监测等方向发展[1]。
本团队借助机器视觉的技术原理,分析养殖场的视频监控文件,自动识别动物行为,并统计表现各种行为的次数,利用数字图像处理技术对猪姿态、轮廓数据加以计算,辅以运动的行为参数,判定猪形体姿态和行为趋势。应用计算机视觉技术对牲畜进行监测,具有非接触性的优势,不易造成牲畜应激反应,检测结果更为客观,且减少了人力劳动成本,因此,在养殖场内部利用计算机视觉技术代替人工来监测牲畜行为是未来养殖业的发展趋势。
本试验所用的视频数据来自于2020年7月山西太原五丰养殖种植育种有限公司养殖场采集,分析猪场实际环境状况与摄像的头安装位置与角度对母猪目标检测有较好的效果,并布置实地视频采集系统[2],由于环境复杂,为了方便安装,选用了TP-LINK1080P的云台无线监控摄像头,型号为TP-IPC42A,采用的物理网络连接使用了路由器和无线设备,网络访问链路的建立采用端口映射以及路由器转发。
首先,将猪身从背景中分离出来,选定适用于固定摄像头的背景减去法作为试验的运动目标检测方法[3]。其次,建立运动模型,对分帧后的图片做阈值分割和数学形态学处理。再次,将数学思想中的差分概念运用到母猪运动规律变化分析中,通过判断相邻两秒内位移差的乘值是否小于零,来表示母猪在这一秒内是否是持续加速或者是持续减速。
为给后续获取特征做准备,在运动目标检测的基础上对图像进行一系列预处理操作,从而得到更为理想的前景。图像预处理一般的操作通常包含像素亮度变换、图像分割[4]、降噪以及数学形态学运算等处理方法。本试验中对猪只图像的预处理操作流程如图1所示。
图1 猪只图像预处理流程
上述步骤中的关键是采用最大类间方差法(OTSU)对所有采集的视频数据进行阈值处理,核心是找最优阈值、最大化方差结果。最佳测度基于直接由直方图得到最优阈值,从而区分出图像的前景和背景。OTSU阈值操作后,对效果图进一步进行去除孤立噪声点和滤波操作,以得到较好的前景效果。
对30帧每秒的连续俯视视频数据进行一系列处理,测试视频数据图像预处理结果如图2所示,可看出,图像预处理后提取到了较理想的前景目标[5]。
图2 预处理效果
由于猪只具有形体特征以及非刚性特征,采用椭圆拟合[6]较合适。通过拟合得到猪只运动的中心点坐标,再经过数学计算公式得到运动特征参数,从而建立运动模型,流程如图3所示。
图3 俯视角度提取运动量
椭圆形状对猪的非刚性特性不敏感,所以,选用椭圆对猪只进行轮廓拟合,为进一步提取猪只运动量做准备。对于发情母猪的边缘检测,采用了多级边缘检测canny算子,先计算出待拟合椭圆的边界坐标,获得轮廓点集向量信息,并得到最小外接矩形,最后将椭圆绘制出来。测试视频针对发情猪椭圆拟合效果如图4所示。
图4 发情母猪椭圆拟合
在运动目标检测以及图像分割的基础上提取猪只的位移、速度以及加速度等运动参量,并在此基础上分析位移等趋势改变次数。实验数据选取帧速率30帧每秒的不同10段连续13 s的视频。
因在本试验中每30帧也就是1s采集一次位移数据,所以,位移表示猪只在1 s时间内的位置变化,速度表示猪跑得快慢,加速度则描述了猪舍中猪只速度发生变化的量与发生这一变化所用时间的比。俯视角度猪只运动量位移提取如式(1),速度及加速度计算公式分别如式(2—3)所示。
(1)
(2)
(3)
为将运动规律进行更加准确的判断和表述,本文根据相邻两秒内位移差的乘值是否小于零[7],来判断母猪在这一秒内是否是持续加速或持续减速。当差乘值持续为负值时,表示母猪运动处于持续减速状态,否则相反。
本团队计算得出10段视频曲线拟合图,如图5—10所示。为了图例表示更加清晰,将视频分为两组,其中,1—5段视频为第一组,6—10段视频为第二组。
图5 第一组猪只位移随时间变化图像曲线
图6 第二组猪只位移随时间变化图像曲线
图7 第一组猪只速度随时间变化图像曲线
图8 第二组猪只速度随时间变化图像曲线
图9 第一组猪只加速度随时间变化图像曲线
图10 第二组猪只加速度随时间变化图像曲线
从两组位移曲线拟合图曲线变化直观来看,视频1,5,7,10的曲线波动较大,视频5最大值约为600,视频7最大值约为6 800,视频2,3,4较为平缓,最小值约为10。
从两组加速度曲线拟合图来看,视频1,3,4猪只在13 s的数据采集中,猪只每秒都在发生位移及运动速度的变化,视频2,5,7,8曲线平缓趋于直线,单位时间内变化非常小,猪只速度平稳。视频6,9,10在1~6 s的时间段内加速度变化较为明显,后段时间加速度趋于平缓。速度的曲线拟合同位移相似,视频1,5,7,10单位时间内的速度变化最大,视频2,3,4较为平缓。
发情母猪活跃状态下位移会出现明显的最高单峰值,除此以外的位移均保持在较低范围内[8]。通过将一定范围内的位移数据近似看作静止状态,以便得到近似静止状态占据整个运动时长的比例,将得到的比例作为研究发情期母猪运动规律的最终运动参量特征。统计10段活跃状态视频中的位移最大值、位移累计量、位移变化趋势改变次数、加速度正负变化次数,结果如表1所示。
10组试验数据近似静止时长分别为11 s,13 s,13 s,10 s,4 s,3 s,7 s,11 s,13 s,7 s,分别占总运动时长的比例分别为84.6%,100%,100%,76.9%,30.7%,23.1%,53.8%,84.6%,100%,53.8%。当相对静止时长占运动总时长的80%以下时,判断发情猪只处于活跃运动状态。实验的10段视频中,视频4,5,6,7,10中的发情猪只处于活跃状态,其余猪只处于老实状态。母猪发情一般会持续3~7天[9],发情母猪一天中睡卧时间依然很长,且发情运动情况还会因为生产次数、圈舍中猪只数量、周围有无人员干扰等情况的不同而不同。
表1 发情母猪活动状态运动特征
本文研究母猪发情状态运动规律,采用背景减去法进行运动目标检测得到较为理想的母猪前景图,利用所得结果进行椭圆拟合,得到中心点坐标,提取运动参量特征,计算得出母猪的位移、速度、加速度的拟合图。运用差分方法进行运动特征分析,将母猪运动情况分类。就活跃和较为老实这两种状态而言,活跃状态下,发情期母猪运动变化无明显规律性,在13 s的时间内,静止不动状态持续的时间较短。较为老实的母猪会表现出具有一定规律的运动状态,曲线平缓且波动有规律,会在一定范围内波动,不会出现明显的大峰值。