半遮挡目标鱼体的识别与跟踪方法研究

毛家发，胡海彪，程振波，范伟康，陆佳炜，肖　刚

(浙江工业大学 计算机科学与技术学院，浙江 杭州 310023)

半遮挡目标鱼体的识别与跟踪方法研究

毛家发，胡海彪，程振波，范伟康，陆佳炜，肖刚

(浙江工业大学 计算机科学与技术学院，浙江 杭州 310023)

摘要：基于平面镜原理的三维目标跟踪平台，半遮挡会引起多目标交叉连接在一起，难以清晰地将多目标独立地分离出来，降低了跟踪定位准确性.针对这一问题，提出一种基于计算机视觉的半遮挡鱼体识别的方法.通过鱼体轮廓识别技术和鱼体质心点的提取方法，解决水箱当中鱼体目标与镜子当中鱼体目标的对应关系.最后进行了活体鱼半遮挡实验，实验结果表明：该方法能够有效地解决鱼体半遮挡分离问题，提高了鱼目标跟踪定位的准确性。

关键词：半遮挡；鱼体轮廓；鱼体识别；鱼体质心

Study on identification and tracking of half-occlusion target fish

MAO Jiafa, HU Haibiao, CHENG Zhenbo, FAN Weikang, LU Jiawei, XIAO Gang

(College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China)

Abstract:For the three-dimensional object tracking platform based on principle of plane mirror, half-occluded objects can cause multi-objective overlap. Thus it is difficult to clearly separate the targets and tracking accuracy will be reduced. A half-occluded fish contour recognition method based on computer vision is proposed. Using fish contour recognition technology and fish centroid point extraction method, we have obtained the coordinate spatial relationships between the target fish in tank and virtual fish in the mirror. Here we test the real fish in the experiment and experimental results show that this method can effectively solve the problem of separating half-occluded fish and the fish target tracking accuracy is improved。

Keywords:half-occluded; fish contour; fish recognition; fish centroid

鱼类作为水质监测的重要指示生物，很多学者通过研究其运动行为来反应水质情况.鱼类的主要行为特征为游动轨迹、速度、角速度、加速度等[1].如果能够通过图像处理技术对鱼运动视频进行跟踪处理，提取鱼目标的运动参数，那么便能采用仿真鱼进行水下模拟真实鱼的生理行为并且进行水下作业，进而为军事和民用研究提供更好的实际依据[2].水环境的变化会明显地影响鱼类的生活习性，因此可以通过提取鱼类的行为特征参数，来反应水环境变化情况，鱼类行为数据的变化为水质监测提供重要的理论参数[3-6].参数提取的前提就是目标的有效跟踪，目标跟踪的首要任务是从视频帧图像中检测出目标并对其进行分割定位，从而确定其完整的运动轨迹[7-9].方非等[10]运用了色彩跟踪算法对机器鱼进行了单目标跟踪，并且得到了较好的效果;Pinkiewicz等[11]采用粒子滤波的方法，许廷发等[12]运用约束的B-Snake模型的非线性粒子滤波算法，刘士荣等[13]采用基于多特征融合的粒子滤波目标跟踪算法对鱼体多目标进行了跟踪，并且得到了一些较好的结果。

多目标跟踪已经获得了一些较好的研究成果，但当多个跟踪目标距离较近，或者出现半遮挡的情况时，则难以清晰地识别出目标，致使出现误跟踪的现象，为了解决这类问题，根据鱼体的具体形态特征，提出了一种在三维空间下半遮挡鱼体识别的方法.针对鱼体的正面和侧面信息来进行鱼体一一对应，并且根据鱼体的对应关系来正确识别鱼体的运动躯干，实现半遮挡情况下目标分离，从而提高目标跟踪精度。

1鱼体轮廓模型

1.1鱼体轮廓

鱼类外形多种多样，根据鱼体的形态特征，一般可分为头部、躯干部和尾部三部分.从头部到尾部有一条贯穿身体的头尾轴[14].红鲫鱼是一种具有流线型体形的鱼类.假设O点为鱼体轮廓的质心点，则根据鱼形体特征能够构建出鱼体的轮廓，如图1所示.图1中的虚线部分表示当鱼游动时鱼尾的左右摆动。

图1　鱼形体轮廓Fig.1　Diagram of fish contour

1.2鱼体质心点提取

给定一幅二维图像，假设目标区域为A(xi,yi)(i=1,2,3，…，n)，质心点的计算公式为

(1)

(2)

1.3鱼头和鱼尾方向的识别判定

(3)

通过式(3)计算得出轮廓边界上离质心点最远的点，假设为T，则OT方向为鱼尾方向，和OT方向相反(夹角大于90°)方向寻找距离质心点O最远的点记为H，OH方向则为鱼头方向.如图2所示。

图2　鱼头鱼尾方向判断Fig.2　The judgment of fish head and tail

2水箱中实体鱼与平面镜中虚体鱼对应关系

2.1实验平台简介

系统平台主要有下面三部分组成：采集设备、图像采集卡、处理设备.采集设备主要由水箱和一块平面镜组成.平面镜放置在水箱右侧，并且与水箱成一定角度(所成角度为π/4).摄像头放置于采集设备的正上方，用于采集目标在水箱中以及平面镜中的信息，摄像头的拍摄范围能够覆盖整个水箱以及镜子当中水箱的成像.处理设备主要进行对采集到的图像信息进行处理.整个系统采集平台如图3所示。

为了便于叙述，约定如下：1) 实物水箱称为实体水箱；2) 水箱在镜中的像为虚体水箱；3) 水箱中的鱼为实体鱼；4) 实体鱼在平面镜中的像为虚体鱼。

图3　实验平台Fig.3　Diagram of experiment platform

2.2遮挡鱼体首尾对应关系

图3所示的水箱右侧镜子和水箱成π/4，实体鱼和镜子当中的虚体鱼的形体存在一种一一对应关系，即实体鱼头对应虚体鱼头，实体鱼尾对应虚体鱼尾.根据我们先前的研究结果可知，当实体水箱当中的鱼体发生部分遮挡的情况时，虚体水箱中的虚体鱼则不会发生遮挡.由此，我们可以得到如图4(a，b)所示的实体鱼与虚体鱼的对应关系。

图4　半遮挡情况下的实体鱼与虚体鱼对应关系Fig.4　Correspondence between the entity fish and virtual fish under half-occlusion

根据上述所描述的实体鱼与虚体鱼的对应关系，当水箱当中实体鱼发生半遮挡情况时，可以根据镜子当中的虚体鱼的位置以及鱼头和鱼尾方向，来判断出水箱当中的实体鱼的位置和鱼头鱼尾方向.水箱当中的实体鱼的质心点和镜子当中虚体鱼的质心点存在一一对应的关系，由虚体鱼的质心点位置可以计算出水箱当中实体鱼的质心点的位置，并且根据1.3节鱼头鱼尾方向判断方法，判断出实体鱼的鱼头与鱼尾方向。

当虚体鱼发生半遮挡情况时,如图4(c，d)所示，我们可以根据对称原理，很容易地解决虚体鱼半遮挡时的鱼体方向问题。

2.3鱼体识别具体操作步骤

根据2.2节所描述的半遮挡鱼体的首尾对应关系，我们可以很容易发现实体水箱中的实体鱼和虚拟水箱中的虚体鱼存在着一种同向对应关系，即鱼头对鱼头，鱼尾对鱼尾的一一对应.根据这种对应关系，我们可以根据未发生半遮挡的虚体鱼(实体鱼)的质心点、鱼头鱼尾坐标来计算出发生半遮挡状态的实体鱼(虚体鱼)的质心点以及鱼头尾坐标，并且根据这些确定出的坐标点来识别鱼体支架和方向：

第一步:提取出发生半遮挡时的视频帧图像。

第二步:通过图像分割算法准确分割出目标。

第三步:判断鱼体发生半遮挡的区域，即判别出实体水箱当中发生半遮挡还是虚拟水箱当中发生半遮挡。

第四步:根据所判别出的未发生半遮挡的区域，利用式(2，3)分别计算出未发生半遮挡区域的鱼体目标的质心点、鱼头和鱼尾方向的坐标。

第五步:根据图4所描述的鱼体首尾对应关系，利用镜面成像的对称性原理，确定出发生半遮挡区域的对应鱼体的质心点、鱼头和鱼尾坐标。

第六步：得出半遮挡鱼体的质心点以及鱼头鱼尾在二维平面上的坐标之后，进行质心点和首尾的连接，得到半遮挡鱼体目标的身体支架。

第七步:结束。

3实验结果验证

图5　实体鱼遮挡鱼头朝向相同的实验结果Fig.5　Experimental result under entity fish and occlusion fish’s heads toward the same

图6　实体鱼遮挡鱼头朝向相反的实验结果Fig.6　Experimental result under entity fish and occlusion fish’s heads toward the opposite

当水箱中两条实体鱼发生半遮挡时，根据上述所描述的方法得到的实验结果如图5，6所示.图5，6所计算出的相对于二维平面上的鱼体坐标点如表1所示。

表1　实体鱼发生半遮挡情况时实体鱼与虚体鱼坐标对应关系

图7　虚体鱼遮挡鱼头朝向相同的实验结果Fig.7　Experimental result under virtual fish and occlusion fish’s heads toward the same

当虚体水箱中两条虚体鱼发生半遮挡时，根据上述所提供的方法得到的实验结果如图7，8所示.图7，8所计算出的相对于二维平面上的鱼体坐标点如表2所示。

图8　虚体鱼遮挡鱼头朝向相反的实验结果Fig.8　Experimental result under virtual fish and occlusion fish’s heads toward the opposite

鱼目标对象鱼头坐标X/pixY/pix质心点坐标X/pixY/pix鱼尾坐标X/pixY/pix鱼1313144300176284202鱼1对应虚体鱼346151352180353206鱼2321163289132260114鱼2对应虚体鱼345167338136338125鱼3113200124224135258鱼3对应虚体鱼341204341228340255鱼4139212128187112136鱼4对应虚体鱼340216341191340147

4结论

针对由于半遮挡在分割过程中会引起多目标连接在一起，难以清晰地将多个目标独立地分离出来，致使跟踪定位准确性降低等问题.笔者提出了一种解决分离遮挡目标的方法，利用水箱当中实体鱼和虚拟水箱当中的虚体鱼的对应关系来进行鱼体轮廓的识别，并且进行了活体鱼实验，验证了该方法解决遮挡问题的有效性，为解决遮挡引起的误跟踪问题提供了技术支持。

本文得到了浙江工业大学校级自然科学重点研究基金项目(2012XZ009)的资助。

参考文献：

[1]KIM C, SHIM M, JEONG S, et al. Real-time motion generating method for artificial fish[J]. International Journal of Computer Science and Network Security,2007(10):52-61。

[2]XIANG T，GONG S G． Beyond tracking: modeling activity and understanding behaviour[J].International Journal of Computer Vision,2006(1):21-51．

[3]陈勇.面向水质监测的鱼类目标跟踪与运动行为建模系统研究[D].杭州:浙江工业大学，2010．

[4]张迎霞．面向水质监测的鱼类行为异常识别方法研究[D].杭州:浙江工业大学，2011．

[5]胡江龙，方景龙，王大全．多目标跟踪算法在水质监测中的应用[J]．机电工程，2012,29(5):613-615．

[6]卢焕达，刘鹰，范良忠．基于计算机视觉的鱼类行为自动监测系统设计与实现[J]．渔业现代化，2011，38(1):19-23．

[7]俞立,王铭,董齐芬,张文安.基于无线传感网的目标跟踪算法及实验系统设计[J].浙江工业大学学报，2012，40(6)：649-652。

[8]冯晓斐，郑河荣．基于改进Snake模型与Kalman滤波的目标跟踪算法[J].浙江工业大学学报，2010，38(2):168-172．

[9]滕游，董辉，俞立．基于DSP的运动目标检测与跟踪系统设计[J].浙江工业大学学报，2009,37(6)：607-609．

[10]方非，谢广明．一种基于图像的机器鱼动态跟踪算法[J].机器人技术与应用,2009(4):22-25．

[11]PINKIEWICZ T, WILLIAMS R, PURSER J. Application of the particlefilter to tracking of fish in aquaculture research[J]．Digitalimage Computing: Techniques and Application，2008(3):457-464．

[12]许廷发，姚剑敏，韦岗．约束的B-Snake模型的非线性粒子滤波算法研究[J]．计算机仿真，2007，24(3):207-209．

[13]刘士荣，朱伟涛，杨帆，等．基于多特征融合的粒子滤波目标跟踪算法[J].信息与控制，2012，41(6):752-759．

[14]郭春钊.基于鱼体肌肉模型的虚拟仿鱼机器人优化设计与仿真研究[D].合肥：中国科学技术大学，2007。

(责任编辑：刘岩)

中图分类号：TP391.41

文献标志码：A

文章编号：1006-4303(2015)02-0207-05

作者简介：毛家发(1970—)，江西玉山人，副教授，博士，研究方向为水质案例监测、图像处理、信息安全等，E-mail:maojiafa@zjut.edu.cn。

基金项目：国家自然科学基金资助项目(61272310,61170271);浙江省自然科学基金资助项目(LQ12F02016)

收稿日期：2015-02-05