虚拟果园视频跟踪系统的设计与实现

刘可可

（南京农业大学工学院，江苏南京 210031）

虚拟果园视频跟踪系统的设计与实现

刘可可

（南京农业大学工学院，江苏南京 210031）

为提高果园设施的安全性，避免浪费不必要的人力和财力，设计开发了一套可对果园进行实时监控的视频跟踪系统。该系统通过将金字塔Lucas-Kannade算法与背景差分法融合，实现了对运动目标位置、速度和大小的提取。然后利用电子邮件将运动目标的信息发送给客户端，并将运动目标的图像实时同步至云空间，是一套具有较高实时性与鲁棒性的虚拟果园视频跟踪系统。

视频跟踪；虚拟果园；运动检测

作为机器视觉的重要组成部分，视频跟踪系统就是通过各种传感器（光、电、磁、声等）获得的图像序列，对目标进行自动提取和跟踪的系统，目前已在军事和民用上得到了广泛应用。在军事中，视频跟踪系统在导弹飞机等目标的预警、精确制导武器、火控系统、无人机系统中起着至关重要的作用。在民用方面，它可用于社区、大型公共场所及重要设施的安全监控；智能交通系统中，它可用于无人驾驶系统设计，监控车流量、车速等。此外，视频跟踪技术在视频会议、视频分析、视频检索、基于视频的运动分析和合成、基于运动信息的身份识别、机器人、图像检索、水文观测、港口管理、医学图像分析，以及远距离测量、零部件质量检测等许多领域也都大有作为。

随着农业人口的减少和果园等农业用地的集成化和规模化，国内农业的智能化水平得到了巨大的发展和提高。由于农业人口减少，果园的安全问题变得日益突出，比如果园里时常发生偷盗行为和火灾。如果通过人为地看守果园，将浪费大量的人力物力，而且人为看守也不适用于大规模的果园。本文利用OpenCV软件技术、图像预处理技术（包括高斯滤波和二值形态学滤波）、HS光流算法、金字塔LK光流算法、背景差分法等，开发了一种基于光流法和背景差分法的虚拟果园视频跟踪系统，以期解决这一问题。

1 系统的总体设计与实现

该系统的硬件平台包括：装有Windows 7系统的计算机一台，USB摄像头一个。软件平台为带有OpenCV2.4.4库的Visual Studio 2010及百度云同步软件。

该系统可实现光流法和背景减法的融合，并最终实现3个功能：运动目标属性显示功能（包括运动目标的位置、速度和大小的显示）；邮件发送功能，即将运动目标的属性通过邮件进行实时传输；图像共享功能，即将带有运动目标的图片存储在计算机上，并在云端实时共享（图1）。

图1 金字塔LK法与背景差分法的融合结构

2 系统详细设计

虚拟果园视频跟踪系统的详细设计结构如图2所示。

2.1 视频预处理模块

主要用于初始化变量，捕捉视频的当前帧和历史帧，为捕捉到的图像帧分配内存然后将其转化为灰度图，并且为背景减法模块中的历史帧进行高斯滤波。

利用cvCaptureFromFile函数打开视频，并将前帧复制存储下来，变量名改为pFrameA，作为后面运算的历史帧；同时为图像和矩阵分配内存空间，将历史帧转为灰度图pBk Img与pFrImg，并将当前帧和历史帧转化为灰度图imgA与imgB，其中pBk Img与pFrImg用于背景差分法的计算，imgA与imgB用于光流法的计算。

图2 虚拟果园视频跟踪系统的详细设计结构

2.2 角点检测模块

用于检测历史帧中感兴趣的点，即强角点。然后根据强角点检测亚像素级角点。

2.3 光流法模块

在该模块中，我们比较了两种典型的光流算法：HS光流法和金字塔LK光流法。前者代表了稠密光流法，后者则是稀疏光流算法的代表。其性能对比结果如表1所示。

表1 HS光流法与金字塔LK光流法的比较

从表1可以看出，HS光流法计算的光流点数为76 800，即320×240图像中所有的点；而金字塔LK光流法只需要计算500个角点即可，所以金字塔LK光流法的运算量小，实时性更高。HS光流法显示的光流为40，而金字塔LK光流法显示的光流为112，说明LK算法能提取更多的运动点，这样最后算出的平均光流（约等于目标速度）误差也会更小。HS光流法的光流数值标准差为10.70，而金字塔LK光流法光流数值的标准差为2.27，说明金字塔LK光流法的光流数值浮动较小，更稳定。综上，金字塔LK光流法比HS光流法具有更高的实时性和鲁棒性。

通过程序演示发现，HS光流法的速度太慢，容易引起计算机死机，且无法实时处理视频，该算法只能应用于图像研究，而且该算法生成的光流噪点较多，无法代表物体运动的真实速度。图3为HS光流法与金字塔LK光流法的效果图。从图3中可以看出，HS光流法中的光流大小的离散程度较大，而金字塔LK光流法中光流的大小离散程度较小，基本上稳定在10左右，由此可见金字塔LK光流法能更加真实地反映运动目标的速度。因此，在虚拟果园视频跟踪系统中，选择使用金字塔LK光流法来实现光流法模块。

图3 HS光流法与金字塔LK光流法的效果

2.4 光流显示模块

通过查找发生运动的光流点，对光流进行显示。

2.5 背景差分模块

利用背景帧和当前帧的差分图分离出前景，并且阈值化得到二值图，然后对二值图进行形态学滤波。

2.6 运动属性显示模块

首先利用光流值的平均数计算出运动目标的速度，利用前景图计算出运动物体面积；然后将速度小于某个值或面积小于某个值的点的速度和面积置为0，以消除摄像机或者背景抖动带来的影响；最后显示运动目标的速度和大小。

2.7 邮件发送模块

利用SMTP协议和邮箱建立连接。当检测到有目标运动时，每隔一定的时间将采集到的运动目标的信息实时发送给目标邮箱。

2.8 图像共享模块

先将运动目标图像存储在本地文件夹中，存储频率可以自行设置，本研究中使用的存储频率为10帧，即当有目标运动时，每隔10帧保存一次图片。然后将存储在本地的图片通过同步软件在云端实时同步。

3 小结

果园经常会出现偷盗行为和火灾等情况，如果人为看守将浪费不必要的财力，而且人眼的可靠性并不高。如果用视频跟踪系统对果园进行实时监控，则有利于提高果园设施的安全性，而且可以避免不必要的人力和财力浪费。传统的视频跟踪系统只能判断视频中有无运动目标出现。本研究利用金字塔光流法和背景减法进行融合，成功提取了目标的位置、大小和速度，并加入了邮件发送和云同步功能，使果园主人能随时随地掌握果园的信息。此外，该系统也解决了视频跟踪系统鲁棒性和实时性不高的问题。

［1］ 刘雅坤，王艳红.科技启迪未来［J］.世界汽车，2013（5）：42-43.

［2］ 张秀丽.四足机器人节律运动及环境适应性的生物控制研究［D］.北京：清华大学，2004.

［3］ 卢晓鹏.视频序列中目标跟踪技术研究［D］.北京：中国科学院研究生院，2007.

［4］ 侯杰.基于视频图像的高大空间建筑火灾探测研究［D］.北京：清华大学，2010.

［5］ 黄琛，丁晓青，方驰.一种鲁棒高效的人脸特征点跟踪方法［J］.自动化学报，2012，38（5）：788-796.

［6］ 张建仓，杨哲辉，孙启富.基于二自由度云台的目标跟踪系统设计［J］.计算机测量与控制，2013，21（9）：2579-2581.

（责任编辑：高 峻）

TP 391

A

0528-9017（2014）11-1774-03

文献著录格式：刘可可.虚拟果园视频跟踪系统的设计与实现［J］.浙江农业科学，2014（11）：1774-1776.

2014-06-18

刘可可（1991-），女，山东枣庄人，本科在读，所修专业为电子信息科学与技术。E-mail：849495892@qq.com。