基于WiFi的远程目标跟踪系统设计*

管凤旭， 杜俊琪， 赵 拓， 徐 健

(哈尔滨工程大学 自动化学院，黑龙江 哈尔滨 150001)

基于WiFi的远程目标跟踪系统设计*

管凤旭， 杜俊琪， 赵 拓， 徐 健

(哈尔滨工程大学 自动化学院，黑龙江 哈尔滨 150001)

提出了远程目标跟踪系统的概念并实现一种远程目标跟踪系统。系统主要分为移动机器人端和远程服务器端，主要功能是移动机器人通过USB摄像头采集到实时现场视频，将实时采集到的现场视频从YUV格式硬编码为H.264格式，再通过WiFi传出给远程服务器，服务器将接收到的视频流解码并对指定目标进行跟踪算法处理后控制移动机器人追踪目标。实验结果表明：该系统可以有效实现远程的目标跟踪，验证了该设计的可行性。

移动机器人； 目标跟踪； 远程监控； 时空上下文

0 引 言

在构建智慧城市与平安城市的大浪潮下[1]，智能监控系统[2]的身影出现在越来越多的领域。特别是安防系统和智能交通系统，在可靠性、实时性、智能性等方面对现有的监控系统提出了日益严格的要求。传统的远程安全监控系统往往基于单一摄像头或摄像头阵列，不够智能化，在某些监控目标行为动作规律的场合，完全可以通过机器学习[3,4]，目标自动检测[5]和跟踪[6]等现代技术来减少人力的消耗。

远程目标跟踪系统作为本文提出的概念，就是以特殊定制的移动机器人为基础对远程目标进行追踪并将目标信息实时反馈给服务器的一整套系统。事实上，远程目标跟踪系统已经悄然地走进了每一个人的生活，如在安防领域，完全可以通过摄像头来自动识别罪犯的外貌特征，以快速、高效地追捕罪犯。远程目标跟踪系统对不便于人工参与的危险工作，节约不必要的人力成本，提高系统工作效率等方面有着重要的理论意义和应用价值。

本文设计了一整套远程目标跟踪系统，在区域WiFi网络覆盖的范围内可以对指定目标进行稳定跟踪，网络带宽占有率低，反应灵敏。

1 移动机器人硬件设计

1.1 移动机器人结构总览

移动机器人由机器人运动控制平台和视频流控制平台构成。机器人运动控制平台为移动机器人提供了移动性能，运动控制平台必须保证足够的驱动能力使得机器人可以驶过复杂地形，必须保证运动期间相对稳定使得机器人能采集到高质量的视频。视频流控制平台为采集并传输实时视频流提供硬件基础，需要提供高速接口接收摄像头采集到的实时视频，必须提供有足够运算能力的嵌入式核心以处理采集到的视频。移动机器人实物整体如图1所示。

1.2 移动机器人运动控制平台设计

移动机器人控制平台由车体机械结构、主控制器电路、

控制器辅助电路和直流电机驱动电路组成，图1中显示了移动机器人运动控制平台的各部分电路在移动机器人整体结构中的位置。主控制器电路是飞思卡尔单片机MC9S12XS128[7]的最小系统板电路；控制器辅助电路主要包含最小系统板接口电路、电源电路、转向舵机接口电路、测速编码器接口电路，以及后轮直流电机驱动电路的接口电路等。在本设计中的直流电机驱动电路采用脉宽调制(pulse width modulation,PWM)驱动方式，具体使用H桥驱动电路来驱动四轮小车的直流电机。

图1 移动机器人实物图

1.3 视频流控制平台设计

视频流控制平台由视频流控制机能电路、USB 2.0 摄像头，TP-LINK无线USB网卡组成，图1中显示了视频流控制平台在移动机器人整体结构中的位置。由于本设计中的视频流控制平台需要完成数据量巨大的视频采集、压缩、传输工作，对控制器的运算能力尤其是多媒体处理能力提出了较高要求，故选择三星ARM处理器S5PV210[8]作为视频流控制平台的主控制器。为加快本设计完成速度，选用的是承载S5PV210处理器的OK210开发板作为视频流控制平台的载体。

2 远程目标跟踪系统软件框架

整个远程目标跟踪系统软件采用C/S架构。下位机的客户端为机器人运动控制模块和Linux操作系统环境下的视频流控制模块，上位机的服务器端为Windows操作系统环境下的流媒体服务模块。服务器端软件利用第三方的jrtplib库、FFmpeg库、OpenCV库，基于VS2010 MFC框架，分别实现了视频接收、H.264解码、以及STC目标跟踪算法的多线程跟踪系统。图2为远程目标跟踪系统软件结构图，下面对该结构的各个模块功能进行简要介绍：

1)基于V4L2框架的视频采集[9]模块：设定采集图像的分辨率、帧率、质量等参数。编写程序将采集到的yuv420p格式的视频流转换为S5PV210处理器自带的硬件编码模块MFC所需要的NV12格式。

2)S5PV210 MFC硬件编码模块：将NV12视频喂给集成在ARM内部的硬件压缩模块，将视频压缩为H.264格式[10,11]。

3)基于jrtlib库的视频发送模块：机器人端的功能是将H.264视频流的NALU单元按照RTP协议拆分，再通过jrtplib的API函数将拆分后的NALU单元封装为RTP网络包发送给服务器。

4)基于jrtlib库的视频接收模块：服务器将RTP包接收校验，并重组为完整的H.264的NALU单元。

5)基于FFmpeg库的视频解压模块：利用FFmpeg库的API函数将接收到的H.264视频流解码为OpenCV需要的BGR888视频流。

6)基于OpenCV的目标跟踪算法模块：利用OpenCV库编写STC目标跟踪算法程序，对视频流进行运算分析，根据跟踪控制策略，得出机器人的控制信号后通过无线网络发送给移动机器人。

7)串口信号发送模块：Linux系统将接收到的机器人控制信号通过串口发送给机器人运动控制系统。

8)XS128机器人运动模块：接收串口控制信号控制机器人追踪目标。

图2 远程目标跟踪系统软件框架图

3 系统综合实验

在夜晚灯光不足的教学楼走廊环境下，将自由行走的行人作为跟踪目标，使用本设计中的远程目标跟踪系统对目标行人进行追踪。服务器位于5楼实验室内，行人位于2楼走廊内。实验中服务器为Win7 64位操作系统， i3 CPU M 330 @2.13 GHz,4 GB内存，以PPPOE方式拨号，其IP地址为111.117.59.3，如图3所示。

图3 服务器网络环境

移动机器人的IP地址为192.168.1.99，通过TP-LINK无线USB网卡，以WiFi方式连接到一台无线路由器，该路由器通过PPPOE拨号，IP地址为111.117.50.158，如图4所示。再在路由器中设置转发规则以实现端口映射，即完成静态方式NAT转换的配置，具体设置见图5。

图4 路由器网络环境

图5 路由器中的端口映射设置

移动机器人的内网IP地址就是192.168.1.99，内部端口8000被用于发送和接收RTP包，内部端口8001被用于发送和接收RTCP包。

从图6和图7中可见行人出现在机器人前方，机器人锁定追踪目标并向其移动追踪目标。图6第一排图片序列显示，目标向前走穿过第一扇大门并向左转弯走向窗台的过程中，机器人也保持距离缓缓跟踪目标。机器人的视野如图第二排图片序列所示，整个过程从第624帧持续到1 124帧，耗时33 s。

图6 目标跟踪过程

如图7第一排图片序列显示，目标从窗台向右转动穿过大厅走向楼道，机器人也保持距离缓缓跟踪目标。机器人的视野如图7第二排图片序列所示，整个过程从第1 358帧持续到1 893帧，耗时36 s。

图7 目标跟踪过程

如图8所示，用网路流量监测软件监测服务器软件系统占用网速大约为20 kB/s左右。

图8 360网络流量监控界面

从网络环境要求上看，本设计传输的是高度压缩的H.264格式的视频，仅占用极小的网速，无论是局域网或校内网都可以满足本设计的通信环境；从跟踪效果来看，在晚上的实验中，由于受灯光影响，而且跟踪目标是特征点少的行人背部，故跟踪的中心有稍许偏差不过大体上仍然表现良好；从服务器端软件的处理速度上来看，在光线不足的实验中处理速度仍达到15帧/s。

4 结束语

本文设计的系统以四轮小车作为机器人的运动控制平台，以处理器S5PV210为核心构建机器人的视频流控制平台，并开发出C/S架构的软件系统。本文设计的远程目标跟踪系统具有基于WiFi的远程网络监控和运动目标跟踪两大核心功能，两者有机结合使本设计较传统的安防监控系统更智能，可扩展性强，和传统安防监控系统配合可以被定制应用于更多场合。

[1] 吴 冬.模式识别技术在智慧城市安防领域的应用[J].计算机应用与软件,2013,30(7):331-333.

[2] 曾辉艳,鄢 萍,贺晓辉,等.可配置的智能监控软件开发方法[J].计算机工程,2010,36(10):239-241.

[3] Kalal Z,Matas J.Online learning of robust object detectors during unstable tracking[C]∥Proceedings of The 12th International Conference on Computer Vision,New York:IEEE X-plore,2009:1417-1424.

[4] Kalal Z,Matas J.P-N learning: Bootstrapping binary classify-RS by structural constraints[C]∥Proceedings of Conference on Computer Vision and Pattern Recognition,New York：IEEE,2010:49-56.

[5] Kalal Z,Mikolajczyk K.Forward-backward error:Automatic de-tection of tracking failures[C]∥Proceedings of The 20th International Conference on Pattern Recognition,New York：IEEE,2010:2756-2759.

[6] Kalal Z,Mikolajczyk K.Tracking-learning-detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7):1409-1422.

[7] 许 寰,鲁五一,赵治平.摄像头路径识别和小车控制策略[J].计算机工程与科学,2009,31(5):110-111.

[8] 杜伟龙,曹江涛.基于ARM-Linux无线视频监控系统的设计[J].测控技术,2015,34(3):109-112.

[9] 付 力,焦斌亮.基于GPRS和DaVinci技术的视频监控系统设计[J].传感器与微系统,2011,30(6):100-102,105.

[10] 任守华,王胜华,刘士雷,等.基于3G和H.264技术的无线视频监控系统[J].计算机应用研究,2010,27(4):1554-1556.

[11] 孙书为,陈书明.高效的H.264并行编码算法[J].电子学报,2009,37(2):357-361,392.

Design of remote target tracking system based on WiFi*

GUAN Feng-xu， DU Jun-qi， ZHAO Tuo， XU Jian

(College of Automation，Harbin Engineering University，Harbin 150001，China)

The concept of remote target tracking system is proposed and a kind of remote target tracking system is realized.The design of the system is mainly divided into mobile robot and remote server.Real-time live video in YUV format is collected by mobile robot via USB,YUV format video is encoded into H.264 format and the video is sent to the remote server through WiFi.H.264 format video is decoded and processed with target tracking algorithm by the remote server,according to the results the mobile robot is controlled to track the target.Experimental results show that the system can effectively realize the remote target tracking,and the feasibility of the design is verified.

mobile robot; target tracking; remote monitor; spatio-temporal context(STC)

10.13873/J.1000—9787(2017)03—0101—03

2016—04—12

国家自然科学基金资助项目(51409055)

TP 242.6

A

1000—9787(2017)03—0101—03

管凤旭(1973-)，男，博士，副教授，从事生物特征识别与智能监控，计算机控制及应用等研究工作。