基于目标检测的视频图像跟踪监控系统设计

马昱弘

摘  要： 针对传统视频图像跟踪监控系统准确率低的问题，引入目标检测技术，设计一种新的视频图像跟踪监控系统。利用DSP+FPGA构成硬件的核心部分，通过Camera Link，HD?SDI输入接口将视频信号转换为FPGA能够识别的TTL电平信号，应用驱动伺服技术实现目标的稳定跟踪，重点设计了图像输入采集模块和图像处理模块。在硬件平台上设计了软件相关算法，通过双边滤波和跟踪算法实现软件编程。为检测跟踪监控系统效果，与传统系统进行实验对比，结果表明，设计的系统能够更加准确地定位出目标图像，即使在复杂背景下也能够稳定地跟踪目标，实时性高，采集能力强。

关键词： 跟踪系统; 监控系统; 视频图像; 目标检测; 视频跟踪; 图像处理

中图分类号： TN948.64?34; TN710                    文献标识码： A                 文章编号： 1004?373X（2020）11?0047?04

Design of video image tracking and monitoring system based on target detection

MA Yuhong

（East China University of Science and Technology， Shanghai 200237， China）

Abstract： In view of the low accuracy of the traditional video image tracking and monitoring system， a new video image tracking and monitoring system is designed by introducing target detection technology. In the system， DSP+FPGA is used to construct the core part of the hardware， the input interfaces of Camera Link and HD?SDI are used to convert the video signals into TTL level signals that FPGA can recognize， the drive servo technology is used to achieve stable tracking of the targets， and the image input acquisition module and image processing module are mainly designed. The software related algorithms are designed on the hardware platform. The bilateral filtering algorithm and tracking algorithm are used to achieve the software programming. In order to detect the effect of the tracking and monitoring system， contrastive experiments are performed between the designed system and the traditional system. The results show that the designed system can locate the target image more accurately， and can stably track the target even in a complex background. In addition， it is of excellent real?time performance and powerful acquisition capability.

Keywords： tracking system; monitoring system; video image; target detection; video tracking; image processing

0  引  言

视频图像跟踪技术起源于20世纪60年代，视频图像跟踪系统的设计过程应用了光学、机械学、电子科学，是一种机器视觉应用系统[1]。由于跟踪监控系统具有很强的直观性，所以在军事与民事活动上得到了广泛的应用[2]。

最初的视频图像跟踪系统在研制时仅对硬件进行设计，选择的结构也是单一结构，通过模拟体制进行设计，很难处理复杂背景，也无法进行智能判断，不具备灵活性[3]。随着目标跟踪技术的成熟，视频图像跟踪系统也愈加多样，目前研发的视频图像跟踪系统不仅能够接收可见光传来的图像，同时能够接收红外传感器传来的视频图像，利用传感器修正位置误差，从而实现对目标的全程跟踪[4]。

虽然目前研究的跟踪系统隐蔽性好，具有可成像显示功能，但是依旧存在如下几个问题：不能全天工作，成像光谱范围相对狭隘;与智能技术连接不够紧密，难以向着智能化方向发展;对于复杂背景的图像，或者是被遮挡的图像，难以精准预判，跟踪能力依旧很弱[5]。

为了更好地提高系统的适应性、高效性和时效性，本文引入目标检测技术，设计了一种新的视频图像跟踪系统。详细地阐述了系统硬件各设备组成以及模块设计，根据硬件结构设计了系统软件，最后通过对跟踪系统进行实验验证，探讨了系统性能。本文系统在算法设计上进行了强化处理，采取多模式跟踪算法代替传统的简单算法，使得系统即使在复杂多样的背景下，也可以精准地完成跟踪工作，具有高效性和实时性。

1  系统硬件设计

本文设计的视频图像跟踪监控系统能够同时实现接收数据、处理数据、分发数据和调度数据的工作，各个组件协同工作。系统以DSP+FPGA为设计思想，电路结构完整，工作性能可靠，计算能力优越，开发难度适中，能够高速地跟踪目标图像，同时进行边缘增强[6]。系统硬件结构配置了多个高速数据口，随时可以进行升级和扩展，也保障了系统跟踪过程的精确性。

基于目标检测的视频图像跟踪监控系统硬件结构如图1所示。

观察图1可知，本文设计的跟踪系统DSP芯片选用了2片TMS320C6455芯片，FPGA芯片选用了1片5SGXEA7N2740。系统硬件结构外部含有两种输入接口，分别为Camera Link，HD?SDI，能够同时接收各种传感器传来的视频信号，并将视频信号转换为FPGA能够识别的TTL电平信号，根据系统设定的时钟频率完成信号采样工作，对得到的数据进行筛选处理，确定有效数据[7]。存储部件能够同时完成数据缓存和数据处理工作，利用DSP芯片提取出来的灰度图像完成目标跟踪，由RS 422接口将输出目标区偏离视场中心的误差量上传给控制机构，通过DSP配合FPGA实现可视信息叠加，利用驱动伺服技术实现目标的稳定跟踪。除此之外，系统还设置了通信模块，通信模块可以负责下达命令和收集反馈信息两项工作。

不同的硬件负责不同的功能，系统的各个硬件部分相互配合，完成调度工作，确保顺利实现跟踪。系统硬件中的各设备所负责的工作如表1所示。

1.1  图像输入和采集模块设计

给出的图像输入和采集模块能够同时采集三种视频信号：可见光视频、红外视频和可见光照片。可见光照片在采集后可以直接存入到DDR中进行缓存，而可见光视频和红外视频在采集到信号后，还需要通过电平转换，转换成系统可以读取的信号，再由FPGA将灰度图像存入到SRAM中[8]。

通过HD?SDI接口接收可见光摄像机采集到的图像，HD?SDI接口的帧频设定为30 f/s，设定分辨率为1 980×1 020，接口的数据格式为YCbCr（4[∶]2[∶]2），像素深度的有效位为18 bit，可见光视频输入过程的详细时序逻辑如图2所示。

通过上述时序完成可见光视频的输入工作，利用SDI接口采集可见光视频信号。本文采用的接口芯片为GS7921芯片，该芯片具有极快的采集速度，最高可以达到3.00 Gb/s，芯片外圍电路简单，开发移植十分容易。GS7921芯片能够在短时间内将SDI信号转换成LVTTL电平，像素时钟为78.21 MHz。

通过LVDS接口接收红外视频。由于LVDS消耗功率低，工作过程很少受到外界干扰，出现误码，所以很适合作红外视频接收接口[91]。LVDS接口的帧频设定为50 f/s，设定分辨率为600×710，能够在同一时刻输出525行数据，每行含有的有效像素为500个，像素时钟为18.25 MHz。

红外视频输入过程的详细时序逻辑如图3所示。

硬件通过DS90CR288芯片完成编码工作，采集红外视频信号，将像素时钟设为基准，同时采集水平信号、垂直信号和图像信号，最多能够读取8位数字信号，将读取到的信号回传给后续的处理模块[10]。

采用Camera Link接口采集可见光照片，设定接口的分辨率为6 000×5 000，接口的最大工作速率为1.6 Gb/s。接口结构如图4所示。

可见光照片采集过程芯片的详细时序逻辑如图5所示。

通过DS90CR288芯片对可见光照片进行编码，设定像素时钟为基准，同时采用水平信号、垂直信号和图像信号，最多能够读取16位数字信号，筛选有效信号传给后续的处理模块。

1.2  图像处理模块设计

图像处理模块主要负责处理输出的图像，筛选有效图像，处理模块结构示意图如图6所示。

观察图6可知，本文设计的跟踪监控系统通过FPGA完成预处理工作，采用的芯片为StratixV芯片，芯片内部拥有700个I/O接口，486个乘法器，乘法器为16×16，21个时钟网络，预处理模块的容量为70 Mb，传输的峰值为6 Gb/s。该芯片能够有效提高系统的灵活性，加强系统的集成度，降低工作成本和消耗功率[11]。单芯片的加入使处理模块的密度更高，标准功能更丰富，处理过程中支持PCI EXPRESS接口协议，用户可以使用40G/100G/400G等专用功能。相较于传统系统的处理模块，本文系统的处理模块功耗降低超过30%。在预处理过程中，充分发挥了FPGA的灵活性和流水处理功能，系统能够同时完成滤波和去噪，DSP算法的处理压力也得到有效减少[12]。

DSP负责跟踪处理工作，运行各类跟踪算法，DSP跟踪处理单元选择的芯片为C6455芯片，该芯片由TI公司生产，具有极高的性价比和处理能力，处理过程的最高主频为1.5 GHz，运算能力峰值为10 000 MIPS。丰富的外围接口使系统能够在同一时间段支持多种工业标准接口协议[13]，内部组成结构如图7所示。

两个DSP芯片负责不同的工作，DSP?1负责检测可疑目标，并对可疑目标进行跟踪，具有很高的时效性，利用系统的主CPU运行;DSP?2负责控制字符，辅助DSP?1工作，利用系统的协助CPU运行。

2  系统软件设计

在对图像进行预处理时，采用的滤波算法为双边滤波算法，该算法在计算过程中能够有效去除外界信息干扰，同时，能够将图像纹理等细节特征最大程度地保留下来。双边滤波同时利用了领域内图像像素点局部加权的平均结果、灰度相似度信息、空间临近度信息，防止处理过程对图像的损坏。

双边滤波计算过程如下：

设定图像[M]在坐标点[U=（x，y）]的灰度值为[MU]，经过滤波处理后得到的图像[N]在坐标点[U=（x，y）]的灰度值为[NU]。

[NU=1WUZ∈SGσs（U-Z）Gσr（MU-NZ）MU] （1）

根据式（1）进而得到：

[WU=Z∈SGσs（U-Z）Gσr（MU-NZ）MU] （2）

式中：[Z=（a，b）]是中心像素[U]的图像邻域像素点;[S]表示图像各个领域的像素点集合;[WU]表示被跟踪图像的归一化因子;[Gσs]是图像的灰度相似因子;[Gσr]是图像的空间临近度因子。

本文使用的跟踪算法为模板匹配算法，通过设立模板，计算图像与模板之间的相关系数，当相关系数达到最大，则二者最为相似。跟踪算法流程图如图8所示。

3  实验研究

3.1  实验目的

为了检测本文设计的基于目标检测的视频图像跟踪监控系统的实际效果，与传统跟踪监控系统进行了对比，并分析实验结果。

3.2  实验参数设置

设置实验参数见表2。

3.3  实验结果与分析

得到的跟踪准确性实验对比结果如图9所示。

观察图9可知，在对三种输入视频进行跟踪时，本文研究的系统跟踪结果准确率始终高于传统跟踪系统的准确率。当跟踪时间达到1.0 ms时，本文系统对于目标图像的跟踪能力最高可以达到90%，而传统系统对于目标图像的跟踪能力最高仅为50%。由此可见，本文系统的跟踪能力更强。

4  结  语

通过查找大量文献总结当前目标检测技术，并基于目标检测技术设计了新的跟踪监控系统，对系统的基本设计原理和架构进行介绍，根据硬件结构给出了相关软件算法。本文研究的图像跟踪系统具有实时采集和显示的功能，即使在复杂背景下也能够稳定地跟踪目标。当出现遮挡物时，跟踪系统也可以及时地做出跟踪判断，当遮挡结束后，对目标进行重新定位并再次跟踪。本文设计的跟踪系统能够应用在多种机载光电侦察设备中，系统内部选用的技术十分成熟，跟踪能力强。

参考文献

[1] 张亚昕.嵌入式监控系统的运动目标检测与跟踪[J].系统仿真技术，2017，13（1）：38?42.

[2] 冯莹莹，赵莎莎.基于智能视频监控系统的运动目标检测和跟踪研究[J].赤峰学院学报（自然科学版），2017，33（2）：15?17.

[3] 魏国鹏.智能监控系统中特殊背景下移动目标检测跟踪的设计与实现[J].信息通信，2018（10）：32?33.

[4] 傅赟，王桂丽，周旭廷，等.交通监控系统中视频运动目标检测算法研究[J].计算机技术与发展，2017，27（8）：156?158.

[5] 梁兴建，雷文，陈超.基于多路图像融合的目标跟踪系统设计[J].四川理工学院学报（自科科学版），2017，30（6）：40?46.

[6] 胡辉，黄思博，胡松，等.一种基于异常事件检测的智能视频监控系统[J].现代计算机，2017（3）：30?33.

[7] 戴丽丽，杜兰.应用于嵌入式视频监控系统的运动目标检测方法[J].电子技术与软件工程，2018（15）：178?179.

[8] 蔡映雪，胡辉，黄思博，等.一种基于视频分析的异常事件检测技术[J].现代计算机，2017（4）：42?45.

[9] 杜啟亮，曾东明，田联房，等.基于IMX6的手扶电梯智能视频监控系统设计[J].现代电子技术，2017，40（21）：153?157.

[10] 张文杰，戚飞虎，江卓军.实时视频监控系统中运动目标检测和跟踪的一种实用方法[J].上海交通大学学报，2017，36（12）：1837?1840.

[11] 赵向梅，苏春莉，陈宏.基于视频图像的目标检测技术研究[J].电子设计工程，2013，21（16）：114?116.

[12] 胡继强.视频图像活动轮廓目标检测跟踪研究[J].计算机仿真，2012，29（1）：273?276.

[13] 杨阳.基于特定特征识别的运动视觉跟踪系统设计[J].现代电子技术，2017，40（2）：94?98.

[14] 丁跃利，张波，张朗，等.多路遥感图像高速小型化实时拼接的实现[J].西安工程大学学报，2017，31（5）：627?632.