一种实时图像跟踪处理系统实现技术研究

贺 莹，王 闯

(中航工业西安航空计算技术研究所，陕西 西安，710065)



一种实时图像跟踪处理系统实现技术研究

贺 莹，王 闯

(中航工业西安航空计算技术研究所，陕西 西安，710065)

实时图像跟踪处理能力是嵌入式系统中影响系统性能的核心因素。提出一种小型化低功耗的实时图像跟踪处理系统的设计方法，利用FPGA硬件化并行化处理的特性完成外部红外及白光相机图像采集控制及滤波预处理，利用DM648处理器实现了一种基于概率密度统计的目标跟踪算法实现对指定目标的持续跟踪，使用RS422串行总线接收主控端发送的控制指令并实时发送检测出的目标位置信息。系统采用多功能子模块叠层的架构保证系统具有较小的体积，并实现了50 f/s的图像处理速度，保证了图像跟踪的实时性。

现场可编程门阵列；目标跟踪；实时图像处理

0 引言

实时图像跟踪处理技术在导弹末端制导、火炮光瞄控制器、特种狙击枪目标自动锁定等领域中有着广泛的应用，但是视频图像由于信号维度高，对其处理所需要的计算复杂度高，故在目标跟踪系统，尤其是嵌入式实时目标跟踪系统中，对图像序列的实时处理能力一直是影响系统性能的核心因素[1]。

本文提出一种小型化低功耗的实时图像跟踪处理系统的设计方法，利用FPGA硬件化并行化处理的特性[2]完成外部红外及白光相机图像采集控制及滤波预处理，利用DM648处理器实现了一种基于概率密度统计的对指定目标进行持续跟踪的算法，使用RS422串行总线接收主控端发送的控制指令并实时发送检测出的目标位置信息。整个系统实现了50 f/s的图像处理速度，保证了图像跟踪的实时性。同时，系统采用多功能模块叠层的架构保证系统具有较小的体积。

1 系统结构

实时图像跟踪处理系统的输入输出接口如图1所示。

图1 图像跟踪处理系统结构图

系统主要完成以下功能：

(1)白光红外切换功能：根据主控板控制指令，选择白光相机或红外相机的图像进行输出显示。

(2)观察跟踪切换功能：接收到主控板发送的锁定信号离散量有效时，由观察模式转入跟踪模式；当目标丢失，跟踪模块向主控板发送跟踪观察切换指令时，由跟踪模式转入观察模式。

(3)白光及红外相机控制功能：根据主控板控制指令，对白光及红外相机进行手动背景校正、手动快门校正、极性设置、图像对比度调节、图像亮度调节、图像增强及系统参数复位等功能配置。

(4)彩色屏控制功能：根据主控板控制指令，对彩色屏进行图像上下翻转、图像左右翻转、亮度调节等配置。

(5)目标跟踪能力：能够追踪简单或复杂背景下的运动目标，目标丢失后，跟踪模块向主控板发送目标脱离指令，并回到观察模式，重新等待用户发送锁定有效标志。

(6)指示目标方向功能：当在白光相机2X模式下进行跟踪时，若指示标志(“T”标)与锁定标志不在一个画面上显示，则显示“T”标所在位置的图像，并给出锁定目标的位置指示(8个方向的箭头)。

2 系统关键技术

2.1 视频叠加及处理技术

系统接收外部两路视频，1路为3G-SDI高清白光视频，1路为PAL-D红外视频，内部产生4路不同状态的PAL-D字符叠加视频，输出1路PAL-D视频。

输出视频要在红外和白光源之间进行切换，并与4种状态的字符显示模式进行叠加；对于白光视频，需要使用双线性插值算法将其由逐行1 920×1 080@50 Hz缩小到720×576的分辨率大小，或根据指定的坐标在其周围裁剪720×576大小的图像。

在模块内部根据BT.656协议产生四路字符叠加视频，用以形成四种模式的字符显示界面，根据控制指令选择一路与外视频采用α叠加算法处理形成输出视频。

系统对外部输入PAL-D视频及3G-SDI视频均设计信号检测电路，当无视频信号输入时，在画面上以蓝色屏幕警示，以便调试和故障判断。

2.2 基于概率密度统计的目标跟踪算法

根据设计要求，系统要能够追踪简单或复杂背景下的运动目标。故需要首先分析并记录目标的特征信息，并对视频中每一帧图像进行处理，检测出目标所在的特征区域[3-4]。

在图像跟踪中常用的算法是光流法和均值漂移算法，考虑算法的复杂度并根据本设计采用FPGA实现图像处理的特点，以目标中心周边20×20矩形区域的统计直方图概率分布为特征，对视频中每一帧图像进行匹配运算，概率统计特性最为一致的区域即为跟踪目标。设计出实时图像跟踪处理算法如下：

(1)利用手动方式十字记号对准目标区域，得到当前目标中心。

(2)提取目标感兴趣区域(ROI)，利用该区域计算彩色图像的直方图函数。

(3)利用上一步得到的彩色图像直方图函数对目标图像整体区域进行概率反向投影，得到反投影图像。

图2 实时图像跟踪算法流程

(4)计算当前区域的概率均值，利用均值漂移的方式得到概率最大的中心区域，得到新的ROI区域。

(5)如果没有得到ROI区域则认为跟踪失败，返回步骤(1)重新对准目标。

(6)认为当前的ROI区域为目标所在的区域，完成目标跟踪。

(7)对下一帧返回步骤(2)进行跟踪。

实时图像跟踪算法流程如图2所示。

3 系统详细设计

系统采用层叠结构设计，包含四个子模块，分别为图像处理模块(IPM)、电源模块(PSM)、视频处理模块(VPM)和输入输出接口模块(IOM)；四个子模块之间采用板间连接器连接，生产无需导线焊接，符合小型化要求。系统结构如图3所示。

各模块的简单功能介绍及接口关系如表1所示。

表1 系统子模块组成及功能说明

3.2 系统工作模式设计

系统具有观察模式和跟踪模式两种工作状态。系统上电时，默认处于观察模式。

(1)观察模式

上电，默认白光1X模式输出(可根据主控指令在白光1X显示、白光2X显示和红外显示之间切换)，图像上叠加角度、方位、距离、气象信息等字符，显示锁定标志(符号为“+”，默认为图像中心，该位置可根据主控板指令进行调节)。

图3 图像跟踪模块系统结构图

(2)跟踪模式

图4 图像跟踪系统工作过程[4] 范志铭,苏成悦,郑俊波,等. FPGA图像识别与目标跟踪系统[J]. 微型机与应用, 2014,33(18): 45-47.

当检测到锁定信号的下降沿后进入跟踪模式时，第一步，记录锁定目标坐标，并在目标上将锁定标志变为8X8红色“.”,此后，图像跟踪模块要能够一直跟踪目标，使得锁定标志始终压住目标，并转入第二步；在跟踪过程中若目标脱离锁定，则向主控板发送跟踪观察切换指令，并返回观察模式。第二步：主控板发送指示标志显示指令，在指示坐标位置显示红色“T”形标志。第三步：当“T”标志与“.”标志连续三帧图像重合时，“T”标变为蓝色，并向主控板发出目标瞄准信号(离散量，低有效)，若两个标志脱离重合但“.”标未丢失，则瞄准信号置无效，“T”标变为红色，并返回第三步起始状态；若目标丢失，则置瞄准信号无效，向主控板发送跟踪观察切换指令并返回观察模式。

图像跟踪系统工作过程如图4所示。

4 结束语

本文介绍了一种实时图像跟踪处理系统实现技术，充分利用FPGA硬件化并行处理的特性完成多路视频的采集及预处理，利用DM648处理器实现了一种基于概率密度统计的目标跟踪算法，实现对指定目标的持续跟踪，并达到了实时的处理速度。该系统具有较小的体积和功耗，在安防监控及军工等领域具有广阔的应用前景。

[1] 王闯，史忠科. 实时车辆排队长度图像检测系统及FPGA硬件实现[J].交通运输系统工程与信息, 2012,12(3): 65-72.

[2] 杨钦, 周云飞, 胡永兵. 基于FPGA的视频图像采集与显示系统设计[J]. 计算机工程与设计, 2013,34(6): 1988-1992.

[3] 陈利杰. 光电成像跟踪系统的紧密耦合信息处理平台技术研究[D]. 北京: 中国科学院大学, 2012.

A fast loading method of TigerSHARC DSP based on FPGA

He Ying, Wang Chuang

(Xi’an Aeronautics Computing Technique Research Institute, AVIC, Xi’an 710065, China)

Real-time image tracking ability is the key factor in the embedded system. This paper presents a method of designing miniaturized low-power real-time image tracking processing system, based on the hardware parallel characteristics of FPGA, which can complete external infrared and white camera image acquisition and filtering.The method adopts DM648 processor to implement a tracking algorithm based on probability density statistics to achieve continuous tracking of the target, receiving control instruction of master and sending the detected real-time position information of target through RS422 serial bus.The system has a small volume by the usage of multi-function structure, and realizes 50 f/s image processing speed and the real-time performance of image tracking.

field programmable gate array (FPGA); target tracking; real-time image processing

TP752.1

A

10.19358/j.issn.1674- 7720.2017.14.014

贺莹，王闯.一种实时图像跟踪处理系统实现技术研究[J].微型机与应用，2017,36(14)：43-45，48.

2017-02-16)

贺莹(1986-)，女，硕士，工程师，主要研究方向：计算机系统结构、高速信号处理等。