周传璘 ,肖永军,苏贵坡,曾庆栋
(1.孝感学院 物理与电子信息工程学院,湖北 孝感 432000;2.中国人民解放军61491部队,河南 许昌 461131)
责任编辑:任健男
视频目标跟踪是当前计算机视觉中非常活跃的一个研究领域,广泛用于如机载、舰载、对空检测等场合的军用目标。视频目标跟踪是采用重心、形心或灰度等处理方法,结合目标识别理论,对各种视频目标进行跟踪与识别处理。而视频图像处理技术(采集、处理及输出)是目标跟踪中一个重要分支。在传统的视频处理方案中,视频采集及处理主要由分立元件构成,电路复杂、可靠性差。随着半导体及集成电路技术发展,许多集成度高,功能强大的视频编解码芯片日渐主宰应用市场。TMS320DM64X系列DSP具有多种视频外设接口,无需复杂的外围电路,即可与大多数视频编解码芯片无缝连接。根据项目实际需求,笔者以TMS320DM642为核心,搭配一些外围视频编解码芯片(如SAA7113H和SAA7126H)和其他芯片,设计了光电目标跟踪视频的采集及处理系统,用于采集及处理由CCD输出的25 f/s的视频流,结合一定算法,提取出目标存在情况下的光斑坐标位置信息,通过异步串行口将坐标信息输出,为下一级控制电路提供依据。
TMS320DM642(简称DM642)是TI公司推出的一款针对多媒体处理应用的定点DSP。C6000系列CPU采用哈佛结构,其程序总线与数据总线分开,取指令与执行指令可以并行运行。主要由程序取指、分配及译码单元、2个对称的数据通路(A和B)、2个对称的通用寄存器组、2组对称的功能单元(每组4个)、控制寄存器组和控制逻辑以及中断逻辑等组成。主要具有以下特点:
1)600 MHz时钟频率,4800 MI/s(兆指令/秒)的处理能力。
2)改进的超长指令字(VLIW)DSP核,CPU内包含了64个32位的通用寄存器和8个功能单元。
3)1056 kbyte的片内存储器,可构成两级Cache结构(包括程序Cache和数据Cache)。
4)2个外部存储器接口,即1个64位宽度(EMIFA)和 1个 16位宽度 (EMIFB)。 支持与同步存储器(SDRAM,SBSRAM,ZBTSRAM)和非同步存储器(SRAM,EPROM,Flash等)的无缝接口。增强的DMA控制器(EDMA),具有64个独立的DMA通道。
5)3个多通道缓冲串行口(McBSP),3个32位通用计时器(Timer),16 个通用 I/O 引脚(GPIO),3.3 V I/O,1.2 V或1.4 V内核电压。
6)3个可配置的VP(视频)端口,可灵活配置成视频捕获或视频输出和TSI(传输流接口)模式。
根据系统功能需求,设计方案如图1所示。系统以DM642为核心,由CCD摄像头采集的图像数据,经视频解码器SAA7115芯片转换为BT.656格式的数字信号,送入DM642进行处理。一方面将处理后的视频图像写入输出帧缓冲FIFO中,控制视频编码芯片SAA7121将其转换为PAL或NTSC标准制式的模拟电视信号输出。另一方面通过一定的算法处理,提取出目标位置信息,并通过RS-232串口,将数据输出。由一片CPLD实现系统时钟的管理,协调各芯片的工作时序,并进行Flash分页、逻辑控制和相关寄存器配置等。
图1 基于DM642的系统框图
因为DM642作为统一程序/数据空间的第2级缓存,空间仅为256 kbyte,需要通过EMIF接口外扩SDRAM以增加系统的存储空间。该系统的SDRAM选用MT48LC4M32B2,其主要特点为:同步访问,读写操作需要时钟;动态存储,芯片需要定时刷新。动态存储器中同步技术的应用,使得芯片的读写速度从以前的60~70 ns减少到目前的6~7 ns,非常适用于图像处理等需要大容量存储器的应用场合。
DM642的EMIF可以灵活地设置SDRAM地址的结构参数,包括列地址数目(页的大小)、行地址数目(每个bank中页的数量)以及存储体的数量(打开的页面数量)。通过设置上述参数,DSP最多能够同时激活SDRAM中4个不同页,这些页可以集中在一个CE空间中,也可以跨越多个CE空间,一个存储体一次只能打开一页。C64x的EMIF还支持SDRAM的自刷新模式,并采用LRU(Least Recently Used)的页面置换策略,可以提供更高的接口性能。图2为C64x EMIFA与64 Mbit SDRAM的接口模式。
图2 C64x EMIFA与SDRAM的接口模式
DM642有3个视频端口外围设备。这些视频端口外设可作为视频采集端口,视频显示端口,或作为传输流接口采集端口(TSI)。视频端口由A和B两个通道组成,两个通道之间存在一个可分开的5120 byte的采集/显示缓冲区。整个端口经常被配置成只进行视频采集或者视频显示。
本系统硬件设计中,使用两个视频端口,其中可再分的视频端口0连接SAA7115HL解码器用作视频输入端口,该口通过一个RCA类型的视频插座和一个4针的低噪声S-Video接口连接到视频源(CCD摄像机),视频端口2连接视频编码器SAA7121作为视频输出至电视机显示。DM642与SAA7115和SAA7121的连接接口见图3,DM642对视频编解码芯片的控制均采用I2C总线进行编程实现。
图3 DM642与编解码芯片接口
软件系统执行流程如图4所示。系统上电初始化后,开始接收CCD视频图像,对输入图像进行加权均值滤波的预处理,以滤除图像噪声,接着进行自适应阈值分割,以求出最佳阈值,并对目标进行判断。如果符合光斑需求,认为目标存在,并按照一定算法计算目标位置信息,最终输出有效的目标位置信息;如果目标不存在,则直接输出某一特定信息。
图4 系统算法执行流程
图像的预处理有多种的滤波方法,如中值滤波、均值滤波和加权均值滤波等。加权均值滤波是对均值滤波的改进,对于邻域内距当前像素越近的点,其加权系数就越大,则像素的加权值就最大。该算法对信标光斑边缘具有较强的保留能力,在一定程度上克服了均值滤波滤除噪声的同时使得目标边缘模糊化严重的缺陷,且算法较为简单,本系统中采用该算法进行图像预处理。
图像选取3×3的邻域,为避免除法运算,滤波算法采用下式计算
式中:“<<”表示左移;“>>”表示右移;f(x,y)为输入至滤波器的原始图像;g(x,y)为处理后图像。
图像的自适应阈值分割法是指通过对图像进行逐像素扫描并将像素标记为对象或背景来实现对图像的分割,对像素的标记取决于像素灰度级大于还是小于阈值T[5]。算法的实现步骤如下:
1)求出图像中最小和最大的灰度值Z1和Zk,令阈值初值 T0=(Z1+Zk)/2。
2)根据阈值Tk将图像分割成目标和背景两部分,求出两部分的平均灰度值ZO和ZB
式中:f(i,j)是图像上(i,j)点的灰度值;N(i,j)是(i,j)点的权重系数。
3)求出新的阈值 Tk+1=(ZO+ZB)/2。
4)如果Tk=Tk+1或≤ε(ε为一较小的值),则结束,否则k←k+1,转到步骤2)重新计算。
DM642需要完成的最核心的工作就是对视频进行目标光斑的位置信息提取,常用的光斑中心提取方法有很多,如质心定位法、形心定位法、峰值定位法、匹配定位法和投影中心法[4-7]。不同的定位方法得到位置精度也不一样,文献[7]对各种方法进行了讨论。因质心定位法充分反映了目标的能量分布状况,在理想的情况下定位精度小于0.05个像素,且适用的光斑半径范围大。基于此,为避免计数溢出的问题发生,笔者选用了改进的质心定位算法[6]。
若目标区域为,则质心的位置为
式中:xi,j和 yi,j分别为目标区域中像元(i,j)的横纵坐标;f(i,j)为像元(i,j)的灰度值;T 为像素阈值。
为验证系统硬件设计及软件处理算法的有效性,进行了相关的测试实验。通过CCD采集约25 s、共500帧的模拟视频图像,经DM642处理后送入计算机上的视频采集卡保存视频图像,并利用计算机的异步串行口(SCI)接收并提取DM642输出的具有一定格式的数据,将接收数据送入Matlab中绘图,图5为计算机视频采集到的经过DM642视频端口2输出回显的视频照片,光斑平均灰度值为250,背景平均灰度值为140,图6为经DM642输出的目标坐标随时间的变化数据曲线。
图5 DM642处理后输出的视频图像
图6 DM642输出的光斑坐标
视频图像跟踪是目前较为活跃的一个研究领域,而视频图像采集及目标位置信息提取成败是整个跟踪系统的关键。笔者以DM642为核心,设计了视频图像采集及处理系统,介绍了系统的硬件设计及软件算法处理,分别介绍了加权均值滤波、自适应阈值分割、质心提取算法,最后进行了系统采集CCD模拟图像提取目标光斑坐标的实验。经实验证实,该系统工作可靠,能在一定背景干扰下稳定提取目标信息。本文的创新点是采用“TMS320DM642+编解码芯片”对CCD输入模拟图像采集、处理,并应用一系列算法在一定背景干扰下成功提取出目标坐标位置信息,通过串口发送。
[1]李方慧,王飞,何佩琨.TMS320C6000系列DSPs原理与应用[M].2版.北京:电子工业出版社,2003.
[2]刘琼,安涛,金钢,等.基于DM642视频采集处理系统硬件设计[J].微计算机信息,2007,23(2):180-182.
[3]王跃宗,刘京会.TMS320DM642 DSP应用系统设计与开发[M].北京:人民邮电出版社,2009.
[4]TICompany.TMS320DM642 video imaging fixed-point digital signal processor data manual[EB/OL].[2010-03-21].http://focus.ti.com/lit/ds/symlink/tms320dm642.pdf.
[5]李晓峰.星地激光通信链路原理与技术[M].北京:国防工业出版社,2007.
[6]李晓峰,罗彤,邓科.采用CCD的空间光通信光斑位置提取重心算法的分析及实验[J].光通信技术,2004(6):13-15.