基于FPGA的红外图像仿真注入系统

管目强，李 岩，黄 梅，王鹤淇

（1.中国科学院长春光学精密机械与物理研究所，吉林长春130033；2.中国科学院研究生院，北京100039）

基于FPGA的红外图像仿真注入系统

管目强1，2，李 岩1，黄 梅1，2，王鹤淇1，2

（1.中国科学院长春光学精密机械与物理研究所，吉林长春130033；2.中国科学院研究生院，北京100039）

设计了一种新的图像注入系统来实现PC机仿真图像到红外处理系统的直接传输。首先，该系统利用USB2.0接收PC机对外场实测数据仿真得到的BMP格式文件，用FPGA控制由两个SDRAM组成的缓冲模块进行图像缓存，然后通过Camera Link接口传送出去。系统数据缓存采用乒乓操作，避免了数据处理时无法持续接收而丢失有效数据的现象。测试时用图像采集卡进行图像采集并显示。结果表明，该系统具有速度快、实时性好、稳定性高等特点，可替代光电跟瞄设备进行仿真训练及设备的动态检验。

红外图像仿真；图像注入系统；FPGA；乒乓操作；camera link接口

1 引 言

在军队靶场训练基地，操作人员主要通过光电跟瞄设备完成对目标的捕获跟踪任务，能否迅速准确地捕获跟踪高速目标是检验光电跟瞄设备性能的主要手段。跟踪分为自动跟踪和手动跟踪。由于武器平台具有机动性强、目标远、目标小等特点，自动跟踪很容易把目标跟丢，因此必须有手动跟踪作为补充。而手动跟踪对操作手的操作能力有着很高的要求，操作手的跟踪捕获能力需要在大量的训练中得以提高。

目前，在光电跟踪设备训练方面的研究，大多都属于纯计算机仿真训练，脱离了实际的光电跟瞄设备。这些系统在跟踪慢速运动目标时，效果很好，但是在跟踪高速运动目标时，效果不是很理想。从使用方面看，现在的跟瞄设备训练系统的数据源均由算法计算所得，其效果很难接近真实的飞行环境，并且模拟训练不能实现闭环要求，无法实现对光电跟瞄设备的动态检测［1，2］。因此靶场实验基地急需一套专门的、低成本而又高效率的模拟训练系统。

本文提出了一种新的仿真图像注入系统，该系统利用PC机对外场测得的目标飞行信息进行仿真，然后将仿真结果注入到跟瞄设备中，从而替代光电设备进行仿真训练及设备的动态检测［3］。

2 图像注入系统运行模式

目标跟踪系统分为两种运行模式：一种是操作手训练模式，该模式下可以不开启红外相机，对操作手进行模拟训练，同时还可以对跟踪系统的动态性能进行检测；另一种是实战状态，在这种状态下可以实现目标的手动跟踪和自动跟踪。两种模式的切换方式如图1所示。

训练模式时操作手操作单杆，并将信息传递给仿真控制系统，控制系统根据初始化参数、单杆控制信息及外场实验图像数据库生成目标图像，并叠加背景图像，生成BMP格式的输出图像，然后利用仿真图像注入系统传输到图像处理系统，图像处理系统解算出脱靶量等信息，并将处理结果传递给控制系统，完成对目标的捕获训练。

图1 图像注入系统运行模式图Fig.1 Operation diagram of image injection system

3 仿真图像注入系统

本文设计的仿真图像注入系统技术指标如下：

（1）图像注入系统接收PC机发出的仿真图像信息，接收速度要求大于15 MB/s。即图像注入系统可以接收分辨率为320×240，深度为16，帧频为100 frame/s的图像。

（2）注入系统能将接收到的图像数据按照Camera Link协议高速、实时、不间断地送给后级图像处理系统，保证传递到后级系统的图像数据没有丢帧的情况发生。

根据图像注入系统的技术指标采用模块化设计思想，模块分为图像数据接收模块、图像数据缓存模块、图像数据发送模块和时序控制模块。系统框图见图2。

图2 图像注入系统框图Fig.2 Block diagram of image injection system

3.1 图像数据接收模块

图像数据的接收速率要求大于15 MB/s，满足该速率的方案可以使用USB2.0和PCI总线，但USB2.0具有应用广泛、携带方便的特点，故本系统选用USB2.0作为数据的接收方式。

设计中采用Cypress公司的EZ-USB FX2芯片，该芯片将USB外围接口设备所需要的各种功能包装成一个简洁的集成电路。EZ-USB FX2的串行接口引擎（SIE）可工作在全速（1.5 MB/s）或高速（60 MB/s）传输速率下。为了实现60 MB/s的高传输速率，外部逻辑通常直接接到FIFO进行数据传输，且在传输过程中不需要FX2 CPU的参与。当一个实际应用要求CPU处理外部逻辑与USB之间传输的数据，或者当不存在外部逻辑时，则固件程序能够存取端点缓冲区，就像取RAM区或者利用一个自动增量指针存取FIFO一样。

FX2有两种接口方式：Slave FIFOS和通用可编程接口（GPIF）。本文采用的是Slave FIFOS方式，这种接口与FPGA相连比较简单。FIFO数据总线宽度FD［x：0］可以是8位，也可以是16位，其由FIFO的WORDWIDE位（EPxFIFOCFG.0）决定。芯片上电或复位后，FIFO的数据总线默认为16位（WORDWIDE=1）。FIFOADR［1∶0］引脚用于选择4个内部FIFO中的一个与FD脚连接［4］。

3.2 图像数据的缓存模块

图像数据缓存可以采用三种方案：一是采用先进先出（FIFO）的方式，该种方式具有两套数据线，没有地址线，可以在一端写的同时另一端读；二是采用双端口RAM的形式，与第一种方式不同，该方式具有两套独立的数据、地址和控制总线，可以从两个端口同时读写而互不干扰；三是采用双SDRAM结构，该结构使SDRAM工作在“乒乓”模式，一个SDRAM接收数据的同时另一个SDRAM发送数据。第一种方案读写数据比较呆板，并且大容量的高速FIFO非常昂贵；第二种方案大容量的高速双口RAM很难实现且价格高。考虑到系统的性能、价格及读写速度等原因，本系统采用第三种方案［7］。

SDRAM作为系统的缓存区来完成图像的暂存功能。SDRAM需要对接收来的一帧数据进行缓存，每帧图像的尺寸为 320×240×16= 1 228 800 bit，近似为150 KB。因此，采用两片256 KB的SDRAM就可以实现系统的缓存要求。

3.3 图像数据的发送模块

Camera Link协议是各公司为简化图像采集的接口，该协议使不同制造商的图像采集卡与数字相机有了一个统一的连接标准。Camera Link采用LVDS传输方式，该协议比较适宜于高速数据的传输。Camera Link是由channel link技术发展而来的。channel link包含一个驱动器和一个数据接收器。发送端驱动器在一个时钟周期内将28位的数据信号以7∶1的比例转换成4路数据信号对，同时将时钟信号也转换成1路时钟信号差分对，发送器将这5路差分信号同时传送给接收端。接收端将接收到的5路差分信号转换回28位的并行信号和1位时钟信号。采用这种传输方式可以减少数据传输中电缆的条数和数据接收器个数［8］。

发送模块主要采用NI公司的DS90CR287来实现。如图3所示，DS90CR287对FPGA送出的28位TTL数据信号和1路时钟信号进行电平转换与发送。28位数据包括：24位图像数据，4位图像数据同步信号Spare，LVAL，FVAL和DVAL，设计中只用到FVAL和LVAL同步信号。

图3 Camera Link接口电路Fig.3 Camera Link interface circuit

3.4 时序控制模块

时序控制模块采用 ALTERA公司的EP2C8Q208C8N作为整个图像注入系统的时序控制模块。该模块主要控制USB2.0接口的数据接收、SDRAM的读写和Camera Link接口的数据发送。

FPGA和USB2.0之间的数据传递采用Slaves FIFOs的形式，该设计方法比较便捷。为避免读写过程的亚稳态、空满状态判断问题，设计中采用格雷码指针和划分地址空间方法产生空满逻辑。控制状态机发出的控制信号不断查询Slaves FIFOs的空满状态，根据这些状态决定是否将接收的数据读到FPGA中，根据状态机的控制信号判断把数据写入相应的SDRAM中。

对双缓存SDRAM的控制采用在FPGA中构建嵌入式系统来实现，利用IP核的形式来构建。SDRAM控制器核可通过不同的数据宽度（8位、16位、32位或64位）来访问SDRAM，可以访问不同容量且有多个片选的存储器。可以完成SDRAM的初始化，将FPGA发出的读写指令转变为SDRAM的读写电平格式，以及定时刷新SDRAM等工作。SDRAM从FPGA发出读写控制指令到SDRAM与数据总线之间实现交换，有11个时钟周期的延迟时间。为提高传输的效率，SDRAM的读写采用整页读写模式，并将突发读写长度设置为64个时钟周期。SDRAM数据的读写控制信号由FPGA中的控制状态机实现，当写完一帧数据时两块SDRAM进行读写功能切换，即原来写数据的SDRAM切换到读数据模式，而原来读数据的SDRAM切换到写数据模式。

在对数据发送时序控制时采用了 Verilog HDL语言，数据传输时采用视频同步信号的FVAL（帧同步信号）和 LVAL（行同步信号）［9］。如图4所示，当FVAL为高电平时，输出一帧有效数据；LVAL为高电平时，输出一个有效像元行，在两个有效像元行中间，LVAL会跳过几个无效的像素点，可以在实际应用中设定跳过的像素点数。当FVAL与LVAL信号都为高电平时，数字图像数据在时钟信号PIXCLK的控制下依次发送。设计中FPGA的时钟为50 MHz，仿真图像发送控制时钟信号PIXCLK采用系统时钟的2分频，即25 MHz。视频同步信号FVAL和LVAL均由时钟信号PIXCLK计数产生，时序如图5所示。设计中采用帧频为100 frame/s，所以传输一帧图像所用的PIXCLK周期的个数为25 MHz/100= 250 000个。设定跳过的无效像元P1，P2分别为41，19个PIXCLK周期，帧同步信号FVAL在一个周期中低电平的时间为162 340个PIXCLK周期。传输一帧图像用的时间为240×（320+45）+ 41+19+162 340=250 000个时钟周期。

图4 图像时序信号关系Fig.4 Timing relationship between the image signals

图5 视频同步控制信号时序Fig.5 Video synchronous signal timing

根据模块化设计思想，设计的图像注入系统的总体数据信号流图如图6所示。

图6 图像数据流图Fig.6 Flow diagram of image data

4 试验结果

根据所设计的硬件电路编写软件代码，FPGA部分的软件信息采用Flash配置，上电后系统自动加载。系统测试时采用在输入端连续发送一幅图像数据为320×240的灰度图像，图像深度为16，帧频为100 frame/s，上位机发送对话框如图7所示。用CL160采集卡进行图像采集与显示，测试结果稳定，没有丢帧现象，测试效果如图8所示。测试中平均传送帧频为101 frame/s，平均传输速率为15.483 MByte/s。

图7 图像注入系统上位机测试对话框Fig.7 Dialog box of PC testing in image injection system

图8 采集卡采集效果图Fig.8 Collection effect image of acquisition card

5 结 论

本文提出一种将计算机仿真图像注入到跟瞄设备的方法。该方法既可以完成模拟目标跟踪日常训练，提高操作手捕获跟踪目标能力的任务，又可以完成跟踪设备的自动跟踪性能检测及跟踪算法的验证。输出图像数据真实、实时性好、图像连续无间断。该系统能够实现在不开启红外相机的情况下完成训练及各种跟踪算法的客观评价，节约了成本。

［1］宋振丰，李岩，于洋.数字图像注入式红外目标捕获跟踪训练仿真［J］.中国光学与应用光学，2010，3（9）：194-200.SONG ZH F，LI Y，YU Y.Simulation for IR capturing and tracking train based on digital image injection［J］.Chinese J.Opt.Appl.Opt.，2010，3（9）：194-200.（in Chinese）

［2］王斌，赵跃进.基于电子稳像跟踪技术滤波算法［J］.光学精密工程，2009，17（1）：202-206.WANG B，ZHAO Y J.Motion filtering algorithm for tracking technology based on image stailization［J］.Opt.Precision Eng.，2009，17（1）：202-206.（in Chinese）

［3］吴军辉，朱震，薛芳侠，等.数字图像注入式红外捕获跟踪闭环仿真试验探讨［J］.系统仿真学报，2004，16（9）：2067-2070.WU J H，ZHU ZH，XUE F X，et al..Study on loop-locked IR capturing and tracking simulation based on digital image injection［J］.J.System Simulation，2004，16（9）：2067-2070.（in Chinese）

［4］许永和.EZ-USB FX系列单片机USB外围设备设计与应用［M］.北京：北京航空航天大学出版社，2002.XU Y H.EZ-USB FX USB Peripherals MCU Design and Application［M］.Beijing：Beihang University Press，2002.（in Chinese）

［5］姚剑敏，靳明，宋建中.基于USB2.0的实时视频图像传输［J］.数据采集与处理，2004，19（3）：352-355.YAO J M，JIN M，SONG J ZH.Real-time video image transmission based on USB 2.0 technology［J］.J.Data Acquisition Processing，2004，19（3）：352-355.（in Chinese）

［6］梁风梅，赵敬.基于USB2.0的高速实时图像采集系统［J］.电脑开发与应用，2009，22（6）：26-30.LIANG F M，ZHAO J.An rapid real-time image acquisition system based ON USB 2.0［J］.Computer Development Appl.，2009，22（6）：26-30.（in Chinese）

［7］康艳霞，曹剑中，天雁，等.实时视频处理系统中乒乓缓存的设计［J］.弹箭与制导学报，2007，27（4）：218-221.KANG Y X，CAO J ZH，TIAN Y，et al..Ping-pang cache structure in real-time video processing system［J］.J.Projectiles；Rockets；Missiles and Guidance，2007，27（4）：218-221.（in Chinese）

［8］BASLER，CONGNEX，CORECO Corporation，et al.Specifications of camera link interface standard for digital camera and frame grabbers［S］.Camera Link Specifications.［S·1·］：BASLER，CONGNEX，CORECO Corporation，2000.

［9］王小艳，张会新，孙永生，等.Camera Link协议和FPGA的数字图像信号源设计［J］.国外电子器件，2008（7）：59-61.WANG X Y，ZHANG H X，SUN Y SH，et al..Design of numeral picture signal source based on Camera Link standard and FPGA［J］.International Elements，2008（7）：59-61.（in Chinese）

［10］黄维通.Visual C++面向对象与可视化程序设计［M］.北京：清华大学出版社，2003.HUANG W T.Visual C++Object-oriented Programming and Visualization［M］.Beijing：Tsinghua University Press，2003.（in Chinese）.

［11］朱丽，陈钟荣，张秀再.基于VC的USB接口通信程序设计［J］.电子工程师，2008，34（3）：57-60.ZHU L，CHEN ZH R，ZHANG X Z.Program design of USB interface communication based on VC［J］.Electronic Eng.，2008，34（3）：57-60.（in Chinese）

Infrared image simulation injection system based on FPGA

GUAN Mu-qiang1，2，LI Yan1，HUANG Mei1，2，WANG He-qi1，2

（1.Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.Graduate University of Chinese Academy of Sciences，Beijing 100039，China）

A new image injection system was presented to realize the direct transmission of PC simulated images.Firstly，the system received a BMP file obtained by simulation for the measured data of the external field using PC though USB2.0.Then，a FPGA was used to control the buffer module consisting of two SDRAMs for the image cache，and the image was sent to the image acquisition card by Camera Link.Finally，the image was acquired by the image acquisition card and displayed on a monitor.The ping-pong operation was adopted for data cache to avoid the condition that the data couldn′t be received continuously and valid data may be lost.Experiments show that the image injection system has advantages in well real time，vividly and highspeed features，and provides reliable data for optical equipment scanning and manipulator training.

infrared image simulation；image injection system；FPGA；ping-pong operation；camera link interface

2011-02-11；

2011-04-13

V556；TP391.9

A

1674-2915（2011）03-0277-06

管目强（1985—），男，山东潍坊人，硕士研究生，主要从事计算机仿真应用、视频数据传输方面的研究。E-mail：guanmuqiang@sina.com