基于Vega的红外与微光视频同步仿真方法研究

张 瑜，王 丽，徐 华，范梦萍，吴宇婧，钱芸生



基于Vega的红外与微光视频同步仿真方法研究

张 瑜，王 丽，徐 华，范梦萍，吴宇婧，钱芸生

（南京理工大学 电子工程与光电技术学院，江苏 南京 210094）

红外与微光的融合算法及相关产品的性能验证需要同步仿真视频源。本文提出了一种基于Vega的红外与微光视频的同步仿真方法，研发了基于FPGA的串口数据并行发送装置，实现对视频仿真的同步控制；并开发了串口程序和动态仿真控制程序，实现串口监控、数据接收、数据识别、仿真控制等功能；借助于计算机和控制板之间的串口通信技术，实现了两台计算机同步仿真红外视频和微光视频，最后通过图像融合分析验证了该方法的有效性。

Vega；FPGA控制板；红外视频；微光视频；同步仿真；图像融合

0 引言

红外图像是由红外传感器捕获目标的热辐射生成，反映目标表面温度分布的图像。只要目标向周围辐射热量，红外传感器就可以捕捉到目标，但红外传感器对场景亮度的变化不敏感，使得红外图像的对比度差、细节不清晰、边缘模糊[1]。微光图像是微光夜视系统针对目标在微弱光照下反射光进行放大，获得纹理信息丰富、与人眼观察习惯一致的图像，但微光图像的获得对大气条件有一定的要求，当条件恶劣时，微光图像的成像质量差、噪声明显、目标识别难度大[2]。对不同图像传感器采集到的图像进行融合处理，可以得到一个更可靠、更全面、更细致的高质量图像，更有利于实现对目标的识别和获取[3]。目前，融合图像源大多是通过大量的野外实地实验获得的，在融合图像源的选取和处理上需要花费大量的人力和物力，且并非随时都能获得所有需要的场景图像源。

视景仿真利用计算机图形图像学技术，根据仿真的目的和要求，再现真实的环境[4]。本文基于视景仿真技术，利用视景仿真软件Vega仿真红外视频和微光视频，基于两台计算机和自主研发的FPGA控制板，实现两台计算机间的视频仿真同步，仿真生成的红外和微光同步视频可以为红外与微光的图像融合算法及相关产品性能的验证提供视频图像源。

1 仿真软件的选取

视景渲染软件Vega是由Multigen-Paradigm公司开发的用于虚拟现实仿真和其他可视化仿真的应用型软件。具有完整的C语言程序应用接口、丰富实用的相关库函数以及众多可选的功能模块等优势，大幅度缩减源代码编程，有助于提高工作效率[5]。虽然视景仿真软件有许多种类，但这些软件大多都只有可见光模块，对红外和微光的渲染有一定的限制。

2 同步仿真的实现原理

基于两台计算机和一块自主开发的FPGA控制板，利用串口通信技术，编写FPGA代码控制其时序逻辑，通过VC＋＋编写串口控制程序和动态仿真控制程序，对串口进行监控，实现两台计算机对同一场景、不同传感器图像的同步仿真，输出和保存任意一帧图像到指定路径。系统的总体框图如图1所示。

其中，FPGA控制板已下载编译后的Verilog程序，两台计算机内安装自主开发的动态仿真控制程序和串口程序，分别仿真红外视频和微光视频，仿真中目标运动位置的更新通过程序控制。两台计算机生成每一帧都完全匹配的红外视频和微光视频，输出的红外图像和微光图像可以不经过图像配准操作直接进行图像融合处理。

2.1 FPGA控制板原理

同步仿真系统需要两路高精度实时控制信号，鉴于FPGA在高速率实时控制方面的突出优势及其可重复配置的高度灵活性，采用EP3C55F48147型FPGA芯片作为仿真系统的控制芯片，自主研制了FPGA控制板提供两路同步控制信号。FPGA控制板的原理框图如图2所示。

同步控制电路以FPGA为主控芯片，电源模块部分提供电平转换并进行滤波处理，以提供稳定的电压[6]；连接晶振获得同步时钟；配置芯片EPCS16可保存FPGA的相关配置信息；从FPGA引出两个GPIO口连接至串口芯片SP3232（只发送，不接收）。通过对各个按键进行置位，实现对FPGA的控制，实现同步仿真。

借助于FPGA控制板并行发送两路信号的功能，同时给两台计算机发送相同的指令。

FPGA时序控制参数如表1所示。

如表1所示，晶振提供50M系统时钟，系统采用上升边沿触发模式。为防止按钮抖动，增加参数button_cnt以抑制抖动，由于按键的抖动时间一般为5～10ms，设置默认值0x3FFFF，按50M系统时钟算延时时间约为84ms，足以保持按键稳定；当按下发送按钮，发送使能send_en置位，设置发送延时为2M，每经过2M个时钟（0.04s），发送一帧，以保证每秒发送25帧。

每一帧数据由1位起始位，8位数据位，1位结束位组成。引脚分配时将串口发送信号分配到两个与串口芯片接收引脚相连的FPGA管脚上，从而实现两路信号并行发送的功能。

图1 系统总体框图

图2 FPGA控制板原理框图

表1 FPGA分路控制参数表

控制板上的按键可选择输出相应的指令，控制计算机仿真视频的形成、暂停/继续以及输出和保存当前帧图像。

2.2 串口控制程序原理

基于VC＋＋开发平台，编写串口控制程序，实现了对串口的监控功能，在数据进入接收缓存区的第一时间读取和处理数据，并根据数据的类型和内容执行相应的仿真任务。

串口控制程序采用事件驱动的方式，在线程内，借助串口事件等待函数实现对串口事件的监控。当成功监视到事件正确时，向主线程的消息队列中发送一个message，主线程收到message后对事件进行处理，完成相应的仿真任务。

2.3 动态仿真控制原理

仿真渲染应用程序Vega有其自身渲染图像的基本框架[7]，如图3所示。

图3 Vega应用程序基本框架

Vega应用程序渲染图像主要分为两个阶段：静态描述和动态循环。静态描述阶段包括初始化系统，创建Vega类实例以及系统配置。

Vega的静态描述需要一定时间，在仿真开始时控制板已经发送多条指令，此时计算机仍处于仿真的静态描述阶段，不能及时读取数据，导致数据都在接收缓存区堆砌，等待读取的现象。这会使两台计算机在同一时间，已读取指令的个数不同，渲染的帧数不同，从而产生仿真不同步的结果。在仿真开始一段时间后，按一次“暂停”按钮，让计算机读取接收缓冲区内已存在的数据，再按一次“暂停”按钮继续仿真渲染，可消除静态描述的时间差，实现两台计算机仿真的完全同步。

动态循环阶段包括同步处理应用程序的当前帧，保证应用进程和设置的帧频率一致以及剔除、绘制当前帧。结合交互控制代码即可渲染出连续流畅的动态视景仿真视频。Vega的动态仿真运行在后台，通过程序控制仿真暂停，其后台仍在运行，当仿真再启动，画面会出现跳动现象。利用其自身的路径模块Pathing和导航模块Navigators进行目标路线设置的方法不能完成仿真的实时控制和同步。本文所述控制板发送更新指令的个数决定Vega渲染的帧数，Vega渲染的帧数决定了目标的位置，将两台计算机内仿真程序中目标的初始位置设置一致，即可实现对目标位置的实时控制和视频的同步仿真。

3 同步视频仿真的实现

搭建系统硬件环境，配置两台计算机仿真软件中场景初始化参数及相应的红外传感器参数和微光传感器参数，分别进行红外视频仿真和微光视频仿真。由于仿真开始时，静态描述过程中所需时间不同，在仿真开始阶段会出现视频不同步的现象，通过暂停-继续的方式消除时间差，此后的视频仿真在时间上是完全同步。另外，由于红外与微光视频仿真时采用同一目标模型和同一场景，且在仿真初始化设置时各模型及场景的初始化坐标均一致，故此后的视频仿真在空间上也已是完全同步。输出和保存仿真图像，为后续的红外与微光的图像融合处理实验和分析提供图像源。

在大气条件恶劣的情况下，微光图像质量差，噪声明显，仿真中分别添加Vega软件自带的随机噪声、固定加性噪声以及固定乘性噪声[8]。红外图像由于红外热像仪成像原理和器件性能的原因，与微光图像相比，噪声较小，因此在仿真红外视频时，不添加噪声。

利用同步系统装置，仿真红外和微光视频，输出和保存的图像如图4～图8所示。

1）图4(a)为红外图像，图4(b)为无噪声微光图像，两幅图像非同步。

2）图5(a)为红外图像，图5(b)为无噪声微光图像，两幅图像同步。

3）图6(a)为红外图像，图6(b)添加0.5随机噪声微光图像，两幅图像同步。

4）图7(a)为红外图像，图7(b)为添加0.2固定加性噪声微光图像，两幅图像同步。

5）图8(a)为红外图像，图8(b)为添加0.2固定乘性噪声微光图像，两幅图像同步。

图4 非同步红外与无噪声微光图像

图5 同步的红外与无噪声微光图像

图6 同步的红外与0.5随机噪声微光图像

图7 同步的红外与0.2固定加性噪声微光图像

图8 同步的红外与0.2固定乘性噪声微光图像

4 仿真视频图像源的实用性验证

为了验证系统生成的同步仿真视频图像源的实用性，本文选取基于高斯-拉普拉斯金字塔变换图像融合算法对红外与无噪声微光的仿真视频图像源进行处理和分析[9]。

由于计算机在仿真开始时，Vega的静态描述需要一段时间，且不同的计算机需要的时间不同，因此会在开始时出现20帧以内的不同步渲染的情况，但因为图像的观察视野是随着目标的运动而变化的，目标在20帧范围内的运动位置变化较小，所以图像的背景几乎不发生变化。基于高斯-拉普拉斯变换的图像融合算法对非同步和同步的视频图像源进行处理，对比结果如图9所示，图左侧为非同步视频图像源的融合结果，右侧为同步视频图像源的融合结果。

由图9可知，非同步视频图像的融合结果图中，存在严重的错位现象，尤其是目标的融合结果，战斗机、军人和坦克都有明显的重影，看不清目标表面的特征；但同步视频图像的融合结果图中，无错位现象，目标的融合结果是完全匹配，不存在边缘模糊和重影，且对应位置反映了红外原图像和微光原图像的所有特点。如战斗机的每一部分都既反映了其红外原图像中的温度分布场，也反映了其微光原图像中的纹理效果。由此可见，消除静态描述时间差后，系统生成同步仿真的红外视频与微光视频是每一帧都完全匹配的，输出的红外图像和微光图像可以不经过配准操作直接进行融合处理，该系统可为红外与微光的图像融合算法及相关产品提供视频源图像。

图9 实验效果对比图

5 结论

本文提出了一种基于Vega的红外与微光视频同步仿真的方法，并通过实验验证了该方法输出的红外与微光图像无需配准操作，可直接进行融合处理，为红外与微光的图像融合算法和相关产品的性能验证提供视频图像源，降低了获取红外与微光融合原图像的成本，提高了工作效率。

[1] 张正辉, 许士文. 地面景物红外成像特性[J]. 红外与激光工程, 2008, 37(4): 583-587.

ZHANG Zhenghui, XU Shiwen. Infrared imaging characterization of ground scene[J]., 2008, 37(4): 583-587.

[2] 许真, 孙韶媛, 代中华, 等. 基于纹理特征库的微光图像色彩纹理传递[J]. 红外技术, 2011, 33(1): 49-55

XU Zhen, SUN Shaoyuan, DAI Zhonghua, et al. Texture library based color & texture transferring for LLL images[J]., 2011, 33(1): 49-55.

[3] 张俊举, 常本康, 张宝辉, 等. 远距离红外与微光/可见光融合成像系统[J]. 红外与激光工程, 2012, 41(1): 20-24.

ZHANG Junju, CHANG Benkang, ZHANG Baohui, et al. Long-distance image fusion system for infrared and LLL/visible bands[J]., 2012, 41(1): 20-24.

[4] HUANG X X, LONG Y, ZHANG Z L, et al. Summarization of distributed visual simulation technology[J]., 2010, 22(11): 2742-2747.

[5] 刘春雨, 郭立红, 高峰, 等. 基于Vega的红外图像仿真[J]. 中国光学与应用光学, 2010, 3(2): 177G181.

LIU Chunyu, GUO Lihong, GAO Feng, et al. Infrared imaging simulation based on Vega[J]., 2010, 3(2): 177G181.

[6] 白同云. 高速PCB电源完整性研究[J]. 中国电子科学研究院学报, 2006, 1(1): 22-30.

BAI Tongyun. Research into high speed PCB power integration[J]., 2006, 1(1): 22-30.

[7] 贾建科, 张麟兮, 郑春来. 基于Vega的场景红外成像仿真研究[J]. 红外技术, 2006, 28(3): 174-177.

JIA Jianke, ZHANG Linxi, ZHENG Chunlai. Research of infrared imaging simulation based on Vega[J]., 2006, 28(3): 174-177.

[8] 高贵, 张军, 吕信明, 等. SAR图像乘性噪声模型分析[J]. 信号处理, 2008, 24(2): 161-167.

GAO Gui, ZHANG Jun, LV Xinming, et al. Analysis of multiplicative noise models in SAR imagery[J]., 2008, 24(2): 161-167.

[9] 李艳敏, 李孟超, 孙刘杰, 等. 基于小波变换的红外显微图像融合[J]. 微计算机信息, 2005, 21(9): 126-127.

LI Yanmin, LI Mengchao, SUN Liujie, et al. Infrared microscope image fusion base on wavelet transform[J]., 2005, 21(9): 126-127.

Research on Synchronous Simulation of Infrared and Low-Light-Level(LLL) Videos Based on Vega

ZHANG Yu，WANG Li，XU Hua，FAN Mengping，WU Yujing，QIAN Yunsheng

（School of Electronic & Optical Engineering, Nanjing University of Science and Technology, Nanjing 210094, China）

Infrared and LLL videos for image fusion algorithm and validation of product performance need the synchronous simulation videos. This paper proposes a synchronous simulation technology of infrared and LLL videos based on Vega, developing a dual serial simultaneously transmitted device based on FPGA, and realizing the synchronous control of simulation video. Then, based on VC＋＋, a serial port program and simulation control program are designed, with monitoring serial port, accessing data, recognizing data, and controlling simulation realized. By means of serial communication between computer and control board, the sync infrared and LLL videos of simulation can be realized, and the experiment proves the availability of this means.

Vega，FPGA control board，infrared video，LLL video，synchronous simulation，image fusion

TP391.41，TN223

A

1001-8891(2017)02-0152-05

2016-06-08；

2016-09-21.

张瑜（1993-），女，满族，辽宁铁岭人，硕士，主要从事红外与微光图像仿真技术研究。E-mail：zhangyu1993fish@163.com。