基于GPU的实时红外场景仿真系统研究

黄　曦， 陈　伟， 张建奇

(西安电子科技大学 物理与光电工程学院， 陕西 西安　710071)



基于GPU的实时红外场景仿真系统研究

黄曦， 陈伟， 张建奇

(西安电子科技大学 物理与光电工程学院， 陕西 西安710071)

摘要：针对红外成像制导武器试验中对仿真图像的分辨率与帧频越来越高的要求， 参考国外典型红外场景仿真软件的框架特点， 确定了实时红外场景仿真系统应该遵循的设计准则， 实现了总体系统架构设计。 在OGRE三维图形引擎基础上， 开发了基于GPU的实时红外场景仿真软件PRISSE， 采用红外辐射方程简化与GPU并行加速等方法优化了实时性。 仿真结果表明， 利用PRISSE进行复杂场景的红外仿真时， 实时性强， 图像质量较高。

关键词：红外场景； 实时仿真； GPU； 辐射方程

0引言

在设计、 研制各种新型红外成像武器系统过程中， 通常需要对系统性能进行大量测试与评估。 由于外场试验的环境条件在不断变化， 且红外成像武器系统涉及的试验因素宽泛， 要进行全尺度的外场试验从时间、 人力、 费用上讲都是难以承受的。 因此， 为有效地缩短研发周期、 提高费效比， 各种各样的红外仿真技术被研究与应用。 基于仿真技术进行红外成像武器系统的地面试验， 评估系统性能成为一种有效、 可行的手段[1-3]。 其中， 以半实物仿真为主的红外成像制导系统地面试验验证， 可用于完成对制导武器硬件和软件组件的研发和非破坏性硬件在回路中的试验[4]， 具有高度灵活、 费效比高、 交互性好等优点， 得到了各国的广泛重视。 例如， DSTO在2010年采用基于GPU的VIRSuite进行半实物仿真， 可生成分辨率256×256、 进行电子放大反走样(ZAA)、 帧频在50~100 Hz的红外图像[5]； AMRDEC在2011年采用实时联合特征图像生成器(JSIG)为核心的、 基于GPU的IGStudio渲染框架进行的半实物仿真， 可生成分辨率1024×1024、 进行嵌套式电子放大反走样(NZAA)、 帧频达400 Hz的图像[6]； OKTAL-SE公司在2012年采用基于GPU的SE-WORKBENCH进行的半实物仿真， 可生成分辨率1024×1024、 进行4倍反走样(AA)、 帧频超过300 Hz的图像[7]。 面对半实物仿真中分辨率与帧频等越来越高的技术、 战术指标与功能要求， 如何构建实时红外场景仿真系统， 实现准确、 实时的红外图像渲染， 是一件非常有挑战性的工作。

针对这一问题， 本文首先对实时红外场景仿真系统进行设计， 并讨论了复杂场景的红外辐射特征实时渲染方法， 最后对仿真结果进行了分析和讨论。

1实时红外场景仿真系统设计

1.1　总体系统结构设计

从20世纪70年代起， 以美、 法、 英等国为首的欧美发达国家投入了大量的人力、 物力对红外场景仿真进行了相关的理论与工程研究， 取得了许多重要成果。 通过整合红外场景仿真各模块的工作， 这些国家通常都构建了体系较为完整的红外场景仿真平台， 其中具有代表性的平台有IRMA[8]， TTIM[9]， Vega/Vega Prime[10]， JRM[11]， CAMEO-SIM[12]， SE-WORKBENCH[13-14]， VIRSuite[5]， 以及KARMA[15]等。 这些平台的主要特点有： (1)都具有一个吻合成像链路的、 相当一致的红外图像生成流程； (2)都具有一个清晰明了的体系架构； (3)各层之间数据接口稳定， 使得各层进行扩展时， 不会对其他层造成干扰与改变； (4)为保障仿真结果的物理可信， 都在基础数据源阶段就引入了基于材质体系的物体表面温度与光学属性描述， 为后续进行辐射特性计算提供基本物理量； (5)根据平台对辐射传输计算模型的不同精度、 速度侧重要求来构建三维渲染引擎， 对于辐射计算实时性要求高的应用， 采用基于GPU的三维实时渲染引擎来满足工程级别的精度与速度要求； (6)对大气、 太阳等环境影响都采用了预计算的方法来解决物理模型计算效率低的问题。

参考上述红外场景仿真平台的设计框架， 可以确定实时红外场景仿真系统应该遵循的设计准则：

(1)为达到平台的通用、 易扩展、 可配置特性， 需要设计低耦合的模块。 从复合系统的成像链路来看， 可以分成零视距红外场景仿真、 大气环境仿真和红外成像系统仿真三个模块， 且各模块内的子模块依然遵循成像链路来进行划分。 从工作层级来看， 可以分为数据层、 场景设计层与图像生成层。

(2)为达到平台的实时性， 需要对各模块进行模型预处理和模型实时计算的设计。 通过对各模块的物理模型构建实时设计， 满足运行阶段的实时性， 达到开/闭环下的实时仿真。

(3)为达到平台的定量仿真要求， 需要对目标和背景的红外辐射特征进行存储和表达。 合理的方法是基于红外材质与红外纹理进行实现。

综合上述红外成像仿真平台的设计准则， 最终建立的实时红外场景仿真系统架构如图1所示。

图1　实时红外场景仿真系统框架与模块组成

1.2　零视距红外场景仿真

三维红外场景与一般场景仿真有着许多不同之处， 要求具备红外战场的特点， 如[3]：(1)环境与目标的真实性要求高。 为有效应用于红外成像系统全寿命周期的开发与试验评估， 要求对构建的三维红外场景有高的主、 客观真实感， 以达到实际效果。 (2)区域大。 光电成像体系作战区域跨度非常大， 一般都在上千平方公里以上。 (3)环境复杂。 通过仿真不同季节、 时间、 气候和试验条件下的各种复杂场景， 才能充分地检验和评价光电成像系统性能， 填补外场试验的不足。 (4)实时性高。 实时性是实现红外系统半实物测试的关键因素。 实时红外图像生成可以与真实或模拟的算法处理、 伺服系统形成闭合回路， 生成可实时响应反馈信息的图像， 为真实地测试动态系统实际工作方式奠定基础。

根据红外战场仿真特点， 将零视距红外场景仿真分成了场景设计与本征辐射生成两个阶段。 场景设计阶段主要是为本征辐射生成阶段提供本征辐射渲染所需的主要资源， 如目标、 背景与干扰的几何模型、 红外纹理数据和红外材质等； 并通过建模预处理， 将各物理模型和建模数据组织存储为符合本征辐射实时计算的特定格式， 确保满足仿真的实时性。

1.3　大气环境辐射传输仿真

大气环境辐射传输仿真的场景设计阶段的工作主要包括大气环境辐射传输模型、 大气环境辐射传输预处理等子模块。 其中大气环境辐射传输预处理是保障图像生成阶段中大气环境辐射效应实时渲染的关键。 主要原因在于， MODTRAN[16]等大气模型所计算的大气效应结果精度虽能满足工程需求， 但计算时间较长， 无法为场景每个三维面元实时叠加大气衰减。 因此， 应事先调用MODTRAN模型进行计算并组织其结果， 通过预处理来完成耗时计算。 具体的来说， 预处理阶段根据大气透过率和路径辐射对位置信息的依赖关系， 设置好MODTRAN中气象参数， 再基于CPU循环调用MODTRAN软件， 计算关注范围内所有传输几何路径对应的大气透过率、 程辐射， 结果组织为动态渲染需要的纹理。 这样， 即可在实时红外图像生成阶段， 根据三维面元与探测器之间的距离、 方位关系， 采用实时插值来实时计算景物本征红外辐射经过大气传输路径时的透过率衰减与程辐射叠加。

1.4　红外成像系统虚拟样机仿真

对同样的红外辐射， 采用不同的成像系统， 其成像效果也可以有很大的不同， 通过建立系统虚拟样机可以有效地评价其性能， 提高开/闭环仿真的应用价值。 另外， 对于导引头半实物仿真应用系统， 为实时校正红外景象投射系统的红外液晶光阀、 DMD微镜阵列等热显示器件导致的非均匀性等图像降质， 通常需要利用红外成像系统虚拟样机对仿真图像进行实时的非均匀性校正， 以实现更准确的系统试验。

红外成像系统虚拟样机的仿真计算若是基于CPU进行实现， 需要将GPU生成的二维表观辐射从GPU传递至CPU， 受CPU与GPU之间数据传输带宽的限制， 其实时性不高。 为突破数据传输带宽导致的低帧频， 充分发挥GPU平台的高并行计算能力， 需要基于GPU进行成像系统效应的实时计算。 为此， 也需要采用成像系统效应预处理技术， 将红外成像系统物理效应的中间物理量或综合物理量根据精度要求存储为物理量查找表纹理， 以提高动态渲染时的实时计算效率。

2复杂场景红外辐射特征的GPU实时渲染

2.1　基于GPU的红外实时渲染系统

对于红外成像仿真， 在不具有GPU或GPU不可编程的时期， 基于物理地进行本征辐射计算、 大气传输计算与红外成像系统效应计算等关键模块的计算， 通常都是在CPU上实现的。 由于CPU虽拥有很强的控制流能力， 但并行能力较弱， 使得红外图像的实时生成效率较低， 越来越难以满足高实时的仿真要求。 而GPU采用了流式并行计算模式， 在处理图像数据和复杂算法方面具有远高于CPU的效率， 通过在GPU中实现红外场景仿真中各模块的物理方程计算， 将能大幅提高红外图像渲染帧频。

国外的红外场景仿真平台都在高阶引擎基础上进行红外场景三维驱动与生成。 根据文献报道， SE-WORKBENCH， JRM与VIRSuite仿真软件都是基于OSG(Open Scene Graph)渲染引擎进行二次开发来实现红外实时渲染[5, 7, 17]； 而在SGI硬件平台上的Vega Prime仿真平台版本则使用OpenGL Performer渲染引擎来实现红外实时渲染[18]。

本文基于OGRE(Object-Oriented Graphics Rendering Engine)三维渲染引擎[19]实现了一个命名为PRISSE(Physical Reasonable Infrared Scene Simulation Engine)的实时红外场景仿真系统。 OGRE是世界上最流行的开源三维图形渲染引擎之一， 以其为基础进行实时红外场景仿真系统的开发， 具有以下优点：

(1)具有良好的CPU与GPU混合编程能力， 有效降低实时红外图像生成的开发难度。 根据辐射计算可并行加速的特点， 以GPU为核心实现基于物理模型的红外特征生成； 根据仿真应用范围广泛、 参数丰富等特点， 以CPU为核心实现灵活的应用控制。

(2)具有结构清晰、 修改灵活的材质体系。 OGRE以定义、 声明与调用这三种形式来管理GPU程序， 实现了材质与GPU程序的灵活关联， 使得材质的结构非常清晰， 易于修改与重用， 有效地解决了实时渲染方法与所需的红外辐射物理参数预计算结果的组织问题。

采用PRISSE实时红外场景仿真系统， 根据红外成像链路， 基于物理模型渲染生成实时红外图像的关键过程如下：

(1)以景象设计阶段集成的三维红外景象为主要输入数据， 依据辐射方程进行物体自身辐射、 环境反射、 太阳反射等辐射成分的物理计算， 生成三维场景片段的红外本征辐射亮度。

(2)针对主动或被动的云团、 烟幕、 诱饵弹等干扰， 根据其外形特点采用红外特效技术进行其外形、 运动与本征辐射表达， 实现与目标、 环境的综合。

(3)根据大气辐射传输方程， 在本征辐射基础上添加大气衰减和路径辐射， 表现大气对整个场景的影响。 仿真时预计算的大气相关纹理被传入片段着色器， 结合观察者坐标、 目标坐标等几何参数进行采样， 最后根据衰减方程添加大气效应。

(4)根据设置的红外成像系统参数， 利用OGRE合成器对前一阶段光栅化的辐射分布进行后期处理， 实现红外成像系统虚拟样机的实时仿真。

2.2　红外辐射简化方程的GPU加速

根据上述实时红外图像渲染过程可以看出， 影响渲染效率的主要因素是红外辐射方程的计算。 精确的光谱辐射计算方程为

(1)

由于光谱辐射方程包含着大量的光谱计算， 极为耗时， 另外为表现物体表面反射特征与表面所接收的各种入射辐射之间的复杂关系， 辐射方程需要对表面所面对的半球空间进行积分， 同样非常耗时。 因此光谱辐射方程不适合直接应用于实时仿真。

分别引入光谱积分的平均值近似简化与空间积分的局部光照模型简化[20]， 可将式(1)简化为如下形式：

(2)

由式(2)可以看出， 仿真图像中不同像素的辐射渲染互不依赖， 可并行计算。 因此， 本文运用基于GPU的并行计算法[5-7]来提高实时性， 获得了明显的帧频提速。

3仿真结果

运用PRISSE对规模为60 km×60 km的红外场景进行实时渲染。 仿真程序所运行的PC机配置如表1所示。

表1　仿真程序运行PC机配置

山地、 建筑群背景、 机场、 飞机与诱饵弹等物体的红外实时仿真结果如图2所示， 仿真图像分辨率都是1 024×768。

图2　三维红外场景实时仿真结果

其中： 图2 (a)面片数为45 671， 帧频为1 617Hz； 图2 (b)面片数为184 844， 帧频为675Hz； 图2 (c)面片数为263 679， 帧频为772Hz； 图2 (d)面片数为252 122， 帧频为463Hz。 可以看出，PRISSE软件能对背景与目标的自辐射、 反射辐射等辐射成分进行计算， 因此合理表现了飞机蒙皮对诱饵弹辐射的反射效应； 另外，PRISSE综合计算了目标、 背景、 大气的相互辐射影响， 真实感较好。 总体来说， 通过CPU与GPU混合加速，PRISSE软件在个人计算机与图形处理单元相结合的商用货架级别仿真硬件上获得了较高的渲染帧频， 能满足半实物仿真应用的需要。

4结论

实时红外场景仿真技术在现代军事领域中占据着极其重要的地位， 能直接或间接地影响一个国家武器研制的进程与水平， 具有重要的研究价值和非常广泛的应用前景。 本文总结了国外典型红外场景仿真软件的框架特点， 确定了实时红外场景仿真系统应该遵循的设计准则， 建立了具体的系统架构； 在OGRE图形引擎基础上构建了基于GPU的实时红外场景仿真软件PRISSE， 研究了红外辐射简化方程的GPU加速技术。 仿真结果表明， 利用本文构建的系统进行大规模红外场景仿真时， 实时性强， 图像质量较高。

参考文献：

[1] 郑志伟, 白晓东, 胡功衔, 等. 空空导弹红外导引系统设计[M]. 北京: 国防工业出版社, 2007.

[2] 叶尧卿, 汤伯炎, 杨安生, 等. 便携式红外寻的防空导弹设计[M]. 北京: 中国宇航出版社, 1996.

[3] 张建奇, 王晓蕊. 光电成像系统建模及性能评估理论[M]. 西安: 西安电子科技大学出版社, 2010.

[4] 范晋祥, 岳艳军. 实时红外成像场景生成技术的发展及应用[J]. 红外与激光工程, 2011, 40(9): 1601-1608.

[5]WilliamsOM,ChristieCL,ShenG,etal.Real-TimeSceneGenerationInfraredRadiometry[C]//Proc.SPIE7663,TechnologiesforSyntheticEnvironments:Hardware-in-the-LoopTestingXV, 2010: 76630N.

[6]MorrisJW,LowryM,BorenB,etal.EO/IRSceneGenerationOpenSourceInitiativeforReal-TimeHardware-in-the-LoopandAll-DigitalSimulation[C]//Proc.SPIE8015,TechnologiesforSyntheticEnvironments:Hardware-in-the-LoopTestingXVI, 2011: 80150I.

[7]LatgerJ,CathalaT.ImageGeneratorPerformanceandModernHardware-in-the-LoopSimulation[C]//5thInternationalSymposiumonOptronicsinDefenceandSecurity,Paris,France, 2012.

[8]SavageJ,CokerC,ThaiB,etal.Irma5.2Multi-SensorSignaturePredictionModel[C]//Proc.SPIE6965,ModelingandSimulationforMilitaryOperationsIII, 2008: 69650A.

[9]SeegersPA,CohenMA,CookTH,etal.PCVersionoftheTACOMThermalImageModel(TTIM)[C]//SPIE’sInternationalSymposiumonOpticalEngineeringandPhotonicsinAerospaceSensing，InternationalSocietyforOpticsandPhotonics, 1994: 14-21.

[10]DuongN,WegenerM.ValidationoftheSensorvisionThermalEmissionModel[R].DefenceScienceandTechnologyOrganisationVictoria(Australia)AeronauticalandMaritimeResearchLab, 2001.

[11]JRMTechnologies[EB/OL]. [2015-10-30].http://jrmtech.com/Products.

[12]GilmoreMA,MoorheadIR,OxfordDE,etal.CAMEO-SIM:ABroad-BandSceneGenerationSystemthatisFitforPurpose[C]//Proc.SPIE3699,TargetsandBackgrounds:CharacterizationandRepresentationV, 1999: 217-228.

[13]CathalaT,DouchinN,JolyA,etal.TheUseofSE-WORKBENCHforAircraftInfraredSignature,TakenintoAccountBody,Engine,andPlumeContributions[C]//Proc.SPIE7662,InfraredImagingSystems:Design,Analysis,Modeling,andTestingXXI, 2010: 76620U.

[14]DouchinN,LatgerJ.ExtensionoftheSE-WorkbenchfortheComputationofAircraftInfraredSignatures[C]//Proc.SPIE7834,Electro-OpticalandInfraredSystems:TechnologyandApplicationsVII, 2010: 78340I.

[15]LepageJ,LabrieM,RouleauE,etal.DRDC’sApproachtoIRSceneGenerationforIRCMSimulation[C]//Proc.SPIE8015,TechnologiesforSyntheticEnvironments:Hardware-in-the-LoopXVI, 2011: 80150F.

[16]BerkA,BernsteinLS,RobertsonDC.MODTRAN:AModerateResolutionModelforLOWTRAN7,GL-TR-89-0122[R].AirForceGeophysicsLaboratory, 1989.

[17]SigSimRTDeveloper’sGuide(Version1.1.0)[EB/OL].[2015-10-30].http://www.jrmtech.com/Products/SigSimRT.

[18] 张健, 张建奇, 邵晓鹏. 基于VegaPrime的红外场景生成技术在成像制导仿真系统中的应用[J]. 红外技术, 2005, 27(2): 124-128.

[19]OGREFeatures[EB/OL]. [2015-10-30].http://www.ogre3d.org/about/features.

[20] 黄曦. 高真实感红外场景实时仿真技术研究[D]. 西安: 西安电子科技大学, 2014.

Study on Real-Time Infrared Scene Simulation System Based on GPU

Huang Xi, Chen Wei, Zhang Jianqi

(School of Physics and Optoelectronic Engineering， Xidian University, Xi’an 710071， China)

Abstract:Aiming at the increasingly high requirements of resolution and frame rate of scene simulation using in the infrared imaging guided weapon testing, the design criterions of real-time infrared scene simulation system are determined by analyzing the framework characteristics of the abroad typical infrared scene simulation softwares. The overall system architecture design is completed according to the design criterions. Based on the OGRE 3D graphics render engine, the real-time infrared scene simulation software PRISSE is developed, which is based on GPU, and the real-time performance is optimized by the infrared radiometric simplified equation and GPU parallel acceleration. Simulation results show that the PRISSE software has the advantages of strong real-time performance and high image quality for the complex scene simulation.

Key words:infrared scene; real-time simulation; GPU; radiometric equation

作者简介：黄曦(1977-)， 男， 广西玉林人， 副教授， 博士， 研究方向为光电场景仿真、 三维重构。

收稿日期：2015-10-30

中图分类号：TP391； TJ765.4+3

文献标识码：A

文章编号：1673-5048(2015)06-0049-06