一种基于实测数据温差扰动的红外图像实时生成方法

李 敏，解鸿文，徐中外，邢宇航

一种基于实测数据温差扰动的红外图像实时生成方法

李 敏，解鸿文，徐中外，邢宇航

（火箭军工程大学908室，陕西 西安 710025）

红外制导武器在研制中，需要大量的红外场景数据做测试保障。本文由红外图像的成像机理出发，提出了一种基于实测数据温差扰动的二维红外图像实时生成方法。该方法将图像区域平均灰度与环境温度直接关联，用整体分块的方法代替逐像素的繁琐计算，在提高运算速度的同时，生成不同时段的红外图像。实验表明，本文方法生成的红外图像，不仅能保证运算实时性，而且目标与背景具有与实测图像相同的温度变化趋势和较好的逼真度，是一种行之有效的方法。

红外图像生成；实测数据；温差扰动

0 引言

红外成像制导方式因其全天候、全时段、穿透性强等优点，已成为精确制导武器的首选。红外仿真技术可以弥补外场试验的不足，为武器装备研制和测试提供大量的红外数据保障[1]。目前红外仿真技术已成为国内外学者研究的热点和难点。

目前主流的红外仿真方法，是根据目标的热辐射收支情况，建立热平衡方程，求解得到目标表面温度，进而得到红外图像[2]。浙江大学石川凌运用基于材质模型的陆地红外场景仿真方法和基于第一原理的海面舰船红外仿真方法，编程实现了一个海陆红外综合仿真系统[3]。这种方法需按像素计算目标表面辐出度，运算量大，对于实时性要求较高的仿真系统而言难以接受。为减少计算量、充分利用实测数据的真实性高、逼真性好等优点，基于实测数据的仿真方法被提出和广泛应用。Jean-Pierre等人[4]利用实际拍摄的红外背景图像，根据拍摄的实际环境对其进行处理，最后得到不同条件下的红外图像。国内学者近几年也开展了一系列基于实测数据的红外仿真研究。张健等人利用实测数据得到了仿真的红外图像，并与其他软件得到的仿真图像进行分析，证明了该方法的有效性[5]。宋福印[6]探索了利用实测数据参数拟合求解大气透过率的方法。近几年，随着研究的深入，研究人员越来越重视实时仿真的重要性[7-9]，逐像素的仿真方法大多难以满足实时性的需要。2016年，杨壹斌将红外纹理的灰度值与灰度平均值做差，得到温差扰动，进而提出一种红外纹理生成方法[10]，该方法将实测数据与计算机仿真有效结合，提高了红外纹理的逼真度，但对于环境条件特别是温度对红外纹理的影响未考虑。

本文从红外图像生成机理出发，将环境温度作为一个重要因素，探索其与灰度值的映射关系，用分块计算的方法代替对图像进行逐像素的仿真，提高了运算速度。实验结果表明，本文方法可快速、逼真地生成不同时间段的红外图像，真实感较强，取得了很好的效果。

1 基于实测数据温差扰动的红外图像实时生成方法

1.1 算法原理

图像中每一区域的灰度平均值是此区域辐射量的集中反映，具有很强的代表性，而温度是红外图像纹理的重要决定因素。对同一材质而言，虽然其整体温度（均值）随时间变化，但其表面局部均值的温差分布可近似认为不随时间变化[11]。基于以上原理，本文以建筑物目标为研究对象，在对目标和背景材质划分的基础上，将建筑物不同材质红外图像区域灰度平均值与整体温度相拟合，根据拟合曲线，得到灰度与温度的映射关系，从而可以预测未来一段时间内某时刻目标区的红外图像。

在实际情况中，大多数场景中包含草丛、树木等元素，对于这些元素，由于草丛、树木等有机体能在一定范围内调节自身温度，而且本文算法是建立在材质分割的基础上，那么对于材质分割后的树木、草丛元素等，不管气温变化如何，其自身灰度值变化较小，因此在做拟合的时候，灰度值-温度曲线近似是一条水平线，那么得到的仿真时刻的灰度值就是原时刻的灰度值，再加上灰度值波动，那么得到的还是原实测时刻灰度值，这与实际情况相符。本文算法原理如图1所示。

1.2 基于红外成像机理的灰度计算

由红外成像机理可知，目标红外成像主要是由目标表面温度和材质发射率共同决定的[12]。物体的辐照度值可由普朗克公式积分得到[13]，具体计算方法为：

式中：1为第一辐射常数，其值为3.7418×10－14W×m2；2为第二辐射常数，其值为1.43879×10－2m×K；0是物体的辐射发射率；代表波长。考虑到仿真的实时性要求，本文采用了如式(2)的近似公式[14]，式中，在一定的允许误差范围内，将复杂的积分运算简化为多项式计算，从而大大减少了计算复杂度，提高计算速度。

根据物体辐照度，可确定各个物体在红外图像中的灰度值，设定其最高温度max和最低温度min，将其带入公式(3)中，得到目标表面灰度值pixel：

目标表面所接收和辐射出的能量差是决定目标温度变化的关键。由目标热平衡方程可知，物体自身温度与辐射出射度正相关，而在可预见的短时间内，目标对太阳辐射的反射和对大气环境辐射的发射可近似认为是不变的。由公式(1)可知，目标自身温度与自身发出的辐射量有关，进而与目标红外图像的温度有关。对于长波波段，自身辐射所占比重较大，而太阳辐射、大气辐射所占比重几乎可以忽略不计[15]。

1.3 基于实测数据的温度相关温差扰动建模

由于不同的材质有着不同的物理特性，发射率对物体自身红外辐射量有影响，反射率对红外辐射的反射特性有影响。因此，不同材质对温度有不同的敏感性，对仿真结果有重要的影响，不能将所有材质按同一个标准进行处理。所以在计算红外图像平均灰度值之前需要进行材质分类，即将同类材质划分为一个区域。正确对场景中的元素进行材质分割是得到逼真仿真结果的前提和基础，对于可见光场景，由于其有色彩对比度等不同的特征，可以采用多种分割方法。例如：阈值法、聚类法、卷积神经网络分割法等等。但对于红外灰度图像，其只有灰度值特征，因此大多根据各材质灰度值的差异和灰度直方图分布进行分割。目前，K均值聚类算法是一种经典算法，由于其技术成熟、算法简便，又很早提出，在科学和工业领域中应用广泛，能满足大多数情况下的材质分割需要[14]。因此本文直接用这一算法进行材质的分割。本文方法思路如下：首先将一系列不同时刻的实测红外图像进行材质划分，求得各区域的平均灰度和灰度差值波动（即各点与平均温度的差值）；其次，利用一系列平均灰度和当时环境温度条件拟合，做出拟合曲线，得到灰度值与温度的映射关系；进而，利用仿真时刻实际环境温度，求得仿真时刻此区域的平均灰度；最后，将平均灰度与最近时刻实测红外图像的灰度差值波动相叠加，得到仿真时刻的红外图像。

基于实测数据温差扰动的红外图像实时生成方法具体实现步骤如下：

Step 6：同理可得到其他所有区域的灰度图像。

2 实验结果及对比分析

2.1 实验说明

本文针对建筑物的不同条件下的红外图像仿真，分别做了两组实验。硬件平台为Inter(R) Core(TM)i7 -4790 CPU@3.60GHz，安装内存16.0GB，所用的Matlab软件版本为R2012a。本文实验所用到的图像分别拍摄于2017年2月28日和2017年6月4日，地点为西安市区（东经109.07°、北纬34.27°）。实验一，全天的天气状况是阴，且无明显变化，空气质量为轻度污染，平均风力为1级，采集数据时的湿度为43%，气温变化如图2所示。实验二，天气为雨，气温大约为17℃。所用的红外热像仪是Fluke TiX640红外热像仪，分辨率为640×480。

图2 西安地区2月28日气温变化

2.2 实验分析

利用计算机仿真方法生成的红外图像，评价有多种指标和方法[16-18]。本文不仅直观展示实测图像与仿真图像的对比结果，而且将生成图像的温度值作为纵坐标做出3D图，以便仿真图像和实测图像进行充分对比。同时利用灰度分布图，表现仿真图像的逼真度。

实验一中分别于2月28日上下午17:00、18:00、19:00实测目标建筑物红外图像，如图3(a)～(c)所示。利用本文方法仿真得到的20:00红外纹理与实际测得的20:00的红外图像对比如图4所示。直观上看，仿真图像纹理细节清楚，能满足工程应用的需要。

图5为仿真图像与实测图像的温度值3D图对比情况，图6为灰度分布对比情况。从图中可以看出，仿真图像温度整体偏低，灰度值偏小，这是由于傍晚气温逐渐下降，建筑物处于放热过程，实际气温会比建筑物稍低，而仿真方法使用的是理论气温值，因此，仿真图像气温稍低，与实际情况相符。从灰度图中可以看出，虽然仿真图像灰度值整体偏小，但整体趋势与实测图像相近，仿真效果较好。

图3 实验一不同时刻实测图像

图4 实验一实测图像与仿真图像的对比

图5 实验一温度值3D图对比

图6 实验一灰度分布图

实验二中分别于6月4日10:30、12:00、13:30实测目标建筑物红外图像，如图7中(a)～(c)所示。利用本文方法仿真得到的15:30红外纹理与实际测得的15:30的红外图像对比如图8所示。直观上看，细节纹理较清楚，能满足一般工程需要。

图9为仿真图像与实测图像的温度值3D图对比情况，图10为灰度分布对比情况。从实验结果来看，下雨对成像效果影响较大，红外图像变得模糊。本文的算法生成的红外图像也稍有模糊，与实际是相符的，说明了本算法的有效性。这是因为本文的算法应用了最近时刻的灰度差值波动。从温度值3D图和灰度值分布图也可以看出，仿真结果与实测结果非常接近。说明本文算法的有效性。

图7 实验二不同时刻实测图像

图8 实验二仿真图像与实测图像的对比

图9 实验二温度值3D图对比

图10 实验二灰度分布图

3 结论

本文探索了一种将红外图像区域平均灰度值与温度之间关联的仿真方法。通过本方法生成的红外图像，逼真性强，速度较快，可满足实时仿真系统的需要，是一种行之有效的方法。本文中，由于实际拍摄的红外图像距离热像仪距离较近，故可暂时忽略大气传输效应和太阳辐射的影响。但在其他方面的应用上，大气效应可能对仿真结果有较大的影响。因此下一步，将充分考虑大气和太阳辐射变化。

[1] 王霞, 汪昊, 徐超, 等. 红外场景仿真技术发展综述[J]. 红外技术, 2015, 37(7): 537-543.

WANG Xia, WANG Hao, XU Cha. Overview on development of infrared scene simulation[J].2015, 37(7): 537-543.

[2] 江乐, 白廷柱, 丁艳, 等. 基于典型目标反射率的近红外场景仿真[J]. 光子学报, 2014, 43(8) : 132-137.

JIANG Le, BAI Tingzhu, DING Yan. Near infrared scene simulation based on reflectance of typical target[J]., 2014, 43(8) : 132-137.

[3] 石川凌. 海陆场景的红外实时仿真研究[D]. 杭州: 浙江大学, 2016.

SHI Chuanling. Real-time Simulation of Infrared Land and Sea Scene[D]. Hangzhou : Zhejiang University, 2016.

[4] Gambotto J P. Combining image analysis and thermal models for infrared scene simulations[C]//, 1994, 1: 710-714.

[5] 张健, 张建奇, 邵晓鹏. 基于测量数据的红外场景生成方法及实现[J].系统仿真学报, 2005, 17(10): 2399-2402.

ZHANG Jian, ZHANG Jianqi, SHAO Xiaopeng.Method of synthetic infrared scene generation based on measure data and its implementation[J]., 2005, 17(10): 2399-2402.

[6] SONG F, LU Y, QIAO Y, et al. Simulations of infrared atmospheric transmittance based on measured[C]//, 2016: 101571E.

[7] MU Chengpo, PENG Mingsong, GAO Xiang, et al. Infrared image simulation of ground maneuver target and scene[J]., 2014, 716-717(2): 932-935.

[8] LI N, SU Z, CHEN Z, et al. A real-time aircraft infrared imaging simulation platform[J]., 2013, 124(17): 2885-2893.

[9] LI N, HUAI W, WANG S, et al. A real-time infrared imaging simulation method with physical effects modeling of infrared sensors[J]., 2016, 78: 45-57.

[10] 杨壹斌, 李敏, 卢羿. 基于温差扰动补偿的红外纹理生成新方法[J]. 激光与红外,2016, 46(12) : 1501-1507

YANG Yibin, LI Min, LU Yi. New method of infrared texture generation based on temperature difference disturbance compensation [J].,2016, 46(12): 1501-1507.

[11] 胡海鹤, 白廷柱, 郭长庚, 等. 零视距地物长波红外特征场景仿真研究[J]. 光学学报, 2012, 32(10): 94-102.

HU Haihe, BAI Tingzhu, GUO Changgeng. Long wave infrared scene simulation research based on zero stadia of landmark[J]., 2012, 32(10): 94-102.

[12] 胡海鹤, 白廷柱, 韩强, 等. 基于Blinn-Phong模型的红外辐照模型及其红外场景仿真[J].光学学报, 2013, 33(6): 80-86.

HU Haihe, BAI Tingzhu, HAN Qiang. Infrared illumination model and infrared scene simulation based on Blinn-Phong model[J]., 2012, 32(10): 94-102.

[13] 黄曦. 高真实感红外场景实时仿真技术研究[D]. 西安: 西安电子科技大学, 2014.

HUANG Xi. Study on Realistic Real-time Infrared Scene Simulation[D]. Xi'an: XIDIAN UNIVERSITY, 2014.

[14] 程琼. 可见光图像转红外图像仿真[D]. 武汉: 华中科技大学, 2008.

CHENG Qiong. Simulation of Infrared Image from Visible Image [D]. Wuhan: Huazhong University of Science and Technology, 2008.

[15] 汪昊. 红外场景仿真技术研究及仿真系统开发[D]. 北京: 北京理工大学, 2016.

WANG Hao. Research on Infrared Scene Simulation and the Development of Simulation System[D].Beijing: Beijing Institute of Technology, 2016.

[16] 王鹏, 孙继银, 巨西诺. 前视红外图像质量评价指标研究[J]. 弹箭与制导学报, 2012, 32(1): 53-56.

WANG Peng, SUN Jiyin, JU Xinuo. Criteria for FLIR image quality assessment[J].,,, 2012, 32(1): 53-56.

[17] 付宏明. 红外成像末制导系统指标评价方法[J]. 红外与激光工程, 2008(s2):451.

FU Hongming. Evaluation method of index guidance system for infrared imaging[J]., 2008(s2):451.

[18] 李浩. 红外场景仿真及像质评估技术研究[D]. 北京: 北京理工大学, 2016.

LI Hao. The Research on Infrared Scene Simulation and Image Quality Evaluation[D].Beijing: Beijing Institute of Technology, 2016.

Real-time Infrared Image Generation Method Based on Measured Data Temperature Difference Disturbance

LI Min，XIE Hongwen，XU Zhongwai，XING Yuhang

(908,,710025,)

For the development of infrared-guided weapons, a large number of infrared scenes are needed for testing. Beginning with the mechanism of infrared images, a real-time infrared image generation method based on measured temperature difference disturbance is proposed. From this method, the average gray-level region of the image is correlated to the ambient temperature, and the block pixel calculation method is used, instead of pixel-to-pixel. Experiments show that the proposed method not only decreases real-time calculation, but also achieves better performance. This method is both feasible and effective when the target and the background have the same temperature-changing trend in the measured images.

infrared image generation，measured data，temperature difference disturbance

TP391.9

A

1001-8891(2017)10-0914-06

2017-04-11；

2017-06-16.

李敏（1971-），女，河南扶沟人，博士研究生导师，主要研究方向：红外图像处理与目标识别。E-mail：clwn@163.com。

国家自然科学基金项目（61102170），国家社科基金项目（15GJ003-243）。