基于图像差值调制模型的红外纹理生成方法

杨壹斌，李 敏，杨 敏，王亚楠



基于图像差值调制模型的红外纹理生成方法

杨壹斌，李 敏，杨 敏，王亚楠

（火箭军工程大学908室，陕西 西安 710025）

针对红外场景仿真中纹理映射真实感欠缺，实用性和灵活性较弱的问题，考虑到实拍图像在多方面的局限性，提出了基于红外图像灰度差值调制模型的纹理生成方法。该方法以实测某时刻红外图像为基础，实施材质分类后将材质灰度与其灰度均值进行逐像素差值运算，得到主要景物材质的灰度差值分布，利用传热学理论求出景物在一天内其它时刻的均值温度，再模拟红外成像系统工作过程将其量化为对应灰度均值，并与灰度差值分布进行调制，生成仿真时刻的红外图像。实验结果表明，利用该方法生成的红外纹理图像兼具较高的真实性和可靠性，能够满足仿真应用要求。

纹理生成；灰度差值；成像链路；调制模型

0 引言

红外仿真技术在武器装备研发、红外基准图制备、打击效能评估等多个领域具有广泛的应用价值，作为拓展红外数据源、构建红外仿真场景的有效手段，红外图像仿真的作用愈发重要。传统获取红外图像的方法主要有两种，外场实测图像[1]和计算机仿真[2-3]。实测图像的突出优势是可靠性高，但在采集图像时受到时间、场地、设备、波段等多方面条件的制约；计算机仿真方法可以根据实际要求灵活生成红外图像，但在真实感和可信度上有所欠缺，为了提高仿真精度，一些基于热传学原理的精细物理模型被提出来，较好地提升了仿真真实性，但带来的问题是巨大的运算量，仿真效率受到一定影响。如何有效提高红外图像仿真精度和纹理逼真度，完善红外场景数据库一直是国内外学者的研究重点，Coiro利用Monte Carlo全局光照模型得到了目标飞行器的红外辐射分布特性[4]，王彦等人通过OSG（Open Scene Graph）对海天背景下的舰船目标进行了仿真，并生成了实时的红外图像[5]，武国军等人在实拍可见光图像的基础上，反演出不同环境条件下的红外图像[6]，陈聪葱基于“FPGA＋DSP”架构对双波段红外图像场景生成进行了研究实现[7]，黄曦等人通过测量目标表面辐射能量分布，反演生成目标红外纹理，该方法具有较高的灵活性[8]。

为改善红外图像仿真中存在的不足，着眼提升红外纹理的逼真度，本文将实测数据与计算机仿真有效结合，提出了在灰度差值预测的基础上，生成一天内不同时刻红外纹理图像的方法。首先对实测红外图像分类，并将分类后景物各像素点灰度与其灰度均值作差值运算，得到景物灰度差值分布状况，再利用热传学理论求得仿真时刻相关景物材质的均值温度，最后通过模拟红外成像系统工作流程的成像链路模型，将均值温度的映射灰度级与灰度差值分布进行调制，生成仿真时刻红外图像。

1 纹理生成原理

实测红外图像不但包含有各像素点对应温度信息和辐射特性，同时体现了量化后的灰度细节，在实测数据基础上生成不同时刻红外仿真图像，也涵盖了原始测量图像的细节特征，具有一定真实性和可靠性。利用灰度差值调制模型生成红外纹理时，首先采用K-means算法对预处理后的实拍红外图像进行材质划分，通过各景物灰度与其灰度均值的逐像素差值计算求得该景物灰度差扰动情况，再利用热平衡方程和导热方程等传热学原理，求得仿真时刻各景物材质表面的均值温度，并通过构建的成像仿真链路量化输出为对应灰度级，最后对量化灰度与灰度差值分布实施调制，生成仿真时刻红外图像，具体过程如图1所示。

2 红外成像链路建模

红外成像链路是指地物发射的辐射能量和对环境辐射反射的辐射能量经介质传输到达红外成像系统并输出为相应红外图像的传输过程[9]，建立的成像链路模型一般由三部分构成：地物辐射、大气路径传输和系统成像效应，在此基础上保留了整个成像过程的关键步骤，又省去一些不必要的细节，简化了仿真过程，其示意图如图2所示。

2.1 地物辐亮度计算

地物辐射包含其发射辐射和表面反射周围环境辐射两部分，一般来讲，常温物体的本征红外辐射集中在长波波段，受太阳辐射影响较小。本文实测波段为8～12mm长波波段，以辐亮度作为计算模型辐射量的标准，本征辐亮度obj通过普朗克定律求得：

式中：为绝对温度；()为物体表面材质的发射率；1和2为第一、第二辐射常数；为辐射空间立体角，在球坐标系中积分可得到其值为π。由于利用式(1)直接计算本征辐亮度涉及运算量较大，实际求解中可以利用查表法或多项式拟合来代替。斯蒂芬-玻尔兹曼定律指出，黑体辐亮度与温度的四次方成比例关系[10]，因此本文在利用多项式拟合时以4次幂作为拟合方程的最高次幂，计算公式如下：

obj＝4＋3＋2＋＋(2)

式中：、、、、为多项式拟合系数，利用红外成像系统采集一系列不同温度黑体的辐亮度数据，并代入式(2)拟合求得多项式的各个系数。

图1 红外图像生成原理示意图

图2 红外成像链路示意图

Fig.2 Schematic of infrared imaging link

物体对周围环境辐射的反射与环境辐亮度和自身反射能力密切相关，辐射反射部分可分为对太阳辐射的反射和对天空背景辐射的反射。假设场景中无内热源，则计算反射辐亮度ref的数学公式为：

式中：()为物体表面反射率，对非透明物体，反射率可按()＝1－()计算；sky()和sun()分别为天空背景和太阳的辐照度，计算中可以用相应波段的辐射总和来代替，并将平均发射率¢作为地物表面发射率，以降低仿真运算量。

2.2 大气路径传输建模

红外成像系统工作时所处的环境介质主要是大气，传输过程既受到大气颗粒的阻隔而产生消光衰减效应，同时吸收和反射了部分太阳辐射能量，对地物目标有辐射增强的影响，成像模型中大气传输过程通过如下公式表示：

式中：为入瞳辐亮度，即地物辐射到达红外成像系统入口处的辐亮度；()为大气透过率；path()为大气路径辐射，两者均可通过MODTRAN软件计算求得。

2.3 信号传递特性添加

红外成像系统的主要任务是收集外界辐射并转换为红外图像灰度值输出，通常由光学系统、探测器系统和信号处理系统3部分组成[11]，本文在建立成像链路模型时主要考虑系统的信号传递转换特性，在保证基本输出结果的同时，有效减轻了系统运算压力，得到的输出红外图像灰度值(,)与入瞳辐亮度的映射关系如下：

式中：op是红外成像系统综合各效应的影响因子，与所使用成像系统内部结构有关，具体数值通过辐射定标实验确定或利用经验值替代；max,min分别为系统最大、最小电平值；为图像灰度级数。为进一步提升信号处理与转换速率，将综合影响因子等参数作定值处理，得到简化后系统输出灰度与入瞳辐亮度的线性模型如下所示：

(,)＝×()＋(6)

式中：、分别为成像系统的信号转换系数和固定噪声，由其内部组成确定，实验中同样通过对红外成像系统进行辐射参数定标而获取。

3 灰度差值调制模型

红外图像的灰度变化与其对应景物材质的温度分布，在一定温度限度内成线性关系。一天内，同一材质的表面温差扰动可近似认为不随时间变化[12]。景物的灰度差是指景物对应图像各像素点灰度值与整体灰度均值的差值，实测红外图像包含了当前时刻景物材质表面的温度分布和热辐射信息，各像素点灰度级与温度值在一定条件下成对应关系，对特定红外成像系统，目标表面温度均值与红外图像的灰度均值也成相同的映射关系，因此可以认为所得数据的灰度差值在一天内也不随时间变化。

3.1 材质分类

一般来讲，由于不同景物、不同材质包含的辐射信息和物理属性有较大的差异，上述灰度差调制方法只适用于同一材质，对包含多材质的红外图像无法直接应用。因此在获取灰度差值扰动时首先要对实测数据中的有关材质进行分类。常用的分类方法有阈值法、OTSU算法、K均值算法（K-means）、模糊相似度法等等，本文采用改进后的K均值算法实现材质分类。该算法在样本分类、图像分割等领域有着广泛的应用，其核心是依据样本相似度进行聚类，对样本分类后，同一类中的子集具有较高的相似性，而不同类间的相似性很小[13]。在同一场景中，相同材质的红外特性相近，对应的图像灰度值也很接近，而不同材质间差距较大，通过K均值算法对实测图像进行像素级的处理，能够达到材质划分的目的。

实测图像反映了实际景物的辐射分布状况，分类时或多或少受到环境阴影、杂质组分等因素的影响，可能出现一些零散小区域，独立于分类的主要景物，因此需要对划分结果实施优化，将这些零散区域合并或单独列为对象。具体做法是：根据实际情况设定区域面积阈值和灰度差阈值，将包含像素数小于区域面积阈值的部分定义为零散区域，并将零散区域与其邻近的主要材质区域进行灰度比对，若二者灰度差值没有超出灰度差阈值的范围，则把该零散区域合并到相邻景物中，否则便保留该零散区域，作独立材质。

3.2 灰度差值调制

灰度差值调制建立在获得仿真时刻灰度均值的基础上，而灰度均值又与表面温度均值密切相关。仿真中利用表面热平衡方程和导热方程求解对应条件下材质表面均值温度，文献[14]给出了具体的计算方法。将得到的均值温度再通过成像链路模型及量化定标，转换为该时刻对应的灰度均值，并利用该灰度差值分布对其进行调制，生成最终的红外仿真图像，具体步骤如下：

第四步得到的灰度数据f,)即是一天内仿真时刻的红外生成图像，式中为灰度差调节因子，其值一般在0～1之间，由红外仿真中对纹理细节的要求而定。引入灰度差调节因子是为了根据实际情况增加或降低不同景物材质间及不同像素点间的对比度，的增减反映了每个灰度级所表示辐射能量的起伏，也就是表示相同的能量所需灰度级的多少，通过调节值便能够较好地解决不同地物辐射对比度偏低或偏高的问题。

在量化为灰度图像时，以一天的辐亮度变化作为灰度映射的上下限，即最大、最小辐亮度分别对应最大灰度级与最小灰度级。为了避免生成的图像因差值扰动调制造成灰度溢出的问题，还需要对灰度范围进行优化，本文对量化的灰度区间作如下规定：

式中：[G1,G2]分别指编号为的材质对应量化灰度范围；Δgmax, Δgmin分别为灰度差值扰动模型中的最大和最小差值。取所有材质中最大灰度上限作为仿真图像的量化上限，最小灰度下限作为图像的量化下限1＝max{G1},2=max{G2}，则[1,2]即为图像的量化灰度区间。

4 实验结果及分析

基于上述由灰度差值扰动生成红外纹理图像的方法，本文选取日常简单场景，通过实测某天上午9时红外图像数据，仿真生成当天11:00、13:00和21:003个仿真时刻的红外图像，并与利用单一均值温度作为灰度映射结果的仿真图像进行了比对。实测数据在西安某地，东经109°18'，北纬34°55'，实测波段：8～12mm，实测时刻气温为14.2℃，相对湿度为52%，气压962.7hPa，风向为东北风，风速3.7m/s，获得的各场景红外图像如图3所示。

图3(a)～(d)四个场景分别表示由灰砖拼接的人行道、沥青与水泥结合部、塑胶跑道与过道的交汇和塑胶跑道与草坪的交汇。当天实测气温浮动曲线如图4所示，最高气温为28.6℃，最低气温为8.7℃。

图3 四个场景实测红外图像

图4 一天温度变化波动

实测图像各景物涉及的材质主要有灰砖、水泥、沥青、青砖、塑胶、草地等，划分材质后利用灰度差值调制模型得到对应主要材质的灰度差分布。为方便阐释说明，截取上述材质的部分纹理信息进行差值表示，如图5所示。

图5(a)中灰砖灰度差值范围是－4～8，图5(b)中青砖灰度差值范围是－4～3，图5(c)中水泥灰度差值范围是－9～8，图5(d)中沥青灰度差值范围是－14～9，图5(e)中塑胶灰度差值范围是－7～6，图5(f)中草地灰度差值范围是－14～23。由此可知沥青和草地表面灰度波动较大，主要是由于两种景物材质表面分别受杂质覆盖和裸露土壤影响，辐射能量分布起伏较大，相比之下灰砖和青砖的波动较小。同时利用热传学原理，计算出3个时刻各主要材质的表面均值温度如表1所示。

图5 主要材质灰度差值分布

表1 主要材质表面均值温度

得到所有材质的均值温度后，利用构建的成像链路模型，将均值温度映射的灰度级与灰度差值分布进行调制，生成对应仿真时刻红外图像，如图6～图8所示，计算中使用的红外热像仪定标系数为5.2×107，为4980。

从图6～图8中能够看出，13:00气温大幅度提升，太阳辐射充沛，景物温度普遍较高，图像灰度较大，21:00的生成图像偏暗，主要是因为此时太阳已落山，在无明显热源影响时，自身温度下降迅速，本征辐射能量较低，11:00图像量化灰度随着温度升高而逐步增大。

同时，生成图像相比9:00实测结果存在一定模糊，但仍然拥有较高的层次感，图中灰砖间隙、路肩缺口、草地起伏等场景实际情况清晰展现出来，表面纹理由于受杂质附着、磨损等环境因素影响而造成的灰度波动也被保留下来，体现出丰富的材质细节，真实感较强。以场景1为例，3个仿真时刻实测场景1红外图像如图9所示。

图9中实测图像与仿真结果灰度级接近，仿真图像中灰砖接缝、灰砖和青砖间的衔接边缘及景物材质表面的灰度变化等细节信息明显表现，与实测图像基本保持一致，验证了仿真结果具有较高可信度。此外作为对比，直接利用景物均值温度的量化灰度进行映射仿真，其结果如图10～图12所示。

图6 11:00仿真结果图像

图7 13:00仿真结果图像

Fig.7 The results of simulation images at 13pm

图8 21:00仿真结果图像

Fig.8 The results of simulation images at 21pm

图9 三个时刻场景1实拍红外图像

Fig.9 Measured infrared images of scene 1 at three times

图10 11:00均值温度仿真图像

图11 13:00均值温度仿真图像

Fig.11 Mean temperature simulation images at 13pm

图12 21:00均值温度仿真图像

图10～图12中体现了各场景的整体能量分布和景物基本轮廓，但辐射细节缺失严重，如场景1的灰砖缝隙，场景3中塑胶跑道的标识漆，场景4中草地与跑道的交接边缘等等，虽然计算量有所降低，但真实感大打折扣。另一方面，由于部分景物间对应灰度值相近，材质分类时会出现把其它景物错分到某一类景物中，如场景4中远处的塑胶跑道排水孔与塑胶划为同一材质，均值温度直接映射的方法无法进行修正，仿真时将错分情况延续，降低了生成图像的可信度。而本文的方法则能够在一定程度上弥补上述不足，因为一天内灰度差值分布与景物对应灰度值无关，若存在不同材质具有相近的灰度值，差值扰动只会在有关像素点产生小范围灰度波动，生成图像依然能够保持一定灰度差异，同时仿真结果未出现明显的灰度跃变，具有较高的逼真度。

5 结语

在实测红外图像和灰度差值调制的基础上生成仿真纹理图像，既最大限度保留了辐射细节信息，又具有较高的仿真效率，以实测某时刻红外图像为基础，实施材质划分后建立不同景物的灰度差值调制模型，同时求得各景物材质在一天内其它时刻的表面均值温度，利用成像仿真链路模型将其进行灰度量化，并分别将量化后的输出灰度与对应灰度差值分布进行调制，生成不同仿真时刻的红外纹理图像。结果表明，利用该方法所得的图像能够较好地保留景物辐射细节和灰度特征，，能够为红外仿真场景提供高逼真度和可信度的红外纹理数据，具有一定工程应用价值。

[1] Kustas W, Anderson M. Advances in Thermal Infrared Remote Sensing for Land Surface Modeling[J]., 2009, 149(12): 2071-2081.

[2] 陆志沣, 高文, 洪泽华, 等. 高逼真度红外复杂场景动态实时生成技术研究[J]. 系统仿真学报, 2015, 27(1): 76-81.

Lu Zhifeng, Gao Wen, Hong Zehua, et al. Research on dynamic real-time complicated scene generation technology[J]., 2015, 27(1): 76-81.

[3] 陈珊, 孙继银, 刘婧. 前视末制导地面目标红外场景生成算法研究[J].光电子·激光, 2010, 21(8): 1269-1272.

Chen Shan, Sun Ji-yin, Liu Jing. Research of algorithm for ground target IR scene generation of FLIR terminal guidance[J]., 2010, 21(8): 1269-1272.

[4] Coiro E. Global Illumination Technique for Aircraft Infrared Signature Calculations[J]., 2015, 50(1): 103-113.

[5] 武国军, 白廷柱, 白茯宁. 基于可见光图像的红外图像反演研究[J]. 红外技术, 2011, 33(10): 574-579.

Wu Guojun, Bai Tingzhu, Bai Funing. Research on infrared images simulation by inversing the scene of the visible light images[J]., 2011, 33(10): 574-579.

[6] 黄浩, 陶华敏, 陈尚锋. 空间双波段红外成像仿真及目标特性分析[J]. 红外技术, 2013, 35(8): 482-486.

Huang Hao, Tao Hua-min, Chen Shang-feng. Space dual-band infrared imaging simulation and target analysis[J]., 2013, 35(8): 482-486.

[7] 陈聪葱. 双波段红外图像场景模拟与实现[D]. 北京: 北京理工大学, 2015.

Chen Cong-cong. Scene simulation and implementation of dual-band infrared image[D]. Beijing Institute of Technology, 2015.

[8] 黄曦, 张建奇, 张绍泽, 等. 目标高真实感红外图像生成方法[J]. 红外与激光工程, 2013, 42(4): 1084-1090.

Huang Xi, Zhang Jian-qi, Zhang Shao-ze, et al. Realistic infrared image generation method of target[J]., 2013, 42(4): 1084 -1090.

[9] Mahalati R N, Kahn J M. Effect of fog on free-space optical links employing imaging receivers.[J].2012, 20(2): 1649-1661.

[10] 李宏宁, 白廷柱, 曹峰梅, 等. 用于场景仿真的红外成像模型及其有效性分析[J]. 红外与毫米波学报, 2010, 29(1): 57-61.

Li Hong-ning, Bai Ting-zhu, Cao Feng-mei, et al. Infrared imaging model for scene simulation and its validation[J]., 2010, 29(1): 57-61.

[11] 张建奇, 王晓蕊. 光电成像系统建模及性能评估理论[M]. 西安: 西安电子科技大学出版社, 2010.

Zhang Jianqi, Wang Xiaorui.[M]. Xi’an: Xidian University Press, 2010.

[12] 胡海鹤, 白廷柱, 郭长庚, 等. 零视距地物长波红外特征场景仿真研究[J]. 光学学报, 2012, 32(10): 1011002-1~1011002-9.

Hu Haihe, Bai Tingzhu, Guo Changgeng, et al. Long wave infrared scene simulation research based on zero stadia of landmark[J]., 2012, 32(10): 1011002-1-1011002-9.

[13] 马德宾. 红外图像数据的自动采集与材质划分[D]. 大连: 大连海事大学, 2014.

Ma Debin. Automatic acquisition infrared image data and materials division[D]. Dalian: Dalian Maritime University, 2014.

[14] 陈珊, 孙继银. 自然地表红外成像仿真模型[J]. 红外技术, 2008, 30(9): 537-540.

Chen Shan, Sun Ji-yin. An infrared image simulation model for ground surface[J]., 2008, 30(9): 537-540.

Method of Infrared Texture Generation Based on Images Difference Modulation Model

YANG Yibin，LI Min，XIE Hongwen，YANG Min，WANG Yanan

(908,,710025,)

Aiming at problems of texture mapping realistic deficient in infrared scene simulation and being weaker in practicability and adaptability, considering limitation of measured images in multiaspect, an infrared texture generation method is proposed based on gray level difference modulation model of infrared images. This method based on measured waveband infrared images at one point, per pixel difference operation was conducted between materials gray level and its mean gray level after classifying materials, to obtain gray level difference distribution of main scenery materials, mean temperature of photographic field in other moments a day wa received by using the theory of heat transfer theory, then corresponding gray-scale average which simulated working process of infrared imaging system was quantized, and infrared images were generated through modulating with gray level difference distribution. The experimental results indicate that infrared texture images generated by using this method possess both facticity and reliability, and can meet the requirements of simulation application.

texture generation，gray level difference，imaging link，modulation model

TP391.9

A

1001-8891(2017)03-0214-07

2016-10-28；

2017-02-18.

杨壹斌（1992-），男，山西忻州人，硕士研究生，主要研究方向：可视媒体计算和红外视景仿真。E-mail：yxyyb4016@163.com。

国家自然科学基金项目（61102170）；国家社科基金项目（15GJ003-243）。