章永杰,徐振亚,李建勋*
(1.上海交通大学 电子信息与电气工程学院,上海 200240; 2.中国空空导弹研究院,河南 洛阳 471009)
红外图像仿真的置信度是红外目标检测跟踪的基础,如同算法的性能是高光谱目标检测的关键,但没有一种算法或模型适用于所有的高光谱数据[1]。仿真结果受多种因素的影响,因此如何检验红外图像仿真模型的准确性是问题的关键。由于飞机红外辐射的实测数据较少,且多是特定环境下的实测数据,因此,飞机红外辐射模型的验证总体较为困难,当前主要有两种方式:
第一种,通过计算得到飞机辐射在不同状态下的变化规律,说明模型选取的合理性[2-3]。文献[4]以实测数据与计算数据随视线角的变化趋势大致相同来体现所建立计算模型的合理性; 文献[5]分别定量分析了焦距、目标温度、背景温度、背景发射率、探测单元类别、测试工作波段、测试目标材质、测试天气、高度、天顶角等对图像信噪比的影响。
第二种,通过建立某些参数的模型,进而改进目标的仿真模型。文献[6]在计算蒙皮反射辐射时,考虑飞机蒙皮不是理想的漫反射体,而是镜面反射和漫反射两者合一的特性,引入了飞机蒙皮的BRDF特性,用Ward BRDF模型校正太阳直射辐射的反射计算; 文献[7-8]在计算尾焰辐射时采用微观的谱带模型计算法,即将非均匀气体的辐射看作均匀气体辐射的C-G 近似法,并考虑谱线的碰撞展宽效应和多普勒展宽效应,进行定量分析; 文献[9]在导弹尾焰辐射计算中提出了导弹尾焰视线投影面积模型和等效发射率模型,在光学影像的成像链路中引入了点扩散函数(PSF),综合考虑图像模糊、信号转换、噪声等过程,提出了遥感影像质量退化模型; 文献[10]在不同的简化假设下建立了三种海面辐射计算模型,比较分析了三种模型在舰船辐射场计算和海面背景热像模拟中的差异和适用性; 文献[11]完成了对传感器各组成单元的物理效应建模,并以量化的方式评价了模型的仿真度。
但上述两种方法都缺少对所有参数或者是部分参数的整合分析,本文通过分析红外仿真过程中模型的影响参数,将仿真模型的参数分为目标辐射特性、大气辐射效应和成像传感器系统三个主要影响参数,比对分析含有飞机目标的真实高光谱遥感数据,对三个参数进行了基于最小二乘法的校正,得到了可见光近红外波段上较高仿真度的仿真模型,进而为仿真生成中远红外波段上飞机目标的高光谱数据集提供一种方法途径。
从分析飞机目标红外高光谱辐射特性出发,以飞机几何建模为基础,计算零视距上飞机目标各光谱段上的辐射亮度信息; 结合大气传输效应的影响,模拟红外成像传感器系统的成像特性,生成目标的红外仿真模型; 采用与背景分开建模的思路,背景仿真利用背景贴图的方式,将目标与背景进行图像融合处理,并通过Matlab软件仿真生成高光谱红外图像序列,最后通过含有飞机目标的真实高光谱遥感数据,完成仿真模型的验证和校正。具体流程如图1所示。
图1 飞机红外高光谱模型仿真建模及验证
飞机目标的模拟分为几何特征的模拟和红外辐射特征的模拟。几何特征模拟主要是借助3DSMax软件等来完成,建模方式采用多边形建模的方法,类似于网格建模的方法,而网格建模方法的网格对象是由三角面构成的框架结构,多边形对象既可以是三角网格模型,也可以是四边模型甚至更多的边,在编辑建模时更加灵活方便,可根据观测角度设定目标的姿态信息。图2所示为某型飞机的几何模型。
图2 某型飞机的几何模型
红外辐射特征的模拟主要考虑了飞机的蒙皮辐射和发动机尾焰辐射,在蒙皮和尾焰辐射的计算过程中,均采用普朗克公式计算,其中蒙皮辐射的计算公式为
(1)
式中:Ts为驻点温度;T0为周围大气的温度;r为温度恢复系数(取0.82);γ为空气定压定容热容量之比(取1.4);Ma是飞机飞行马赫数。将Ts代入普朗克公式[12],该值与发射率的乘积便可计算出蒙皮自身的辐射量:
Iplane=LplaneSplane
(3)
式中:ελ为飞机蒙皮的发射率,ελ=0.8;c1为第一辐射常数,c1=3.741 8×10-16W·m-2;c2为第二辐射常数,c2=1.438 8×10-2m·K;λ为波长;Splane为飞机蒙皮在视线方向上的投影面积。
飞机尾焰是选择性辐射源,辐射能量主要集中在4.3~4.55 μm的二氧化碳发射带,尾焰辐射计算采用谱带模型计算法,即将非均匀气体的辐射看作均匀气体辐射的C-G近似法,在计算中考虑了谱线的碰撞展宽效应和多普勒展宽效应。为计算沿任意方向尾焰的辐射,采用了轴线上距喷口距离x0和与轴线夹角A两个量来确定方向的方法。飞机羽流的形状模型如图3所示,以x0为界,可分为初始段、主段两部分,其中斜线部分为核心区,具有组分压强和温度基本恒定且为最大值的特性。
图3 飞机羽流示意图
计算由x0和A所确定的任意方向上的辐射亮度的具体步骤详见文献[8]。图4是仿真尾焰图像和真实尾焰图像,两幅图像具有较好的一致性。
图4 真实飞机尾焰
大气的辐射效应主要表现为大气透过率和大气路径辐射衰减。常用的大气传输计算软件有LOWTRAN,MODTRAN,FASCODE等,本次仿真图像生成使用MODTRAN计算红外在大气传输中的透射率。
背景的红外仿真主要采用纹理贴图的形式,即以相应的背景图像数据作为纹理,按照灰度值的大小进行对应像素上的概率密度量化,并与相应背景条件下的平均辐射亮度相乘得到。
最后将目标与背景图像灰度值量化后进行图像融合处理,并通过Matlab软件仿真生成高光谱红外目标图像序列,完成整个仿真过程。
从上述仿真过程中可以看出,飞机目标的辐射亮度由于目标本身材质、姿态、观测波段、位置、天气等因素,都会对仿真图像质量产生影响,而且在生成仿真图像序列的整个仿真过程时,未对成像系统的影响做分析,成像探测器系统对成像的影响与其材料、物理结构等多方面因素有关,其主要源于探测器的空间和时间滤波效应、采样效应、探测器响应的非均匀性以及噪声等方面。参照建立的某些参数模型来验证仿真置信度的方法,可以将仿真过程中的主要影响因素分为目标辐射特性参数、大气辐射效应参数和成像传感器系统参数。
1.2.1 目标辐射特性参数
双向反射分布函数(BRDF)表示了不同入射角条件下物体表面在任意观测角的反射特性,如图5所示。双向反射分布函数是描述材料漫反射特性的重要函数,是光辐射的反射辐射亮度和入射辐照度的比值[13]。
图5 BRDF光照模型
考虑到飞机蒙皮不是理想的漫反射体,而具有镜面反射和漫反射两者合一的特性,将BRDF引入飞机蒙皮辐射亮度的计算中,可更加准确地描述飞机目标表面反射光的空间分布特征,更具合理性,其数学表达式为
(4)
式中:θi,φi为入射方向的天顶角和方位角;θr,φr为反射方向的天顶角和方位角;Ei为面元 dA(θi,φi)方向上入射光产生的表面辐照度,W/m2·μm;Lr为经照射后在(θr,φr)方向上的辐亮度,W/m2·sr·μm;fr的物理意义是沿着方向(θr,φr)出射的辐射亮度与沿着方向(θi,φi)入射在被测表面产生的辐射照度之比,sr-1。
BRDF具体模型有很多,本文采用擅长模拟金属表面以及各向异性表面反射特性的Ward模型来对飞机蒙皮进行其反射建模,其表达式为
(5)
等式右边前一部分表示漫反射分量,后一部分表示定向反射分量。其中,kd为漫反射系数;α为镜面反射方向和出射方向之间的夹角;ks为定向反射系数;Cmax为归一化因子,但一般有上限;m为表面均方根斜率,m值越小,意味着其表面越光滑,镜向峰值就会越大,镜向反射瓣膜变得越窄,反之则镜向反射峰值变小,曲线趋之平坦。随着入射角的增加,其峰值也随着变大。
由于地球与太阳距离较远,可以认为入射太阳光是平行光,并且太阳辐射强度是均匀的,考虑太阳光通过大气的影响,目标接收到的太阳辐射强度可表示为
Isun=I0[1+0.033 cos(360n/370)·τ·sinγ]
(6)
式中:I0为太阳常数,取1.36 kW/m2;n为在一年中的天数;τ为大气透过率;γ为天顶角。蒙皮对太阳辐射的反射,即目标辐射特性参数D1:
D1(λ)=fr·(Iplane+Isun)+Ifire
(7)
1.2.2 大气辐射效应参数
大气对红外系统的影响主要表现在辐射衰减,与大气气体分子的吸收,大气中分子、气溶胶、微粒的散射和因气象条件产生的衰减等三种现象有关。大气透过率用来描述红外辐射在大气中的传输特性[14],表示为
τ=e-σχ=e-(α+δ)χ
(8)
式中:τ为衰减系数;χ为通过的大气路径长度;α为吸收系数;δ为散射系数,散射系数和吸收系数均与波长有关。本文选择中纬度夏季模式大气下计算大气透过率。
MODTRAN界面提供了各种模式大气模型参数的选择输入。计算透过率时主要需要考虑的大气成分有:水汽、臭氧、甲烷、氮化物、碳氧化物的剖面资料、计算模式等。本文选择能见度为5 km的美国标准大气,其余诸如水汽、臭氧等高度剖面均选择1976美国标准大气模式下的默认设置,执行模式为计算透过率。此处大气辐射效应参数D2等同与透过率τ:
D2(λ)=τ(λ)
(9)
1.2.3 成像传感器系统参数
红外成像传感器系统将接收到的二维空间分布的目标与背景红外辐射信号转换成时间分布的电信号,经过电路放大和信号处理,最后以二维空间分布的灰度量化图像的形式再现背景与目标的红外辐射分布[15]。红外探测器对成像的影响与其材料、物理结构等多方面因素有关,主要源于探测器的空间和时间滤波效应、采样效应、探测器响应的非均匀性以及噪声等方面。一般采用传递函数方法对空间和时间线性滤波效应建模和仿真[16-17]。
对于一个成像系统来说,调制传递函数(Mo-dulation Transfer Function,MTF)是能够表征系统整体质量和分辨能力的一个重要的定量化指标。成像系统的空间调制传递特性在图像效果上主要表现为模糊,空间调制效应包括光学系统的衍射、像差、离焦,探测器的时间滤波、像移、抖动,信号处理电路的CCD 转移、扩散、电子滤波、高频提举等。这些物理效应均符合线性系统调制特征,可看作是线性效应,利用各组成模块的MTF来进行模拟,其常规仿真流程和仿真效果如图6所示。
本文参照文献[15]得到系统总的调制传递函数为
MTFsys=MTFoptics·MTFdetector·MTFelectronics
(10)
式中:MTFoptics为光学系统的空间传递;MTFdetechtor为探测器的空间传递;MTFelectronics为信号处理电路的空间传递。每个传递函数均可展开为每一个物理效应的传递函数的乘积,将其简化展开为某些参数的传递函数表达式:
MTFsys=MTFoptics(λ,D,fr,ζ)·MTFdetector(d,f,ω)·
MTFelectronics(η)
(11)
式中:D为光学系统入瞳直径;fr为角空间频率;ζ为杂光系数;d为探测器光敏中心距;f为光学系统焦距;ω为扫描角速度;η为CCD电荷转移效率。从式(11)中可以看出,对于整个传感器系统的MTF值,除λ外,其余参数相对已经确定的观测仪器是固定的,具体参数值参见文献[11]中的实验仪器参数。成像传感器系统参数D3可提取为与λ相关的函数表达式:
D3(λ)=MTF(λ)
(12)
飞机目标的红外高光谱图像数据较难获取,尤其是中远红外波段的实测数据,本文选取了机载可见光/红外成像光谱仪(AVIRIS)数据与仿真理论模型进行比对与校正。AVIRIS采用扫描式阵列成像,该数据空间分辨率为20 m,谱分辨率为10 nm,像素大小为400×400,覆盖光谱范围是0.4~2.7 μm共224个谱段(可用波段为201)。图7所示为第20波段的San Diego海军基地的AVIRIS影像数据,红框所示飞机为此次仿真对象。在飞机目标几何模型的提取中,选取了与AVIRIS数据中相同型号与姿态的飞机影像作为目标几何模型提取的数据源,在此基础上以AVIRIS数据第1波段所对应的温度场作为飞机目标辐射亮度反演的温度,进而计算飞机目标各谱段上的辐射亮度信息,背景数据同原图背景保持一致。
图7 San Diego基地某光谱段AVIRIS影像数据
图像质量评价有三个准则,一是峰值信噪比(PSNR),PSNR越大代表图像失真越小; 二是信息熵(Information Entropy),是反映图像所含有的信息层次丰富程度的变量,信息熵值越大,表明图像所携带的信息量越大; 三是结构相似度(SSIM),SSIM取值在[0,1]之间,等于1时代表两幅图像完全一致[11]。
SSIM(R,S)=l(R,S)α·c(R,S)β·s(R,S)γ
(13)
式中:R和S代表两幅图像;α,β和γ是调整照度l、对比度c和结构s相对重要程度的常数。本文选用SSIM值作为模型校正的收敛阈值,并用SSIM值、信息熵和边缘强度来度量仿真图像与真实数据的相似程度。
由于仿真的飞机目标在整幅图像中的像素占比很低,本文不是选取整幅图像作为结构相似性的计算区域,而是选取了飞机目标周围的30×30区域作为计算区域,有效杜绝仿真图像与原图因背景一致而产生相似性过高的情况。
模型参数校正思路:首先建立飞机目标红外辐射强度的参数化模型,然后基于实测数据样本和模型处理结果,建立参数校正函数,最后采用迭代算法,计算在参数校正函数取最优解的参数值。
对仿真过程主要影响因素分析可知,模型参数可提取为目标辐射特性、大气辐射效应和成像传感器系统三个主要参数,分别为D1,D2,D3。三个参数是以模拟当前传感器获取影像时的特定大气条件和传感器系统参数的前提下进行的初始化,现按照最小二乘法对仿真模型参数进行校正。
(1) 建立目标函数
假设实验样本数为N,飞机目标辐射强度模型样本In的集合S1={In,n=1,…,N},与之对应的结构相似性样本SSIMn的集合S2={SSIMn,n=1,…,N},模型中共有P个模型参数,模型参数Di的集合D={Di,i=1,…,P},其中D1,D3参数系数初始化系数设为0,D2系数初始化为1,系数调整取值均介于[0,1]之间,构造参数优化的目标函数为
(14)
(2) 迭代算法
迭代收敛条件为
SSIM0≥1-ε
(15)
式中:SSIM0为所有样本数据的SSIM均值;ε为迭代收敛阈值,取值0.05。具体流程见图8。
为了更加直观地反映仿真模型校正前后的效果,选取了第20,130,200波段的高光谱数据作为仿真前后对比,如图9所示。对比可看出,模型校正后的仿真效果更加逼真,与原图相似度更高。
表1给出了上述三个波段图像模型校正前后的仿真图像与其对应波段原始图像结构相似度、信息熵和边缘强度等图像特征的对比。
现将201个可用波段数据的图像特征指标进行汇总,如图10所示。
图8 仿真流程图
为进一步验证仿真模型校正的效果,采用中远红外波段的飞机目标实测数据对模型校正后的仿真数据进行验证,其中飞机飞行姿态和观测波段均与实测数据相对应,仍采用真实数据的背景,实测数据与仿真数据如图11所示。同样是选取了飞机目标周围的30×30区域作为结构相似度的计算区域,经计算SSIM值为0.901 4。
本文在建立飞机红外高光谱仿真模型的基础上,着重对模型的影响因素进行了分析,将仿真模型的参数提取为目标辐射特性、大气辐射效应和成像传感器系统三个与观测波段密切相关的主要参数,并用含有飞机目标的真实高光谱遥感数据对仿真模型进行了验证和参数校正,将仿真模型的SSIM值由初始仿真的0.73~0.81提高到0.95以上,模型校正前后仿真图像与原图在信息熵和边缘强度上体现的相似度也有所提高,在确保仿真参数提取有效性的同时,也提高了仿真数据的置信度和模型的准确性。当然,本文提出的仿真模型参数的提取和模型校正的方法,对于飞机目标在其他波段, 特别是在3~5μm尾焰辐射突出的波段缺少与实测数据的比对,校正后的模型也不可能适用于所有的飞机目标,故此次研究是在飞机目标红外高光谱仿真的基础上对仿真模型校正提供了一种验证思路。
图9 仿真图像对比
表1 模型校正前后的图像特征统计
图10 模型校正前后各波段图像特征对比
图11 红外图像