红外偏振和光强图像差异特征分类树的构建

牛 涛，杨风暴，卫 红，张 雷，吉琳娜，王肖霞，原惠峰



红外偏振和光强图像差异特征分类树的构建

牛 涛1，杨风暴1，卫 红2，张 雷1，吉琳娜1，王肖霞1，原惠峰1

（1.中北大学 信息与通信工程学院，山西 太原 030051；2.英国雷丁大学系统工程学院计算机视觉组，Reading RG66AU, UK）

红外偏振和光强图像差异特征分类是融合算法随着差异特征类型的变化而自适应变化的前提。构建了差异特征分类树，以此实现差异特征分类。首先分析红外偏振和光强成像的差异特性，依据其成像差异特性构建分类树第1层差异的类别；然后对多组图像统计并描述第1层差异类别下的各差异信息，依据统计结果构建第2层差异的类别；最后提取红外偏振和光强图像的差异特征，将其按照差异特征分类树进行分类。实验表明，所建立的差异特征分类树可将红外偏振和光强图像的差异特征分类。

差异特征；红外偏振；红外光强；特征分类

0 引言

在红外偏振与光强图像的融合研究中，红外偏振和光强图像的差异特征很难提前有效确定，必须依靠具体的成像条件和探测系统实时获取[1]；并且图像的差异特征类型、差异幅度是随机变化的，尤其是序列图像，图像的帧间变化复杂、不确定，事先确定的融合模型和算法很难发挥有效作用，不可避免地出现许多失效的情况[2]。这是由于不同图像间的差异特征是变化、不确定的，而融合算法是固定的，后者没有随着前者类型和幅度的变化而变化，使得融合效果没有针对性。由于红外偏振与光强图像的差异特征种类繁多、且不确定，不进行图像差异特征的分类，必然无法根据差异特征类型的变化而得到具有自适应能力的融合方法[2]。

目前，国内外文献中针对差异特征的分类研究鲜有具体分类方法。差异特征的分类一般依据红外图像的特征分类，分为边缘差异特征、纹理差异特征、代数差异特征等[2]。这种引入外部的分类结构可作为差异特征分类结果直接使用，避免了构建图像信息差异类别的环节，从而减少复杂度。但是，差异特征是红外偏振和光强图像差异的表征，而外部信息所揭示的图像差异特征分类没有依据图像信息差异的类别而分类，忽略了图像差异特征的相关性，不利于融合算法与差异特征之间关系的建立，也就无法得到自适应的差异驱动融合方法[3]。近几年，课题组在红外偏振和光强成像差异特性分析和图像差异特征的提取上有较深研究，包括统计、纹理差异特征提取等；对红外偏振和光强图像的差异驱动机理也有不少研究结果，初步建立了差异特征类集与融合算法间的映射关系，证实了红外偏振和光强图像差异特征分类的重要性，为差异特征分类研究提供了基础[4-5]。

本文提出了差异特征分类树的构建方法，并依据差异特征分类树进行差异特征分类，目的是使融合算法能够随着差异特征类型的变化而变化，进而为自适应的差异驱动融合奠定基础。具体内容如下：通过红外偏振和光强成像特性分析及差异特征间的相关性研究，构建出图像差异特征分类树的第1层类别结构；对多组图像统计并描述第1层类别下的各差异信息，构建出差异特征分类树的第2层结构；提取红外偏振和光强图像的差异特征，将其按照差异特征分类树进行分类，分类结果便于构建差异特征类集。

1 红外偏振和光强成像差异特性分析

红外偏振和红外光强的成像差异特性是形成图像差异特征的主要因素，成像差异特性主要包括目标（背景）的辐射强度特性、大气传输特性和成像仪响应特性等[6]。

1）目标（背景）的辐射差异特性：红外探测成像系统对处于复杂背景中的目标探测，很大程度上取决于目标本身与周围背景的红外辐射特性。红外的偏振成像是对目标（背景）多个不同方向辐射的偏振量进行成像，获得偏振度和偏振角等偏振信息，主要与其表面粗糙度、自身材料、形态和状态有关，如平滑的路面、冰面、水面或玻璃面，其反射光是主要以镜面反射为主，表现出较强的线偏振特性[7-8]；红外的光强成像主要对目标（背景）的辐射强度成像，主要与目标（背景）的温度、辐射率等有关。研究发现，一般情况下在长波红外波段，自然物与人造物由于其材料及表面的光滑性等使得偏振度差异较大。

2）大气传输差异特性：由于在传输过程受大气衰减和复杂环境的影响目标与背景的辐射到达探测器时其辐射强度已大大较低，成像效果很不理想。其中，偏振与光强成像在传输时最大的成像差异是红外偏振成像能够很好的利用大气散射的偏振特性，来避免或减弱大气对成像的影响达到良好的成像效果。

3）成像仪响应差异特性：红外偏振成像仪是在传统的红外成像仪中加上可旋转偏振片，这样使得场景的辐射通过偏振片是发生二次衰减，造成红外偏振图像的亮度信息降低，而红外光强图像信号因受大气的一次衰减，故光强图像的亮度信息较丰富[5]。红外偏振图像通过辐射值之比获得，偏振测量无需准确的辐射量校准就可获取目标的边缘方向特征信息。

综上分析可知，光强图像反映了温度场信息，红外偏振图像反映目标本身的高频特征（如几何形状、边缘轮廓等）突显，低频特征（如纹理细节、亮度）较少；红外光强图像却与之相反，低频特征突显，高频特征较少，且与红外偏振图像之间存在很大的互补性和冗余性[2]。

2 红外偏振和光强图像的差异特征分类树

2.1 层次分类法

层次分类方法利用类别层次结构来分解问题，可有效解决多类分类问题，例如图像分类。在实际情况中，类别间的关系往往不是独立的，可以通过构建层次结构来表示[9]。具体说来，层次分类方法一般利用类别标签在特征空间或语义空间中的层次关系，建立相应的类别层次结构，然后依据层次结构得到最终的分类结果。层次分类的本质就是通过一个具有特定层次关系的结构来表示各个类别间的关系，也就是说，通过层次结构将分类任务划分为与各层次相对应的较小的分类子问题，这样的划分简化了原分类任务。

类别层次的典型结构是“树（Tree）”或“有向无环图（Directed Acyclic Graph，DAG）”结构[9]，如图1所示，其中(a)为树形结构，(b)为DAG结构，黑色表示叶子节点（即类别标签），灰色表示根节点。类别划分是类别层次构建中的核心任务，其中，类别层次的构建步骤：从根节点起，当前节点所拥有的类别被划分成两个或多个类，然后每个类生成1个子节点，并将该类所拥有的类别传递给该子节点，这个过程一直递归下去直至类别不能再被细分或到达叶子节点。

图1 类别层次结构

2.2 差异特征分类树的构建

差异特征分类树的构建必须考虑信息差异的类别层次，采用树形结构，且在类别层次中嵌入图像特征信息的先验知识。首先差异特征分类“树”的第1层按照红外偏振和光强成像的偏振特性和辐射特性进行分类。在进行红外探测时，探测目标可按照偏振特性不同分为人工目标、自然景物。常见的人工目标的表面材料一般是混凝土、金属或类似材料（如建筑物、道路、桥梁和机场等）。常见的自然景物有海面、地面、沙石、岩地、草地等。另外，目标的辐射强度特性也与物质的表面温度有关（如体温等）。因此，构建差异特征分类“树”时，首先“树”的第一层可得到的类别为{1，2，3}，其中1为“自然景物”，2为“人工目标”，3为“人”。

其次，对于差异特征分类“树”的第2次差异信息的类别的划分，可先在训练图像上进行差异特征划分，然后将图像上的划分结果转化为分类树的类别划分的结果。选取了不同场景的8组红外偏振（选取偏振度图像）和光强图像[10-15]，其中前2组图像为本课题组采集，大小均为256×256像素，如图2所示。

从人眼视觉特性可以看出，红外偏振和红外光强图像上存在许多差异的部分。例如，同一目标在光强图像中，亮度高的目标温度高，反之温度低，且目标轮廓比较模糊，而红外偏振图像中目标的几何形状信息（如边缘和轮廓）较丰富[2]。因此，本文从1，2，3类别角度分别辨别两类图像差异信息类别并进行统计划分，统计结果见表1。将其转化为差异特征分类“树”的层次结构，转化结果如图3。

3 红外偏振和光强图像的差异特征分类

3.1 差异特征的提取与选择

差异特征的表示与提取拟从常见的红外图像原始的特征空间中进行。一般描述图像的特征数量较大，有些差异在偏振红外和光强图像间的差异不显著，故从显著性方面进行特征选择，从原始特征空间得到有效差异特征反映图像的差异信息。图2中8组红外偏振和光强图像，将每组图像以大小64×64像素、步长32像素的滑动块依次进行分割，并对其进行特征提取，选择有效差异特征。

将红外图像的特征纳入原始特征空间，这些特征量包括边界频率、视觉指数、边缘强度和边缘特征点数、Tamura纹理特征、灰度共生纹理特征、灰度-梯度共生纹理特征、直方图统计矩、直方图统计特征、自相关函数等共46个特征。对每组图像块分别进行原始特征提取，由公式(1)计算红外偏振和光强图像各特征的绝对差异DT，因每种特征的量纲不同，在数量级上可能存在较大差异，为便于分析它们的显著性差异，先进行图像块的46个特征进行标准化处理，最后经显著差异选择后保留下来的特征为：差异视觉指数、差异边缘强度、差异边缘特征点数、差异对比度、差异自相关、直方图的差异统计特征（直方图的灰度均值、直方图的灰度方差、偏度系数、峰度系数）、差异灰度-梯度共生纹理特征（灰度分布的不均匀性、梯度分布的不均匀性、灰度平均、灰度均方差、相关性、惯性）等共15个差异特征，依次记为{1，2，3，4，5，6，7，8，9，10，11，12，13，14，15}。

式中：T1为红外偏振图像特征；T2为红外光强图像特征。

3.2 差异特征分类及结果验证

3.2.1 差异特征分类

15个差异特征都定量地描述了偏振和光强图像的差异信息，根据差异类别的划分，某个或某几个差异特征可表征某一类差异信息，表征结果（即分类结果）见表1，在“树”中差异特征分类结果如表2所示，与“树”的差异类别的表征结果见图3。

图2 红外偏振和光强图像：(a) 红外光强图像；(b) 红外偏振图像

表1 红外偏振和光强图像差异信息的类别

表2 图像差异的类别与差异特征的分类

图3 差异特征分类树及差异特征分类

3.2.2 结果验证分析

以2组红外偏振和光强图像[16-17]为验证图像，通过Matlab R2010a编写程序，提取各差异特征，其中汽车图像组（如图4）选取出差异显著的差异特征为{3，10，11，15}，如图5所示，其中坦克图像组选取出差异显著的差异特征为{3，9，15}。

由差异特征分类可知，汽车组图像，3与11反映了汽车边缘差异、汽车轮胎边缘差异、汽车玻璃边缘差异；10与11反映了汽车局部细节差异；10反映了汽车局部明暗对比度差异；15反映了地面和栅栏粗糙差异。该分类结果与验证图4中的实际差异信息一致。

金属板图组（如图6和图7），3反映了金属板的边缘差异、金属板的亮度差异；9与15反映了地面的粗糙和纹理差异。该分类结果与验证图6中的实际差异信息一致。

实验结果表明，自顶向下的差异信息层次分类法适用于红外偏振和光强图像的差异特征分类，分类结果较好，且与真实情况一致。

4 结束语

本文提出了一种差异特征分类树的构建方法，具有普适性，可有效地对差异特征进行了分类，且分类结果准确；该分类结果可用来建立图像差异特征类集，便于差异特征子集与融合算法间的映射关系的构建；为进一步自适应的差异驱动融合的研究奠定基础。

图4 汽车的红外偏振和光强图像

图5 红外偏振和光强图像差异特征比较

图6 金属板的红外偏振和光强图像

图7 红外偏振和光强图像差异特征比较

[1] Yang Fengbao, Wei Hong. Fusion of infrared polarization and intensity images using support value transform and fuzzy combination rules[J]., 2013, 60: 235-243.

[2] 安富. 基于差异特征的红外偏振与光强图像融合方法研究[D]. 太原: 中北大学, 2014: 18-26.

[3] 牛涛, 杨风暴, 王肖霞, 等. 差异特征与融合算法的集值映射关系的建立[J]. 红外与激光工程, 2015, 44(3): 1073-1079.

[4] 安富, 杨风暴, 牛涛. 模糊逻辑与特征差异驱动的红外偏振图像融合模型[J]. 红外技术, 2012, 34(10): 573-583.

[5] 安富, 杨风暴, 蔺素珍等. 基于差异特征的红外偏振与光强图像融合方法研究[J]. 中国科技论文, 2014, 9(1): 96-102.

[6] 杨风暴. 红外物理与技术[M]. 北京: 电子工业出版社, 2014: 212-232.

[7] 姜会林, 付强, 段锦, 等. 红外偏振成像探测技术及应用研究[J]. 红外技术, 2014, 36(5): 345-349.

[8] 牛继勇, 李范鸣, 马利祥. 目标红外偏振探测原理及特性分析[J]. 红外技术, 2014, 36(3): 215-220.

[9] 陆彦婷, 陆建峰, 杨静宇. 层次分类法综述[J]. 模式识别与人工智能, 2013, 26(12): 1130-1137.

[10] J Larry Pezzaniti, David B Chenault. A division of aperture MWIR imaging polarimeter[C]//,, 2005, 5888: 1-12.

[11] LeMaster D A. Image reconstruction for two-color microgrid polarimetric imagers[C]//,. 2011: 1-5.

[12] J Scott Tyo, Dennis L Goldstein, David B Chenault, et al. Review of passive imaging polarimetry for remote sensing applications[J]., 2006, 45(22): 5453-5467.

[13] Michael Gartley, Peter Erbach. Pose estimation of unresolved targets using polarimetric imaging[C]//,:,,, Orlando, Florida, United States, 2010, 7672: 1-10.

[14] Bradley M Ratliff, James K Boger. Image processing methods to compensate for IFOV errors in microgrid imaging polarimeters[C]//,:,,, 6240: 1-12.

[15] Oscar González Merino. Image analysis of infrared polarization measu- rements of landmines[D]. Brussel: Vrije Universiteit Brussel, 2000.

[16] Lavigne Daniel A, Breton Melanie. A new fusion algorithm for shadow penetration using visible and midwave infrared polarimetric images[C]//13, Edinburgh, UK, 2010: 1-7.

[17] Daniel A Lavigne, Melanie Breton, Georges Fiournier, et al. A new passive polarimetric imaging system collecting polarization signatures in the visible and infrared bands[C]//,:,,,, 2009, 7300: 1-10.(doi:10.1117/12.819011)

Classification Tree of Difference Features between Infrared Polarization and Infrared Intensity Images

NIU Tao1，YANG Feng-bao1，WEI Hong2，ZHANG Lei1，JI Lin-na1，WANG Xiao-xia1，YUAN Hui-feng1

（1.，，，030051；2.，，6 6，）

Difference features classification between infrared polarization and intensity images is a precondition for fusion algorithms changing along with the change of difference features. This paper presents a classification tree of difference features to classify the features. Firstly, the difference characteristic of infrared polarization and intensity imaging is analyzed, with the first layer of the classification tree based on their imaging difference characteristics built; then statistic and description of the difference information to multi-group images is got, below the first layer of each differences category; according to the results, the second layer of the classification tree is built; and finally difference features of infrared polarization and intensity images are extracted, which are classified according to classification tree of difference features. Experiments show that the classification tree can classify the difference features of images betweeninfrared polarization and infrared intensity images effectively.

difference features，infrared polarization，infrared intensity，feature classification

TN219

A

1001-8891(2015)06-0457-05

2015-01-08；

2015-02-09.

牛涛（1989-），女，硕士研究生，主要从事红外信息处理的研究。E-mail：nt775264379@126.com。

杨风暴（1968-），男，教授，博士生导师，博士，主要从事红外信息处理的研究。E-mail：yangfb@nuc.edu.cn1。

国家自然科学基金项目，编号：61171057；教育部高等学校博士学科点专项科研资助项目（博导类），编号：20121420110004。