机载中波红外影像分类性能分析

闫利，李青山，王嫣然，叶志云

(武汉大学 测绘学院，武汉 430079)

0 引言

中波红外谱段(3～5 μm)与热红外谱段(8～12 μm)一直是红外技术发展应用的重点。面阵型红外焦平面探测器技术出现后，第二代红外成像技术已将工作波段由长波扩展至中波和短波红外。目前，红外成像技术已全部覆盖短波红外至长波红外谱段[1]。相较于可见光谱段，红外波段对烟雾穿透能力更强，可全天候成像，其中中波红外在制导头、自动跟踪系统以及对空中飞行目标探测领域作用距离更远[2]。

中波红外谱段在对地观测中的优势可广泛应用于目标提取[3]、温度反演[4]、图像融合[5]、工业排放气体监测[6]、火灾监测[7]、武器制导[8]等应用领域。在遥感观测领域，国外已有包含中波红外谱段的机载高光谱成像系统[9]。基于中波红外谱段，已有海岸线分割[10]以及植物类别提取[11]等地物分类相关研究。由图1可知，我国在中波红外波段的对地观测上空间分辨率较低，与国外存在较大差距。同时由于政策原因，国内可采购中波红外相机最大面阵大小为640像素×512像素。故目前国内尚未展开中波红外在遥感影像分类中的研究。开展中波红外遥感相关研究可以有效利用频谱资源，填补相应领域的空白。

图1 红外波段卫星对地观测现状示意图

本文的项目背景是国内首套机载中波红外成像系统的研制，该系统同时装配有中波红外和可见光光学相机。本文旨在探索地物在中波红外波段的辐射特性，进而融合地物的中波红外与可见光的特征，提高遥感地物分类的精度，探索中波红外谱段在对地观测领域的潜在价值。

1 研究区及数据源概况

1.1 研究区概况

研究区位于湖北省荆门市漳河机场。荆门为湖北省地级市，位于湖北省中部，汉江中下游，介于111°51′E～113°29′E，30°32′N～31°36′N之间。荆门市属于亚热带季风气候，其植被主要以常绿阔叶、落叶阔叶混交林为主，松树、杉木、栎树分布普遍。建筑物主要由零散村镇中的低层民居以及城镇居民区和低层厂房构成。影像中所包含道路类型很丰富，有柏油马路、水泥路面以及飞机跑道。同时，影像中还包含有林地、草地、耕地等植被类型和湖泊、池塘等水体类型。

1.2 数据源及预处理

研究区航拍影像为2017年2月26日早9时至10时于荆门漳河机场通过运-5飞机搭载自主研发航拍系统得到。其可见光影像由哈苏H3D相机拍摄，影像大小为7 216像素×5 412像素，分辨率为0.136 6 m，中红外影像由Onca-MWIR-MCT640相机拍摄，其接收光谱范围为3.7～4.8 μm，影像大小为640像素×512像素，分辨率为0.625 m。

航拍得到的中红外影像为小像幅影像，与光学相机的像幅相差很大。因此，中波红外相机采用面阵摆扫成像的方式，以实现宽幅机载中波红外成像。利用定位定姿系统(positioning and orientation system，POS)以及地面实测控制点实施POS辅助空中三角测量，制作可见光及中红外正射影像(digital orthophoto map，DOM)。然后将可见光与中红外影像生成的正射影像进行配准，裁剪二者的重叠区域得到最终使用的研究数据(图2)，其中图2(a)为可见光(visible，VIS)三波段彩色显示，图2(b)为中波红外谱段(mid-wave infrared，MID)灰度显示影像。

图2 研究数据

2 中红外波段特性分析

2.1 中波红外光谱辐射特性

中波红外谱段(3～5 μm)与热红外波段(8～12 μm)同属于红外谱段，但其光谱辐射特性不同于可见光与热红外谱段，既包含地面反射辐射，也包含地面物体的发射辐射能量，可实现全天候成像。图3表明[12]，不同温度目标在中波红外波段具有更高的热对比度，更容易区分不同温度目标，同时在600～1 000 K物体辐射功率峰值对应波长为中波，具有优于热红外的高温物体监测能力。此外，中波红外波长较长，不易受到雾霾的散射，能有效突破低能见度气候对遥感影像获取时效性的限制。

图3 不同温度目标对比示意图

2.2 研究影像中波红外特性

光学遥感传感器的照明源主要是太阳辐射，因此高分辨率遥感影像中存在很多由建筑、桥梁、树木等地物的遮挡形成的阴影区域。这些阴影区域虽然对于影像的信息提取及密集匹配等处理有很大的干扰[13]，但研究表明[14]，同一地物类型非阴影区域与阴影区域辐射值之比有与波长成正比的物理特性。

结合遥感影像非阴影区域与阴影区域接收到的光照辐射能量比值的特性与中波红外谱段包含地物发射辐射能量的特性，分析研究影像不同地物非阴影区域与阴影区域的光谱特性曲线。如图 4所示，中波红外波段显示出不同于可见光谱段的辐射特性。波谱特性曲线(1)表明，裸露土地与水泥道路的波谱特性曲线在可见光谱段呈上升趋势而后在中波红外波段下降，沥青道路则呈现相反的特征。由波谱特性曲线(2)可知，中波红外波段不同地物的亮度比值(非阴影区/阴影区)不符合随波长增大而增大的趋势。其原因为中波红外波段传感器接收到的辐射能量不只包括地物反射的太阳直射辐射与大气漫反射，还包含有地物的发射辐射能量(图 5)，传感器在中红外谱段接收到的太阳直射辐射能量在总辐射能量中占比低于可见光谱段，故地物的亮度比值(非阴影区/阴影区)不遵循可见光谱段的规律。

图4 研究区影像中波红外特性

图5 可见光谱段与中波红外谱段辐射能量构成

3 研究方法

3.1 多尺度分割

影像分割是面向对象分类的基础。通过图像分割可以得到同质像元组成的多边形对象。多尺度分割[15](multiresolution segmentation)算法连续地合并像元或现有的影像对象。该过程首先基于像素层，根据同质性标准合并像元，然后基于合成的对象结合设置的尺度参数继续合并影像对象，循环此步骤直至同质性指标大于设定的尺度参数，分割即停止。多尺度分割过程识别一个像元或现有的影像对象并根据相关的同质性标准与它们相邻的对象合并，是一种自下而上的分割。

3.2 随机森林分类器及特征评估

随机森林(random forests)算法是Leo Breiman继Bagging算法之后，提出的另一种利用多个树学习器进行分类和回归的组合算法[16-17]。该算法利用bootstrap重抽样方法从原始样本中抽取多个重抽样样本集，对每个bootstrap样本进行决策树建模得到决策树分类模型集：

{h(X，Θk)，k=1，2，…}

(1)

式中：X为给定自变量，本文中具体为所选训练样本对应的特征向量集；参数集{Θk}是独立同分布的随机向量；k为随机森林中决策树棵树，本文实验中k为100。

随机森林分类器可通过OOB平均下降精度、Gini指数来度量特征重要性。

OOB平均下降精度衡量特征重要性FIM(feature importance measures)：

FIM=∑(errOOB2-errOOB1)/Ntree

(2)

式中：errOOB1为每棵决策树的袋外数据误差；errOOB2为对袋外数据OOB所有样本的特征X加入噪声干扰，再次计算得到的袋外数据误差。

(3)

式中：K表示有K个类别；|K|为类别个数；k′表示除k之外的类别；Pmk′表示节点m中类别k′所占的比例；Pmk表示节点m中类别k所占的比例。

特征Xj在节点m的重要性，即节点m分枝前后的Gini指数变化量为：

(4)

式中：GIl和GIr分别表示分枝后2个新节点的Gini指数。如果，特征Xj在决策树i中出现的节点在集合M中，那么Xj在第i棵树的重要性为：

(5)

假设RF中共有n棵树，那么

(6)

最后，所有求得的重要性评分归一化：

(7)

3.3 特征空间分析与优化

通过分割形成的影像对象在面向对象的分类方法中为新的信息载体，其包含有光谱、形状、纹理、层次等特性，这些特性称为特征(features)。充分利用影像对象的这些特征信息能够产生更加精确的分类结果，对初始特征空间进行合理的特征选择，将经过优选之后的特征空间作为分类特征，有助于提高分类器的分类效率及精度[18]

表1描述了本文所选择的初始特征空间，涵盖波段灰度值、亮度、标准差等光谱特征，长宽比、形状指数等几何特征以及GLCM纹理特征。

表1 初始特征空间

实验中基于分割形成的对象选取分析样本，提取可见光影像与可见光+中红外融合四波段影像特征向量集。其中HIS颜色模型特征选取可见光与中红外四波段中任意三波段计算各HIS分量，其余特征单独提取中红外波段影像特征，构建可见光+中红外融合影像特征向量集。分别对可见光影像特征集与融合影像特征集通过OOB下降精度与Gini指数排序特征重要性，通过验证样本集精度确定各自的最优特征向量集，实施随机森林分类。

4 实验与分析

4.1 实验流程

本文实施例中，基于多尺度分割与随机森林分类器实现面向对象地物分类，融合了地物的可见光与中波红外特征，并且评估了光谱、形状、纹理等特征在分类中的重要程度，定量分析了融合中波红外波段后的特征空间。如图6所示，包括以下步骤：

步骤1，数据准备。包括利用POS系统及地面实测控制点制作可见光与中红外正射影像，将生成的正射影像分为可见光三波段影像与可见光与中红外融合四波段影像，2组数据进行对照实验。

步骤2，影像分割。基于多尺度分割算法分割影像得到对象图层，实验中2组数据均以可见光三波段影像等权重进行多尺度分割，中红外波段不参与分割，以保证特征分析选取样本一致。形状异质性指标权重为0.1，平滑与紧密2个子异质性指标权重均为0.5，分割参数为45。

步骤3，初始特征提取。基于分割形成的对象图层选取分析样本及初始特征向量集。将选取的样本分为训练样本与验证样本，分别用于模型训练与精度分析。分类体系根据研究区影像内容，确定为裸露土地、建筑物、林地、道路交通、草地和水体6种地物类型，各地物均选取1 000个训练样本，500个验证样本。根据初始特征空间分别提取可见光与融合影像的训练样本与测试样本的初始特征向量集。可见光影像与融合影像初始特征向量维度分别为88、120。

图6 实验流程图

步骤4，优化特征空间。分析步骤3提取的训练样本原始特征向量集，利用随机森林OOB平均下降精度与Gini指数衡量特征向量重要性，达到优化特征空间的目的。

步骤5，随机森林分类。基于步骤2得到的分割结果与步骤3确定的优化特征空间利用随机森林分类器进行分类并分析分类精度，对比可见光影像分类结果与融合影像分类结果，分析中波红外特征在分类中的作用。

4.2 优化特征空间

利用训练样本初始特征向量集，训练随机森林分类器，并根据随机森林OOB平均下降精度与Gini指数衡量特征向量重要性，可见光+中红外融合影像初始特征向量集重要性衡量如图7所示，分别为OOB精度下降示意图与Gini指数示意图。根据两指数特征重要性排序如表2所示，涉及中波红外波段的特征由黑体显示，针对中红外特征，最有效特征为中红外与可见光其中两波段组合HIS空间各分量特征，其次为GLCM纹理信息。

结合2种指数，通过排序特征变量重要性指标优化选择特征空间，训练随机森林分类器，以验证样本分类总精度选择优化特征空间维度，选取总精度最高的维度，如表3所示，实验中可见光影像优化特征空间维度为35，融合影像优化特征空间维度为40。

图7 融合影像特征重要性示意图

表2 融合影像特征重要性排序表

表3 不同维度优化特征空间分类结果总精度表 %

4.3 分类结果分析与精度评价

基于步骤2分割结果与步骤4优化特征空间，分别对可见光影像与融合影像实现基于随机森林的面向对象分类，分类结果细节如图8所示。以步骤3选取的验证样本评估可见光影像单独分类与融合影像分类精度差异，分类混淆矩阵见表4、表5。分析分类结果细节图8及易错分地物波谱特性曲线图9可知：

图9 易错分地物波谱特性曲线

区域(1)(2)中植被阴影区、沥青道路在可见光影像中易被错分为水体，引入中波红外波段可以改善此类错分现象。结合图8中VIS、MID影像与图 9(a)分析：三类地物在可见光谱段亮度值均较低，色彩暗淡。但沥青道路与植被阴影区在中波红外谱段相较于红光波段明显上升，水体则没有此趋势。因此引入中波红外谱段可避免植被阴影区和沥青道路被错分为水体的现象，提高道路交通类别的制图精度。

区域(3)中砖瓦屋顶在可见光影像中被错分为裸露土地。结合图8中VIS、MID影像与图9(b)分析：砖瓦屋顶在可见光谱段与裸露土地颜色近似，但在中波红外谱段，砖瓦屋顶向阳面亮度值明显高于裸露土地以及背阴面砖瓦屋顶，故引入中波红外谱段有助于此类房屋的提取。同时，对比区域(1)VIS+MID分类结果与VIS分类结果，水泥材质屋顶在引入中波红外后分类结果更加完整。因此，引入中波红外谱段有助于提取砖瓦材质屋顶以及水泥材质屋顶的完整性，提高建筑物类别的制图精度。

由表2及分类结果混淆矩阵(表4、表5)可知：

1)可见光影像地物分类总精度最高为87.87%，融合影像地物分类总精度最高为89.63%，引入中波红外波段后地物分类总精度可提高1.76%；

2)人工地物(建筑物、道路交通)制图精度提升了2.8%，非人工地物制图精度仅提升了1.25%，故中波红外波段对于人工地物的分类效果优于非人工地物类型。由表6可知，建筑物的精度提升最多，其制图精度与用户精度分别提高3.00%、3.44%；其次为道路交通，其制图精度与用户精度分别提升了2.60%、2.70%。

表4 可见光影像分类结果混淆矩阵 %

表5 可见光&中红外融合影像分类结果混淆矩阵 %

表6 融合影像分类地物精度变化表 %

5 结束语

本文使用自主研发的机载中波红外成像系统，航拍得到荆门市漳河机场区域影像资料，生成可见光及中波红外正射影像后，基于随机森林分类器研究融合影像特征空间及中波红外影像对地物分类精度的提升效果。根据目前的实验结果，中波红外波段更建议应用于城市区域遥感相关应用领域。

研究结果表明：

①针对中红外特征，最有效特征为其与可见光其中两波段组合HIS空间各分量特征，其次为GLCM纹理信息。

②中波红外可以稳定得提高地物分类的总精度，可见光影像与可见光+中红外影像的最高分类精度分别为87.87%、89.63%，引入中波红外波段提高了1.76%。

③中波红外波段对于人工地物的分类效果优于非人工地物类型。引入中波红外波段后，人工地物制图精度提升了2.8%，非人工地物制图精度仅提升了1.25%。其中建筑物的精度提升最多，其制图精度与用户精度分别提高3.00%、3.44%；其次为道路交通，其制图精度与用户精度分别提升了2.60%、2.70%。