基于三维纹理的多模态特征城市土地利用分类

张彩煜，李明磊，魏大洲，吴伯春，李 正，李 佳

（1.南京航空航天大学 电子信息工程学院，江苏 南京 211106；2.中国航空无线电电子研究所，上海 200233）

城市土地利用分类是城市规划与区域管理的前提，能为合理规划城市功能分区、促进区域经济发展和实现土地资源可持续利用提供基础[1-3]。随着国家的快速发展，城市土地利用类型也在快速转变，因此需对城市土地利用进行更高效的分析和监测。无人机技术为城市土地利用分类提供了丰富的数据支撑，通过在无人机上搭载可见光传感器来获取城市遥感影像数据，具有易操作、成本低、能快速采集研究区影像、获取的影像分辨率高等特点。除可见光遥感数据外，数字表面模型（DSM）对城市土地利用分类也有不可忽视的作用[4-6]。DSM中包含从密集匹配技术中提取的高程信息，将可见光影像与DSM相结合，可为构建精确的城市三维地图提供更全面的表示。植被指数是反映和解释植被的重要指标，广泛应用于城市土地利用分类研究中，Mounir L[7]等提出的绿叶指数（GLI）是较早使用可见光波段计算的植被指数。可见光植被指数[8-10]的出现为无人机搭载可见光传感器进行城市土地利用分类中植被的提取提供了重要的理论支持。纹理特征用于描述地物的表面性质，广泛应用于各种分类场景，大多纹理特征[11-12]都是基于二维影像定义的，并不能反映真实的三维世界，Wang X[13]等提出了基于DSM 的共生矩阵，将高度信息融入纹理特征计算中，可更真实地反映地物的三维纹理特征，从而提高地物分类精度，但该方法仅利用DSM计算纹理并未充分发挥DSM提供高度信息这一作用。鉴于此，本文提出了一种融合DSM特征、三维纹理特征和改进型植被指数的多模态特征提取技术，以提高城市土地利用分类精度；并通过实验证明了多模态特征的优越性。

1 研究区概况与研究方法

1.1 研究区概况

本文选取的研究区为苏州市街区（30°32'37.284''E、119°58'13.44''N），包括住宅、公园、道路。利用搭载可见光传感器的无人机围绕研究区拍摄不同角度的影像，再通过多视图三维重建技术生成正射影像作为后续分类的研究数据，同时生成DSM作为后续分类的附加特征，并为计算三维纹理特征提供高度信息。设置正射影像空间分辨率为0.4 m，既能保证建筑物轮廓，又能使道路上的车辆轮廓模糊从而避免对后续分类的影响。为了获得参考评价指标，本文通过目视解译对该区域进行逐像素标注，标注结果见图1。

图1 研究区正射影像、DSM和目视解译标注

1.2 研究方法

基于三维纹理的多模态特征城市土地利用分类主要包括多视图三维重建、多模态特征提取、支持向量机（SVM）分类和分类后处理4 个步骤（图2），多模态特征通过通道叠加的方式融合DSM特征、三维纹理特征和改进型植被指数。

图2 基于三维纹理的多模态特征城市土地利用分类流程图

1.2.1 基于颜色的植被指数

本文提出了一种改进型绿蓝植被指数（MGBVI），由绿蓝植被指数（GBVI）改进而来，通过放大绿、蓝反射率之间的差异，更有效地提取无人机影像中的植被信息，计算公式为：

1.2.2 三维纹理特征

1）基于DSM 的共生矩阵。传统的二维纹理不能反映三维世界中物体的真实情况，因此本文采用一种基于DSM的共生矩阵（DSMB-CM）将二维共生矩阵扩展到可见光谱与DSM图像的三维空间。对于像素点对p1、p2，其对应的DSM值分别为h1和h2，点对之间的水平距离为dp，天顶角的计算公式为：

点对之间的天顶角是一个在[0°,1 80°)范围内的连续值，为了离散方向，将天顶角划分为N个截面，其中第t个截面的角度范围为：

共生矩阵大小为L×L，L为强度水平，由于高计算量和共生矩阵的高稀疏性不利于后续计算，通常将灰度级降低到16（L为16）。共生矩阵的元素是具有一定距离和方向的像素对的强度计数。Gp(i,j,θ,Sect)表示平面方向为θ、垂直方向为Sect的像素点p的DSMB-CM，(i,j)表示共生矩阵的第i行第j列，则有：

式 中，I(p)为像素点p的强度；Θ(p1,p2)、Φ(p1,p2)分别表示点对(p1,p2)之间的水平方向夹角和天顶角；#为满足条件的点对的计数值。

DSMB-CM 不能直接作为分类特征，类似于Haralick R M[14]等提出的利用灰度共生矩阵从遥感影像中提取纹理特征，同样地本文利用DSMB-CM 计算遥感影像的三维纹理特征。在最初提出的14个纹理特征中，用于遥感影像的主要为均值、方差、同质性、对比度、差异性、熵、二阶矩和相关性。

2）三维纹理特征的降维。与灰度共生矩阵计算类似，DSMB-CM的计算中像素对之间有4种水平相邻情况，根据式（3）像素对之间的天顶角可分为N个截面，因此对于每个像素点所计算的DSMB-CM 共有4×N×C×8 维特征通道，C为遥感影像通道数，对于可见光遥感影像，在计算DSMB-CM 前通常将其灰度化，即C=1。均值的计算使特征具有旋转不变性，但有丢失有效信息的风险。平面旋转不变性对于特征提取很重要，且DSMB-CM 在不同垂直方向上的纹理特征反映了三维表面上的光谱分布，是物体识别的有效信息。考虑上述问题，本文计算4 个水平方向纹理特征的平均值，同时保持不同垂直方向的特征，特征通道数从4×N×C×8 降至N×8。DSMB-CM 所产生的高维特征会降低分类器的性能。通过计算相同地物各项特征变异系数和不同地物间各项特征差异系数[15]，本文选择变异系数小且差异系数大的特征项对DSMB-CM进行降维处理。其计算公式为：

式中，D为方差；S为标准差；V为变异系数；M为样本均值；Dw为差异系数；S1、S2为样本1、2的均值。

1.2.3 SVM分类器

SVM[16-17]作为许多应用领域中最强大、最鲁棒的分类算法之一，基于统计学习理论，对于在低维空间中无法分类的样本，通过映射将其转化到高维空间，在高维空间中寻找最优决策超平面，从而产生最优的类分离。SVM 直接通过训练数据确定决策函数，使决策边界之间的间隔在一个高维空间中最大化。该分类策略最小化训练数据的分类误差，且获得了更好的泛化能力，与SVM 等分类方法在输入数据数量较小的情况下存在显著差异。本文选择SVM作为分类器。

2 实验与结果分析

2.1 评价指标

本文通过混淆矩阵计算总体精度（OA）和用户分类精度（UA）以评价城市土地利用分类性能。

式中，pii为第i类地物被分类为第i类地物的像素数量；pij为第j类地物被分类为第i类地物的像素数量；k为地物种类，本文中k=4。

2.2 实验结果分析

分类的可视化结果见图3，可以看出，采用多模态特征后分类结果更加准确；利用目视解译获得的标注计算OA，多模态特征后OA提高了16.5%，达到93.4%，说明利用多模态特征进行城市土地利用分类具有可靠性。本文将研究区分为建筑、道路、植被、水体4 种地物类型，分别分析了采用多模态特征后4种地物的分类效果（图4），可以看出，采用多模态特征后4 种地物的错分现象均得到了改善，但改善效果不同，多模态特征为高度信息最显著的建筑类地物提供了更真实的三维特征，包括三维纹理特征和DSM特征，因此建筑类地物的改善效果最明显，分类结果与手工标注结果基本一致；由于道路和建筑的高度差异大，采用多模态特征后道路类地物中误分为建筑的像素被重新正确分类；多模态特征也使植被类地物的误分类现象得到改善，但与手工标注结果仍存在差异；水体类地物高度信息不明显，且在仅使用正射影像分类时结果就已接近真实情况。4种地物的UA见表1，可以看出，采用多模态特征后建筑类地物的UA提升最多，达到39.1%，其次分别是道路、植被、水体，与可视化结果表现一致。

表1 不同地物类型的UA/%

图3 苏州市土地利用分类结果

图4 不同地物类型分类的可视化结果

由于分类结果中存在许多杂点，因此本文采用主要分析进行后处理。主要分析采用类似卷积滤波的方法将较大类别中的虚假像元归到该类中，定义一个变换核尺寸，用变换核中占主要地位的像元类别代替中心像元的类别。本文变换核尺寸选择5×5，所有分类结果经过主要分析后处理的结果见图5，OA提高了2.1%，达93.4%。

图5 主要分析后处理结果

2.3 对比实验

本文利用DSMB-CM 计算得到三维纹理特征，为避免添加三维纹理特征时高维特征对分类器性能的影响，分别选取建筑、道路、植被、水体4 种地物样本并计算相同地物样本间的变异系数和不同地物样本间的差异系数。变异系数越小表明该特征越能有效代表该地物类型，差异系数越大表明越容易通过该特征与其他地物区分，因此本文选择满足变异系数小于3%、差异系数大于25%的特征通道；并利用相同方法选择二维纹理特征和高度纹理特征做对比实验，结果见图6，当多模态特征中选择二维纹理特征时，由于阴影与建筑的二维纹理特征相似，阴影被误分为建筑，而阴影和建筑的高度差异大，采用三维纹理特征时该现象得到了改善；当多模态特征中选择高度纹理特征时，道路中的车辆易被误分为建筑，而选择三维纹理特征时该现象得到了改善。多模态特征中选择正射影像、DSM、二维纹理特征、MGBVI 特征的OA为93.1%，选择正射影像、DSM、高度纹理特征、MGBVI 特征的OA为91.8%，选择正射影像、DSM、三维纹理特征、MGBV特征的OA为93.4%，说明三维纹理特征比二维纹理特征和高度纹理特征更能反映真实三维世界中的物体纹理，因此多模态特征中选择三维纹理特征的分类结果更准确，进行城市土地利用分类时更可靠。

图6 多模态特征中选择不同纹理特征的分类可视化结果

为证明多模态特征中MGBVI的优越性，本文将多模态特征中MGBVI替换为其他可见光植被指数做对比实验，结果表明，选择正射影像、DSM、三维纹理特征、GBVI 特征的OA为93.2%，选择正射影像、DSM、三维纹理特征、GRVI 特征的OA为93.1%，选择正射影像、DSM、三维纹理特征、GLI特征的OA为93.2%，选择正射影像、DSM、三维纹理特征、MGBVI 特征的OA为93.4%，采用MGBVI 时的OA最高，因此在进行城市土地利用分类时也更可靠。

3 结语

城市土地利用分类研究对城市的可持续发展具有重要意义。城市土地的不合理利用将导致耕地、森林和其他土地等资源的浪费，及时调查与研究土地利用情况是城市管理中必不可少的部分。为得到更加精确的分类效果，本文提出了基于三维纹理的多模态特征城市土地利用分类方法。利用搭载可见光传感器的无人机获取研究数据，通过融合DSM特征、三维纹理特征和MGBVI的多模态特征提高城市土地分类精度，并对苏州市街区进行了实验研究。

1）融合DSM特征、三维纹理特征和MGBVI的多模态特征丰富了遥感数据信息，DSM特征反映了不同地物的高度信息；三维纹理特征反映了不同地物的三维表面信息，比二维纹理特征更真实；MGBVI反映了植被与非植被之间的差异。通过通道叠加，各特征都能充分发挥其自身优势且没有信息损失，从而提高了城市土地利用分类精度。

2）通过添加多模态特征提升城市土地利用分类精度，不同地物的提升效果不同。建筑类地物分类的提升效果最佳，其次是道路、植被、水体。随着城市的发展，城市土地利用变化往往发生在建筑与道路两种地物之间。