基于超像素的高分辨率遥感图像分类算法

龚波涛 朱琦锋 季彤天 王辉

摘要：为了实现输电线路的合理、高效规划，如何准确、快速地进行遥感图像的地表覆盖物分类是值得研究的问题。该文针对高分辨率遥感图像地表覆盖物分类问题，提出了一种基于超像素的方法，其相对于基于像元的方法，减少了椒盐噪声，效率更高，有利于后续的GIS应用。该方法分为图像分割、特征提取、图像分类三个步骤。首先，通过SLIC算法将遥感图像划分为若干个大致均匀的超像素;接着，对超像素的颜色特征、纹理特征进行特征提取;最后，将提取出的超像素特征作为随机森林算法的输入，对超像素进行分类。该文使用提出的方法在泰日线遥感图像上进行测试，取得了有效的结果。

关键词：遥感影像;图像分类;超像素;图像特征;图像分割

中图分类号：TP751      文献标识码：A

文章编号：1009-3044（2021）36-0010-04

开放科学（资源服务）标识码（OSID）：

Superpixel-based Classification Algorithm for High-resolution Remote Sensing Images

GONG Bo-tao1， ZHU Qi-feng1， JI Tong-tian1， WANG Hui2

（1. Engineering Construction & Consulting Branch，State Grid Shanghai Municipal Electric Power Company， Shanghai 200120， China; 2. College of Electronic and Information Engineering， Tongji University， Shanghai 201800， China）

Abstract：In order to realize the reasonable and efficient planning of transmission lines， how to accurately and quickly classify the ground cover of remote sensing images is a problem worthy of study. This paper proposes a superpixel-based method for the classification of land cover in high-resolution remote sensing images. Compared with pixel-based methods， this method reduces salt and pepper noise and has higher efficiency， which is beneficial to subsequent GIS applications. The method is divided into three steps： image segmentation， feature extraction， and image classification. First， the remote sensing image is segmented into a number of roughly uniform superpixels using the SLIC algorithm; then， the color features and texture features of the superpixels are extracted; finally， the extracted superpixel features are used as the input of the random forest algorithm to perform classification for superpixels. This paper uses the proposed method to test on the remote sensing image of the Tairi line and obtains effective results.

Key words： remote sensing image; image classification; superpixel; image feature; image segmentation

1 引言

电网前期建设的过程中，由于卫片的清晰度不足，且无法保证时效性，所以需要进行高清航摄来获取建设区域的最新数据。对大量航拍结果进行传统的人工标注费时费力，因此需要一种自动化方法进行标注。当前，遥感影像地表覆盖物分类主要有两种做法：

（1）基于像元的方法

此类方法的分类对象是像元，对于高分辨率遥感图像，由于纹理信息丰富，传统的基于光谱特征和纹理特征的方法难以捕捉到高层语义信息，表现不佳。随着深度学习的兴起，深度学习模型常常被用于基于像元的分类。文献[1-3]使用自动编码器（Auto Encoder，AE）对遥感影像进行分类，但泛化能力较差。文献[4-6]使用深度信念网络（Deep Belief Network，DBN）[7]对遥感影像进行分类，克服了直接对深度神经网络训练容易出现的局部最优问题，但要求输入数据具有平移不变性。还有方法是使用卷积神经網络（Convolutional Neural Network，CNN）[8]进行图像语义分割，全卷积神经网络（Fully Convolutional Network，FCN）[9]是该领域的里程碑。其后，基于FCN又出现了诸如SegNet[10]、PSPNet[11]等优秀的图像语义分割网络。文献[12][13][14]使用CNN对遥感影像进行了分类，但CNN要求大量的数据进行训练。由于深度神经网络参数量庞大、参数矩阵稀疏，在高分辨率遥感图像的地物分类中效率较低。另外，基于像元的方法对噪声比较敏感，分类结果较不规则，不利于生成矢量化结果，给GIS应用带来了额外的麻烦。

（2）基于超像素的方法

高分辨率遥感图像中，大量相邻像素具有相似性，在分类时可以看作一个整体，此类方法可以有效减小以像元为处理单元的“椒盐噪声”。此类方法先将遥感图像分割为超像素，再以超像素为单位进行分类。图像分割的方法有区域生长、区域分裂合并、简单线性迭代聚类（Simple Linear Iterative Clustering，SLIC）[15]等，其中，SLIC效率高，边缘贴合度好，分割结果均匀，在高分辨率图像分割中效果显著。一般的分割方法难以将一个完整的对象，比如房屋、河流分出来，因此有在分割步骤后进行超像素合并的方法。特征提取步骤使用的特征一般有光谱特征、纹理特征和形状特征。光谱特征一般使用HSV、RGB、CIELab等颜色空间的颜色直方图;纹理特征的提取方法有局部二值模式（Local Binary Pattern，LBP）、灰度共生矩阵（Grey-Level Co-occurrence Matrix，GLCM）[16]、Gabor滤波等;形状特征有Rays特征、Hu特征等。图像分类步骤常使用监督分类方法，比如决策树、随机森林[17]、支持向量机（Support Vector Machine，SVM）和人工神经网络（Artificial Neural Network，ANN）等。

为了高效地对高清航片的地表覆盖物分类，尤其是分辨率达到4cm的高清航片，以及考虑到后续生成GIS地图的需求，本文使用基于超像素的方法。

本文以泰日线为例对该方法进行验证。

2 方法

本文提出一种基于超像素的高分辨率遥感图像地表覆盖物分类方法，先将图像分割为超像素，再对每个超像素进行特征提取和分类，显著降低图像分割与分类的计算量。图1所示为本文方法的流水线。

2.1 图像分割

图像分割有诸多方法，在遥感图像分割中，待分割对象，如建筑、道路、河流等的边缘通常比较规则，适合使用基于[k]-means聚类的SLIC算法，其既可以做出均匀、贴合边缘的分割，效率也高。

首先，确定需要的超像素数量[k]，计算出等大超像素平均间距[S=Nk]，再以[S]的平均间距在图像上选定聚类中心。为了避免初始聚类中心落在边缘或噪声像素上，初次选定聚类中心后，在[3×3]的范围内重新选择梯度最小的位置。两个像素之间的距离按如下公式计算：

[D=dcm2+dsS2]                             （1）

式中，[m]控制超像素之间的紧密度，[dc]代表颜色接近度，[ds]代表空间接近度。

两个像素间的颜色接近度和空间接近度按下式定义：

[dc=s∈BIxi，yi，s-Ixj，yj，s2]                 （2）

[ds=xj-xi2+yj-yi2]                  （3）

式中，[Ixi，yi，s]和[Ixj，yj，s]表示两个像素在光谱带[s]上的值，[B]表示光谱带集合。颜色接近度控制超像素均匀度，空间接近度控制超像素紧密度。

为了降低时间复杂度，SLIC在每次迭代时并不会计算像素和其他所有像素的距离，而是超像素中心周围[2S×2S]内的像素。在每个像素都被分配到一个超像素中心后，重新计算超像素中心。迭代过程会持续到残差[E]收敛到阈值以内，[E]通过超像素中心更新前后的空间距离计算。

SLIC的改进版SLICO[18]会自动选择紧密度参数，在纹理区域和非纹理区域都生成形状规则的超像素，而且计算效率和SLIC几乎相同，因此本文最终选择了SLICO。

另外，由于遥感图像的类别标注是逐像素的，超像素的类别需要另行计算。本文使用的方法是取超像素内像素数量最多的类别。

2.2 特征提取

图像特征提取是超像素分类的关键步骤，通过建立一个描述超像素的较小的特征空间，为超像素的分类做准备。图像特征主要分为颜色特征、纹理特征、形状特征和空间关系特征等，本文使用前两者。图像的颜色特征是物体的最直观的表面属性，以图像中各像素点为基础，对图像区域的方向、大小等变化不敏感，本文使用的特征提取方法是颜色直方图。图像的纹理特征是指一定区域内像素的灰度或颜色的分布规律，本文使用的特征提取方法是GLCM和Gabor滤波。

2.2.1 颜色直方图

像素的颜色通常用三个分量来描述，构成一个颜色空间，除了最常见的RGB，还有CMY、YUV、CIELab、HSV等。RGB适合于显示输出观察，但不适合于图像处理，因此本文使用了更适合图像处理的HSV。

为表示超像素的总体颜色特征，可以使用取平均、颜色矩、颜色直方图、颜色相关图等方式。本文采用了使用广泛，计算简单，且具有尺度不变性、平移不变性和旋转不变性的顏色直方图。颜色直方图根据不同色彩在超像素中所占的比例来表示颜色的分布情况，由于HSV为三维空间，变化范围广，为了降低其特征向量的维度，本文先将HSV颜色空间的三个分量进行划分，使整个颜色空间分成若干个较小的颜色区间。本文将色调H、饱和度S、明度V分别均分为8、4、4个区间，统计超像素中落入各个区间的像素比例，产生128维的特征向量。

2.2.2 Gabor滤波

Gabor滤波的特征提取方法可以很好地模拟人类的视觉响应，广泛应用于图像处理，因此本文使用该方法进行纹理特征提取。Gabor滤波的函数表达如下式：

[gx，y;λ，θ，ψ，σ，γ=][exp-x'2+γ2y'22σ2+i2πx'λ+ψ]     （4）

式中：

[x'=xcosθ+ysinθ]                       （5）

[y'=-xsinθ+ycosθ]                      （6）

式（4）中，[λ]为波长，以像素为单位指定，[θ]指定了Gabor滤波器平行条纹的方向，[ψ]表示相位偏移，[σ]表示高斯因子的标准差，[γ]表示长宽比。

由于超像素的形状是不规则的，大小、像素数目也不确定，因此，本文采用的方法是，对整张图像进行多方向、多尺度的Gabor滤波，再对各个超像素内的滤波输出取平均，形成超像素的Gabor纹理特征。

2.2.3 GLCM

GLCM是一种基于统计分析的纹理特征提取方法，通过描述相邻小区域的像素点灰度关系特征来实现纹理特征提取。GLCM以图像中两个灰度像素同时出现的联合概率来表示。设定图像中一个像素点A[x，y]的灰度为[i]，另有像素点B的灰度为[j]，像素點A与像素点B的距离为[d]，方向角度为[θ]，统计像素点A与像素点B同时出现的概率，记为[P（i，j，d，θ）]。联合概率[P（i，j，d，θ）]的数学表达如下式：

[Pi，j，d，θ=][x，y，x+dx，y+dy]                          （7）

[fx，y=i，fx+dx，y+dy=j]

由于超像素的形状、大小不定，将超像素GLCM的计算窗口边长设为[S]，计算窗口的中心为超像素的中心，由超像素中所有像素的坐标取平均求得。若图像的灰度等级为[G]，则GLCM矩阵的大小为[G×G]，为了降低计算量，本文将原始遥感图像转为16个灰度等级的灰度图。在计算GLCM矩阵之后，将[Pi，j，d，θ/N2]作为其归一化结果，从而减少数据之间的量纲差距。

最终，归一化GLCM可以被用来计算超像素的纹理特征统计量，作为纹理特征参数。本文选取了对比度（contrast）、相异性（dissimilarity）、同质性（homogeneity）、角二阶矩（angular second moment）、能量（energy）、相关性（correlation）六个统计量，在0°，45°，90°，135°四个方向上进行GLCM计算，因此本文共使用24维GLCM纹理特征向量。

2.2.4 标准化

每个超像素经过上述特征提取，可得一特征向量，由于其不同类型的特征有着不同的分布，取值范围不同，不利于后续的分类，需要使用下列公式进行标准化：

[x'ij=xij-μjσj]                                        （8）

式中，[xij]、[x'ij]分别表示标准化前后的第[i]个超像素样本的第[j]个特征，[μj]表示第[j]个特征的均值，[σj]表示第[j]个特征的标准差。

2.3 图像分类

图像分类本质是模式识别，分为无监督分类和有监督分类，前者需要大量全面的专业经验信息，难以在不同遥感图像数据之间推广，后者则易于在有足够训练样本的情况下推广，取得更高的分类准确度[19]。模式识别中有很多监督分类方法可以直接应用于图像分类，例如人工神经网络、支持向量机、决策树、随机森林等。其中，人工神经网络可以提取到更高层的特征，但可解释性差;支持向量机的数学逻辑严谨，能保证泛化性，但超参数不易确定，且时间复杂度高;决策树计算量小，易于理解，适合高维数据，但容易过拟合;随机森林由多个决策树组成，具备决策树的优点，又克服了决策树过拟合的缺点。因此，本文采用随机森林进行超像素的分类。

3 实验

3.1 数据采集与预处理

本文的研究区位于上海市奉贤区东北部的泰日镇，在该镇计划建设的电网沿线被称为泰日线。该研究区南北跨度约为1 km，东西跨度约为2 km。

3.1.1 数据获取

本项目采用飞马智能航测系统F200固定翼无人机，搭载SONY DSC-RX1RM2传感器获取作业区范围内的真彩色影像，飞行高度150m，航摄数字影像的地面分辨率达到2cm，航向重叠度80%、旁向重叠度60%。

3.1.2 影像预处理

获取原始航摄数据后，需要对其进行拼接处理，并进行畸变校正、图像去噪、图像去雾等操作。通过GNSS-RTK技术进行像片控制测量，获取像控点的平面和高程坐标，生成数字高程模型（Digital Elevation Model，DEM）。利用全数字摄影测量系统进行空三加密，制作数字正射影像图（Digital Orthophoto Map，DOM）。在DOM的基础上，进行地物的手动标注，本文标注了三个类别，分别为：植被、建筑、水系。

3.1.3 数据集生成

DOM是一张覆盖研究区的遥感图像，难以一次性处理，故本文从中截取五张大小为[3328×3328]的图以及对应像素的标注信息作为数据集。

3.2 结果与分析

本节在上述数据集上验证了本文所提算法的可行性，并对特征进行了分析。

3.2.1 耗时分析

本文算法使用Python实现，在Intel i7-6700HQ CPU上进行测试。对一张[3328×3328]像素的图像进行平均间距为50时的超像素分割，耗时约为18.09s（单线程），特征提取耗时约为304.06s（单线程）。对5张上述图像的超像素分割结果进行随机森林分类，树的数量设为50，训练耗时约为1.42s（多线程），验证耗时约为0.14s（单线程）。

由上述数据知，本文方法在分类步骤效率很高，主要耗时都在超像素分割和特征提取步骤，尤其是特征提取。

3.2.2 结果实例

图2为数据集中的一张示例及其对应的人工标注，其包含着丰富的地物。图3为使用SLICO算法在超像素平均间距为50时的分割和分类结果。分割图中，超像素整体分布较为均匀，与边界有较好的贴合度。分类图中，可以看到该方法避免了像元级椒盐噪声的产生，但还是有一些零星超像素的错分现象，产生超像素级的椒盐噪声，但比像元级椒盐噪声更容易后期人工去除。

表1中为一次测试结果，Kappa值为0.58。各个类别中，植被的准确率和召回率都比较高，而建筑与水系的召回率较低，意味着建筑与水系被错分为其他类别的情况较严重。

3.2.3 特征分析

表2中，前三行数据表示僅使用各个特征的测试结果，最后一行表示使用所有特征的测试结果。从中可以看出，相对于单独使用某个特征，组合使用多种特征可以达成更好的结果。然而，综合使用特征的结果和仅使用HSV特征的结果是接近的，说明HSV特征在分类中最为重要。相对而言，纹理特征并没有起到很好的作用，可能的原因是，地物纹理过于复杂，噪声过多，并不能给分类算法提供足够有用的信息。

4 结论与展望

本文从针对超高分辨率遥感图像地表覆盖物分类问题，提出了一种基于超像素的分类方法，与非超像素的方法相比，显著减少了训练时间，也降低了后续电子地图制作的工作量。

实验结果中，针对超像素同类预测结果中出现不连续的问题，可以考虑超像素合并的方法，先将属于同一个对象的超像素进行合并，再进行特征提取和训练、预测。对于准确率不够高，尤其是建筑与水系的召回率很低的问题，原因可能在于超像素的特征只是局部特征，缺乏全局信息，难以通过超像素内部的特征正确区分其类别，可以在超像素合并或特征提取时考虑全局特征。在特征分析时发现，分类效果基本上是由HSV特征提供，Gabor特征和GLCM特征的加入对分类并没有产生有效的增益，因此有必要优化特征提取的方法，或者使用其他特征。

参考文献：

[1] Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006，313（5786）：504-507.

[2] 张一飞，陈忠，张峰，等.基于栈式去噪自编码器的遥感图像分类[J].计算机应用，2016，36（S2）：171-174，188.

[3] 黄鸿，何凯，郑新磊，等.基于深度学习的高光谱图像空-谱联合特征提取[J].激光与光电子学进展，2017，54（10）：101001.

[4] 刘大伟，韩玲，韩晓勇.基于深度学习的高分辨率遥感影像分类研究[J].光学学报，2016，36（4）：0428001.

[5] 徐丽坤，刘晓东，向小翠.基于深度信念网络的遥感影像识别与分类[J].地质科技情报，2017，36（4）：244-249.

[6] He M Y，Li X H，Zhang Y F，et al.Hyperspectral image classification based on deep stacking network[C]//2016 IEEE International Geoscience and Remote Sensing Symposium （IGARSS）.July 10-15，2016，Beijing，China.IEEE，2016：3286-3289.

[7] Hinton G E.A Practical Guide to Training Restricted Boltzmann Machines Neural Networks：Tricks of the Trade[J].Momentum，2012，9（1）： 599-619.

[8] Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM，2017，60（6）：84-90.

[9] Shelhamer E，Long J，Darrell T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（4）：640-651.

[10] Badrinarayanan V，Kendall A，Cipolla R.SegNet：a deep convolutional encoder-decoder architecture for image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.

[11] Zhao H S，Shi J P，Qi X J，et al.Pyramid scene parsing network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：6230-6239.

[12] 曹林林，李海濤，韩颜顺，等.卷积神经网络在高分遥感影像分类中的应用[J].测绘科学，2016，41（9）：170-175.

[13] Maggiori E，Tarabalka Y，Charpiat G，et al.Fully convolutional neural networks for remote sensing image classification[C]//2016 IEEE International Geoscience and Remote Sensing Symposium （IGARSS）.July 10-15，2016，Beijing，China.IEEE，2016：5071-5074.

[14] Cheng G，Ma C C，Zhou P C，et al.Scene classification of high resolution remote sensing images using convolutional neural networks[C]//2016 IEEE International Geoscience and Remote Sensing Symposium （IGARSS）.July 10-15，2016，Beijing，China.IEEE，2016：767-770.

[15] Achanta R，Shaji A，Smith K，et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（11）：2274-2282.

[16] Haralick R M，Shanmugam K，Dinstein I.Textural features for image classification[J].IEEE Transactions on Systems，Man，and Cybernetics，1973，SMC-3（6）：610-621.

[17] Belgiu M，Drăguţ L.Random forest in remote sensing：a review of applications and future directions[J].ISPRS Journal of Photogrammetry and Remote Sensing，2016，114：24-31.

[18] Achanta R. Slico，zero parameter version of SLIC[EB/OL].[2021-3-2]. https：//www.epfl.ch/labs/ivrl/research/slic-superpixels.

[19] 冯籍澜.高分辨率SAR图像分割与分类方法研究[D].成都：电子科技大学，2015.

【通联编辑：唐一东】