基于深度学习算法的极化合成孔径雷达通用分类器设计

李 索，张支勉，王海鹏

(复旦大学 电磁波信息科学教育部重点实验室，上海 200433)

0 引言

PolSAR(极化合成孔径雷达)是一种利用矢量测量方法获取地物目标信息的多通道相干微波成像系统，是SAR(合成孔径雷达)系统的拓展[1]，其通过交替发射、同时接收垂直极化、水平极化的电磁波，获取4种不同的散射回波信号，从而将目标散射回波的全极化信息记录下来。与SAR相比，PolSAR具有以下优点[2]：1)具有较强的抗干扰与杂波抑制能力；2)可获取空间分布、表面电磁参数等丰富的目标信息；3)可方便地对目标散射机制进行分析。因此，PolSAR在分析地物目标的散射机制上具有较大优势[3]。

PolSAR通过将相干极化的电磁波照射在目标表面来测量后向散射信号。这种散射回波的特性取决于目标的材质、粗糙度、几何形状等，因此不同类型的目标散射特征存在差异性。地物类型分类是数据分类的一种，融合了模式识别、计算机视觉、图像处理等技术。地物分类任务对计算机而言是一个巨大挑战，由于存储于图像的大量信息具有复杂性和描述困难性，因此特征提取困难。传统算法需针对特定任务设计专用分类器，在面向全新数据时需重新设计。高速发展的PolSAR技术使大量的数据被采集，采取人工方式设计特征需要相关人员有较强的专业技能和工作经验，成本大、耗时长，不适合大量数据的快速处理。而深度学习算法能自行从大量数据中提取有效特征，实现分类器自动化构建。由于深度学习算法具有高度并行性，因此能快速对大量PolSAR数据进行地物分类处理。

深度学习是人工智能的一个分支，由HINTON于2006年在机器学习的基础上提出，由于其在计算机视觉、自然语言处理等领域表现突出而受到广泛关注[4]。深度学习建立在对人的视觉神经系统分层结构的模拟上，对输入数据能层次化地提取不同等级的特征，从而很好建立从底层信号到高层语义的映射关系。传统的图像分类任务分为特征提取、特征分类2个阶段。其中，特征提取需依据统计特征或物理特性进行人工设计，从而对不同目标进行较好表达。随着海量数据的诞生和计算机能力的提升，这种模式被CNN(卷积神经网络)打破。与传统方法相比，CNN通过深度分层的结构能自动进行特征提取与分类，并在图像分类领域取得了一系列突破。2012年，KRIZHEVSKY等[5]采用CNN在ImageNet挑战赛图像识别任务中将错误率降到了15.3%，远低于以往最好水平26.2%。2015年，HE等采用152层的残差网络模型，将整体错误率降到了3.57%。

目前，已有不少基于深度学习的PolSAR地物分类的方法[6-10]，但大多基于特定数据集，在实际应用中存在较大限制。本文基于深度学习分类算法，提出一种通用分类器的结构设计方案，并在机载和星载PolSAR实测数据上进行测试。

1 基于深度学习的PolSAR分类算法

根据电磁波中电场分量末端振荡方式与天线孔径的关系，雷达系统的极化方式可分为垂直(V)极化和水平(H)极化2种，通过将接收信号和发射信号组合，雷达获得多通道PolSAR数据，其每个分辨单元可表示为

(1)

式中:S为散射相关系数，其下标为散射场与入射场的极化方式。PolSAR数据分为单视和多视，在单视条件下，一般认为SHV和SVH相等。因此，可将矩阵简化为一个三维的散射矩阵k，经Pauli分解后，该矩阵表示为

(2)

在多视条件下，PolSAR数据的相干矩阵表示为

(3)

式中：L为视目数；H为共轭转置。显然，T为Hermitian矩阵，其对角元素为实数，非对角元素为复数，上三角与下三角共轭对称。由于地表覆盖类型特征仅对目标区域的局部产生散射特征影响，因此对于像素级的分类任务，将每个目标像素以窗口大小为m1×m2的邻域数据表示，这不仅包含了极化特征，还包含了目标像素点周围的空间信息。通过合理设计窗口的尺寸，可对目标像素进行有效分类。

目前，针对PolSAR地物分类有很多方法，按是否需要带标签的训练数据分为有监督分类、无监督分类2种。其中：无监督分类是指在不需要先验知识的前提下，针对数据自身的特性进行特征分析，据此建立决策机制而进行分类，如基于极化特性的分类方法；有监督分类需要先验知识，利用已有的、带有标签数据的真实样本对分类器进行训练，学习分类器中的参数，然后用训练好的分类器去预测标签未知样本。CNN最初被设计用来解决计算机视觉问题，其算法是基于实数的处理而建立的。因此，在将复数的PolSAR数据与CNN结合时，通常需要对PolSAR数据进行一种实数的表征。周雨等[7]使用一种6通道的基于T矩阵的PolSAR数据实数表征方法，每个分辨单元的6通道数据由式(4)计算得到，其中SPAN=T11+T22+T33。通过这种表征方法，每个像素单元的实数特征向量为

(4)

式中：A为所有极化通道的总散射能量；B，C为T22和T33通道的能量比例；D，E，F为相关系数[7]。

通过这种表征方法，在AIR SAR flevoland数据的15类植被分类中取得了92.46%的准确率；GAO等[7]设计了一种具有2个分支的PolSAR分类神经网络，将PolSAR数据转译成T矩阵和Pauli RGB图像2种不同的形式，其中，T矩阵表征方法和文献[6]的方法相同，但Pauli RGB数据是一种3通道的彩色图像。将2种不同的表征数据分别输入到2个分支网络里，分别提取长度为84的特征向量，然后使用2个特征向量共同对图像类型进行预测。使用2种表征共同预测的算法在Air SAR flevoland数据上取得了98.56%的准确率，远优于仅使用T矩阵或Pauli RGB的92.85%和94.01%；LIU等[8]使用C矩阵表示PolSAR数据，结合邻域分析和超像素分割方法，在Radarset-2 flevoland数据上获得98.10%的分类准确率；张支勉等[10]将神经网络的算法拓展到复数域，使CNN直接对复数数据进行处理，并使用CV-CNN(复数卷积神经网络)对PolSAR数据进行分类实验，通过对T矩阵的复数值进行处理，在Air SAR flevoland数据集上取得了97.7%的分类精度[9]；陈思伟等[10]从T矩阵提取数据的旋转与极化特征，结合CNN在相同数据集上得到98.7%的分类精度。以上可以看出，目前基于CNN的PolSAR分类已被广泛研究，并在各类公开测试数据集上得到了远超传统方法的实验结果，但对于分类器泛化能力的研究不足。因此，本文基于目前常用SAR传感器，设计了一种通用分类器，对已标记的PolSAR数据进行训练，然后在未标记的数据上进行测试，通用分类器的性能在机载和星载PolSAR数据上进行验证。

2 通用分类器设计

2.1 数据形式

在通用分类器的设计中，T矩阵的上三角元素和对角元素的幅值(实数)表示1个分辨率单元的数据，即分类器的输入数据格式为{T11,|T12|,|T13|,T22,|T23|,T33}。将PolSAR数据转换后，都可得到对应每一个分辨率单元的6维矢量，CNN可从数据中有效地提取目标特征。在地物分类任务中，目标分辨率单元的信息仅包含在局部区域中，因此CNN仅需要使用局部窗口中的数据对目标进行预测。设计合理的神经网络输入窗口大小可有效提高通用分类器的分类精度，提高算法效率。如窗口太大，则会引入无效信息，不仅给分类器提取特征带来困难，还导致分类器计算量增加；如窗口过小，则会丢失目标像素的散射特征，导致分类器分类精度下降。本文实验中，通过在高分辨率机载数据和相对较低分辨率的星载数据上进行最优窗口大小测试，发现在窗口太大时会出现细节信息被掩盖的现象，因此选择使用较小的窗口进行实验测试。在本文的机载和星载数据实验中，数据分辨率分别为1 m×1 m和4.6 m×5.5 m。模型结构设计时，使用不同大小的窗口搭建相似的结果在相同数据上对通用分类器的性能进行初步测试。模型输入变化，需要对CNN的结构进行调整。为控制模型之间差异带来的性能变化，在窗口选择实验中，将所有网络模型的参数数量设置为16 000±2 000。CNN由卷积层、全连接层和降采样层3种不同的结构组成，其中降采样层仅对数据进行降采样。因此在窗口选择实验中，所有模型均使用2层卷积层和1层全连接层，通过调整模型中的降采样层数量以适应神经网络的输入大小。窗口大小和其分类准确率在表1中给出，可以看出：在机载和星载实测数据中，使用大小为12×12像素较小的窗口，可得到最优的分类精度，既能有对目标进行有效特征提取，又能保留场景中的细节信息，还能使计算复杂度减小。

表1 星载和机载数据最优窗口大小测试

2.2 数据标准化

(5)

(6)

(7)

式中:n为数据的分辨率单元个数。经过标准化后，各通道数据得到平衡，避免了在分类计算中部分通道被压制的情况。

2.3 通用分类器结构

CNN是一种多层的堆叠结构，每一层接收前一层的输出数据，经过一系列的计算和分线性变换得到当前层的输出，传递到下一层。经过多层嵌套，实现原始数据到高级抽象概念的映射。本文中的通用分类器需实现PolSAR数据到地物类型的映射，通用分类器模型结构如图1所示，将PolSAR数据转译成分类图。该分类器先使用神经网络对PolSAR数据进行特征提取，然后使用提取到的特征进行分类，将特征提取和特征分类组合成完整的通用分类器。CNN可被看成是特征提取和分类器的结合。在多层级的结构中，除了输入和输出，其他中间变量都被称为特征值，即不同层级提取的是输入数据不同等级的特征。去除CNN输出层，其得到的中间结果就是对任务数据所提取的特征，从特征到输出的映射可看成是一个分类器的运算。因此，CNN符合通用分类器的完整结构要求。

CNN的结构需要依据数据和输出要求进行设计，在通用分类器的设计中，输入数据格式被定义为T矩阵的格式。所有的输入数据具有相同的通道数，其差异性体现在数据的窗口大小上。本文神经网络模型的参数配置如图2所示，神经网络模型的输入数据为12×12×6的矩阵，输出结果是对样本归属类型的预测概率向量，表示样本输出各类别的置信度。模型中除了输入层和输出层外，还有2层卷积结构、1层降采样结构和2层全连接结构。卷积结构是一种局部特征的提取方法，而降采样层对输入数据进行降采样，降低算法的计算复杂度。全连接结构中的所有输出都是利用全部输入数据进行计算得到。

图2 CNN模型结构Fig.2 Structure of proposed CNN model

CNN卷积层的卷积核参数包括卷积核的尺寸和个数，以“长×宽×卷积核数量”表示，降采样层使用窗口大小和移动步长都是2×2，即将输入数据划分成2×2的单元，选取每个单元中的最大值表示该单元，实现对数据的降采样。在网络输出层使用softmax函数计算通用分类器对样本归属类别的归一化概率预测。函数的表达式为

(8)

式中：pi为模型预测的样本属于第i类的概率；xi为softmax函数的输入，是没有归一化的样本类别预测概率；i为对应的类别；n为样本类别数。神经网络输出通过softmax函数得到对样本数据归属类型的归一化预测概率矢量，通常选取其中概率最大的元素对应类别作为样本预测类别。

图1 PolSAR通用分类器结构Fig.1 Proposed general purpose classifier for PolSAR data

3 实验结果及分析

PolSAR根据搭载平台的不同分为机载PolSAR和星载PolSAR。其中：星载PolSAR轨道相对稳定，适合长时间、大规模成像；机载PolSAR搭载在大气层内的飞行器上，与星载PolSAR相比，虽然具有更大的扰动，运行平台不稳定且不易控制，但其机动性强、传感器易更换，能有针对性地选择成像目标，更重要的是能提供实时成像，因此，机载PolSAR经常被用作为星载试验平台。

3.1 机载PolSAR数据分类实验

本实验使用的机载PolSAR数据包含建筑物、农田、水面等地面类型。在设计地表覆盖分类类型时，将地表类型简单分为人造地表、水体、裸地和2种植被。由于缺少地面真实数据，因此无法对不同类型的植被进行更精细的区分，通过对SAR数据和谷歌影像图中的地表进行比较，将植被类型分为低矮植物(草地)和树丛(灌木或乔木)。实验中的训练样本数据格式是12×12×6的矩阵，表示样本为12×12像素的局部区域。机载PolSAR图像分类实验数据选取示意和光学影像如图3所示。其中，图3(a)为PolSAR数据的Pauli RGB图像，由于该图近端和远端数据强度存在较大差异，因此需选取不同区域的训练样本，使训练集尽可能覆盖充分。在本实验中，设置水体、灌木、草地、裸地、道路和民居6类地形，分别在图3(a)中以蓝色、深绿色、浅绿色、黄色、黑色、红色表示。

图3 机载PolSAR图像分类实验数据选取示意图和光学影像Fig.3 Airborne PolSAR data and corresponding optical image

使用图3中选择的数据样本训练神经网络，然后对图4中给出的样例场景进行分类。场景的数据相对于训练样本是全新数据。测试结果能充分反应通用分类器在面对全新数据时的性能。图4中给出Pauli RGB图像、对应区域的光学影像和分类结果。由图可见：不同类别的地表具有不同的散射特征，在分割图中能够比较准确地分割。在分割结果中，不同地块的边缘部分大多被分类成民居建筑，这是因为在选取建筑物样本时，是对居民区进行整体选择，由于居民区中存在较多的其它地块，导致边缘类别较多，因此模型将大部分的边缘分类成建筑物类别。此外，由于数据在近端和远端具有不同的散射强度，导致模型在对数据中的近端和远端的分类存在一定偏好，尤其是在对2种植被的分类上。对近端更多分类为灌木，而远端则更多分类为草地。此外，对于由平台抖动导致的阴影区域，散射强度较弱，与水体的散射特征比较相似，因此存在大量被分类成水体的情况。

图4 机载PolSAR数据分类测试场景Fig.4 Test scene of airborne PolSAR

对SAR数据分类结果和光学卫星影像进行比对，可以看出神经网络的输出预测与真实的地表基本吻合，证明了PolSAR通用分类器设计思路的正确性和可行性。使用准确的训练集对神经网络进行训练，基于CNN的通用分类器可以对数据中的地物信息进行有效提取和分类。

3.2 星载PolSAR数据实验

在星载PolSAR数据分类实验中，选择使用高分三号(GF-3)卫星的PolSAR数据进行分类。GF-3卫星是中国高分专项工程中发射的第1颗SAR卫星，也是中国首颗分辨率为1 m的C频段、多极化SAR卫星，由中国航天科技集团有限公司研制，于2016年8月发射成功[11]。图5中给出了2017年11月4日GF-3卫星对上海长兴岛采集的PolSAR数据样例。星载PolSAR图像地物分类实验采用和机载PolSAR相同的处理方法，但实验中使用的星载PolSAR数据的实测像素分辨率为4.8 m×5.5 m，与机载PolSAR图像的分辨率存在较大的差异。在本场景中，由于SAR数据分辨率较低，导致道路等小型目标无法有效识别，因此在GF-3卫星数据场景中，仅将地面目标分为6类，分别为人造地表、水体、农田、湿地、树林和船只。图5中，使用所选框中的数据分别标记所选的除船只外的5类样本，船只样本是在水面上的孤立区域，不在图5(a)中标识。在所选范围内进行随机采样，获取神经网络训练样本。数据采样窗口大小为12×12×6。

图5 GF-3卫星数据Pauli RGB图像和分割结果Fig.5 Pauli RGB image of GF-3 data and its segmentation result

选择图5(a)中标记的区域进行模型的训练，然后对场景进行整体分类，得到了图5(b)中给出的分类结果图。场景中的船只样本由于其目标是独立的小个体，在图像中显示不明显，因此使用黄色“X”对每艘船只进行标记，使船只目标便于观察。从图5(b)中可看到建筑物、水体和植被(包含3类不同植被)能很好被区分，水面上的船只也可被准确识别。由于缺少植被样本的分布真值，本实验中植被样本通过在卫星影像中确定其类型，数据精度较低，导致在植被分类中出现了3种植被混杂的情况，但是在长兴岛的两端和几个孤立小岛还是被准确地分类识别。船只为水面上孤立的强散射目标，其分布特征与水面和建筑物区域有较大的不同，可以通过简单的处理对船只进行识别。整幅场景中，共检测出419艘船只。

实验表明：基于CNN的通用分类器能对GF-3卫星采集的数据进行有效地物分类；在地物分类结果中，植被、人造地表和水域被准确分辨，分类图可提供更多直观的信息，如船只数量。通用分类器能对星载PolSAR数据进行有效分类，在星载PolSAR数据上使用具有可行性和有效性。

4 结束语

本文对PolSAR数据地物分类研究进行了总结，尤其是基于深度学习和大数据的地物自动分类算法。结合深度学习和人工标记的PolSAR数据，提出一种通用分类器的结构模型，将通用分类器分为特征提取和特征分类2个阶段。基于大数据的深度学习算法可自动地从海量数据中学习相关特征并完成分类任务，自动化实现了特征提取和分类。基于通用分类器模型给出一个具体的深度卷积网络模型，并分别在高分辨率机载PolSAR数据和低分辨率星载PolSAR数据上进行分类测试。通过2组数据实验，证明基于深度学习的通用分类器在不同分辨率数据上均有较好表现，能快速地将原始 PolSAR数据转译为地物类型。本文提出的通用分类器在星载和机载PolSAR数据上都能较好工作，具有良好的分类性能，对PolSAR相关研究具有重要的实用价值。本文通过实验验证了通用分类器设计思路的有效性，但是由于缺乏真实的高分辨率地表数据，难以建立高精度的数据样本。因此，未来工作主要为采集地表真实的数据，将地表数据与PolSAR数据进行匹配，并使用精确数据集，设计多极化、多分辨率的通用分类器，实现对多类型数据的分类。

[1] LANCHANTIN P, LAPUYADE-LAHORGUE J, PIECZYNSKI W. Unsupervised segmentation of triplet Markov chains hidden with long-memory noise [J]. Signal Processing, 2008, 88(10): 1134-1151.

[2] LANCHANTIN P, KAPUYADE-LAHORGUE J, PIECZYNSKI W. Unsupervised segmentation of randomly switching data hidden with non-Gaussian correlated noise [J]. Signal Processing, 2011, 91(5): 163-175.

[3] LAPUYADE-LAHORGUE J, PIECZYNSKI W. Unsupervised segmentation of new semi-Markov chains hidden with long dependence noise [J]. Signal Processing, 2010, 90(4): 2899-2910.

[4] WU Y, LI M, ZHANG P, et al. Unsupervised multi-class segmentation of SAR images using triplet Markov fields models based on edge penalty [J]. Pattern Recognition Letters, 2011, 32(4): 1532-1540.

[5] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks [J]. Science, 2012, 313(5786): 504-507.

[6] ZHOU Y, WANG H, XU F. Polarimetric SAR Image classification using deep convolutional neural networks [J]. IEEE Geosci. Remote Sens. Lett, 2016, 13(12): 1935-1939.

[7] GAO F, HUANG T, WAND J, et al. Dual-branch deep convolution neural network for polarimetric SAR image classification[J]. Applied Sciences, 2017, 7(5):447.

[8] LIU H, YANG S, GOU S, et al. Polarimetric SAR feature extraction with neighborhood preservation-based deep learning[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2016, 10(4): 1456-1466.

[9] ZHANG Z, WANG H, XU F, et al. Complex-Valued convolutional neural network and its application in polarimetric SAR image classification[J]. IEEE Transactions on Geoscience and Remote Sensing. 2017, 55(12): 7177-7188.

[10] CHEN S, TAO C. PolSAR image classification using polarimetric-feature-driven deep convolutional neural network [J]. IEEE Geoscience & Remote Sensing Letters, 2018, 15(4): 627-631.

[11] 张庆君. 高分三号卫星总体设计与关键技术[J]. 测绘学报, 2017, 46(3): 269-277.