基于深度学习的SAR 图像质量提升方法研究

刘艳芳，李春升，杨 威

（北京航空航天大学电子信息工程学院，北京 100191）

0 引言

合成孔径雷达（Synthetic Aperture Radar，SAR）是一种主动式微波传感器，通过发射电磁波并接收地面目标的反射信号，对其进行成像处理来获取目标的高分辨率图像，能够实现全天时、全天候成像。由于SAR 图像的微波成像机理，SAR图像中存在着一些明显区别于光学图像的特征，质量也明显弱于光学图像。SAR 图像的关键特征主要体现在以下方面：1）SAR 图像可以有效反映目标的散射信息、结构信息等，但缺乏光谱信息，在视觉效果上弱于光学图像。SAR 图像的解译存在一定难度。2）SAR 图像的分辨率受信号带宽影响。由于系统设计的限制，SAR 图像的分辨率有极限。SAR 图像对目标特征的刻画能力受分辨率影响。3）地面散射物的反射信号之间存在相干干扰，使得SAR 图像中存在特有的斑点噪声，大大降低了SAR图像质量。4）SAR 图像的模糊函数为二维Sinc 函数，其图像中存在不可忽视的旁瓣问题。

SAR 图像中存在的诸多问题，使得后续的SAR图像处理和解译存在一定困难。SAR 图像质量提升是SAR 图像处理中的一个重要研究内容。SAR 图像质量的提升主要是图像辐射质量的提升与图像可判读性的提升。SAR 图像辐射质量的主要评价指标为信噪比、信杂比、辐射分辨率和等效视数等。SAR 图像可判读性主要的评价标准为图像有效信息的保留及增强效果。图像中的旁瓣信息为冗余信息，去除旁瓣信息，可以有效提升SAR图像的判读性。而图像的超分辨处理同样能够增强图像的有效信息，增强SAR 图像的视觉效果。

近几年，深度学习理论飞速发展，深度学习技术广泛应用于各个研究领域。在SAR 图像处理中，同样取得了重大进步。深度学习由于其智能化、自主学习的特征，可摆脱传统方法对信号建模带来的性能限制，为SAR 图像质量增强提供了新的思路。深度学习在光学图像处理上的成功也为SAR 图像质量提升提供了强有力的支撑。在SAR 图像质量智能增强领域，深度学习的未来发展前景可观。

本文重点对深度学习中的典型神经网络及其在SAR 图像质量提升中的关键应用进行了综述。从SAR 图像质量提升中的旁瓣抑制、超分辨和图像融合3 个方面，分别介绍深度学习在其中的应用，并展示了处理结果。对深度学习在SAR 图像质量提升领域的进一步研究方向进行了展望。

1 典型网络

深度学习中的典型网络包括卷积神经网络（Convolutional Neural Networks，CNN）、循环神经网络（Recurrent Neural Network，RNN）和生成对抗网络（Generative Adversarial Network，GAN）等，其中在SAR 图像质量提升中，以CNN 与GAN 为典型代表。

1.1 CNN

CNN是目前最为常用的神经网络，其关键特征在于使用卷积层核和池化层进行自主的信息/特征提取，并利用提取后的重要信息，通过训练构建输入输出间的非线性映射。CNN 主要由卷积、激活、池化3 种操作完成从输入到输出的映射，其结构如图1 所示。

图1 CNN 结构Fig.1 Structure of CNN

1.1.1 卷积

卷积操作是CNN 中的核心操作，其主要作用为提取图像特征信息。通过多个卷积核，可以分别提取图像的多个特征。同样地，也可以采用多个卷积层，实现不同感受野和不同尺度信息的提取，获取图像的底层信息。

1.1.2 激活

激活是CNN 能够解决非线性问题的关键，类似于神经元的“激活”。激活操作的主要作用在于完成非线性映射，实现非线性建模。

1.1.3 池化

池化操作的主要作用是减少参与运算的像素点。通过一个小尺寸的滤波器，保留主要像素点，剔除冗余信息，实现非线性降采样。

1.2 GAN

GAN 由GOODFELLOW 等提出，其原理思想来源于博弈相对论。典型的GAN 如图2 所示，其主要由生成器和判别器组成。生成器的目标与作用是生成尽可能接近于真实的图像，而判别器的目标与作用则是尽可能有效地判别图像的真假。生成器与判别器之间相互对抗与博弈，不断优化各自的性能，最终达到纳什平衡。在实现时，采用先固定一方，优化另一方的方式实现功能。在最大化判别器判别能力时，固定生成器；同样，在最小化生成器输出图像与真实图像的差别时，固定判别器。迭代地优化生成器和判别器，使其相互促进，从而达到性能的最优。

图2 GAN 结构Fig.2 Structure of GAN

2 深度学习在SAR 图像质量提升中的应用

2.1 基于深度学习的SAR 图像旁瓣抑制方法研究

旁瓣抑制问题是SAR 图像中的一个关键问题，也是一个典型的逆问题。SAR 图像的点扩散函数为一二维Sinc 函数，其旁瓣众多，且其强度以周期性振荡的方式递减。对于强点目标，其旁瓣能量将会在图像中漫延，甚至掩盖弱点目标。旁瓣信息在SAR 图像中属于无效信息，需剔除以增强SAR 图像质量。理想的旁瓣抑制方法是既能有效抑制旁瓣能量，又能保持主瓣的宽度与能量。但在传统的旁瓣抑制方法中，两者是矛盾的。传统旁瓣抑制方法通常以主瓣分辨率或主瓣能量为代价，获取良好的旁瓣抑制性能。图像的分辨力抑或是图像的能量损失，均为后续的SAR 图像应用造成一定困难。

深度学习为SAR 图像旁瓣抑制问题的解决提供了一种新的思路。将深度学习与传统方法相结合，提出一种基于深度学习的旁瓣抑制方法。利用空间变迹法（Spatially Variant Apodization，SVA）方法消除目标的旁瓣，同时，利用CNN 来恢复主瓣能量，从而实现“理想”的SAR 图像旁瓣抑制。首先利用鲁棒空间变迹法（Robust Spatially Variant Apodization，RSVA）方法得到预处理后的SAR 图像。预处理的SAR 图像的旁瓣得到有效抑制，但其主瓣能量损失，图像能量损失。对比预处理图像和原始图像，筛选出目标的主瓣像素。最后，利用CNN 对目标的主瓣能量进行增强，有效地恢复目标的强度信息。采用的网络结构如图3 所示。网络由4 个卷积层、1 个全连接层和1 个作为输出的神经元组成。激活函数为线性整流函数（Rectified Linear Unit，ReLU）。采用L2 正则化的损失函数，并通过基于梯度下降优化的反向传播算法训练数据。训练数据集为仿真生成的767 232 组仅包含主瓣信息的数据组成。

图3 基于CNN 的旁瓣抑制方法网络结构［6］Fig.3 Structure of the sidelobe suppression network based on CNN［6］

为了验证该方法的有效性，对TerraSAR-X 滑动聚束模式SAR 图像进行处理。图像中存在大量的建筑物，包含大量的散射强点，有明显的旁瓣问题。处理结果如图4 所示。对比RSVA 方法处理结果和原始图像，可以明显看出旁瓣信息被抑制，但是图像的强度整体下降，表明主瓣能量同样大量流失。为进一步对比RSVA 方法和基于CNN 的方法的处理结果，提取图像中的3 个区域进行放大，如图5 所示。对比结果表明，2 种方法的旁瓣抑制性能相近。对于孤立目标，如图5（b）所示，2 种方法的结果也相近。但对杂乱区域中的目标，如图5（c）所示，基于CNN 的方法有效增强了目标强度，目标能量得到有效恢复。

图4 SAR 图像旁瓣抑制处理结果Fig.4 Sidelobe suppression results of SAR images

图5 图4 框选区域的局部放大图Fig.5 Partial enlarged images of the selected rectangle areas in Fig.4

本文研究方法展现了一种深度学习应用的典型思路，继承了传统方法的强大理论支撑，并借助深度学习实现了性能上的提升，有效发挥了深度学习的优势；以基于模型驱动的方法为基础，也有效规避了基于深度学习方法中对数据集及网络结构等的限制，降低了对深度学习方法的要求，方法的稳定性得以保证，方法的处理思路值得借鉴。

2.2 基于深度学习的SAR 图像超分辨方法研究

目前，基于深度学习的超分辨技术已经在自然图像上取得较好的效果。将深度学习应用于SAR 图像的超分辨处理同样是研究热点。SAR 图像的分辨率有限，对地面目标的细节信息刻画能力不足。同时，SAR 图像中受斑点噪声干扰，与光学图像相比，其图像质量及目标的可视化效果较弱。SAR 图像和光学图像间的差异，使得基于光学图像的超分辨方法无法直接应用于SAR 图像处理中。由于SAR 图像特征，实现SAR 图像的超分辨更具挑战性。

2017 年，王振等利用卡通纹理分解方法和聚类联合回归器的思想实现了低分辨率SAR 图像的高分辨率重建。基于联合学习的策略，使所有图像块的总误差达到最小，已实现更为准确的高分辨率重建。2018 年，WANG 等将生成对抗网络应用于SAR 图像超分辨率重建中，在重建精度上实现了新突破。2019 年，GU 等利用了深度生成对抗网络（Deep Generative Adversarial Network，DGAN）来重建伪高分辨率（High Resolution，HR）SAR 图像。通过采用更为优越的网络结构和引入对抗目标函数来进一步提升重建性能，使重建结果更为自然，并可恢复更多的纹理信息。LUO 等通过构建低分辨率图像和高分辨率图像的映射关系，并将结构相似性指数引入快速超分辨率CNN 中，实现了基于浮点数的SAR 图像超分辨率，其性能明显优于传统的CNN 方法。

超分辨率生成对抗网络（Super-Resolution Generative Adversarial Network，SRGAN）是光学图像的超分辨处理中的经典网络。在SAR 图像处理中，也可引入SRGAN 网络实现超分辨（Super Resolution，SR）。SRGAN 网络包含生成器与判别器2 个部分，其网络结构如图6 所示。SRGAN 网络使用SRResNet 网络作为生成器。SSResNet 网络包含卷积层、批规范层（Batch Normalization，BN）、16 个残差块以及2个子像素亚采样层。每个残差块均包括了卷积核、批规范层以及残差运算层。其激活函数为PReLU 函数。判别器包含了8个卷积层，并采用LeakyReLU 函数作为激活函数。判别器的最终输出需通过1 个Sigmoid 函数，以得到最终的概率输出。在SRGAN 网络中，将内容损失函数代替常规的MSE引入到生成损失函数中，与对抗损失函数共同组成生成损失函数，以促使网络学习图像中的细节信息。判别器的损失函数则为二分类交叉熵损失函数。

图6 SRGAN 结构图［16］Fig.6 Structure of SRGAN［16］

SAR 图像的特性导致其直接应用SRGAN 网络的效果并不理想，其主要影响因素为SAR 图像的斑点噪声。斑点噪声与图像的高频特征信息类似，在处理时，易将斑点噪声错认为特征信息进行增强，图像的超分辨结果出现块状或条纹状的噪声。因此，在超分辨处理前，需对低分辨率（Low Resolution，LR）SAR 图像中的斑点噪声进行预处理，输出相对干净图像制作为数据集。

同时，由于SAR 图像相对于自然图像，其有更多的目标结构细节，为了能达到更好的细节保持效果，则考虑引入SSIM 指标作为损失函数的一部分，来鼓励网络学习到更好的边缘结构目标细节。基于SRGAN 的SAR 图像超分辨处理流程如图7所示。

图7 SAR 图像超分辨处理流程Fig.7 Flow chart of SR processing for SAR images

为验证方法的超分辨率性能，利用TerraSARX 卫星SAR 图像产品进行实验。对不同角度的SAR 图像进行滤波处理和降采样处理，生成同一场景的多组高分辨率图像和低分辨率图像的样本对。对样本对进行随机裁剪、翻转和旋转以适配不同的场景模型，增强网络性能。利用数据集训练SRGAN 网络模型，再将测试SAR 图像输入到网络中，得到相应的超分辨率结果，如图8 所示。低分辨率图像和超分辨率结果的对比，证明方法能有效地实现超分辨，道路线条、房屋建筑等目标轮廓清晰，细节保持良好，重建结构及细节逼近真实图像。

图8 SAR 图像的超分辨处理结果Fig.8 SR processing results of SAR images

2.3 基于深度学习的SAR 图像与光学图像融合方法研究

SAR 图像能够全天时、全天候成像，但是由于光谱信息的单一，SAR 图像的视觉效果不佳。而光学图像则与SAR 图像相反，具有丰富的光谱信息，其视觉效果也与人眼视觉效果一致。但是，成像条件苛刻，夜晚及云雨天气无法成像，无法满足实时的任务响应与观测需求。SAR 图像和光学图像间优势互补，将SAR 图像与受影响的光学图像融合，可以提高图像的视觉可读性，减弱SAR 图像解译难度，便于SAR 图像的后续处理。因此，对SAR 图像和光学图像的融合的研究具备重要意义。

近年来，深度学习在图像融合领域得到了快速的发展，在融合中充分发挥了其“自主学习”的特点，实现了更优的融合结果。2019 年，LIN 等分别从像素级、特征级和决策级3 个层面进行光学图像和SAR 图像的融合。通过多级融合，有效提升融合图像的质量。同年，LUO 等提出了一种基于非下采样轮廓波变换和脉冲耦合神经网络的SAR 图像与红外图像的融合方法。通过脉冲耦合神经网络综合考虑不同图像的特征信息，自动配置参数，实现了更好的融合效果。2020 年，HUANG等利用条件生成对抗网络（Conditional Generative Adversarial Network，CGAN）实现了RGB 图像和SAR 图像的特征级融合，有效生成了无雾的图像。

简化型脉冲耦合神经网络（Simplified Pulse Coupled Neural Network，SPCNN）是脉冲耦合神经网 络（Pulse Coupled Neural Network，PCNN）的一种改进形式，其基于脉冲皮质模型（Spiking Cortical Model，SCM）来实现参数的自动化设置。SPCNN 具有耦合性质，神经元间可实现信息传递。同时，网络不需要预先的训练及练习，因此非常适用于图像融合。另外，SPCNN 可综合考虑不同图像的特征信息，自动配置参数，可以实现更好的融合效果。将SPCNN 与传统的非下采样轮廓波变换（Non-subsampled Contourlet Transform，NSCT）以及稀疏表示方法相结合，借助SPCNN 来有效融合高频特征信息，同时利用稀疏表示的方式来处理低频信息，可以实现光学图像和SAR 图像的有效融合。算法的流程如图9 所示。

图9 基于NSCT 的SPCNN-SR 图像融合流程Fig.9 Flow chart of the image fusion process based on NSCT and SPCNN-SR

首先利用色度强度饱和度（Hue-Intensity-Saturation，HIS）变换获取光学图像的亮度分量，并分别对光学图像的亮度分量和SAR 图像进行NSCT 变换，获取其相应的低高频系数。利用SPCNN、稀疏表示处理高频分量和低频分量，并依据各自的融合规则进行融合，以得到融合后的高低频分量。最后，进行逆NSCT 变换，获取融合后的亮度分量。将其与光学图像的分量和分量进行JIS 逆变换得到最终的融合图像。

选取2 组数据验证方法的有效性。第1 组图像为美国奥马哈区域高分系列卫星的经过精配准后的图像，SAR 图像和光学图像如图10（a）、图10（b）所示。第2 组图像为中国北京市区域高分系列卫星的经过精配准后的图像，SAR 图像和光学图像如图11（a）、图11（b）所示。SAR 图像均为高分三号卫星数据，光学数据为高分二号数据。从图10（c）可以看出，SAR 图像能够为图像提供更多的细节特征，同时，光学图像也使得最终的融合结果具备较好的视觉效果，融合后的结果在边缘细节及色彩信息上有了一定提升，更易于图像的解译。图11（c）表明了SAR 图像能够弥补光学图像在特殊气候下的成像效果。

图10 美国奥马哈区SAR 图像与光学图像的融合结果Fig.10 Fusion results of SAR and optical images of Omaha，U.S.A.

图11 北京市区域SAR 图像与光学图像的融合结果Fig.11 Fusion results of SAR and optical images of Beijing

3 结束语

本文对深度学习在SAR 图像质量提升中的关键应用进行了研究，从SAR 图像旁瓣抑制、超分辨和图像融合分别验证了深度学习方法的优越性能。可以预见，深度学习在SAR 图像质量提升领域将得到长足的发展。深度学习在SAR 图像质量提升领域的进一步研究方向包括：

1）目前应用于SAR 图像质量提升中的深度学习网络，大多基于光学图像进行开展，其卷积核、激活函数或是损失函数大多是针对于光学图像处理的。针对于SAR 图像特征特有的处理或是核心函数较少。因此，研究由SAR 图像特征启发的核心处理是未来深度学习在SAR 图像处理领域中的关键问题，也是重点研究方向。

2）深度学习方法与传统方法的结合将是未来的研究方向。在传统方法的理论支撑下，利用深度学习方法突破理论极限，能够达到更优的性能。

3）样本数据量的多少一直是深度学习网络中的关键问题。相比于光学图像，SAR 图像样本集较少，方法的性能受到一定影响。因此，针对小样本集的深度学习网络模型优化也是一个关键问题。