多角度SAR图像非目标遮挡缺失信息重构

周晓艳 唐 涛 张思乾 崔雨婷 匡纲要

(国防科技大学电子科学学院电子信息系统复杂电磁环境效应国家重点实验室, 湖南长沙 410073)

1 引言

合成孔径雷达(Synthetic Aperture Radar,SAR)是主动式侧视雷达系统,记录传感器到目标物的相对距离,成像几何属于斜距投影类型[1]。SAR对地面目标侧视成像时,若电磁波在传播过程中因高大目标(如树木,建筑等)遮掩无法照射到目标上,被遮掩部分无法产生回波进而在SAR图像目标上表现为暗区,即阴影[2-3]。这种非目标遮挡情况将导致目标部分区域出现信息缺失。目标信息缺失会进一步导致目标检测漏检率高,目标识别准确率低,目标跟踪稳定性差等。因此,解决非目标遮挡情况下的SAR图像目标信息缺失问题是实现SAR图像智能解译的重点与难点之一。

针对非目标遮挡导致的目标缺失信息重构问题,主要有基于深度学习的方法[4- 6]和基于低秩张量补全的方法[7-11]。深度学习中的卷积神经网络具有强大的特征表述能力,能获取图像的高层语义信息与结构特征。卷积神经网络结合生成对抗网络可以通过已知信息预测缺失信息实现缺失信息重构。在此基础上,Zhan等人提出自监督场景去遮挡,在实例分割数据集COCO上有效重构了目标被遮挡部分的缺失信息[5]。Yu等人对数百万张图像进行学习得到门控卷积并结合SN-PatchGAN实现目标缺失信息重构[6]。低秩张量补全假设观测数据与缺失数据之间存在低秩子空间,对缺失部分进行重构,主要有张量秩最小化模型[7,11]和张量分解模型[12-14]。Ji Liu等人利用SiLRTC, HaLRTC和FaLRTC算法对数据缺失的彩色图像以及医学图像等具有较强结构性的图像进行填充,与原图的相对误差小[7]。Johann A等人提出张量链秩,在利用秩最小化模型进行缺失重构时,张量链秩更能捕捉张量数据的潜在信息,对视频图像以及较高概率的随机缺失彩色图像具有良好的重构效果[11]。张志伟等在Tucker张量分解的目标函数中添加非负和稀疏约束,针对非负高阶张量缺失重构效果较好[15]。

基于深度学习方法的缺失信息重构需要大量数据进行训练以达到期望的效果。然而,SAR图像样本少,限制了基于深度学习的算法在SAR图像目标缺失信息重构上的应用。现有的基于低秩张量补全(重构)的方法在图像随机缺失与图像纹理信息强的情况下重构效果较好,因此在自然图像与医学图像上相关应用多,SAR图像相关应用少。SAR图像非目标遮挡导致的目标缺失区域呈块状连通区域的特点,属于非随机缺失。此外,SAR图像含相干斑噪声,单一方位角图像纹理信息弱,结构性不强。因此,直接在SAR图像非目标遮挡情况下使用低秩张量补全相关算法重构目标缺失信息还有待商榷。为解决图像块状或条状缺失(非随机缺失)的情况,Yokota等人将数据进行多路延时嵌入变换(Multi-way delay embedding transform, MDT)转换到高维空间中以形成块Hankel张量,在高维数据空间进行张量分解,实现缺失信息重构。其实验结果表明,基于嵌入空间的低秩张量补全算法能获取数据中的延时和移位不变结构[10,16],对非随机缺失情况下的信息重构具有良好的效果。张量分解模型中的Tucker分解算法可解释性强,可用于特征提取与子空间学习等,因此本文的低秩张量补全采用Tucker分解实现。

SAR成像对包括成像俯视角、目标方位角等因素敏感,多角度SAR图像较单一角度SAR图像具有空间分集优势,相邻方位角SAR图像之间相似度高,已被用于解决目标识别中的遮挡、叠掩问题[17]。同时,相邻视角SAR图像信息具有一致性与互补性,具有极强的潜在目标细微特征描述能力[18-20]。

结合多角度SAR图像优势,采用多角度SAR图像序列构建张量并利用低秩张量分解和学习序列图像间的关系,以解决单一方位角SAR图像纹理信息弱和结构性不强带来的信息缺失重构难题。针对SAR图像非目标遮挡时的目标信息非随机缺失的情况,在低秩张量补全算法中引入MDT以获取相邻方位角图像之间的延时不变结构和提取张量中的低秩特征。综上所述,本文提出了一种非目标遮挡下目标缺失信息的重构方法。首先,将非目标遮挡情况下的多角度SAR图像序列构成三阶张量。其次,通过MDT 嵌入到高维空间,形成块Hankel张量。然后,对块Hankel张量进行Tucker分解得到补全后的块Hankel张量。最后,对补全后的张量进行MDT逆变换,得到非目标遮挡缺失信息重构后的三阶张量。

2 Tucker分解与MDT

2.1 Tucker分解

Tucker分解于1996年由Tucker提出,被广泛应用于信号处理,机器视觉,数据压缩,纹理生成,数据挖掘,环境和网络建模等领域[21]。Tucker分解又称为高阶主成分分析可用于特征提取,因此,在机器视觉领域中常用于目标识别,图像压缩与图像降噪等。Tucker分解将N阶张量X∈RI1×I2×…×In×…×IN分解为一个核心张量G∈RJ1×J2×…×Jn×…×JN和N个因子矩阵U(n)∈RIn×Jn的n-mode乘积如式(1)所示。Tucker分解得到的因子矩阵表示张量对应模展开的主成分,核张量表示了各个成分之间的相关程度。

X=G×1U(1)×2U(2)…×NU(N)

(1)

G×nU(n)表示张量G的模n展开与矩阵U(n)∈RIn×Jn的n-mode乘积,定义为[21]:

(2)

由公式(1)和公式(2)可以得到张量中某点的展开式(3)。

(3)

2.2 MDT

MDT将低维数据嵌入到高维空间,可用于构造Hankel矩阵或块Hankel张量,这种张量具有低秩和平滑特性,较原始数据更易学习和训练[10,21]。向量的延时嵌入将向量转化为Hankel矩阵如2.2.1所示;单路延时嵌入将矩阵转换为三阶块Hankel张量如图1所示;MDT将高阶张量转换为更高阶的块Hankel张量,如公式(10)所示。

2.2.1向量延时嵌入

假设v=(ν1,ν2,ν3,…,νL)T∈RL,则向量v延时τ的Hankel矩阵如式(4)所示。

(4)

(a)根据τ构造Duplication matrixS,S∈{0,1}τ(L-τ+1)×L,如式(5)所示。

(5)

(b)折叠(floding)

(6)

vec(·)表示将矩阵按列展开,则向量v经延时嵌入后的Hankel矩阵如公式(7)所示。

(7)

fold(L,τ)(·)将向量折叠为矩阵。

由步骤(a)和(b)可知,向量延时嵌入对应的Hankel矩阵可由Duplication matrixS与向量v的乘积经折叠后得到。

2.2.2向量的延时嵌入逆变换

向量的延时嵌入逆变换将嵌入空间的高维数据转换为原始空间的低维数据,同样包含两个步骤如式(8)所示。(a)Hankel矩阵按列展开,(b)展开得到的向量左乘duplication matrixS的广义逆矩阵(摩尔-彭若斯广义逆S†,定义如式(9)所示)。

(8)

(9)

2.2.3MDT

张量是数据最本质的表示形式之一,如灰度图像可以表示为矩阵即二阶张量。矩阵由多个向量组成,因此,结合2.2.1可知,矩阵的单路延时变换如图1所示。张量可以展开为多个矩阵,MDT可以视为矩阵的延时嵌入变换(单路延时嵌入变换)的高阶延伸。

图1 单路延时嵌入Fig.1 Single-way delay embedding

MDT对张量X的各模态展开得到的矩阵依次进行单路延时嵌入,如式(10)所示,对应的延时嵌入逆变换如式(11)所示。

(10)

(11)

由公式(10)可知,MDT将原始数据嵌入到高维空间,原N维的张量最多可以为2N维的块Hankel张量。块Hankel张量具有低秩和平滑特性,有利于特征提取,能有效获取序列图像之间的延时不变结构或提取多时序数据之间的相关性。

3 非目标遮挡情况下的多角度SAR图像目标缺失信息重构

本节结合MDT与Tucker分解算法,实现多角度SAR图像非目标遮挡情况下的目标缺失信息重构,主要包括四个顺序执行的步骤,其中算法时间复杂度最高的为Tucker分解重构缺失信息部分。因此,整个算法的渐进时间复杂度由图2可知,与maxiter和N成正比,其中maxiter表示最大迭代次数,N表示单通道SAR图像数量。算法的空间复杂度与变换后得到的Hankel张量大小成正比。本文所提方法的具体理论方法流程如图3。

图2 Tucker分解重构缺失信息算法

图3 目标缺失信息重构流程Fig.3 Reconstruction for target missing information

(1)多角度SAR图像序列张量构建

多角度SAR图像相邻方位角图像之间相关性强,为更好利用MDT获取不同方位角图像之间的延时不变结构,将SAR图像作为正向切片按照方位角顺序叠成张量。每个方位角对应的SAR图像可视为矩阵Xi∈RL1×L2,i=1,2,…,N。因此,含N个单通道多角度SAR图像序列组成的三阶张量为X,X∈RL1×L2×N。

(2)MDT

MDT将SAR图像序列组成的三阶张量转换为块Hankel张量,变换后的张量更易学习,有利于特征提取。SAR图像存在相干斑噪声,对均匀分布的单一地物而言,其SAR图像也表现为灰度分布非均匀。所以,SAR图像有用的纹理信息弱,结构性不强。因此,在单一SAR图像内使用MDT不仅没有意义还会带来更大的计算量。相邻方位角图像的相关性强,为更好学习方位角图像间的相关性信息,对张量中与方位角相关的维度进行MDT。由(1)中的张量构建过程可知张量的第三维度与方位角相关,结合公式(10)可以得到经MDT后的块Hankel张量XH,其阶数为变换前的两倍,如式(12)所示。

XH=fold(I,τ)(X×1S1×2S2×3S3), fold(I,τ):RL1×L2×τ(N-τ+1)→R1×L1×1×L2×τ×(N-τ+1)

(12)

(3)Tucker分解重构缺失信息

(13)

(14)

为寻找最优解,利用文献[10]的方法对公式(13)进行凸松弛并化简,得到新的目标函数如式(15)所示。

(15)

公式(15)求解方法主要有HOOI[22]和HOSVD[23]。HOSVD求解算法对张量各模态展开得到的矩阵做SVD分解得到与该模态对应的因子矩阵U(N),最后计算张量在各个模态上的投影作为核张量G。HOSVD不能直接得到Tucker分解的理想结果,但是经HOSVD得到的因子矩阵可以作为迭代交替最小二乘法的初始值。HOOI算法则是一种常用的迭代交替最小二乘算法。因此,本文用HOSVD对核心张量和因子矩阵进行初始化,HOOI算法更新核心张量与因子矩阵,最终实现Tucker分解以重构缺失信息。原张量与重构张量观测值之间误差(如公式(17)所示)和迭代次数作为设置迭代终止的必要条件。当误差小于某一常数(ε)或者迭代次数达到某一设定值(maxiter)时退出迭代,此时的因子矩阵和核心张量作为HOOI的求解结果。由公式(13)可知,使用Tucker分解时需给定核心张量的秩,核心张量的秩越小,重构后的图像越平滑,对观测值的重构误差越大。设置合适的核心张量的秩十分关键,为此采用公式(16)对张量秩进行约束并在给定的张量秩的集合{rank(G)}={{R1},{R2},{R3},{R4},{R5},{R6}}中寻优。若在当前秩的情况下不能满足公式(16)则往秩增加的方向更新核心张量秩。

(16)

(17)

本节中利用Tucker分解算法重构目标缺失信息的伪代码如图2所示,其中HOSVD的算法参考文献[23]。

(4)MDT逆变换

MDT逆变换将块Hankel张量转换到原始数据空间的三阶张量,由公式(11),(12)可得(18):

(18)

4 仿真实验验证与分析

4.1 非目标遮挡SAR图像数据构建

SAR对地观测时在距离向会产生阴影。阴影区域不含信息,灰度值低且连通,如图4的实线白圈所示。当SAR对目标进行侧视成像时,目标被阴影遮挡的部分可以视为图像信息缺失,如图4(a)中虚线白圈所示。因目前没有公开的SAR遮挡目标图像数据集,拟采用灰度值为0的像素替代SAR图像目标靠近雷达入射方向一侧的部分目标区域,模拟SAR图像中的非目标遮挡情况下的目标信息缺失。非目标遮挡情况下模拟数据构建过程如图5所示。

图4 SAR图像Fig.4 SAR images

图5 非目标遮挡SAR图像构建示意图Fig.5 Construction of occlusion data for SAR image

4.2 非目标遮挡情况下的SAR图像缺失信息重构实验

移动与静止目标搜索与识别(Moving and Stationary Target Acquisition and Recognition,MSTAR)项目是由美国国防部和空军实验室投资,由美国Sandia国家实验室的X-band SAR传感器采集,该传感器为高分辨率的聚束式合成孔径雷达,分辨率为0.3 m×0.3 m[24]。MSTAR项目在多个俯仰角和方位角对目标成像,其部分光学图像与SAR图像如图6所示,可见在相同俯仰角下目标姿态角不同,其对应的SAR图像也表现不同。

图6 MSTAR多角度图像Fig.6 Multi-view data in MSTAR

考虑MSTAR数据集中各类别样本数量,选择2S1俯仰角为17°,方位角为2°至56°共55张多角度SAR图像进行实验并在部分实验中与经典算法HaLRTC对比。HaLRTC算法基于张量秩最小化模型,将张量秩最小转化为张量各模态展开下的迹范数最小模型,如公式(19)所示。其中,Mi等于张量X各模态下的展开式X(i),XΩ,TΩ表示观测数据。将(19)中的矩阵Mi用张量表示,得到公式(20)。在(20)的基础上得到增广拉格朗日目标函数如公式(21)所示,其中Yi为额外变量,ρ为超参数。

(19)

(20)

(21)

本节实验面向以下三种情况设置:(1)单一角度SAR图像目标缺失信息重构;(2)连续观测角SAR图像目标信息缺失重构;(3)连续观测角SAR图像目标信息缺失重构。

实验结果评价准则是均方根误差(Root Mean Square Error,RMSE)和结构相似性指数(structural similarity index,SSIM)以及特征相似度(Feature Similarity, FSIM)。均方根误差表示预测值与真实值的标准差,当RMSE值为0时,表示重构后的图像与原图完全相同。SSIM指数综合考虑图像的亮度,对比度和结构三个因素,评估图像间的相似性[25],被广泛用于图像相似度评价。SSIM取值范围为0～1,当SSIM为1时表示两图完全相同,反之SSIM为0时表示两图不相似。FSIM是SSIM的改进算法,考虑了图像的相位一致性与幅度梯度值,最大值为1,值越大相似度越高[26]。因此,RMSE越小,SSIM值与FSIM值越接近1则缺失信息重构效果越好。

为便于处理,本文对MSTAR目标方位角取整,如方位角为2.48°在本文中视为方位角为2°。本实验所有SAR图像均中心剪裁至100×100。设置延时参数τ=[1,1,5],ε=1e-5,maxiter=100。若图像序列中含N个单通道图像,由公式(12)知rank(G)最大为[1,100,1,100,5,N-5+1],因此,设核心张量秩的集合为:

R={{1},{1,2,4,8,16,32,64,…,100},{1}, {1,2,4,8,16,32,64,…,100},{1,2,4,5}, {1,2,4,8,16,32,…,N-5+1}}

4.2.1单一角度SAR图像目标缺失信息重构

在SAR对地面目标成像时,若目标与高大遮挡物之间距离较远,则图像序列中会出现单一方位角图像非目标遮挡的情况。假设多角度SAR图像序列中方位角为29°的图像出现非目标遮挡,遮挡像素块区域逐渐增大。目标缺失信息重构效果如图7所示,第一行为遮挡示意图,第二行表示部分区域遮挡的SAR图像,第三行表示本文算法重构结果,第四行表示HaLRTC[7]算法的重构结果,第五行表示原图。图7的第一列到第七列依次表示信息缺失区域大小为7×7,9×9,11×11,13×13,15×15,17×17,19×19。从实验结果的目视效果看,本文算法得到的重构图像与原图,两者视觉相似度高,且重构图像目标与背景边界清晰,重构效果好;对比方法HaLRTC得到的重构图像缺失部分整体模糊,且存在散射点缺失现象。利用RMSE、SSIM、FSIM对重构结果进行评估,相关结果如表1所示,重构性能评价如图8所示。

图7 方位角为29°的SAR图像目标缺失信息重构Fig.7 Reconstruction of target missing information for azimuth 29° in SAR image

图8 不同重构算法性能对比图Fig.8 RMSE, SSIM and FSIM of different reconstruction algorithms

表1 不同算法下重构图像的相似性指标RMSE, SSIM,FSIM

由表1和图8可知,随着缺失信息增加,两种方法的重构误差上升,同时重构图像与原图的相似性下降。这是因为无论哪种方法都是利用观测值来逼近真实值,遮挡面积越大即观测值越少,更难找到重构的最优解。因此,在使用同样的图像序列对某一特定方位角图像的目标缺失信息进行重构时,遮挡面积越大,重构效果越差。从图8中两者的变化曲线可以看出,与HaLRTC算法相比较,本文算法重构误差更小,重构图像与原图的相似度更高。在缺失区域逐渐增大时,本文算法仍能保持较好性能,比HaLRTC算法稳健性更强。

4.2.2连续观测角SAR图像目标信息缺失重构

当目标与高大遮挡物之间距离较近,在多角度观测时,连续的方位角SAR图像中目标的不同位置会出现非目标遮挡导致的信息缺失。因此,假设原图像序列中方位角为25°至33°的SAR图像在目标的不同位置出现大小为7×7的目标信息缺失,如图9的第一行所示,原图如图9的第二行所示。利用本文算法对连续方位角SAR图像目标缺失信息进行重构,重构图像如图9中第三行所示,HaLRTC方法重构结果如图9中第四行所示。比较图9中的原图与本文算法得到的重构图像,两者视觉相似度高,图像中目标缺失信息被较好重构,重构图像清晰度高且边缘保持好。HaLRTC重构得到的图像缺失部分图像模糊,散射点不明确。采用RMSE,SSIM值与FSIM值对两种方法得到的重构图像进行评估,结果如表2所示。

图9 连续方位角目标信息缺失重构Fig.9 Reconstruction of continuous azimuth target information missing

表2 连续方位角目标信息缺失情况下重构图像相似性指标RMSE,SSIM,FSIM

由表2可知,连续方位角图像均出现目标部分遮挡时利用本文算法进行重构,各个方位角与原图的均方根误差和相似性指数在均值附近变化,较稳定。本文算法得到的重构图像与原图的均方根误差和相似度均优于HaLRTC算法。

4.2.3特定观测角SAR图像整图缺失下图像重构

SAR成像过程中,目标完全被周围高大阴影遮挡时该方位角图像缺失,属于非目标遮挡的极端情况。或者在SAR成像过程中会因载荷平台原因产生较大运动误差导致该视角图像模糊甚至缺失。这将影响多角度SAR图像目标智能解译的准确性。基于连续多角度观测数据,面向特定方位角图像缺失情况下进行目标重构是解决这一问题的思路之一。

假设方位角为29°的SAR图像缺失,采用三个不同的图像序列进行实验来重构方位角为29°的SAR图像。图像序列1到图像序列3如图10所示。所有图像序列的图像方位角间隔均为1°,每个图像序列中只有方位角为29°的图像缺失,用大小为100×100,像素全为0的图像替代。对特定方位角进行重构的结果如图11所示,重构图像与原图整体较相似,重构图像清晰度高且目标与背景边界清晰。分别计算以上三种图像序列下重构图像与原图的RMSE与FSIM,结果如表3所示。

图10 含缺失方位角的图像序列Fig.10 Image sequences with azimuth image missing

图11 不同图像序列重构结果Fig.11 The reconstruction results of different sequences

由表3可知,利用图像序列2重构得到的方位角图像与原图的RMSE最小FSIM值最大,因为该序列包含图像的方位角与缺失方位角图像方位角间隔最小,因而该序列中所有图像与缺失方位角图像的相似度最高,有利于缺失方位角图像重构。图像序列1图像数量最多,但是重构效果却不是最好的,因为重构基于图像之间的相关性来互相表示,数量多但部分图像与缺失方位角图像之间相关性较低,反而对图像重构带来负作用。但是,若根据已知图像与缺失图像之间的相似性关系分配不同的权重,也许可以得到更好的重构结果。图像序列3的重构效果最差,该序列图像数量与序列2相同,但是仅包含缺失方位角图像前的部分图像,能提供的用于重构的有效信息最少。值得注意的是,在该实验条件下,HaLRTC算法整体失效。

表3 不同图像序列重构图像的相似性指标RMSE、FSIM

5 结论

本文针对SAR图像非目标遮挡导致的目标信息缺失问题,结合多角度SAR图像特点,提出多角度SAR图像非目标遮挡缺失信息重构。这是首次将张量补全与多角度SAR图像特性结合,解决目标信息缺失问题。考虑到SAR图像结构性不强的问题,引入多路延时嵌入,挖掘SAR图像相邻视角的结构信息,使得张量补全算法能更好应用于SAR图像缺失信息重构中。在MSTAR数据集上的实验结果表明,本文提出的方法能有效重构多角度SAR图像非目标遮挡情况下的目标缺失信息,效果优于HaLRTC算法。本文算法可作为数据预处理部分,有利于现有目标检测、目标识别、目标跟踪等算法在复杂、多变场景下的应用。后续考虑在Tucker分解中添加不同约束来进一步提升本算法性能,同时更深入地探讨方位角间隔,方位角数量对目标缺失信息重构的影响。