基于SAR仿真图像的地面车辆非同源目标识别

胡利平, 董纯柱, 刘锦帆, 殷红成, 王 超, 宁 超

(北京环境特性研究所电磁散射重点实验室, 北京 100854)

0 引 言

合成孔径雷达(synthetic aperture radar,SAR)能够全天时、全天候地对目标主动进行高分辨成像,可以提供丰富的目标信息,因此基于SAR的目标识别受到了越来越广泛地关注。

现有的SAR目标识别算法(尤其是基于深度学习的目标识别算法)大多在美国运动和静止目标获取与识别(moving and stationary target acquisition and recognition,MSTAR)计划录取的地面车辆目标数据集上进行验证,并取得了优异的识别性能[1-8]。该数据集是一个相对较为完备的实际测量数据集,训练和测试样本属于同源数据,方位覆盖范围为0°～360°,训练和测试样本的俯仰角度差异仅为2°。在实际目标识别应用中,很难通过实际测量获取目标(尤其是非合作目标)的完备数据,通常只能获取个别角度下的实测数据。基于电磁散射建模的SAR仿真是获取目标数据的重要手段之一[9-15],可以相对便捷地获取目标在不同条件下的完备数据集。SAR仿真的终极目标是部分或全部代替实测数据并作为训练样本,从而实现对实测数据的目标识别。但SAR仿真图像数据直接应用于实测数据的目标识别时存在如下问题:SAR仿真数据与实测数据属于非同源数据,由于模型差异、传感器差异、背景环境差异、建模方法本身的误差等因素导致SAR仿真图像与实测图像存在差异,主要体现在两个方面:一是目标散射分布的细节差异,二是背景环境的散射差异,这些差异势必会影响识别性能。

近年来,深度学习在模式识别的各个领域取得了较好的结果,尤其是卷积神经网络(convolutional neural network,CNN)在图像分类领域取得了一系列的突破[16-17],分类正确率远超以往最好水平。CNN在SAR图像中的应用研究主要集中在基于MSTAR数据集进行的目标识别算法验证, MSTAR训练和测试数据集属于同源实测数据,训练和测试样本差异较小,CNN在MSTAR同源数据集上取得了优异的识别性能[5-8]。鉴于CNN在图像分类领域的优势及在MSTAR同源数据集上的成功应用,本文将CNN用于非同源数据的SAR目标识别,以考察训练和测试样本在非同源情况下的识别性能。

线性/非线性特征变换是模式识别领域的一个重要方向,它在提取目标关键特征、提升目标识别性能方面具有显著的优势[18]。主分量分析(principal component analysis,PCA)作为线性特征变换的经典代表,通过最小化重建误差来寻求最能够代表数据的投影矢量,能够提取数据的主成分分量,这些主成分分量表征了数据的主要信息,忽略了数据的次要信息、噪声信息等[19]。核子类判决分析(kernel clustering-based discriminant analysis,KCDA)作为一种非线性特征变换方法,在高维核空间中最大化子类间散度且最小化子类内散度意义下找到最优的投影矢量,使得不同类别的样本能更好地分开,是解决原始数据线性不可分问题的有效途径之一[20]。上述两种方法的有效性在加利福尼亚大学机器学习数据库的数据集(Iris、Monks、Liver和Ionosphere)、国内某研究所的逆SAR(inverse SAR,ISAR)测量飞机数据(雅克-42、安-26、奖状)和基于MSTAR的同源数据集上得到了验证[21-22]。为此,本文也尝试将这两种特征变换方法用于非同源SAR目标识别,以考察特征变换对非同源SAR目标识别的提升性能。

实验结果表明,在SAR仿真数据和实测数据存在差异的情况下,线性/非线性特征变换可以提取目标的主要特征和可分性好的特征,从而有效提升非同源SAR目标识别性能,因此线性/非线性特征变换是改善非同源SAR目标识别性能的一个重要解决途径。

1 基于电磁散射特性建模的车辆目标SAR仿真

为了实现对地面车辆目标SAR模板图像的仿真,采用基于高频渐近方法和离散射线追踪技术的SAR回波信号级仿真方法进行SAR仿真[15],其流程如图1所示。该方法首先对复杂环境场景和SAR平台运动进行建模,再结合目标/环境复合电磁计算方法模拟SAR回波数据,最后进行成像处理得到结果图像。由于SAR回波信号级仿真方法较为真实地模拟了SAR对目标/环境的电磁散射探测过程,所以能够用于获取与实测图像具有较高相似性的SAR仿真图像。

图1 基于电磁散射建模的SAR仿真流程Fig.1 SAR simulation process based electro-magnetic scattering model

对图2给出的三型车辆目标(BMP2、BTR70、T72)几何模型按表1设定的聚束SAR仿真参数进行仿真,获取其在草地上的SAR仿真图像,如图3所示。仿真图像参数信息为:X波段、HH极化、高分辨率聚束式SAR、俯仰角为17°、方位角从0°到359°变化,方位间隔为1°,图像大小均为128×128,分辨率为0.3 m×0.3 m。另外,图3也给出了MSTAR计划录取的该三型车辆目标的SAR实测图像,该实测图像数据的采集条件为:X波段、HH极化、0.3 m×0.3 m高分辨率聚束式 SAR、俯仰角为17°、方位角从0°到360°变化,方位间隔为1°～5°不等,图像大小均为128×128。通过对比图3中的SAR仿真图像与实测图像可以看出,同一方位角下的SAR仿真图像和测试图像在目标轮廓形状、强散射分布大体一致,但存在一些细节差异,并且背景环境散射也存在一定差异。

图2 三类车辆目标的几何模型图Fig.2 Geometric models of three types of vehicle targets

表1 车辆目标聚束SAR仿真参数

图3 草地上车辆目标SAR仿真图像与MSTAR实测SAR图像Fig.3 SAR simulation images of vehicles target on grassland and MSTAR measured SAR images

对SAR仿真图像,虽然经过了模型校验和图像评估[14-15,23],但依然存在由于各种原因导致的SAR仿真图像与实测图像存在差异。主要原因有以下几个方面。

(1) 模型差异:SAR仿真的目标几何模型与实物不可避免地存在差异。SAR仿真时构建的目标几何模型与实物不可避免地存在某些细节结构的简化、外形结构的误差、目标上某些结构的状态变化(如炮管转动的位置等)、目标上某些扩展条件的状态变化(如T72坦克加不加副油箱等),这些差异必然会导致SAR仿真图像与实测图像存在差异。

(2) 传感器差异:SAR仿真过程中的传感器模型与实际传感器性能存在差异。SAR仿真时构建的传感器模型较为理想,如传感器运动模型为平稳的匀速直线运动,而实际SAR传感器很难做到,实际SAR传感器性能也会因为系统硬件条件限制等因素导致SAR实测图像在信噪比、实际分辨率、俯仰角和方位角度等方面与理论值存在差异。

(3) 背景环境差异:实物所处的背景环境与SAR仿真的背景环境也不可避免地存在差异。本文SAR仿真构建的地面场景为无任何地形起伏的水平矮草地背景,采用的模型参数为ULABY模型[15]中的矮草地,这与MSTAR实测SAR数据集中的真实地面背景会不可避免地存在差异,导致SAR仿真图像中的背景散射强弱及实测SAR图像不一致。

(4) 建模方法本身的误差:为了满足工程化需求提升计算效率,采用高频法进行目标电磁建模,这对于一些特殊结构(如腔体)和含有多尺度结构的目标来说会出现计算误差,会导致SAR仿真图像中目标散射分布细节与实测图像存在差异。

上述原因导致的SAR仿真图像与实测图像之间的差异必然会影响SAR仿真图像直接应用于实测图像的目标识别性能,给非同源的SAR目标识别带来很大挑战。对非同源SAR目标识别来讲,背景环境差异的影响可以通过SAR图像预处理来缓解,尽可能地降低SAR仿真图像与实测图像中目标散射分布差异的影响成为非同源SAR目标识别的关键点和难点。

2 SAR图像预处理

通常情况下,SAR原始图像中存在相干斑噪声,直接用于特征提取识别的话会严重影响识别性能,因此,首先对原始SAR图像进行预处理,作为CNN或者线性/非线性特征变换的输入。图4给出了SAR图像预处理流程,首先对原始图像作对数变换,再采用恒虚警方法进行目标粗分割,最后做滤波、掩膜和归一化等处理。

图4 SAR图像预处理流程Fig.4 Flow chart of SAR preprocessing

假定杂波服从负指数分布,则检测门限为

T=-μlnPfa

(1)

式中:Pfa为虚警率,μ为均值。对SAR图像中的每一个点(i,j),如果其像素值大于门限T,判定其为目标,否则为背景。

形态学滤波:对分割结果进行形态学滤波,去除非目标区域减弱噪声、平滑边界、去除小洞等。

基于面积的滤波:首先对形态学滤波处理后的图像去除孤立的点,然后再滤除面积小于TA的区域,其中TA可由关注的目标尺寸和分辨率大致确定。

基于距离的滤波:对上步的结果图像,首先找到面积最大的区域及质心,然后计算每个区域到面积最大区域的距离,最后滤除掉离面积最大区域距离大于TD的区域,其中TD也可由关注的目标尺寸和分辨率大致确定。

掩模处理:为了获得目标的强度信息,将滤波后得到的结果图像(二值图像)与对数图像作像素点乘运算,得到最终的目标强度图像(作为CNN的输入)。

最后,对目标强度图像进行归一化处理及取傅里叶幅度的一半(作为线性/非线性特征变换的输入)。

图5给出了对T72的预处理结果图像。

图5 SAR图像预处理结果Fig.5 SAR image preprocessing results

3 基于CNN的非同源目标识别

鉴于CNN在图像分类领域的成功应用及在MSTAR同源SAR数据集上取得的优异识别性能[5-8],尝试将其应用于非同源数据的SAR目标识别,以考察SAR仿真和实测存在差异的情况下目标识别性能。

图6给出了基于CNN的非同源SAR目标识别流程。为了防止小样本下CNN的“过拟合”问题,采用SAR图像平移截取的方式来扩充训练样本。为了减小SAR图像中相干斑噪声对CNN的影响,对平移截取扩充后的训练样本和测试样本进行前述预处理后再进行网络模型训练和测试。

图6 基于CNN的非同源SAR目标识别流程Fig.6 Non-homologous SAR target recognition process based on CNN

训练样本为三类车辆目标的SAR仿真图像,每类360幅,大小为128×128,平移截取扩充9倍,中心截取后的图像大小为88×88,这保证了每幅图像中均包含有目标。

测试样本为三类车辆目标MSTAR实测SAR图像,每幅图像大小为128×128,对其只进行中心截取成88×88包含目标的图像。

图7给出了本文设计的CNN网络结构,包括3个卷积层、3个池化层、1个全连接层、1个Softmax层。卷积层的后面紧接池化层,采用最大池化的形式。ReLU非线性激活函数用于卷积层和全连接层。Dropout正则化用于第三层池化层和全连接层。经过Softmax后输出类别属性。

图7 搭建的CNN结构Fig.7 CNN structure constructed

4 基于线性/非线性特征变换的非同源目标识别

文献表明,有效的特征变换方法可以提取目标主要特征信息或可分性好的特征,提升目标识别能力[18]。为此,将线性/非线性特征变换方法用于非同源SAR目标识别,以期能缓解由于SAR仿真图像与实测图像存在差异引起的识别性能不理想的问题。基于线性/非线性特征变换的非同源SAR目标识别流程如图8所示。

图8 基于线性/非线性变换的非同源SAR目标识别流程Fig.8 Non-homologous SAR target recognition process based on linear/nonlinear transformation

(1) 线性变换

PCA是一种经典的特征变换方法[18],通过最小化重建误差来寻求最能够代表数据的投影方向,能够提取数据的主成分分量,这些主成分分量表征了数据的主要信息,忽略了数据的次要信息、噪声信息等。

首先,将训练样本Ii∈Rm×n由二维图像矩阵变成1维列向量xi∈Rmn×1,i=1,2,…,M,M≪mn。则训练样本的总体协方差矩阵定义为

(2)

式中:A=[φ1,φ2,…,φM]∈Rmn×M,φi=xi-ux为第i幅图像向量与总体训练样本的平均向量的差值。

由于St是大小为mn×mn的矩阵,维数较大,直接对其作特征分解求取特征向量存在计算负担较大的问题。采用文献[3]中的运算技巧,先对L=ATA∈RM×M特征分解,进而得到St的特征向量。设λi、νi分别为ATA的特征值和相应的特征向量,有

ATAνi=λiνi

(3)

AATAνi=λiAνi

(4)

则有Aνi为St的特征值λi对应的特征向量。取St的前r(r

将样本I∈Rm×n转化为向量x∈Rmn×1后向W∈Rmn×r投影,得到该样本的特征向量y为

(5)

(2) 非线性变换

线性判别分析(linear discriminant analysis,LDA)是一种被广泛应用的线性特征变换方法[18],通过最大化类间与类内散度之比找到最优的投影矢量,使得投影后异类样本数据之间能够更好地分开、同类样本数据能够更好地聚集。但LDA的假设数据线性可分极大限制了其实际应用。为了克服这一局限,Chen等学者提出了子类判决分析(clustering-based discriminant analysis,CDA)[24],在一定程度上缓解了LDA的线性可分性问题,并没有从根本上解决原始空间中数据的线性可分性问题。为此,Ma等人[20]提出了核子类判决分析(kernel CDA,KCDA)方法,将CDA方法推广到高维核空间中,从根本上解决了原始空间中数据的线性可分问题。为了解决文献[20]中核k-均值聚类算法的严重依赖聚类初始值和局部最优问题,文献[25]采用了快速全局核k-均值聚类算法[26]替代,不依赖聚类初始值且能保证达到全局最优,进而保证了KCDA的性能是稳定的、最优的。为此,本文采用文献[25]的方法进行非同源SAR图像数据的特征变换,该方法是在高维核空间中最大化子类间散度且最小化子类内散度意义下找到最优的投影矢量,使得不同类别的样本能更好地分开。

KCDA是在高维特征空间φ中定义核散布矩阵Sb与Sw,通过最大化|VTSbV/VTSwV|找到变换矩阵V:

(6)

式中:V的各列是下式中前r个较大特征值对应的特征向量

SbV=λSwV

(7)

5 实验结果

为了考察不同方法对非同源SAR数据的目标识别性能,本文对三类车辆目标的非同源SAR数据进行目标识别实验验证,采用的训练和测试样本个数如表2所示。

表2 非同源目标识别实验使用的训练和测试样本

首先考察预处理对CNN识别结果的影响,图9给出了预处理前后CNN的识别性能对比。可以看出,预处理有效降低了背景的影响,增强了目标,提升了最终的目标识别性能,因此后续的CNN和线性/非线性变换方法中均采用了此预处理方法。

图9 预处理对CNN识别结果的影响Fig.9 Influence of preprocessing on CNN recognition results

表3和图10分别给出了CNN、线性特征变换PCA、非线性特征变换KCDA的识别结果及相应的混淆矩阵,同时也给出了基于原始图像直接识别、两向2DPCA(Two-directional two-dimensional PCA,(2D)2PCA)[22]的识别结果及混淆矩阵。其中,原始图像直接做识别是将原始图像做最大相关匹配实现目标识别;(2D)2PCA本质上是对二维图像矩阵的线性变换,是将预处理的SAR图像进行(2D)2PCA变换后再进行匹配识别。

表3 不同方法的识别结果对比

从原始图像直接做识别和CNN的识别率上可以看出,二者的识别结果不太理想,主要原因是,SAR仿真图像与MSTAR实测图像属于非同源数据,虽然目标在大体形状和强散射分布上基本一致,但不可避免地在细节特征上存在一定的差异,这些差异会导致原始图像直接做识别时匹配结果差、CNN训练时识别率很高但测试时识别性能不理想。

从原始图像直接做识别及CNN的混淆矩阵上可以看出,T72与BMP2被错分得较多,尤其在原始图像直接做识别情况下,T72有接近一半的样本被错分成BMP2,主要原因是,BMP2和T72均为履带式车辆,BTR70为轮式车辆,BMP2和T72这两个目标在结构上更相近,更容易混淆。

从表3和图10还可以看出,经过线性变换PCA和(2D)2PCA、非线性变换KCDA后,识别性能明显改善,T72和BMP2被错分得明显减少。这是因为,线性变换PCA和(2D)2PCA、非线性变换KCDA能够提取目标的主要识别特征和可分性好的特征,忽略了目标的次要特征和可分性差的特征。以上结果表明,基于线性/非线性的特征变换可以缓解由于SAR仿真图像和实测图像存在目标散射分布细节差异导致的识别性能差的问题,一定程度上提升了非同源SAR目标识别性能。

综上所述,为了提升非同源SAR目标识别性能,除了在基于电磁散射建模的SAR图像仿真过程中采取措施尽可能地提升仿真精度外,对非同源数据进行线性/非线性特征变换提取其主要识别特征或可分性好的特征也是解决非同源SAR目标识别问题的主要途径之一。

6 结 论

针对SAR仿真图像数据直接用于实际目标识别应用时存在识别性能差的问题,本文给出了不同方法对SAR仿真数据作为训练样本、MSTAR实测SAR数据作为测试样本的非同源目标识别结果比对。实验结果表明,针对非同源的SAR目标识别问题,直接使用SAR仿真数据做目标识别,无法取得对实测SAR数据理想的识别性能,而采用线性/非线性变换方法对仿真数据和实测数据进行特征变换与特征提取获取目标主要识别特征或可分性好的特征,可以一定程度上提升识别性能。这一结果一方面验证了基于SAR仿真数据进行非同源目标识别是可行性的,另一方面也为SAR仿真数据用于实际目标识别时如何提升识别性能指明了研究方向。本文是对SAR仿真数据用于实际目标识别应用的探索与尝试,具有很重要的实际应用价值。针对识别性能还不是很理想的问题,后续将会更深入地开展非同源数据的特征变换与特征学习研究,以期进一步提高非同源识别性能,提升SAR仿真数据在实际目标识别中的应用能力。