牟效乾 陈小龙 关 键 周 伟 刘宁波 董云龙
(海军航空大学 烟台 264001)
雷达海面动目标检测是雷达目标检测中的重要内容[1],在海洋环境监测、海上运输航行以及国防安全等领域都有着重要的意义。可靠和稳健的动目标检测技术的难点主要体现在目标回波微弱、机动导致多普勒时变等。雷达在动目标探测时不仅受到目标机动特性的影响,还受杂波和噪声等干扰,在实际的复杂背景下检测难度大。其中,海杂波是海面目标检测的主要干扰源[2],一方面,海上目标反射系数较小造成目标回波信号微弱,回波信杂比(Signal-to-Clutter Ratio, SCR)较低,易造成漏检[3],另一方面,高海况下产生的海尖峰是一种强海杂波,其幅值类似于目标回波,易引起虚警;而且,由于风力的影响,海杂波也有着一定的速度,其多普勒不为零,进一步提升了海面慢速目标检测的难度[4]。
传统的雷达动目标检测方法主要是通过时域、频域、变换域的处理[5,6],改善SCR,实现目标的可靠检测。时域处理的经典方法包括非相参积累以及恒虚警(Constant False-Alarm Rate, CFAR)检测[7],然而此类方法多基于回波统计模型假设,抗杂波能力和对环境的适应能力不强。频域处理经典方法包括动目标显示(Moving Target Indicator, MTI)和动目标检测(Moving Target Detection, MTD)[8],通过傅里叶变换实现多普勒信息的提取,利用多普勒滤波器来区分运动目标和杂波,但面对变速和机动目标,会产生频谱发散,能量难以积累。分数阶傅里叶变换(FRactional Fourier Transform, FRFT)[9,10]是机动目标检测的典型方法,算法复杂度较低,却需要进行变换角度的搜索来匹配目标的运动特性,难以实现快速目标检测任务。
针对传统目标检测算法抗杂波能力差和泛化能力弱的现状,新的研究思路和方法亟需被提出。近年来,深度学习方法得到了飞跃式发展,卷积神经网络(Convolutional Neural Network, CNN)作为深度学习的重要组成部分,能够自动学习和提取目标的特征,实现对图像目标的智能检测与分类等任务[11,12]。2012年以来,基于CNN的目标检测算法从RCNN到Faster R-CNN[13],从YOLO到YOLOv3[14],YOLOv4[15]等,实现了重要的突破,在PASCAL VOC 2007数据集(包含20类目标)上的平均检测准确率从58.5%提升到了83.8%,为雷达目标快速、稳定、高精度检测提供了新的途径。将深度学习应用于雷达图像目标检测的新方法也不断被提出[16,17]。苏宁远等人[18]提出了一种基于卷积神经网络的海面微动目标检测与分类方法,通过智能化特征提取回波信号时频图特征,实现微动目标的检测与分类;陈晨等人[19]提出了一种基于深度卷积网络的多尺度SAR图像船舶检测方法;黄洁等人[20]提出了一种基于卷积神经网络的遥感图像舰船目标检测方法,将深度学习方法延伸到了SAR图像以及遥感图像的目标检测领域并且实现了较好的检测性能提升。然而,上述方法大多是深度学习方法在高分辨遥感图像和SAR图像上的应用,强海杂波背景下的目标检测首要问题就是海杂波抑制,但对于普通的中低分辨率雷达图像尤其是对海雷达图像目标检测研究较少。同时,考虑到图像目标实时检测领域,YOLOv3作为基于卷积神经网络的检测算法中实时性最好的方法,被广泛地应用于人脸识别、行人检测等工程实践中并取得了良好的效果[21—23]。然而,将其应用于雷达的海面目标检测时虽然可以满足实时性的需求,但存在着漏检率高、虚警率高的“双高”问题,海面小目标的机动性和海杂波的干扰限制了其性能的进一步提升。因此,对杂波的有效抑制、目标检测可靠的检测性能以及算法的实时性是当前雷达图像目标检测领域需要解决的重要问题。
本文提出了一种基于杂波抑制和目标检测融合网络(Integrated Network for clutter suppression and target detection)的导航雷达图像杂波抑制和动目标检测方法。首先设计了杂波抑制和目标检测一体化融合网络INet,包括网络前端实施杂波抑制的杂波抑制网络和网络后端实施快速检测的目标检测网络,建立了INet雷达图像动目标检测模型,构建了海面目标数据集,将深度学习方法与雷达动目标检测在实践上相结合,通过模型的预训练和平面位置显示器(Plan Position Indicator, PPI)图像的帧间积累对INet 进行了进一步的优化,得到了最终的O-INet(Optimized INet)目标检测模型,经过多种天气条件下的海面目标数据集的训练、测试和验证证明了O-INet目标检测模型的优越性能,实现了雷达运动目标的实时高精度检测。
YOLOv3是一种具有良好检测性能的深度学习目标检测算法,目前已广泛地应用到工程实践领域,其包括darknet-53网络、特征融合网络、多尺度输出网络3部分,darknet-53网络被用来提取目标特征,特征融合网络将darknet-53网络输出的不同尺度的特征进行融合,最后,多尺度输出网络实现了最终的检测和分类。而YOLOv4在YOLOv3的基础上引入了CSPDarknet53, PANet, Cosine Annealing scheduler, Label Smoothing等改进方法,提高了模型检测的速度和精度。然而,将YOLOv3算法用于雷达图像动目标检测时,杂波的干扰导致其存在漏检率高、虚警率高的“双高”问题,YOLOv4算法虽然提高了检测概率和检测速度,但是没有在根本上解决杂波干扰问题,漏检率和虚警率仍然较高。
为了提高海面目标检测的准确率和降低虚警率,增强算法的泛化能力,本文设计了杂波抑制和目标检测一体化融合网络INet,基于INet网络和YOLOv3的损失函数,同时引入了YOLOv4算法的数据增强方法Mosaic和交并比(Intersection Over Union, IOU)计算方法Ciou,构建了目标检测模型,如图1所示。主要创新在于:第1,在目标检测网络前端加入了杂波抑制网络,实现了杂波抑制和目标检测网络的融合和功能的一体;第2,提出了一种层归一化-传递和连接(Layer Normalization-Transfer and Connection, LN-TC)方法,用来提取图像中的关键目标特征并进行编码传输和解码,实现杂波抑制的同时保证目标的完整;第3,提出了一种注意力残差网络(Attention Residual Network,ARN),实现海杂波的抑制和海面目标的增强;第4,提出了一种跨阶段局部残差网络模块(Cross Stage Partial Residual Module, CSPRM),保证检测网络的轻量化和准确性。
PartⅠ:杂波抑制部分。提出用于关键特征提取和增强的层归一化-传递和连接方法LN-TC和一种新型的注意力残差网络模块(Residual Attention Network, ARN),LN-TC模块和ARN模块是杂波抑制的核心。
(1) LN-TC。提取图像中的关键目标信息,并加以增强,保证在完成海杂波抑制任务的同时使海面目标得以完整保留,同时可以减少对于数据集样本数量的依赖,实现小样本的高效生成对抗训练。
(a) LN层归一化[24]是一种经典的归一化方法,在通道方向对通道、张量的长、宽进行归一化,与Batch Normalization相比在小批量、少样本的矩信息提取方面有着极大的优势,其公式为
其中, μn为 第n层特征矩阵的均值, σn为第n层特征矩阵的标准差, H 为该层的神经元数量, xni为该层第i个输入的神经元,ε 为一常数,防止 σb,h,w为0。
(b) TC传递和连接把提取的矩信息 μ , σ与后续的网络层进行跳变连接,对在LN中被归一化的特征进行解码和增强。
图 1 INet网络结构Fig. 1 The network structure of INet
其中, Y 为输出的新特征张量, x为输入的特征张量, μ , σ 分 别为 μn和 σn的 集合, γ , β分别为层归一化中提取的方差和均值, f (·)为整个ARN模块的函数表示。
(2) ARN。由3个注意力子网络以及残差连接组成,具体结构详见图2,包括注意力网络0(Attention Network 0, AN 0)、注意力网络Ⅰ(Attention Network Ⅰ, ANⅠ)、注意力网络Ⅱ(Attention Network Ⅱ, ANⅡ)3部分组成。残差连接能够通过学习残差函数来构造一个新的恒等映射,提高神经网络的特征提取效率和特征信息的完整性。注意力网络可以通过训练实现模型权重的合理分配,关注图像和特征张量中的重点信息,忽略和少关注不重要的信息,而在海杂波图像中,海面目标是重要信息,海杂波是可以忽略的无关信息。ARN的公式为
其中, F0=f0(Featureold) , F1=f1(F0) ,F2=f2(F0·F1), F eatureold表示输入基本模块的特征,Featurenew表示ARN网络处理后输出的新特征,f0(·)表 示注意力网络0的函数, f1(·)表示注意力网络Ⅰ的函数, f2(·)表示注意力网络Ⅱ的函数。
Part Ⅱ:目标检测部分。提出一种用于特征的快速提取和传输的跨阶段局部残差网络CSPRM,CSPRM和多尺度输出是目标检测网络的核心。
(1) CSPRM。基于CSPnet[25]和Resnet[26]网络构建的新的网络模块,CSPNet能够把提取的特征通过两条通道继续向下传播:一条通道经过中间层向下传输,另一条通道将与传输的特征合并继续向下传输。该网络结构可以增强特征提取能力的同时减少网络参数,大大减少显存的资源占用,在保证良好的特征提取性能的同时提高网络的训练和测试速度,Resnet网络的残差连接能够增强特征提取的完整性,减少梯度消失的可能。CSPRM能够使网络轻量化的同时不影响特征提取性能,其具体结构如图3所示。
(2) 多尺度输出。沿用了YOLOv3的3个尺度的输出,即图1中的output 1, output 2, output 3,通过大、中、小3个尺度的设计,实现目标的多尺度检测,增强对不同尺度目标的检测能力。而与YOLOv3, YOLOv4不同的是,该多尺度输出部分特征输出之前没有进行特征融合,一方面是为了减少网络参数,使网络轻量化,另一方面是经过INet前端的杂波抑制和特征增强,以及I N e t 后端CSPRM模块的特征传输,特征已得到了较好的提取和传输。
INet的目标检测算法包括两个阶段:离线训练阶段和测试阶段,如图4所示。离线训练阶段流程如下:
(1) 数据采集。使用导航雷达发射长脉冲和短脉冲采集不同条件下(不同天气、不同海况)的雷达回波数据,以保证采集的数据样本的多样性。同时,选择并采集复杂样本(不容易被检测的样本),以提高数据集在不同情况下的泛化能力。
图 2 ARN网络结构Fig. 2 The network structure of ARN
图 3 CSPRM结构Fig. 3 The network structure of CSPRM
(2) 数据转换。将回波数据转换成PPI图像。
(3) 海面目标数据集的构建。对PPI图像进行裁剪,将PPI图像中的舰船目标标注添加标签,构建海面目标数据集。
(4) INet目标检测模型的建立。设计杂波抑制和目标检测融合网络INet,建立INet目标检测模型。
(5) 模型的训练和优化。将海面目标数据集输入到INet模型进行迭代训练,调整模型的初始训练参数对模型进行调整和优化。
(6) 最优目标检测模型的获得。选取损失函数值loss<1的训练模型,使用海面目标数据集对模型进行测试,选取检测概率达到90%以上的模型作为最优目标检测模型。
图 4 基于INet的目标检测算法流程图Fig. 4 Flowchart of target detection algorithm based on INet
实际检测阶段流程如下:
(7) 数据采集。使用导航雷达采集实时的方位-距离回波数据。
(8) 数据处理。将实时回波数据实时转换为PPI视频流。
(9) 将实时PPI视频流输入最优目标检测模型,进行实时的动目标检测,并得到目标检测结果。
图 5 探测环境及雷达PPI界面Fig. 5 Detection environment and radar PPI interface
在1级、2级、3级和4级海况下,利用X波段非相参脉冲体制导航雷达,在烟台港附近进行数据采集实验,得到不同海况和天气下民用船只的雷达回波数据,如图5所示。JMA-5312导航雷达量程0.125~48 n mile,发射功率10 kW,转速24 rpm,雷达天线距离海平面高度约为80 m。该海域海上目标众多,为数据的采集提供了便利。此外,船舶自动识别系统(Automatic Identification System,AIS)设备得到船只的位置信息可作为目标检测结果的验证。设置采样频率、采集方位、存储路径等参数,进行数据采集和信息记录。图5(b)为雷达原始PPI界面,包括陆地、岛屿、港口、船舶等。
(1) 图像的生成:使用Matlab将PCI采集卡采集到的DAT格式原始数据转换生成PPI图像。
(2) 图像的裁剪:由于PPI图像较大而且部分区域没有目标,使用完整的PPI图像训练会占用过高的显存和耗费过长的时间,因此需要对原始PPI图像进行裁剪处理。从图5(b)中可以看出,海面目标主要位于PPI图像的上半部分,因此裁剪完整PPI图像的1/4并基于此构建数据集。
(3) 图像的标注及数据集的构建:使用标注精灵软件标注数据集图像, 生成Pascal VOC格式的标注文件;构建的数据集中训练数据集包含1600张图像,测试数据集包含400张图像。
利用测试集对模型测试得到最优模型后,需要进一步对其对于动目标的检测性能进行验证,这里需要用到实时验证数据集。验证数据集来源于实时的实测回波数据生成的实时PPI视频,而为了提高模型的检测速度,将雷达回波数据实时生成灰度PPI图像。本文选用了五类不同类型(低海况简单背景Data_01#、低海况复杂背景Data_02#、高海况下的多目标Data_03#、大雪Data_04#和中雨Data_05#)的实时回波数据对模型进行验证,5类数据的具体参数如表1所示。
表 1 实时验证数据集参数Tab. 1 Parameters of real-time verification dataset
计算机配置如下:Intel® CoreTMi7-8700K处理器,16 G内存,Ge Force GTX 1050Ti显卡,显存为6 G。系统环境是Windows,框架是Pytorch。实验的参数设置如下:梯度下降算法为Adam算法,anchor数目设置为9类,目标类别设置为1类(ship),初始学习率设置为0.001,学习率衰减方式设置为“step”,epoch设置为100。输入海面目标数据集到INet目标检测模型中后,经过190.87 min的迭代训练,在96 epoch时得到了最优INet目标检测模型,其测试结果见表2。
其中,表2中的Recall, FA对应于传统目标检测中的检测概率和虚警率,其公式为
其中,R为Recall,表示召回率,P为Precision,表示精确度,FA为虚警率,FP(False Positive)表示负样本的模型预测结果为正,TP(True Positive)表示正样本的模型预测结果为负,FN(False Negative)表示负样本的模型预测结果为负。
表 2 测试结果Tab. 2 Test result
为了检验杂波抑制网络的杂波抑制效果,本文以1帧包含3个运动民船目标的图像输入到INet网络的Part Ⅰ杂波抑制网络中,选取了两种具有代表性的特征图进行输出展示:第1个卷积层输出的特征图、最后一层输出的特征图,如图6所示,通过对比证明了INet网络的Part Ⅰ杂波抑制网络具有良好的杂波抑制能力。
图 6 Part Ⅰ 杂波抑制网络的部分特征图Fig. 6 Feature maps of the clutter suppression network in Part Ⅰ
INet目标检测模型可以通过预训练的方式进一步改善检测能力,预训练是指先对模型进行训练,将测试后得到的最优模型的网络参数作为真正训练时网络的初始参数,基于预训练网络再进行一次模型的训练,达到进一步优化网络模型参数和提高模型训练效果的目的。同时,地杂波和海杂波是引起虚警率高的主要原因,虽然INet前端的杂波抑制网络能够起到抑制杂波的功能,但是可以通过非相参积累的方式实现杂波的进一步抑制。本文借鉴非相参积累的思路,在实时PPI输入INet目标检测模型之前,将天线扫描R个周期(帧)下的PPI图像进行累加并取平均,实现检测前PPI图像的多帧积累,从而实现增强目标,进一步抑制海杂波的目的。其中, Qr是第r个天线扫描周期去海杂波后的图像,Q为R个扫描周期PPI图像在累加取平均后的结果,R值可根据对整个流程检测速度的要求进行调整。
对INet目标检测模型进行预训练和帧间积累的优化结果见表3。从表3中可以看出,经过INet目标检测模型的预训练和帧间积累,漏检率和虚警率得到了进一步的降低,检测概率Recall提升了1.61%,达到了92.73%,虚警率由1.12%降低到了0.33%,降低了一个数量级,INet目标检测模型实现了良好的优化,得到了最终的O-INet(Optimized INet)目标检测模型。
预训练和帧间积累对于INet目标检测模型性能提升的验证效果见图7。可以看出,对于高海况下的多目标的检测,INet目标检测模型经过预训练后仍然存在漏检,而经过模型的预训练和帧间积累,实现了对模型的进一步优化,避免了漏检。
表 3 INet模型优化结果对比Tab. 3 Comparison of optimization results
为了检验O-INet目标检测模型对于复杂背景下目标检测的能力,分别利用数据Data_01#~Data_05# 5类数据验证算法:低海况简单背景下动目标检测、低海况复杂背景下动目标检测(含弱小目标)、高海况下多目标检测、大雪多目标检测、中雨目标检测。测试结果详见图8—图12。图8中目标周围无干扰物,证明了O-INet算法对于机动目标有着良好的检测能力;图9中动目标周围是地杂波,包括陆地和港口,证明了O-INet算法对于复杂背景和弱小目标具有较好的检测能力;图10中目标数量为9个,证明了O-INet算法高海况下多目标的检测能力,在图10中给出了显示检测结果的类别标签和评分标签以及不显示相关标签的检测结果图,给出检测结果标签会在一定程度上影响算法的速度;图11证明了O-INet算法的整体检测性能较好,然而个别目标受强雪和海浪杂波影响,产生了漏检;图12表明雨杂波和多径散射对于检测的稳定性有一定的干扰,检测时偶尔会产生虚警(验证数据中的多径散射是由于雷达天线架设处的建筑物遮挡产生的干扰,在实际检测的情况下可以通过屏蔽进行抑制)。
比较YOLOv3, YOLOv4和INet系列的检测性能。在实验中,采用构建的不同天气条件下海面目标数据集对模型进行训练和测试,测试实验结果如表4,图13—图17所示。结果表明,所提的O-INet的性能优于YOLOv3, YOLOv4算法,具有更高的准确率和更低的虚警率,适合复杂背景下导航雷达海面目标检测。YOLOv4算法虽然检测速度相较于O-INet目标检测算法更快,但是对于海面弱小目标的检测能力较弱,同时对于复杂背景和雨雪天气下的动目标检测时容易产生虚警,而O-INet能够较好地改善弱小目标的漏检和复杂环境的虚警问题,具有更强的泛化能力。
图 7 模型优化前后的对比(Data_03#)Fig. 7 Comparison before and after model optimization (Data_03#)
图 8 低海况简单背景下的动目标(Data_01#)检测Fig. 8 Moving target detection under simple background of low sea state (Data_01#)
图 9 低海况复杂背景下的动目标(Data_02#)检测Fig. 9 Moving target detection under complex background of low sea state (Data_02#)
图 10 高海况下的多目标(Data_03#)检测Fig. 10 Multi-target detection under high sea conditions (Data_03#)
图 11 大雪下的多目标(Data_04#)检测Fig. 11 Multi-target detection under heavy snow (Data_04#)
本文将所提方法与统计类目标检测方法进行对比,即双参数CFAR[27]检测方法和经典的二维单元平均CFAR (Cell Averaging CFAR, CA-CFAR)[28]方法。使用Data_01#, Data_02#, Data_03#,3类验证数据进行验证。二维CA-CFAR中检测单元上、下、左、右的参考单元数量设置为20,检测单元上、下、左、右的保护单元数量设置为2,双参数CFAR中目标窗口长宽为25,保护窗口长宽为30,参考窗口长宽为 60。分别选取虚警率为10—4,10—3, 10—2的两种方法(非相参积累+双参数CFAR、非相参积累+CA-CFAR)的检测结果与O-INet算法进行比较,测试结果如表5所示。选择与检测概率在定义上相近的召回率作为深度学习模型(O-INet)检测概率的评价指标;同时,为了使O-INet能够在不同的虚警概率下与两种CFAR算法进行对比,本文通过调整置信度阈值的方式实现对O-INet虚警率的调控。
图 12 中雨下的多目标(Data_05#)检测结果对比Fig. 12 Comparison of multi-target detection results under rain weather (Data_05#)
表 4 各类算法的实验结果对比Tab. 4 Comparison of experimental results on different algorithms
图 13 低海况简单背景下的动目标(Data_01#)检测结果对比Fig. 13 Comparison of moving targets under simple background of low sea state (Data_01#)
图 14 低海况复杂背景下的动目标(Data_02#)检测结果对比Fig. 14 Moving target detection under complex background of low sea state (Data_02#)
图 15 高海况下的多目标(Data_03#)检测结果对比Fig. 15 Multi-target detection under high sea conditions (Data_03#)
图 16 大雪下的多目标(Data_04#)检测结果对比Fig. 16 Multi-target detection under heavy snow (Data_04#)
图 17 中雨下的动目标(Data_05#)检测结果对比Fig. 17 Comparison of multi-target detection results under rain weather (Data_05#)
从表5中可以看出,两种CFAR方法的检测效果不佳,CFAR算法受背景环境杂波分布模型的限制,单一的杂波分布模型不能适应多样的背景环境,对目标检测时易受到地杂波(岛屿、陆地)和海杂波的干扰,检测性能不稳定。经过对比发现,本文所提的方法比两种CFAR算法在相同虚警率的情况下有着更高的检测概率,且检测性能更稳健。
表 5 对测试集的检测结果(%)Tab. 5 Test results about the test dataset (%)
图 18 高海况下的多目标(Data_03#)检测结果Fig. 18 Multi-target detection results under high sea conditions (Data_03#)
图18 给出了虚警率为10—3下的对比检测结果。可以看出,受强海杂波干扰两种算法对Data_03#高海况下的动目标检测时漏检率较高,而双参数CFAR漏检率低于二维CA-CFAR;两种算法都存在虚警损失的问题。总体来讲,两种CFAR算法不能适应多样的背景环境,对目标检测时易受到地杂波(岛屿、陆地)、多径散射和海杂波以及雨雪杂波的干扰,检测性能不稳定,而且存在虚警损失,而O-INet算法具有更好的泛化能力,抗杂波干扰能力更强。
综上,O-INet算法能够较好得实现不同海况、不同目标数量、不同检测背景下的动目标检测任务,具有较好的泛化能力,较好地改善了漏检率高、虚警率高的“双高”问题,具有良好的动目标检测性能。
针对现有雷达海面目标检测算法性能上限低和泛化能力弱的现状,本文提出了一种基于INet的导航雷达图像杂波抑制和海面动目标检测方法,并利用实测数据测试和验证了模型检测海面动目标的实时性和准确性,主要工作总结如下:设计了杂波抑制和目标检测融合网络INet,构建了INet目标检测模型;通过采集不同观测条件下的数据,构建了海面目标数据集;通过预训练和帧间积累对INet 目标检测模型进行了优化,得到了O-INet目标检测模型;实测数据实验证明,O-INet与经典的算法YOLOv4相比平均速度慢约2 FPS,但是检测概率得到了约3%的提升,虚警率降低到了0.33%,与传统的目标检测算法双参数CFAR和二维CA-CFAR相比泛化能力更强,可以较好地完成海面动目标实时检测任务。本文所提网络模型也为其它杂波背景下的雷达目标智能检测提供了新的途径,后续可在海面目标数据集的扩充、图像的精准自动化标注等方面进行更深入的研究,进一步提高复杂背景环境下模型的检测精度和泛化能力。