雷文太 毛凌青 庞泽邦* 任 强 王成浩 隋 浩 辛常乐
①(中南大学计算机学院 长沙 410083)
②(中国电波传播研究所 青岛 266107)
探地雷达(Ground Penetrating Radar,GPR)是一种利用高频电磁波在地下异常体界面上的散射来探测目标体的无损探测技术,已成为地球物理领域一种重要的探测手段[1–4],广泛应用于市政工程、交通、军事等领域。GPR沿地表测线扫描,发射天线在不同的位置处向地下发射高频电磁波,接收天线在每一个位置都会接收到一道A-scan数据,所有位置的A-scan数据按顺序组合在一起便形成了一幅B-scan回波数据。通过分析该B-scan回波数据,可以得到地下被测目标的形状尺寸、介电特性、空间位置信息等参数。然而由于发射天线和接收天线之间的耦合、地面反射、地下随机媒质的复杂性等因素,导致GPR B-scan数据中存在杂波。杂波和真实目标的回波信号在时域和空域上难以分离,对目标信号造成了严重的干扰,增大了地下目标检测和特征提取的难度。在GPR目标检测和特征提取之前,必须进行杂波抑制处理。
GPR B-scan回波数据是2维数字矩阵,通常用一幅灰度图像来表示。GPR B-scan图像杂波抑制一直是GPR信号处理中一个活跃的研究方向。最简单的方法是均值减法(M ean Subtraction,MS),即GPR B-scan图像的每一行减去这一行的均值。这种方法十分方便,但会弱化真实目标的散射回波[5],对于不均匀杂波的抑制效果较差。基于子空间技术的杂波抑制算法有奇异值分解(Singu lar Value Decom position,SVD)[6]、主成分分析(Principal Com ponent Analysis,PCA)[7]、独立成分分析(Independent Com ponent Analysis,ICA)[8]、非负矩阵分解(Nonnegative M atrix Factorization,NMF)[9]等。这类方法将GPR B-scan图像分解为多个分量,各分量分别对应于杂波、目标和噪声。然而在实际处理过程中,目标信息包含在多个分量中,无法很好地加以分离。基于形态成分分析(M orphological Com position Analysis,MCA)[10]的杂波抑制算法将GPR B-scan图像分解为目标形态分量和杂波形态分量,每个分量用相应的字典稀疏地表示。这种方法的复杂度很高,它的性能在很大程度上取决于人工设置的字典。字典选取的不合适,杂波抑制效果变差,大大限制了其适用性。基于低秩稀疏表示法的杂波抑制算法有鲁棒非负矩阵分解(Robust Nonnegative M atrix Factorization,RNMF)[11]、鲁棒主成分分析(Robust Principal Component Analysis,RPCA)[12]、鲁棒自编码器(Robust Autoencoder,RAE)[13]等。该类方法将GPR B-scan图像分解为低秩矩阵和稀疏矩阵,目标部分可以用稀疏矩阵表示,杂波部分可以用低秩矩阵表示,对于简单杂波的抑制效果较好,但对于复杂不均匀杂波的抑制效果有限。
基于深度学习的GPR杂波抑制方法,对GPR数据集的构建、深度学习网络的设计提出了挑战。文献[14]提出了一种双网络结构与伪标签结合的自监督学习杂波抑制算法。训练后的网络具有与RNM F相似的性能,提升了处理速度,但对于不均匀杂波的抑制效果有限。文献[15]提出了一种基于长短期记忆(Long Short Term M emory,LSTM)网络的GPR杂波抑制算法,通过LSTM网络来预测GPR数据的杂波信号,网络的训练需要输入相似的A-scan准周期信号。对于不均匀杂波,每道A-scan的杂波信号并不相同,会造成杂波抑制效果下降。Tem lioglu等人[16]提出了一种基于卷积自编码器的GPR杂波抑制算法,Ni等人[17]设计了一种条件生成对抗网络来消除GPR杂波。上述两种深度学习方法都是有监督学习,必须要有成对的匹配数据,但是在实际应用中,获得有杂波GPR数据和与之对应的无杂波GPR数据是不现实的。
本文提出了一种用于GPR B-scan杂波抑制的解纠缠表示生成对抗网络(Disentanglement Represen ts Generative Adversarial Networks,DRGAN),该网络是一种无监督学习网络,不需要成对的匹配数据。解纠缠表示的基本思想是将图像解构到不同的域中[18],解纠缠表示的思想已成功应用于图像处理领域,如图像去噪[18]、风格转换[19]、图像分类[20]等。本文利用解纠缠表示的思想将含杂波GPR图像解构到目标域和杂波域中,用于提取GPR图像的目标特征和杂波特征,同时设计了生成器来生成杂波抑制图像和含杂波图像,设计了判别器提供对抗损失来实现网络的无监督训练,最终实现GPR B-scan图像的杂波抑制。
本文的其余部分组织为第2节介绍了所提出的DR-GAN网络的具体实现方式,包括网络框架和损失函数的设计,第3节给出了实验结果和相应的分析讨论,第4节对本文进行了总结。
DR-GAN包含2个编码器、2个生成器,以及3个判别器,DR-GAN的网络框架如图1所示。
图1 DR-GAN的网络框架
DR-GAN网络的输入为含杂波GPR图像x、无杂波GPR图像y、杂波背景图像z,综合考虑GPR图像质量与网络训练时间,输入图像的大小设置为256×256×1,其中z仅用于杂波背景判别器DBN的
DR-GAN训练好后,在测试时,只需要用到ET和GC这两个模块。含杂波GPR图像经过ET得到目标特征,目标特征经过 GC得到杂波抑制后的GPR图像,GPR图像的杂波抑制流程如图2所示。
图2 GPR图像的杂波抑制流程
其中,λ1,λ2,λ3,λ4为总损失函数的超参数,这4个部分将在下面详细介绍。
(1)对抗损失
对抗损失使用判别器 DC和判别器DN,DC是为了使生成的xcle与y相似,DN是为了使生成的ynoi和x相似,对抗损失使生成器实现杂波域图像与干净域图像的转换,对抗损失定义为
(2)重建损失
为了使 GC和GN能够生成杂波抑制图像和含杂波图像,使用 GC和GN重建yrec和xrec,并且使xrec与x相同,yrec与y相同,重建损失定义为
其中,‖·‖1为L1范数。
(3)循环一致损失
为了使 GC和GN不是随机生成杂波抑制图像和含杂波图像,而是能够得到对应x的杂波抑制图像xcle以及对应y的含杂波图像ynoi,引入循环一致损失来使xcyc与x相同,ycyc与y相同。循环一致损失定义为
(4)杂波背景损失
为了使生成的杂波背景图像与原始杂波背景图像z相似,以辅助GC和GN更 好地生成xcle和ynoi,杂波背景损失使用判别器DBN对生成的杂波背景图像(x-xcle)和 (ynoi-y)进行判别,杂波背景损失定义为
2.3.1生成器网络的结构
DR-GAN网络的编码器和生成器结构如图3所示,编码器ET和 编码器EC的结构是相同的,由4层卷积层和3层最大池化层组成,卷积层的卷积核大小均为3×3,步长均为1×1,最大池化层的池化核大小均为2×2,通过卷积层提取GPR图像的目标特征或者杂波特征。生成器 GC由若干卷积层、上采样层、跳跃连接、特征融合层、注意力机制模块组成。生成器 GC的输入为目标特征FT4,FT3,FT2,FT1,特征FT3,FT2,FT1通过注意力机制模块后参与跳跃连接,注意力机制使生成器 GC更好地生成杂波抑制图像。生成器 GN的主体结构与生成器GC一样,但生成器 GN的输入是目标特征FT4,FT3,FT2,FT1和杂波特征FC4,FC3,FC2,FC1,特征融合模块用于融合对应的目标特征和杂波特征得到融合特征FTC4,FTC3,FTC2,FTC1,特征FTC4输入至上采样层,特征FTC3,FTC2,FTC1通过注意力机制模块后参与跳跃连接,注意力机制使生成器 GN更好地生成杂波重建图像。
图3 DR-GAN的编码器与生成器的网络结构
特征融合模块如图3(d)所示,特征融合模块的输入是目标特征图和杂波特征图,目标特征图和杂波特征图经过特征融合层进行特征融合,再经过卷积核为3×3的卷积层得到最终的输出。
注意力机制模块如图3(e)所示,InputA表示编码器的压缩特征,InputB表示生成器的解码特征,InputA和InputB经过卷积层后进行特征相加,再经过卷积层和激活函数得到权重信息。将获得的权重信息与编码器的压缩特征进行相乘,此时编码器压缩的特征会被赋予不同的权重,有助于网络更加关注所需要的特征。
2.3.2判别器网络的结构
3个判别器的结构是相同的,如图4所示,采用PatchGAN[21]结构的判别器,在最后一层添加了1个全局平均池化层。判别器由5个卷积层和1个全局平均池化层组成,前4层卷积层的卷积核大小为4×4,步长为2×2。最后一层卷积层的卷积核大小为3×3,步长为1×1,判别器采用L2距离损失。
图4 DR-GAN的判别器网络结构
对仿真数据,采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似性(Structu ral SIM ilarity,SSIM)指标进行杂波抑制前后的GPR B-scan定量分析。由于实测的含杂波数据没有对应的无杂波标签,就无法采用和仿真实验相同的评价指标。对实测数据,采用改善系数(Im p rovem ent Factor,IF)指标[13]进行定量分析,以衡量杂波抑制后的信杂比(Signal to Clutter Ratio,SCR)的改善程度。IF的公式为
其中,SCRbe与S CRaf分别是GPR图像杂波抑制前后的SCR ,NC和NS分别表示所选杂波区域RC和信号区域RS的像素数,I(p)是 GPR图像中的第p个像素值。
3.2.1仿真模型
GPR仿真数据集是使用gp rM ax仿真软件[22]计算得到的,仿真场景如图5所示,仿真场景设置为随机混合土壤,发射天线和接收天线采用合成孔径的方式在起伏地表上从左到右扫描探测。地下目标为一个圆柱体或方柱体,目标材料为空气、金属或聚氯乙烯(PolyVinyl Chloride,PVC),目标半径、边长、埋深和水平位置在一定范围内随机变化。
图5 仿真场景模型
一共进行150次A-scan得到B-scan,将B-scan图像的大小转换为256×256×1用于制作网络的训练数据集。仿真场景参数如表1所示。
仿真模型一共有6种不同的地下目标,通过gprM ax在每一种地下目标场景下采集250张含杂波图像和250张无杂波图像,一共组成1 500张含杂波图像和1 500张无杂波图像。混合介质场景下地下无目标的GPR图像作为杂波背景图像,通过gprMax采集1 500张杂波背景图像。DR-GAN的训练数据集由1 500张含杂波图像、1 500张无杂波图像、1 500张杂波背景图像组成。
3.2.2网络训练
DR-GAN的超参数λ1设置为1,λ2设置为5,λ3设置为5,λ4设置为1,使用Adam优化器,学习率和一阶动量衰减率设置为0.000 2和0.5,使用1 500组数据用于训练,训练的批大小设置为1,训练40个周期后结束训练。网络在Tensorflow框架上实现,在NV ID IA GeForce RTX 2080 SUPER GPU上进行训练。
3.2.3仿真实验结果
在测试集上对DR-GAN网络进行预测,在图6中展示了3组GPR图像杂波抑制效果,图6(a)是含杂波GPR图像,图6(b)是含杂波GPR图像经过DRGAN处理后的杂波抑制GPR图像,图6(c)是对应的无杂波GPR图像标签。可以看出DR-GAN能够较好地去除杂波,并且保留了大部分目标双曲线信息。
图6 DR-GAN在仿真数据上的杂波抑制效果
图7(a)显示了仿真的含杂波GPR B-scan图像,图7(b)—图7(h)显示了MS, SVD, NMF, RPCA, RNMF,RAE,DR-GAN的杂波抑制效果,MS对于不均匀杂波抑制效果较差,几乎没有太多作用,SVD和NMF几乎能保留所有的目标双曲线信息,对不均匀杂波也具有一定的抑制效果,但还是保留了大部分的杂波分量,RPCA,RNMF,RAE能够去除大部分杂波,但仍然还是有一些杂波存在,并且丢失了部分目标双曲线信息,DR-GAN几乎能去除所有的不均匀杂波,而且保留了目标的主要双曲线信息。
图7 不同方法对仿真数据的杂波抑制效果
在PSNR,SSIM和时间指标上比较各种算法的杂波抑制性能,分别在6种不同地下目标的测试集上进行测试,每个测试集有30张含杂波图像,各种杂波抑制算法的平均PSNR(d B)和平均SSIM如表2所示。
由于非金属目标的回波较弱,因此在去除杂波的同时部分目标信号也被去除了,所以非金属目标的杂波抑制效果会差于金属目标。由表2可以看出MS效果较差,NMF与SVD效果类似,但仍然保留了许多杂波成分,所以效果差于RPCA,RNM F,RAE。由于RPCA,RNMF,RAE还是有少量杂波成分,以及在去除杂波的同时丢失了部分目标信息,因此它们的SSIM都较低。DR-GAN的PSNR,SSIM指标均最高,表明DR-GAN能够较好地抑制杂波,并且保留大部分目标信息。表3列出了不同方法的用时比较,算法的运行平台和3.2.2节中的平台相同,其中RNM F用时最长,其次是RAE,MS用时最短,DR-GAN的运行时间仅为0.103 s,表明DR-GAN能够近似实时地进行GPR图像的杂波抑制。
表3 各种杂波抑制方法的平均用时(s)
3.3.1实测数据集制作
为了验证DR-GAN的实测效果,使用制作的沙箱作为实测测试场地,如图8所示。沙箱中放入石英砂作为背景介质,放入空心塑料瓶、钢筋、空心PVC管(外径25 mm,壁厚3 mm)作为目标,使用中心频率为2 GHz的GSSISIR4000商用探地雷达采集数据。
图8 实测场景
由于用仿真训练的权重直接预测实测数据效果较差,因此DR-GAN需要在实测数据集上训练才能得到较好的杂波抑制性能。由于网络的训练需要无杂波图像作为B域,但在实测中难以得到无杂波GPR图像,因此本文参考了文献[17]中的方法,来制作一种仿真-实测数据集,如图9所示,将仿真的无杂波数据添加到实测的无目标背景图像中来得到A域含杂波图像,仿真的无杂波数据作为B域无杂波图像,实测的无目标背景图像作为杂波背景图像。制作260组数据用于DR-GAN网络的训练。
图9 实测杂波数据的制作
3.3.2实测数据结果
图10展示了DR-GAN处理实测数据的效果,图10(a)是实测的GPR图像,图10(b)是经过DR-GAN处理后的杂波抑制图像。可以看出DR-GAN能够较好地抑制杂波,并且保留大部分目标双曲线信息。
图11(a)是实测的GPR图像,由于实测环境的不均匀性,实测GPR图像的部分杂波是不均匀的,图11(b)—图11(h)是MS, SVD,NMF,RPCA,RNMF,RAE,DR-GAN的杂波抑制结果,由于杂波的不均匀,MS只能去除部分均匀的杂波,SVD与NMF效果类似,能够去除部分杂波,但还是保留了较多杂波成分,RPCA与RNMF能够去除较多的杂波,但仍然还是有少量杂波剩余,由于目标较弱,RAE在去除杂波的同时把目标也去除了,DR-GAN几乎能把所有杂波去除,并且将主要的双曲线信息都保留下来了。
图11 不同方法对实测数据的杂波抑制效果
各种算法对实测数据进行杂波抑制的IF指标如表4所示,每个测试集有10张含杂波图像,从表4可以看出在不同测试集上DR-GAN的IF指标均最高,进一步验证了DR-GAN的杂波抑制性能。从钢筋目标的处理结果看,其IF指标较RNM F方法提高了17.85 dB。
表4 实测数据杂波抑制的平均IF(dB)
本文设计了一种无监督学习网络DR-GAN用于抑制GPR图像的杂波。与有监督学习网络不同,DRGAN的训练不需要成对的匹配数据,扩大了该方法的适用性。DR-GAN通过目标特征编码器和杂波特征编码器分别提取GPR图像中的目标特征和杂波特征,杂波抑制生成器和杂波重建生成器分别利用目标特征和目标特征及杂波特征得到杂波抑制后的GPR图像和具有杂波的GPR图像,实现含杂波GPR图像和无杂波GPR图像的解纠缠表示学习,通过判别器提供对抗损失使生成器生成相应图像,不断降低生成器和判别器的损失误差以完成训练,训练好的DR-GAN通过目标特征编码器和杂波抑制生成器实现GPR图像的杂波抑制。
采用仿真软件,生成了在混合土壤场景下的1 500组GPR B-scan数据用于DR-GAN的训练,DR-GAN与常用的杂波抑制算法相比(如SVD,RPCA,RNMF等),在PSNR和SSIM指标上均取得了更好的结果。同时也采用实测数据进行了处理验证,制作了仿真-实测数据集用于网络的训练,并在实测数据上验证了此方法的性能。实测数据的处理结果表明,DR-GAN具有更好的不均匀杂波抑制效果。