付晓梅 贾碧群 王思宁
摘 要:深度神经网络中的自动编码器(Autoencoder,AE)通过收发端两个神经网络模块进行全局优化,利用端到端的训练方式以提高通信系统的可靠性. 然而,现有对AE的研究未针对信道进行特殊设计,尤其对于时变的水声信道的多径效应,难以进行灵活调整,降低了该方法的实用性. 本文提出一种提高水声通信系统信道环境适应性的Attention-Autoencoder网络模型,基于Attention网络可以高效地从大量信息中筛选出关键信息的特点,设计了一种针对水声信道的Attention机制,该机制能够增加网络提取水声信道特征的能力,使系统的适应性大大提高. 仿真验证和湖试实验结果表明,基于Attention-Autoencoder网络模型的通信系统与基于文献中AE模型和没有引入神经网络的水声通信系统相比,具有更高的信道环境适应性.
关键词: OFDM;水声通信;注意力网络(Attention);自动编码器(Autoencoder,AE)
中图分类号:TN 929.3 文献标志码:A
Research on Underwater Acoustic Communication System with
High Environmental Adaptability Based on Deep Neural Network
FU Xiaomei JIA Biqun WANG Sining
(School of Marine Science and Technology,Tianjin University,Tianjin 300072,China)
Abstract:The Autoencoder(AE) in the deep neural network is globally optimized through two neural network modules at the transmitter and receiver,and uses end-to-end training to improve the reliability of the communication system. However,the existing research on the AE does not have a special design for the channel,especially for the multipath effect of the time-varying underwater acoustic channel,and thus it is difficult to make flexible adjustments,which reduces the practicability of the method. This paper proposes an Attention-Autoencoder network model to improve the adaptability of the underwater acoustic communication system channel environment. Based on the Attention network's characteristic that it can efficiently filter out key information from a large amount of information,an Attention mechanism for the underwater acoustic channel is designed. The mechanism can increase the ability of the network to extract the characteristics of the underwater acoustic channel and greatly improve the adaptability of the system. Simulation verification and lake test results show that the communication system based on a comparision of. Attention-Autoencoder network model with the AE model in the literature and the underwater acoustic communication system without the introduction of neural networks,has a higher channel environment adaptability.
Key words:orthogonal frequency division multiplexing(OFDM); underwater acoustic communication;attention;autoencoder(AE)
水声通信在海洋信息数据采集、环境监测、沿海石油勘探等方面发挥着重要的作用. 水声信道由于具有快时变、窄带宽、显著的多径效应和多普勒频移等特性,是最复杂的信道之一[1],在水聲通信系统中需要准确估计和跟踪信道状态信息(CSI).
近年来,将深度神经网络(Deep Neural Net-work, DNN)引入水声通信的接收端,取得了一些积极进展,文献[2]利用深度神经网络代替信道估计模块,与最小二乘(LS)算法相比提高了信道估计的精度;文献[3]利用深度神经网络直接代替信道估计与均衡,提高了系统的可靠性;文献[4]使用深度神经网络代替接收端的解调、信道估计与均衡及星座图解映射几个部分,较大程度地降低了系统误码率.
与仅用于接收端的DNN模型不同,自动编码器(Autoencoder,AE)是一种由收发端两个神经网络模块组成的模型,通常,AE模型中发送端网络用于编码,接收端网络用于解码[5-7];文献[8]提出利用自动编码器构建端到端的通信系统,将通信系统的接收端和发送端用自动编码器替代,结果表明基于该自动编码器的系统性能优于传统的无线通信系统;文献[9]将整个系统均用自動编码器表示,包括编码器、信道正则器和解码器几个部分,以便更加准确地恢复输入的信号;文献[10]利用自动编码器实现一个端到端的通信系统,并将这一思路拓展到MIMO系统中;文献[11]将自动编码器应用到OFDM系统,利用自动编码器代替OFDM 的发送端和接收端,结果表明在多径信道环境下,基于自动编码器的OFDM系统比传统方法能更好地进行信道均衡和频率偏移补偿.
然而,现有的大部分的深度神经网络均在无线通信中应用广泛,由于水声信道特征与陆上无线通信的信道具有不同的特性,现有的深度学习模型无法直接应用于水声通信中. 研究过程中我们发现,大部分现有基于深度学习的系统只是把深度神经网络当做一个“黑盒子”,没有针对信道环境进行设计与优化,缺乏考虑实际测试场景的因素,无法根据特定的场景环境进行迅速调整,离线完成训练的网络无法适用于有一定变化的测试环境.
注意力(Attention)模型将网络的权重重新分布,使注意力专注于重要的输入,当神经网络处理大量的输入信息时,可以借鉴人脑的注意力机制,只选择一些关键的信息进行处理并规避干扰,从而增加网络提取特征的能力. 利用Attention网络的特点,文献[12]将Attention网络设计成层叠结构用于全局图像的感知与识别,以达到更加精准的图片分类结果;文献[13]中提出了一种顺序注意模型处理图像字幕,通过考虑相应的顺序关系来处理视觉注意,从而很好地利用了单词内在联系来增强句子解码过程中的视觉信息;文献[14]提出了一种基于残差学习和时空注意力机制的卷积神经网络(R-STAN),使其更加注重区分时间和空间特征,解决了视频中存在着大量的时空冗余信息的问题.
为了提高适应性,本文在传统OFDM水声通信系统中加入AE,并引入一种针对水声信道的Attention机制,该机制能够增加网络提取水声信道特征的能力,并保留了具体的通信模块,如编码、星座映射、调制、加循环前缀等过程,避免了整个基于Attention-Autoencoder的水声通信系统成为一个巨大的“黑匣子”,使系统的可控性和环境适应性大大提高.
1 基于Attention-Autoencoder的水声通信系统
基于Attention-Autoencoder模型的水声通信系统框图如图1所示. 发送端的输入是随机生成的,经过星座图映射为符号,符号映射方式为QPSK,串并变换后进行快速傅里叶算法逆变换(inverse fast Fourier transform, IFFT),从频域信号X(k)获得时域信号,记作X(n)∈RM. 将进入自动编码器的发送端网络训练后记作x′(n),为了降低符号间干扰和子载波间干扰,在x′(n)的前端插入循环前缀(CP),得到t(n)∈RN. 进入Attention网络后,通过激励函数Tanh层和Softmax层得到概率权重后再与原输入h(n)相乘,其目的是通过Softmax激活层将输入的权重进行调整,更加忽略或侧重某个输入,从而更专注于找到未知水声信道的显著有效信息,这样可以有效筛选数据,使系统的泛化能力提高,最后将Attention网络的输出还原成复数形式h′(n),再将信道h(n)与信号进行卷积,M表示信号 的长度,N表示信号t(n)的长度. 卷积过程如式(1)所示:
2 Attention-Autoencoder网络模型
2.1 Attention网络
2.2 Autoencoder网络
3 网络训练
Attention-Autoencoder网络模型以端到端的方式训练信号数据,该模型使用离线训练结合在线测试的方式以减少运行所消耗的时间. 基于Bellhop的水声信道模型获得不同环境下的训练和测试数据集,训练集与测试集的样本个数分别为400和100,并结合真实实验环境1、2、3、4进行进一步验证. OFDM水声通信系统的参数如表1所示,在每次仿真中会随机生成 0,1 序列作为系统的输入数据流,分别表示为导频信息与信号信息,其比值为1 ∶ 1,导频插入方式为块状导频. 经网络传输后接收到的数据和原始生成的随机传输数据被称为训练数据. 神经网络在训练过程中通过调整每个神经元的权重,最小化输出Y(k)与输入X(k)之差.
4 仿真实验与分析
4.1 水声信道环境
本文基于Stojanovic等[15]模拟了7种不同的环境如表2所示,用来测试系统对环境的适应性. 分别考虑传输距离、最大时延扩展和多普勒频移几个影响因素.
4.2 Attention网络对水声信道冲激响应的影响
为了验证上述Attention网络的效果与作用,我们将未经过Attention网络的水声信道冲激响应与经过Attention网络后的水声信道冲激响应归一化后进行了对比,如图6所示.
图6比较了利用仿真环境2训练模型、用仿真环境3进行测试,经过Attention网络和未经过Attention网络的水声信道冲激响应,从图中可以看到,经过Attention网络后的信道多径数明显减少,只保留了水声信道中的最大径,这表明利用Attention网络机制可以有效地对水声信道多径信息进行筛选,尽量保留最大的信道冲激响应,过滤抑制其他的较小径,这种设计针对强多径的水声信道具有较好的实际物理意义.
4.3 相同环境下不同的信道估计方法的影响
图7对比了训练集与测试集相同环境下(模型在环境2下训练,环境2下测试)不同信道估计方法,将本文设计的基于Attention-AE的系统、未加Attention的AE系统、AE[11]和DNN接收机[4]相比,对系统进行评估. 从图中可以看出在不同信噪比(SNR)下Attention-AE系統误码率始终最低,不仅优于基于传统的信道估计方式LS和最小均方误差(MMSE)的系统,且相较于不加Attention的AE系统、文献中AE和DNN接收机系统,该Attention-AE系统的性能更佳,并在信噪比为25 dB时的误码率(BER)达到了10-4,而基于AE的系统只达到10-3. 因此可以得出,本文设计的基于Attention-AE模型的水声通信系统可以对信道进行有效筛选,减小多径对信号的影响,使得系统的性能进一步提高,误码率水平优于基于传统的信道估计方法和AE的系统.
4.4 随机多普勒频移改变的影响
图8为基于AE[11]与Attention-AE的系统在测试集为不同范围的随机多普勒频移下的误码率(BER)对比图,网络模型均在仿真环境2下训练. 从图中可以看出测试集中不同范围的多普勒频移对基于AE和Attention-AE的系统都有一定的影响,且随着多普勒频移的增大,误码率也随之增大. 相比之下,基于Attention-AE系统的误码率曲线比基于AE系统的误码率曲线低很多,说明基于Attention-AE的系统有较为出色的泛化能力并可以更好地适应与训练集相比变化较大的测试集.
4.5 训练集环境与测试集环境相同和不同的影响
图9比较了在训练集环境与测试集环境相同和不同时基于AE[11]和Attention-AE的系统在0~25 dB不同信噪比下的BER曲线. 环境相同时为两种模型在环境2下训练,在环境2下测试;环境不同时为两种模型在环境2下训练,环境5下测试. 从曲线可以看出两种模型对环境的适应程度不同,基于AE的系统在训练集与测试集环境不同时误码率与环境相同时相比有较大幅度的变化,说明基于AE的系统对环境的改变较为敏感,对环境的适应性较差,基于Attention-AE的系统在环境不同时的误码率曲线与基于Attention-AE和AE的系统在环境相同时的曲线基本重合,说明基于Attention-AE的系统对环境的适应性非常强,表明本文提出的网络模型对环境适应性的提升是有效的.
4.6 传输距离改变的影响
图10分析的是传输距离改变对基于AE和Attention-AE的系统BER曲线的影响,从图中可以看出文献[11]中的AE模型对环境的适应性(对传输距离的改变敏感)较差,误码率一直较高. 而Attention-AE模型展现了良好的环境适应性,可以在环境变动较大时仍得到较为良好的测试结果.
5 湖试实验结果与分析
基于AE[11]和Attention-AE的系统也在真实实验上得到了验证. 相关实验在天津大学卫津路校区敬业湖进行,实验采用设备采集卡NI-4431,4432,WBT22-1601水声换能器,Brüel & Kj?覸r 8104水听器. 试验区水深为6 m.
AE和Attention-AE模型均用仿真环境2进行训练,分别用实验环境1(传输距离6 m)、实验环境2(传输距离100 m)、实验环境3(传输距离300 m)和实验环境4(传输距离300 m,随机多普勒频移约为0~10 Hz)进行测试,实验环境4的随机多普勒频移由实验者以约0.6 m/s的速度携带水听器单向移动所得. 实验发送端的水听器发送信号,实验接收端的水听器接收信号,利用最小二乘法(LS)估计方法得到真实的水声信道后作为模型的测试集测试模型的性能. 实验的一些主要参数:载波中心频率fc = 25 kHz,子载波个数N = 1 024,带宽B = 8 kHz,发送端与接收端的采样率均为96 kHz.
图11为仿真环境2和实验环境1、2、3和4的信道冲激响应,可以看出仿真环境的最大多径时延扩展约为25 ms,实验分别约为12 ms、30 ms、27 ms和37 ms.
图12比较了利用仿真环境2训练模型,用湖试环境4进行测试,经过Attention网络和未经过Attention网络的信道冲激响应. 从图中可以看到,经过Attention网络后的信道多径数明显减少,只保留了水声信道中的最大径,这表明利用Attention网络机制可以有效的对水声信道多径信息进行筛选. 因此,利用Attention网络对信道处理可以提高传输的准确性,在系统进行测试时,Attention网络会对测试的信道进行筛选与处理,提高了整个系统的适应性.
图13为基于AE[11]与Attention-AE的系统在仿真环境2进行训练,在实验环境2和3进行测试的误码率(BER)对比图. 从图中可以看出,在相同的训练环境和实验测试环境下,基于Attention-AE的系统的误码率均比基于AE的系统低,表明本文所提出的基于Attention-Autoencoder网络模型的水声通信系统在实际环境下测试仍具有较低的误码率性,证明了该网络模型具有较强的泛化能力和信道环境适应能力.
图14为基于AE[11]与Attention-AE模型的系统在测试集环境与训练集相同及不同条件下的BER对比. 基于AE的系统在测试环境为实验水声信道环境SNR = 25 dB时,误码率也只能达到10-2,与训练测试环境相同时的误码率相差较大,说明基于AE的系统对环境变化较为敏感,而基于Attention-AE的系统在环境相同与不同的情况下,曲线的误码率没有较大变化,保持了良好的误码率水平,这表明基于Attention-AE的系统有较强的环境适应性,验证了该系统的有效性.
圖15为基于AE[11]与Attention-AE的系统在测试集与训练集环境相同及在仿真环境2进行训练、实验环境4 (信道受到多普勒频移的影响)下进行测试的误码率(BER)对比图. 从图中可以看出实验环境4的多普勒频移对基于AE和Attention-AE的系统都有一定的影响. 相比之下,基于Attention-AE的系统误码率曲线比AE的误码率曲线低很多,说明该模型有较好的环境适应性.
6 结 语
本文从传统的自动编码器对环境的适应性较差的问题出发,在传统OFDM水声通信系统中加入AE,并引入一种针对水声信道的Attention机制. 该Attention机制可以高效地从大量信息中筛选出少数关键信息的特点,以提高网络提取特征的能力,在训练集与测试集的信道环境参数相差较大时,基于该网络模型的水声通信系统仍具有较低的误码率. 经过仿真验证和湖试实验验明,与现有的AE模型和没有引入神经网络的水声通信系统相比,基于Attention-Autoencoder的水声通信系统具有较强的信道环境适应能力,展现出更佳的系统性能.
参考文献
[1] STOJANOVIC M,PREISIG J. Underwater acoustic communication channels:Propagation models and statistical characterization[J]. IEEE Communications Magazine,2009,47(1):84—89.
[2] JIANG R K,WANG X T,CAO S,et al. Deep neural networks for channel estimation in underwater acoustic OFDM systems[J]. IEEE Access,2019,7:23579—23594.
[3] ZHANG Y W,LI J X,ZAKHAROV Y,et al. Deep learning based underwater acoustic OFDM communications[J]. Applied Acoustics,2019,154:53—58.
[4] ZHANG J,CAO Y,HAN G Y,et al. Deep neural network-based underwater OFDM receiver[J]. IET Communications,2019,13(13):1998—2002.
[5] JI D J,PARK J,CHO D H. ConvAE:a new channel autoencoder based on convolutional layers and residual connections[J]. IEEE Communications Letters,2019,23(10):1769—1772.
[6] WADA T,TOMA T,DAWODI M,et al. A denoising autoencoder based wireless channel transfer function estimator for OFDM communication system[C]//2019 International Conference on Artificial Intelligence in Information and Communication (ICAIIC). Okinawa,Japan:IEEE,2019:530—533.
[7] OSHEA T J,ERPEK T,CLANCY T C. Deep learning based MIMO communications[EB/OL].2017:arXiv:1707.07980[cs.IT].https://arxiv.org/abs/1707.07980.
[8] D?魻RNER S,CAMMERER S,HOYDIS J,et al. Deep learning based communication over the air[J]. IEEE Journal of Selected Topics in Signal Processing,2018,12(1):132—143.
[9] OSHEA T J,KARRA K,CLANCY T C. Learning to communicate:Channel auto-encoders,domain specific regularizers,and attention[C]//2016 IEEE International Symposium on Signal Processing and Information Technology (ISSPIT). Limassol,Cyprus:IEEE,2016:223—228.
[10] OSHEA T,HOYDIS J. An introduction to deep learning for the physical layer[J]. IEEE Transactions on Cognitive Communications and Networking,2017,3(4):563—575.
[11] FELIX A,CAMMERER S,D?魻RNER S,et al. OFDM-autoencoder for end-to-end learning of communications systems[C]//2018 IEEE 19th International Workshop on Signal Processing Advances in Wireless Communications (SPAWC). Kalamata,Greece:IEEE,2018:1—5.
[12] ZHU Y S,ZHAO C Y,GUO H Y,et al. Attention CoupleNet:fully convolutional attention coupling network for object detection[J]. IEEE Transactions on Image Processing,2019,28(1):113—126.
[13] FANG F,LI Q Y,WANG H L,et al. Refining attention:a sequential attention model for image captioning[C]//2018 IEEE International Conference on Multimedia and Expo (ICME). San Diego,CA,USA:IEEE,2018:1—6.
[14] LIU Q L,CHE X J,BIE M. R-STAN:residual spatial-temporal attention network for action recognition[J]. IEEE Access,2019,7:82246—82255.
[15] QARABAQI P,STOJANOVIC M. Statistical characterization and computationally efficient modeling of a class of underwater acoustic communication channels[J]. IEEE Journal of Oceanic Engineering,2013,38(4):701—717.