程芳芳,王旭东,吴 楠
(大连海事大学 信息科学技术学院,辽宁 大连 116026)
传统无线通信系统可以简单描述为传输信号经过发射机调制编码后传送到信道,接收机在有信道干扰的情况下完美地完成解调和解码,从而恢复出原始传输信号的过程。这种方法可以单独优化每个模块,使每个模块达到最优,在信道估计[1-4]、信号检测[5]、信道编解码[6-7]及调制识别[8-9]等方面有着广泛应用;缺点是需要大量的专家知识,并且优化每个子模块不能保证实现全局最优的性能[10]。随着近几年神经网络技术以及专用硬件的发展,无线通信领域的研究学者提出了基于深度学习(Deep Learning,DL)的端到端通信方案,这一方法能够联合优化发射机和接收机,大幅度提升通信系统的可靠性和有效性。文献[11]提出了一种发射机和接收机均由深度神经网络(Deep Neural Network,DNN)构成的端到端通信系统实现方案。文献[12]在此基础上进行了改进,用卷积神经网络(Convolutional Neural Network,CNN)构建收、发信机,获得了泛化性较高的一种设计方案。文献[13]提出了一种基于CNN的正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)自编码正交频分多址技术,用于复杂信道环境下的船联网信息传输,且性能优于传统的OFDM系统。
端到端通信系统设计的一个关键问题是信道传输特性描述,在以往的研究中通常采用一个假设的数学模型来表示信道,但实际场景受到多种噪声的干扰,信道会随着时间、地点的变化而变化。简单模型可能无法正确反映实际传输场景中信号的传输受到的影响,使得性能分析评估不够准确,因此越来越多的人开始寻求新的信道建模方法,以保证通信系统建模分析的准确性和可靠性。
深度学习的迅速发展使人们意识到可以将神经网络应用于通信领域以解决现有问题。文献[14]提出了一种用生成对抗网络(Generative Adversarial Network,GAN)来逼近随机信道模型的方法,结果表明,该方案能够准确地学习到随机信道特征。文献[15]在GAN的基础上引入条件信息,提出了用条件生成对抗网络(Conditional Generative Adversarial Network,CGAN)进行信道建模的方法,将学习到的信道应用于端到端通信系统中,提供发射机和接收机之间进行梯度反向传播的桥梁,更新权重和偏置,最终得到与传统信道估计方法相似的性能。
针对原始的CGAN采用全连接层(Fully Connected Layer,FC)学习长传输序列模型时准确度不够以及计算量大的问题,本文将CNN引入CGAN,提出了一种基于CNN的条件对抗生成网络的改进方案。方案采用CNN构建GAN网络的生成器和判别器,同时加入全连接层,对输入的每个元素进行处理。通过对参数设计及网络结构调整,获得了适应不同调制方式和信道类型的学习网络,可以实现传输长序列的信道建模,并且较好地解决了GAN收敛慢、计算量大的问题。采用不同的调制方式在加性高斯白噪声(Additive White Gaussian Noise,AWGN)信道和瑞利衰落信道下进行仿真实验,验证了DCGAN对于传输长序列信道建模的有效性。该方法可以在固定信噪比(Signal-to-Noise Ratio,SNR)下进行训练,推广到整个SNR范围内工作。此外,利用不同的评价标准进行性能评估对比,证明了方法的准确性。
2014年,Goodfellow等[16]在国际会议上发表了有关生成对抗网络的论文,主要灵感来源于博弈论中零和博弈的思想。应用到深度学习神经网络上来说,GAN网络是通过对抗训练的方式来使得生成网络产生的样本服从真实样本分布。相比传统的模型,生成对抗网络的特点是有两个网络进行对抗训练:一个是生成网络(Generator Network),用G表示;另一个是判别网络(Discriminator Network),用D表示。和单目标的优化任务相比,生成对抗网络的两个网络的优化目标刚好相反,GAN中生成器G的梯度更新信息来自判别器D,而不是来自数据样本,因此生成对抗网络的训练比较难,往往不太稳定。一般情况下,需要平衡两个网络的能力。对于判别网络来说,一开始的判别能力不能太强,否则难以提升网络的能力。但是,判别器的判别能力也不能太弱,否则针对它训练的生成网络也不够完美,最终需要的结果是两者达到纳什均衡。
生成网络和判别网络的主要功能是:生成网络GG(n)是一个生成式的网络,它接收一个随机的噪声n,通过这个噪声生成样本。判别网络DD(i)实际上是一个二分类的分类器,目标是区分样本i是来自于真实分布pr(i)还是来自于生成模型pg(i),其中标签y=1表示来自于真实分布,y=0表示来自生成模型。判别网络y=0的输出为属于真实数据分布的概率为
P(y=1|i)=DD(i),
(1)
则样本来自生成模型的概率为
P(y=0|i)=1-DD(i)。
(2)
给定一个样本(i,y),y={1,0}表示其来自于pr(i)还是pg(i),判别网络的目标函数为最小化交叉熵,即
(3)
(4)
公式(4)可以进一步由公式(5)表示:
(5)
生成网络的目标刚好和判别网络相反,即让判别网络将生成的样本错判为真实样本,即
(6)
公式(6)进一步转化为
(7)
式(6)和式(7)两个目标函数是等价的,但公式(6)的梯度性质更好。对于函数lb(x)来说,假设x∈(0,1),x接近1时的梯度比接近0时小很多。因此当判别网络D以很高的概率认为生成网络G产生的样本是假样本时,即(1-DD(GG(n)))趋向于1,不利于优化。生成网络和判别网络之间是相互竞争的关系,它们的性能在对抗中一次次提高。若用目标函数表示该过程,则可表示为
En~pn(n)[lb(1-DD(GG(n)))]。
(8)
式中:E[·]表示计算统计平均。
2014年,Mirza等[17]在《Computer Science》上发表了CGAN的论文[17]。如果生成网络G和判别网络D都以接收到的导频信息c作为条件信息,则GAN可以扩展为条件模型,只需要将条件信息c馈入生成网络G和判别网络D中作为附加输入。因此,一般生成网络G的输出为GG(n|c),鉴别器D的输出为DD(i|c)。CGAN的优化目标相比GAN则变为
En~pn(n)[lb(1-DD(GG(n|c)))]。
(9)
本文在CGAN网络的基础上引入CNN,构成DCGAN网络。但优化目标与CGAN网络相同,其中生成器和判别器都由CNN和全连接层构成。引入了条件信息c和CNN的DCGAN网络模型如图1所示,生成器的输入由n和c两部分组成,其中n为输入噪声,生成器生成的虚假数据和真实数据以及条件信息c一同作为判别器的输入,判别器判别输入样本的真假,如果样本是真实数据判为Real,是生成的虚假数据则判为Fake。
图1 CGAN网络系统组成结构
将信道建模和端到端通信结合起来,完成通信系统的完整构建。端到端通信的结构如图2所示,由发射机、信道和接收机三部分组成,其中发射机包含调制器,信道包含AWGN信道和瑞利信道,接收端包括解调器。
图2 端到端通信系统结构
系统的发射机由4个一维卷积层和1个功率归一化层组成,输入的二进制消息序列s经过由卷积层构成的调制器进入调制阶段,功率归一化层对调制后的信号进行能量约束,经过能量约束后的信号x∈n进入信道。针对信道部分,本文提出将CNN和全连接层引入CGAN对信道进行建模,生成器包含3个一维卷积层和1个全连接层,利用卷积层的局部连接和权重共享特性,能够在所有输入符号上采用同一组参数,执行相同的卷积运算,因此可以同时处理整个符号序列x。对传输k×l比特信息的信道进行建模,其中l是符号的长度,k是每符号携带的比特数。全连接层能够完成特征空间的维度转换,将输入维度为l×k的信号转换为l×2,保证信号的输出由实部和虚部两个维度构成。生成器生成的虚假数据和真实数据一同输入到判别器,判别器采用3个一维卷积层和1个全连接层,对输入数据进行判别,全连接层将维度为l×2的输入转换为l×1,采用sigmoid激活函数将输入的概率值压缩到(0,1)之间,当概率值大于0.5时判别为Real,反之判为Fake。利用DCGAN网络可以成功地对AWGN信道或瑞利信道进行建模。接收机由5个一维卷积层组成,能够接收经过信道后具有失真和噪声污染的信号y=x+n或y=hx+n,其中h是信道特性,n是方差为σ2的加性高斯白噪声。接收机对信号y进行解调,以恢复原始的比特流s。信道建模与端到端通信结合的系统模型如图3所示。
图3 基于DCGAN网络的端到端通信系统组成结构
尽管采用更多的神经网络层可以使得整个结构的学习能力更强,但层数的增加也意味着训练难度加大。经过试验,本文对收发机均采用5层神经网络设计结构,对DCGAN结构采用4层,既能获得准确的建模结果,又能保证网络结构的学习能力以及训练难度适中。图3对应的参数由表1给出。
表1 生成器结构参数
本节将通过大量的仿真实验证明提出的基于DCGAN网络的信道建模方法能够对传输长序列的情况进行建模,并具有良好的泛化能力。与端到端通信结合,在固定信噪比20 dB下进行训练,选取比特能量信噪比Eb/N0在0~30 dB范围内进行误比特率分析,在不同调制方式下,将本方案获得的误比特率(Bit Error Rate,BER)性能与传统数字调制系统进行对比。
利用卷积神经网络的权重共享和局部连接特性,在l×k的传输长度下对信道进行建模。在本次试验中,符号长度l设置为128,每个符号包含k比特信息。生成对抗网络中生成器和判别器的损失函数如式(9)所示,收发机的损失函数采用输入和输出之间的二进制交叉熵损失函数:
(10)
分别采用不同指标对加性高斯白噪声信道和瑞利衰落信道建模效果进行分析,调制方式选取16QAM,优化器为Adam,其他参数保持相同,部分系统仿真参数如表2所示。
表2 系统仿真参数
为了准确地对建模效果进行评价,采用概率密度函数(Probability Density Function,PDF)对信道建模效果进行分析。在两种不同的信道下分别对真实数据和生成数据进行对比。通过图4可以观察到,在加性高斯白噪声和瑞利衰落信道下,真实信道数据和DCGAN生成的信道数据两条曲线之间差距都比较小,在一定程度上可以反映出建模效果,但这种方法的不足是无法计算两者之间的差距。
(a)AWGN信道的概率密度函数
(b)瑞利信道的概率密度函数图4 不同信道下的概率密度函数
归一化均方误差(Normalized Mean Squared Error,NMSE)是一种较为简单的方法,可以用来衡量生成数据与真实数据之间的偏差,评价数据的变化程度。其计算表达式如下:
(11)
在本次试验中采用NMSE方法可以有效地对建模效果进行分析。以16QAM调制下的瑞利信道为例,通过图5可以观察到,NMSE可以直观地反映出真实数据和生成数据之间的差距,并能比较不同方法针对长短序列的建模效果。与文献[10]中原始的GAN方法和文献[15]中改进的CGAN方法相比,在处理相同长度为8的短序列时,从图5(a)中可以观察到GAN和CGAN模型在迭代次数较少时生成效果较差,但随着迭代次数的增加,效果越来越好,最终与DCGAN的信道建模效果差距较小,证明GAN、CGAN和DCGAN均可以成功对短序列进行建模,不存在维度诅咒问题。但当针对长序列输入进行建模时,由于维度诅咒,现有的GAN和CGAN方法学出来的结果误差较大,即不能正确地进行信道建模。为了解决这一问题,本文采用DCGAN方法。DCGAN相比GAN和CGAN的优势是能够将输入从几比特的短输入序列扩展到几十甚至上百比特的长序列。从图5(b)中可以观察到,在长度为128的长序列下,GAN迭代20次时逐渐平稳,CGAN迭代180次时逐渐趋于平稳,最终的NMSE值较大,GAN和CGAN针对长序列建模失败。但DCGAN在迭代60次时NMSE已经达到-35 dB,结果较好,证明DCGAN可以准确地实现输入为长序列的建模,打破了维度的限制。为了进一步比较GAN、CGAN和DCGAN三种方法,对其loss函数进行分析。
(a)基于短序列的NMSE
(b)基于长序列的NMSE图5 基于不同输入长度CGAN和DCGAN信道建模的NMSE
loss函数是决定网络学习质量的关键。在网络结构不变的前提下,loss函数选择不当会导致模型精度差等后果。本文的损失函数参考公式(9)。GAN模型训练困难,判别器太差时无法提供有效梯度,太好则会导致梯度消失,为了避免这一问题,训练时首先固定生成器,判别器每训练10次生成器训练一次。观察图6中GAN、CGAN和DCGAN模型针对16QAM调制下瑞利信道的loss函数可知,GAN模型在迭代290次时产生交叉点(即达到纳什均衡),CGAN模型迭代150次达到纳什均衡,而DCGAN模型迭代20次时就可以达到纳什均衡。从该结果中可以得出结论:GAN收敛速度最慢,CGAN次之,DCGAN相比GAN和CGAN随着训练次数的增加可以更快地收敛,效果更好。
(a)基于CGAN的loss函数
(b)基于DCGAN的loss函数
(c)基于GAN的loss函数图6 基于GAN、CGAN和DCGAN的loss函数对比
通过采用不同的指标进行对比可以得出结论:NMSE方法最适合用来对信道建模效果进行分析,能够直观准确地判断出不同方法的建模效果。loss函数收敛效果对比表明,基于DCGAN的建模方法优于基于CGAN的方法。
针对AWGN信道和瑞利衰落信道进行准确建模后,将其与自编码器(Auto Encoder,AE)系统结合起来组成端到端通信系统。在不同的调制方式下将基于神经网络的端到端通信和传统的通信系统进行对比,观察整体结果。
图7给出了不同信道中采用不同调制方式时的BER。设置k为2、4、6,分别对应传统的QPSK、16QAM和64QAM。如图7所示,与传统的调制方式相比,基于DCGAN信道建模的端到端通信系统的BER性能与传统调制方式的理论值相吻合,由于学习到的信道并不是完全准确,所以BER会存在一定的偏差。
(a)AWGN信道下不同调制方式的误比特率
(b)瑞利信道下不同调制方式的误比特率图7 不同信道下不同调制方式的误比特率
本文提出了一种基于DCGAN的端到端通信系统,将改进的DCGAN和自编码器运用到通信领域中。系统采用神经网络来完成整个通信过程。利用卷积层和全连接层的局部连接和权重共享特性对传输长的二进制比特序列信道进行建模,并从AWGN信道扩展到更复杂的瑞利衰落信道中。将信道建模结果与端到端通信结合起来,发射机实现调制过程,接收机将接收到的信号进行恢复。仿真实验证明,基于DCGAN的信道建模方法能够对传输的长序列成功建模,并且可以得到与传统调制方式相吻合的性能。
本文提出的模型系统能够推广到各种信道,与端到端通信结合时可得到与现有人工设计的最佳调制方案相似的性能。未来希望在DCGAN网络上继续进行改进,进一步实现在无监督学习的方式下准确的信道建模过程。