深度学习在认知无线电中的应用研究综述

刘 波,白晓东,张更新,沈 俊,谢继东,赵来定,洪 涛

（1. 南京邮电大学 通信与信息工程学院，南京 210003; 2. 西安空间无线电技术研究所，西安 710000）

0 引 言

移动互联网的发展和无线智能设备的普及使得越来越多的用户接入到互联网中, 同时单个用户对带宽的需求也在增长, 基础的语音服务已无法满足多样化的通信及娱乐休闲需求, 而短缺的频谱资源却是现实的. 理论上讲, 频谱资源是无限的, 但受到天线尺寸、电磁波特性、设备性能和发射功率的限制, 现实可用的频谱资源被严格限制在一定的范围内; 而这些频带已经基本被划分完毕, 国际电信联盟规划的可用频谱资源为9 kHz ～ 275 GHz[1]. 美国联邦通信委员会(Federal Communications Commission, FCC)曾研究指出, 大量已经分配的频谱资源在时间和空间上均存在较大程度的闲置. 在任意时间、任意地点的频谱平均利用率都不超过5%[2]. 造成频谱资源紧缺的一大因素是频谱资源的静态分配政策. 虽然这种分配方式可减轻各频段通信系统的互相干扰, 但静态分配的策略不够灵活, 授权用户在相当长时间内不使用或不完全使用其频谱, 而其他的无线电用户却无法对该频段加以利用.这就造成了频谱资源日益紧张和现有频谱利用率不理想的矛盾局面. 而这样的矛盾恰好也为新技术的涌现提供了机遇, 其中的一个突破点便是频谱的动态分配—认知无线电(CR).

作为新型的无线通信技术, CR已成为解决频谱利用率不足问题的一种理想方案, 并受到越来越多学者的关注. 在有限的频谱资源中, 允许非授权用户(Secondary User, SU)使用主用户(Primary User, PU)没有使用的空闲频段, 以提高频谱利用率. CR这一概念最早于1999年由Mitola博士和Maguire教授在他们发表的论文[3]中提出. CR技术的核心思想是通过频谱感知和智能的无线电实现频谱的动态分配. 它允许非授权用户在空闲时间使用已授权用户的频段进行通信, 前提是不能干扰授权用户的正常使用, 当主用户发起业务请求时, 非授权用户必须切换频段[4]. Haykin认为, CR建立在软件无线电的基础上, 是一种智能的无线通信系统, 它借助人工智能技术对外界电磁环境进行感知,并自适应调整无线电参数, 实现了高质量的通信和最大化的频谱利用效率[5]. 从某种程度上讲, CR是智能技术和无线通信技术的结合技术, 是很好地利用人工智能技术的平台. 深度学习作为机器学习的新兴领域, 近年来发展迅速. 如何把深度学习技术应用于CR已成为一种新的可靠的思路, 相关成果也越来越多[6].

在“Web of Science ”数据库输入主题关键词CR、深度学习(Deep Learning, DL)查阅2009—2018 年收录的国内外有关的学术文献, 结果显示(见图1), 过去10年, 国际上关于深度学习(由Hinton等于2006年提出)与CR的论文发表数量增长迅速.

图1 近年论文发表趋势Fig. 1 Publication trends in recent years

1 CR简述

1.1 认知环路

Mitola博士在提出CR这一概念时, 根据其功能愿景, 构建了包含了感知、判断、计划、决策、学习、行动的认知环路设计, 如图2所示. 图2中包含内环、外环两个闭合的环路, 其中, 外部的环路感知无线电环境, 并结合内部状态信息判断可用频段和信道参数.

图2 认知环路[7]Fig. 2 Cognitive loop[7]

结合业务模型, “计划”根据判断信息生成目标函数. “决策”是应用优化算法对目标函数进行优化, 调整发射机参数, 包括功率控制、调制解调、编码方式等. 总之, 外环主要进行无线电设备的参数调整和认知系统配置; 而内环是运行过程中提取历史经验知识并存入数据库. 依据这些经验, 并利用人工智能和技术实现参数优化, 驱动外环运行.

综上可知, 驱动这样的认知环路运行是一个复杂的系统工程, 其中涵盖了众多的研究方向和细分领域. 所以, 研究人员们致力于构建一个中间控制单元, 以控制认知环路中各节点运作, 这一核心控制单元便是认知引擎. 认知引擎依据具体业务情况驱动不同的认知环路, 认知引擎不针对具体的业务模型而设计, 而是着眼于更通用的架构, 是CR技术的核心.

1.2 认知引擎

Clancy等[8]认为, CR就是在软件无线电平台上增加了认知引擎. 认知引擎由知识库、推理引擎和学习引擎组成, 如图3所示.

图3 认知引擎Fig. 3 Cognitive engine

(1) 知识库存储历史经验知识, 包括感知信息、无线电环境的预测和行动策略, 是推理与学习的前提. 在知识库中, 需要将以上信息表示为一种可以让机器理解的数据结构. 合适的知识表示可以降低信息被检索的难度, 提高检索效率. 典型的知识表示语言有Mitola博士提出的RKRL (Radio Knowledge Representation Language)、Rondeau提出的XML (Extensible Markup Language); 另外, 还有OWL (Web Ontology Language)、SDL (Simple DirectMedia Layer)、UML (Unified Modeling Language)等. 各知识表示语言在准确性和灵活性上各有优劣, 相关研究也在不断推进.

(2) 推理引擎对知识库中的信息进行判断、计划、决策和执行. 目前, 遗传算法、模糊识别、基于规则的系统、基于案例推理等人工智能技术可被用于推理引擎的研究.

(3) 学习引擎主要是对历史数据进行反馈分析, 处理突发情况, 丰富知识库. 可用的人工智能算法主要有贝叶斯逻辑、博弈论、遗传算法、神经网络、Q学习法(Q-learning)、决策树等.

2 深度学习概述

目前, 人工智能技术被定义为新一轮科技革命和产业变革的重要驱动力量, 加快发展新一代人工智能是事关我国能否抓住新一轮科技革命和产业革命发展机遇的战略问题. 机器学习在人工智能领域起着举足轻重的作用. 自20世纪80年代以来, 机器学习从理论算法到实际应用都取得了丰硕的成果. 深度学习作为机器学习中的细分学科, 越来越受到理论研究人员和各大前沿科技公司的重视.

深度学习概念由Hinton和Salakhutdinov在2006年提出, 他们在文献[9]中指出: ①多隐层的人工神经网络拥有更强的特征学习能力, 学习到的特征对数据有更本质的刻画, 进而能够进行更准确的分类或描述; ②Pre-training可以有效降低深度神经网络在训练上的难度.

经典的机器学习和信号处理技术通常只包含 1 层到 2 层的非线性变换层. 这类浅层网络在有限的数据量和神经节点下不能够对复杂的模型进行很好的表征, 在复杂的分类任务中这种结构的泛化能力不足. 与之相比, 深度学习旨在训练更大规模的非线性网络, 能够从大量的样本中学习数据更本质的特征, 在相对紧凑的网络结构下可实现对复杂函数的逼近. 深度学习强调模型结构的深度[10], 通常有5层以上的隐藏层. 经过逐层地非线性运算, 将样本数据映射到一个高度抽象的特征空间, 以期能够实现更好的分类效果或预测精度. 常用的深度学习模型有自编码器(Auto-Encoder, AE)、限制玻尔兹曼机(Restricted Boltzmann Machine, RBM)、深度信任网络(Deep Belief Network, DBN)、卷积神经网络(Convolutional Neural Network, CNN)、循环神经网络(Recurrent Neural Network, RNN)、长短期记忆网络(Long Short-Term Memory, LSTM)等. 几种典型的深度学习模型在CR中的应用见表1 所示.

表1 深度学习模型在CR中应用概况Tab. 1 Deep learning model in CR

3 深度学习模型在CR中的具体应用

3.1 卷积神经网络相关应用

卷积神经网络(CNN)是一种深层的前馈型神经网络, 多应用于图像识别及计算机视觉领域[63-64].其算法一般流程如图4所示. 作为深度神经网络中较为经典的网络结构, 其突出性能在处理图像相关问题时得到验证, 许多学者尝试将这一网络结构迁移到其他领域. 比如Abdel-Hamid等把CNN应用于语音识别, 使错误率较原先减少了6% ～ 10%[65-66]; Niu等开发的手写输入法使用了CNN加支持向量机(Support Vector Machine, SVM)的组合模型, 使识别率高达99.81%[67]. 实践表明, 借助深层网络强大的特征表征能力, 将其用作特征抓取器并输出至SVM、MLP (Multilayer Perceptron)等浅层分类器中也能获得很好的应用效果.

图4 CNN模型训练步骤Fig. 4 CNN model training process

典型的CNN结构如图5所示. 由图5 可知, 同一张特征映射的所有神经元共用相同的卷积核[68],因此一个卷积核只能提取一部分特征, 所以需要用多个卷积核来提取图像的不同特征. S2层为降采样层(池化层), 池化层的卷积核一般只取对应位置的平均值(Avy pooling)、最大值(Max pooling). 池化操作一方面可以降低特征图的维度, 简化结构, 并可在一定程度上避免过拟合; 另一方面可以减少目标的旋转、倾斜之类的相对位置变化对参数的影响, 从而强化主要特征. C2卷积层与S1池化层为局部连接结构. 每个神经元仅与输入特征映射的一块区域连接, 这块局部区域称作感受野. LeCun等[69]在设计用于手写字符识别的LeNet-5模型时指出, 全连接架构的一个不足之处是完全忽略了输入的拓扑结构. 而图像(或信号的时频表示谱)局部结构具有较强的关联性, 局部连接保证了学习后的分类器能够对局部特征有很好的响应. 这种局部连接的结构进一步减少了学习参数数量. 不过, 当卷积核深度过大, 稀疏连接对参数数量的控制作用将大打折扣. 虽然说神经网络结构汲取了一些生物神经系统的灵感, 尤其是深度学习, 有时候人们也可以以此去简单地理解大脑的功能. 但深度学习并不能定义为一种仿生学性的技术, 因为其主要关注的是如何构建计算机系统, 而生物神经学是致力于构建大脑如何真实工作的精确模型.

图5 典型CNN结构Fig. 5 General CNN structure

3.1.1 信号调制识别

自动调制分类技术(Automatic Modulation Classification, AMC)是CR和其他非协作通信系统的核心难点技术之一, 其本质上就是一个分类问题. 调制识别算法主要有基于似然的和基于特征的两种,前者理论性能是最优的, 但较高的复杂性使其在真实电磁环境中很难有理想的鲁棒性. 而传统的基于特征的次优分类方法严重依赖特征的选取. 特征选择的复杂性和时间复杂度较高, 因此脱离专家工程的特征自学习模型在实际应用中具有重要意义. 近年来, 以CNN为代表的深度学习算法被证明可以实现高识别精度, 可有效降低专家特征的提取难度. 而当与深度学习方法相结合时, 基于特征的方法也将显著提升性能, 获得更高的效率和鲁棒性, 虽然严格的基于特征的方法可能会随着深度学习在信号智能应用中的推进而过时, 但现阶段专家特征分析可以为深度学习算法提供有意义的预处理, 表2对此进行了归纳. 下面对现有模型进行简要归类.

表2 特征选择与适用Tab. 2 Features selection and their characteristics

1. 基于IQ (In-phase and Quadrature)

直接从原始IQ样本中对调制进行分类的技术不仅可以加快调制分类的速度, 而且可以释放接收器中的资源用于其他任务. O’Shea等[21]直接将时域IQ样本输入到CNN, 在不同环境中自动学习其合适的分类器参数. West 等[32]分析了不同尺寸和深度的CNN架构的分类精度, 还提出了一种混合学习方案, 将CNN模型与LSTM相结合, 以获得更好的分类性能. 由于CNN并不是专为无线通信场景应用的技术, 针对无线通信中的相位和频率偏移, Yashashwi等[12]引入偏移校正模块(Signal Distortion Correction Module, CM), 用调制识别前对信号的频率和相位进行移位, 没有用到任何额外的先验知识. CM模块权值可微, 可实现CM+CNN的端到端协同训练. 考虑到接收的信号可能来自不同的信道, Gu等[18]将信道分为视距和非视距两种基本类型, 采用两个阶段的CNN, 即第一阶段对信道类型进行盲识别, 第二阶段依据信道类型分别匹配一个针对训练的调制识别网络; 仿真结果表明, 在信道状态不唯一的场景下, 一般的模型识别精度会大大降低.

输入端接在原始IQ样本上做出分类决策可以降低系统复杂性, 并且无须专业设计的变换和特征提取. 但在实践中, 射频环境通常非常密集, 因此在执行分类之前, 接收机必须首先检测并隔离每个目标信号. 这种检测和隔离过程引入的错误将尤其影响仅使用原始IQ样本的CNN的准确性, 该过程引入了两种主要的误差形式, 即中心频率偏移和采样率偏移. Hauser等[70]的试验结果表明, 规模越大的神经网络越易受到此类误差的影响.

2. 基于星座图

一些基于同相和正交分量样本训练的CNN模型, 在识别16QAM(Quadrature Amplitude Modulation)波形和64QAM波形时识别率下降明显[71]. 通过将信号样本映射到复平面上的散射点, 星座图已被广泛用作调制信号的二维表示. 针对QAM波形, Wang等[14]单独设置了一个CNN用于识别QAM类波形,他们把训练集改为QAM波形的星座图, 这样即使在信噪比低的情况下也能对QAM波形进行有效的分类. 星座图为表示信号的基本结构和不同调制方式之间的关系提供了一种较为直观的方法,CNN能够在不知道任何其他参数的情况下处理星座图, 这里调制识别任务便转向了图像识别[20]. 为了在分类性能和计算成本之间取得平衡, Peng等[25]选取星座图中心部分较小的区域作为输入, 在识别性能上仍然优于常见的基于累积量和基于SVM的方法. 此类方法在处理较高阶数的幅度相位调制信号时有更好的性能, 缺陷是因多径衰落而引起的码间串扰会影响星座图的恢复, 所以对信道盲均衡的要求比较苛刻.

3. 基于循环谱

循环平稳性是大多数信号固有的物理特征性, 对噪声和干扰具有很强的鲁棒性. Li等[22]提出了一种甚高频(Very High Frequency, VHF)信号调制分类方法, 即将接收到的信号转换为循环谱, 然后将去噪处理后的频谱图像输入到CNN模型中进行自学习, 训练分类器识别调制格式. 针对基于循环谱特征的识别算法性能会随着调制阶数的增多而明显下降的问题, Wu等以一个双路小规模CNN, 通过合理的目标函数参数设置, 将同一信号的循环谱和星座图特征相融合[17], 该方法具有计算效率高、神经网络精简等特点, 缺点就是需要检测信号的先验特征.

4. 基于时频谱

时频变换在表征时变信号方面起着重要作用, Zhang等[11]提出的基于CNN+MLP的自动波形识别模块, 相较于一些基于循环平稳的信号识别方法, 在噪声环境下可识别多达8种CR波形, 该方法是先对感知信号进行CWD (Choi- Williams time-frequency distribution)变换, 转化为时-频2D图谱并二值化, 然后保留图谱形状而省略其强度, 其中, 噪声在图中往往表现为长条状直线, 宽度在3个像素点之内. 利用图像形态学算法等方法可有效提升其信噪比, 图像预处理流程如图6所示. Gao等[13]尝试格纳-维尔变换在不同核函数下时频图的特征融合, 利用主成分分析法确定权值, 得到了更全面的图像细节信息. Zhang等[15]选用短时傅里叶变换对接收信号进行转换, 并采用小波的分解重构在信号输入CNN前对信号降噪. 小波变换亦可以提供信号的频率和与这些频率相关的时间信息, 基于此的CNN调制分类器进一步提高了在不同信噪比、衰落信道和频移场景下的识别率[23]. 基于信号的瞬时特性, Nadeem等[24]采用异步时延抽头采样训练集, 利用多层神经网络结构进行调制识别, 此类模型适合处理间隔较长或时延较大的时间序列数据. 以上这些以简单的专家特征用作神经网络的输入, 可以实现较高的分类精度. 鉴于原始IQ样本必须在分类之前进行处理, 因此可能会增加接收器的复杂性, 尤其是在深度神经网络规模较大的时候.

图6 频谱图像形态学预处理[11]Fig. 6 Morphological preprocessing of spectral images[11]

需要密切关注的是, 深度学习技术已显示出容易受到对抗性机器学习技术攻击的势头, 尤其是考虑将深度学习用于无线电信号调制分类任务的时候, 此类算法极易遭受对抗性攻击. Sadeghi等[26]尝试对基于CNN的调制识别网络进行白盒和黑盒攻击, 结果显示, 这些攻击可以很小的输入扰动来大大降低分类性能. 与传统的干扰情况(攻击者仅发送随机噪声)相比, 这类对抗性攻击所需的发射功率更小, 因此在以后的研究应当对此加以关注.

3.1.2 频谱感知

频谱感知是CR理论的重要组成部分, 是CR首先要解决的问题(Fundamental Problem in CR),众多的CR及频谱感知相关文献中多有此类陈述. 主用户在认知系统中具有绝对的优先地位, 这就需要从用户的频谱感知高度可靠. 但是, 感知器接受信号的强度会因多径效应和阴影衰落等信道因素而降低; 而且, 噪声加其他从用户干扰的不确定性也会限制感知的鲁棒性[72]. 所以, 可靠准确的频谱感知技术一直是CR研究领域的热点.

如果PU信号脉冲波形、调制类型和帧结构等一系列信息先验可知, 匹配滤波器检测可以使用似然比实现最佳检测性能. 然而, 在实际应用中并不总是能够获得PU信号和噪声的先验信息. 所以, 许多学者关注于半盲的检测方法, 如能量检测(Energy Detection, ED)、最大特征值检测(Maximum Eigenvalue Detection, MED)等, 它们只需要噪声功率的知识. 这类半盲法的性能在很大程度上取决于对噪声功率的准确判定. 而在非合作通信中, 依赖先验知识的方法很难适用. 有学者又提出了全盲检测方法, 包括盲能量合并检测(Blind Combined Energy Detection, BCED)、协方差全值检测(Covariance Absolute Value, CAV), 最大最小值算法(Maximum Minimum Eigenvalue, MME)等. 所有这些全盲方法都不需要任何先验知识, 因此对噪声不确定性具有很强的鲁棒性. 然而, 它们的性能比半盲方法稍差[54], 且很多仿真多假设CR用户天线数趋向无穷. 表3梳理了部分基于深度神经网络(DNN)频谱感知模型所依赖的先验知识情况, 其中, 噪声模型多为零均值的高斯噪声.

表3 一些基于深度神经网络的频谱感知模型需要的先验知识Tab. 3 Prior knowledges that some DNN based spectrum sensing models needed

CNN广泛应用于图像识别和语音识别, 具有良好的分类性能, 利用CNN来解决频谱感知可以看作是一个二元假设的检验问题. Zhang等[11]在进行波形识别时, 利用二维时频图对各种信号进行表征,然后进行信号识别. 然而, 图像化的原始信号不可避免地会丢失一些信息, 从而影响分类结果.

基于能量和循环平稳特征, Tang等[58]较早探讨了多层的神经网络的频谱感知算法; Han等[52]在此基础上引入CNN模型, 在–20 dB范围内具有比循环平稳特征检测(Cyclostationary Feature Detection,CFD)更高的检测概率; Liu等[51]在已知充足的PU信号帧结构信息下, 提出了有对抗性训练数据库的CNN, 旨在实现有严重噪声污染和信道衰落的频谱感知. 不足的是, 循环平稳值和帧结构信息是基于PU的先验知识, 这在实践中并不总是可用的, 因此, 这些方法易受到建模不确定性的影响. 此外,样本数量和检测性能正相关. 然而, 随着接收信号长度的增加, 这可能导致感测时间和复杂性的进一步增加. 必须找到感测时间和性能检测之间的平衡, 以降低这种叠加的复杂性, 这对于算力严格受限的设备尤其重要.

Liu等[54]使用样本协方差矩阵作为输入来生成测试统计量, 设计了一个以最大后验概率(Maximum Posterior Probability, MAP)为代价函数的CNN模型; 并根据奈曼-皮尔逊引理推导了基于CNN的频谱感知似然比检验方法, 证明了CM-CNN方法等价于i.i.d (Independently Identically Distribution)模型下的最优的估计相关(Estimator-Correlator)检测器; 同时在检测性能、信噪比鲁棒性、可扩展性和复杂度方面进行了大量的实验. 结果表明, 无论PU信号是独立的还是相关的, CM-CNN方法都可以获得与最优E-C检测器几乎相同的性能, 且不需要任何先验信息. 他们的这篇论文应是第一篇对基于CNN感知方法的理论分析. Ke等[59]在进行频谱感知时, 引入类似自然语音处理的CNN+LSTM+DNN结构网络, 实现了盲感知, 从而可以有效克服前述方法易受建模不确定性影响的缺陷, 其中CNN和LSTM分别提取信号的频域和时域相关特征; 不过基于协方差的预处理过程是最复杂的.

由于每个从用户所处的网络环境不同, 信道条件也不同, 在协作感知体系(CSS)中, 从用户之间共享感知信息, 融合中心对各节点感知信息进行联合判决, 并对可用信道进行统一分配, 在提高了感知精确度的同时也降低了对单个节点的感知能力要求[73]. 较常见的数据融合方式是集中式硬融合方式中的“或”准则、“与”准则和“K 秩”准则. Do等[49]提出的基于CNN的联合频谱感知技术, 融合中心以记录的历史判决数据训练CNN模型, 以此进行判决, 其性能优于上述的几种硬判决方式且其控制信道开销少于软判决; 然而, 其并没有对不同空间位置上的阴影衰落、路径损耗和多径衰落指数进行专门的研判, 没有充分发挥合作感知的优势[74]. Lee等[53]发展了Do等的工作, 弥补了这一问题, 拓宽了输入矩阵的维度, 丰富了数据集的有效特征; 验证了节点能量感知加CNN数据融合的深度感知模型在节点位置时变场景下的可行性.

多输入多输出被认为是5G无线通信系统中最有前途的技术之一, 并且在未来的动态频谱接入具有前景[75]. 如果波束成形CR技术与CNN相结合, 将可发挥CNN易于处理多维化数据结构的优势.CNN模型变种繁多, 对于频谱感知, 如何搭建结构合理层次精简的网络是急需解决的课题, 这需要对CNN与频谱感知的结合做进一步的理论推导. 前面提到, Liu等[54]已经做开始了一些工作. 在CR中,不守规则或纯恶意的用户可以修改其空中接口以模仿主要用户. 射频指纹识别旨在通过表征发射器发射的模拟信号中存在的特定于设备的特征来识别发射器, 对抗性机器学习技术的出现使得我们需要在未来的频谱感知工作中增加抗干扰的研究.

3.1.3 资源分配

CR的主要特征就是能够通过对操作环境的感知而改变发射机参数, 侦听频谱中是否有空间容纳非授权用户进行通信, 而不干扰该频段执牌用户的正常通信. 从广义上讲, “认知无线电”这个术语可以是指实现这一技术目标的各种解决方案. 这些解决方案试图以尽可能不影响频谱主用户的方式, 将次要用户的信号与主要用户的信号交织(Interweave)、覆盖(Underlay)、重叠(Overlay)在一起,CR设备可以是在以上3种工况下运行. 在交织模式下, 次用户通过频谱感知寻找空穴进行信号传输.而在谱覆盖模式中, 允许非授权用户与执牌用户传输同时同频进行, 就像超宽带(Ultra Wide Band,UWB) 系统一样. 次级无线电通过足够大的带宽传播信号, 以确保对主要用户造成的干扰量在可容忍的范围内[76]. 因此, 引入了干扰温度的概念来确定主接收机的可容忍干扰水平[77]. 如果采用有效的频谱管理和资源分配技术, 这种模式可以显著提高频谱利用率.

资源分配分为频谱分配和功率分配两类. 在Underly模式中, 主要研究的是发射机的功率分配.在以往的资源分配研究中, 公式化的优化问题通常是非凸的, 它们通常使用需要大量迭代计算的对偶分解技术来求解, 这也阻碍了该技术方案的实际应用拓展. 而CNN可以使我们在不需要显式解决复杂优化问题的情况下, 为通信系统找到最优控制策略. 此外, 考虑到经过训练的CNN模型的层数适中, 可以用较低的计算时间, 处理一些对实时性要求较高的问题[78].

Lee[60]提出了一种基于CNN的多信道认知无线网络功率资源分配算法, 算法损失函数的设计考虑了非授权用户的整体频谱效率, 也考虑了对授权用户的干扰量, 这样CNN便可自主学习资源分配策略以最大化频谱效率, 同时不超过对授权用户干扰量的阈值. 其所提出的CNN模型由全连接的两个子模块组成, 分别计算各非授权发射机归一化总发射功率和对每个子信道的功率配比, 由此便可得到一个N×K的功率分配矩阵(N为非授权发射机个数,K为已分配子信道个数). 为了对CNN进行训练, 必须首先收集大量的信道增益样本. 归一化样本向量为两个子网络的输入, 非归一化的信道增益可能致使网络的训练时间变长和精度下降. 在实际应用中, 信道增益可能是不准确的, 但层数适中且经过训练的CNN模型在这种存在有信道增益误差的情况下一般也可以具有相对稳定的性能, 也就是说CNN模型方案对不准确的信道信息具有很好的鲁棒性.

由于CNN对大量完备标记的训练数据的依赖, 使得其在资源分配中的应用形式还不够灵活. 近年来, 更多的实验倾向于将强化学习引入到CR的资源分配中, 强化学习理论中的一个称为回报函数的基本概念也与资源分配的效用最大化理念相契合[79-81]. 经典的强化学习的缺陷是用表格来存储每一个状态和在这个每个行为的Q值. 而当状态空间和动作空间较大时 (如多用户和大带宽的资源分配).如果全用表格来存储它们, 将有较大的内存和网格搜索压力. DRN是强化学习和深度学习技术的结合, 而其中(DeepQNetwork, DQN)是CNN和Q-Learning的结合, CNN的输入是原始多维矩阵数据, 输出是每个决策所对应的价值评估(Q值). 通过神经网络分析后得到动作的Q值, 省去了在表格中记录Q值. 已经有研究将DQN应用于动态资源分配[61-62]; 缺陷是它需要通过反复迭代与环境进行大量的交互, 从而又导致较大的功耗和传输延迟. 针对DQN的随机经验回放, Wang等[82]引入有优先级的经验回放, 即让不同的数据拥有不同的优先级, 以此加速收敛速度. 更多关于DQN的发展可以参照刘全等[83]的综述. 深度强化学习有望成为未来CR资源分配策略研究的新思路.

3.2 递归神经网络相关应用

递归神经网络(Recurrent neural network, RNN)最初由Pollack于1990年提出, 已用于语言建模中长度不固定的递归数据结构的表征[84], 其结构见图7所示. 有别于其他前馈型机器学习算法, 数据流只向一个方向流动, 即输入到输出. RNN是一种具有记忆的神经网络算法. 由于具有内部存储组件,当前状态不光取决于当前时刻的输入, 还与之前时刻的状态相关, 如图7a)所示. 图7b)中, 可以看到,t时刻的输出取决于输入Xt及上一时刻状态St–1. 所以, RNN及其变种在处理序列型数据, 如音频、视频、文本等具有较强前后关联性的数据时展现了优异的性能. 此外, RNN还能对连续数据进行预测, 这是其他前馈型神经网络所不能的.

图7 递归神经网络结构Fig. 7 Recursive neural network structure

RNN在时间序列上所能处理的长度理论上是没有限制的. 但是当它在处理长期依赖问题, 即当前预测位置与相关信息较远时, RNN会丧失学习这种相关信息的能力. 另外, 传统的RNN网络训练相对困难, 易出现梯度消失或梯度爆炸等问题[85]. 针对这些问题, Hochreiter等[86]于1997年提出了长短时记忆网络(LSTM), 以改进其单元结构. 图8所示为RNN与LSTM单元结构对比: 图8a)为经典RNN单元结构图, 只有一个tanh层; 图8b)所示, LSTM单元添加了额外的门结构单元来控制当前时刻的输入对网络的影响, 信息流中只进行少量线性交互, 从而更容易实现长期信息的记忆, 且模型更易于收敛.

图8 RNN与LSTM单元结构对比Fig. 8 RNN and LSTM unit structure

神经网络(Neural Network, NN)的性能受一系列超参数(Hyper-parameter)设置的影响. 所谓超参数, 指在开始神经网络开始训练之前就设置的参数. 超参数的设置其依赖于工程师们丰富的经验,其对网络性能是一个综合的影响, 不能单独优化. Mackay[87]研究了统一贝叶斯框架下的反向传播学习, 提出了超参数和模型结构的选择方法. 另一种经典方法是交叉验证. Utsugi[88]研究发现, 交叉验证方法倾向于复杂结构, 而经验贝叶斯方法倾向于简单结构, 且交叉验证的计算时间较长. 此外, 较经典神经网络的超参数选择方法还有启发式算法(Heuristic Selection)、L曲线法(L-Curve)和广义交叉验证(Generalized Cross-Validation)等[89].

当前频谱感知和频谱预测是探测CR中可接入频谱的两种方法. 由于设备限制, 在一个时隙内感知机只能感知部分频带. 而且无差别的全频段感知也会浪费感知能量并需要更多时间, 不仅使得探测到频谱空穴的机会变少, 而且也浪费了频谱空穴存在的时隙[90-92]. 导致非授权用户的频繁搬移, 甚至会产生与授权用户的冲突[93]. 为了解决这一问题, 非授权用户首先根据信道历史状态对下一时刻信道状态进行预测. Ding等[94]验证了频谱使用状态预测的可行性. 感知机针对性地对预测为空闲的频谱进行感知, 达到既节省了感知能量又能更快感知到可用信道的目的[95], 如图9所示[38].

图9 基于预测的频谱接入时序结构Fig. 9 Timing structure based on the predicted spectrum access

在某一时隙中可能是主用户在使用该段频谱, 也可能是其他非授权用户正在借用该频段进行通信, 甚至可能是伪装成主用户的恶意信号(Merchant等[50]设计的CNN伪装用户检测模型, 在信噪比理想的情况下检出概率可达93%以上).

在CR网络中, 主用户的频谱使用呈现很强的规律性. 对主用户活动规律的学习及预测, 更具针对性. Hernández等[37]提出的基于LSTM的主用户行为预测模型, 提高了GSM(Global System for Mobile Communications)和Wi-Fi下主用户未来行为的预测精度. 相对于其他预测模型, LSTM在不同主用户活跃度情况下都有稳定的预测精度. 对于共享频谱的多个信道, Zuo 等[38]根据每个PU的历史活动规律, 确定各信道的最优感知接入区间, 作为LSTM预测长度: 若预测结果为“ 1 100···”, 代表PU活动将结束; “00···1 ”表明PU将开始占用. 由此提出了一种基于时域最优频谱感知区间和频域信道选择相结合的新型频谱接入策略, 以期提高网络的吞吐量, 降低频谱感知的能耗.

与预测时隙数增多相对的, 也伴随着RNN层数的加深. Tang等[48]提出了利用扩展卡尔曼滤波对DRNN进行训练, 以克服普通RNN在输入长序时梯度下降法收敛速度慢和梯度消失的问题. Agarwal等[47]将krigin统计空间插值和递归神经网络的频谱时间预测相结合, 形成空域+时域的信道占用估计模型. Yu等[36]从分类和回归两个角度构造基于LSTM的频谱预测框架, 在优化超参数设置时, 他们采用与田口法(Taguchi Methods)相结合的方法进行超参数的优化, 有效地降低了对时间消耗和计算资源的要求. 田口法是一种正交试验的设计方法, 起源于工程领域的质量控制, 其实验结果表明: ①学习率对频谱预测性能的影响最大; ②网络的深度比网络的宽度对网络性能的影响更大; ③初始化器和激活函数对单谱点预测性能的影响都很小. 因此, 在设计LSTM进行频谱预测时, 更注重的是学习速度和神经网络的深度. 此外, LSTM高得多的算力消耗和复杂的网络结构是实际应用中需要进一步考虑的问题.

现有基于RNN的预测算法, 其数据集采用滑动窗口构造, 在固定时间段内挖掘历史数据, 预测下一时间段的频谱状态. 作为补充, Yu等[46]提出了基于有残差网络的CNN的高频段频谱预测架构, 输入前一时段各频点数据及前几天相同时间段频谱数据, 可以获取频谱数据在更长时间尺度上的规律.

与频谱感知相似, 从单个SU度进行的频谱占用预测在恶劣信道条件下同样是不够可靠的[96].Shawel等[41]研究了基于反距离加权(Inverse Distance Weight, IDW)插值加LSTM模型的协作频谱预测, 以LSTM提供离散空间节点的时间维预测, 以反距离权重插值处理空间依赖关系, 实现了异构网络的软协作融合.

从前面的综述可以发现, LSTM在频谱预测上应用的缺陷在于, 尽管射频信号具有在时间、频率和空间上的相互依赖关系, 但现阶段较少有基于递归神经网络的应用程序能够利用射频数据的时空特性. 因为尽管LSTM已经被证明可以处理频谱时域相关性以进行频谱预测, 但是它很难保持数据序列上每一时隙的结构特性, 导致了信号空间特性被压缩为占用与否或者功率水平. ConvLSTM是LSTM的一种演进, 改进的地方是输入与各个门之间的连接由前馈式替换成了卷积, 同时状态与状态之间也换成了卷积运算, 从而不仅能够进行时序建模, 还能够像CNN一样刻画空间特性. Shawel等[42]针对距离马德里市中心6 000 m以内的特定区域, 使用反距离加权(IDW)方法创建地域插值频谱图; Roy等[44]使用采集的原始射频I/O信号作为每一时间片的输入引入空间关系, 分别使用ConvLSTM进行了较长时间尺度上功率点评预测和占用预测.

不考虑信号空间特性的预测模型大体可分为占用与否的二值预测[37,45]和功率水平预测加门限判定[36,38,41,46-48]两类: 前者的健壮性依赖输入数据的准确性, 有错误的感知会被传递到神经网络中, 从而导致错误的预测; 而后者对预测的功率值的判定也是一个难题, 因为简单的阈值选择很难将现实中信号和噪声分开, 噪声的随机性对判断精度会产生负面影响.

相对的考虑空时结构的ConvLSTM对环境变化的鲁棒性更强. 尽管每个ConvLSTM计算单元内的权值是共享的, 但是过于复杂的结构导致了训练时不易收敛. Omotere在相同的条件下对CNN和LSTM的频谱预测研究显示, LSTM达到最佳预测精度节点所需的时间窗口长度和相同的时间窗口长度的训练收敛时间均多于CNN结构, 而在合适的窗口长度上, 收敛完成的LSTM结构表现出了更好的性能[43]. 复杂的训练过程导致在使用规律多变的主用户预测上灵活度欠缺.

目前, 大多数谱预测工作主要集中在短期预测上, 随着预测时间的延长, 预测性能逐渐下降. 至于未来的工作, 可以考虑预测长度的增加. 当历史频谱数据出现异常时, 如何实现有效的频谱预测, 如何减少异常和缺失数据对预测结果的影响也需要进一步的研究. 另外, 由于任意一个频谱数据在时间、空间、频率上与其临近数据都有紧密的联系, 未来可继续延伸到时、频、空多个维度, 利用这些内在关系来开展合作形式的预测工作将有利于提高数据计算效率、减少硬件开支, 从而以较低的代价获得高精度的多个维度的频谱数据.

3.3 深度信任网络(DBN)相关应用

DBN是另一种典型的深度学习算法, 由Hinton等[97]于2006年提出, 在自然语言处理(Natural Language Processing, NLP)和计算机视觉(Computer vision, CV)等领域获得了广泛的应用. 它是一种概率生成模型, 多用于非监督学习和神经网络的参数初始化. 如果用它执行监督学习任务, 可以在每层的RBM里增加表示分类的神经元, 并连接一个浅层分类器. 有关深度信任网络在CR中的实践应用相对较少, 在此只能作简要介绍.

Zhang等[27]提出的波形分类模型, 采用无监督贪婪算法对RBM进行预训练, 得到的结果作为监督学习训练概率模型的初值, 监督训练集为I/Q数据. Mendis等[28-29]提出的DBN的认知无线电信号调制模式识别算法, 谱相关函数作为接收信号的特征表示, 即使存在环境噪声, 也能达到较高的分类精度. 在CR中, 如何根据主要用户的活动对其进行分类并预测其行为是其中的两个关键挑战. Cui等[56]提出的基于DBN的深度学习算法在主用户分类中的应用、在显著减少标记数据的数量的同时, 比采用浅层学习等传统策略的CRs引擎具有更好的识别率, 0 dB以上, 其检测精度大于90%以上, 分类精度大于85%. 针对块稀疏宽带信号, Sun等[57]提出了一种基于RBM的协同贝叶斯压缩谱检测方法, 即使用贝叶斯压缩感知模型来检测宽带稀疏信号, 然后利用RBM学习实现了基于多用户恢复信号的融合决策.

自编码机(AE)和限制性玻耳兹曼机(RBM)是深度学习中使用较多的两种非监督学习的神经网络模型, 但它们通常并不直接用于解决非监督学习问题, 而是通过非监督学习找到更好体现数据内在规律的特征表示, 再用到监督学习的深层神经网络模型中, 常常被用于神经网络的初始化及学习, 适用于下游分类的特征表示.

4 总结和探讨

从本文的综述可以看出, 有关深度学在CR中应用的探索起步于10年之内, 多数成果涌现于近3年. 在有些方面有持续研究的必要, 具体如下.

(1)从CR的角度, 神经网络可以看作是一个可适应复杂信道环境的判别器; 而从深度学习的角度, 现有的CR的经典算法思想多可见于神经网络的数据预处理过程. 深度学习流行的其中一个特点在于它能够使人们以相对容易的方式去使用复杂的模型, 并且还能收获不错的效果. 可深度学习的种类繁多, 仅仅CNN模型就有众多变种, 如LeNet、AlexNet、ResNet、VGG等, 它们已被证实在各自的任务中有着卓越的性能. 然而, 目前的工作理论性推导还不够, 如何选择合适的网络结构还缺乏充分的理论依据. 深度学习与CR结合的广度已经显现, 但深度还亟待继续突破.

(2)许多研究都采用的简化的系统模型, 没有对复杂的无线电环境进行综合的考量, 比如噪声模型是单一的、默认各节点位置信息接收信号强度分布已知, 而这在实际应用中是很难准确获得的. 可以尝试对发射机功率泄漏、谱相关、传输路径损耗、信道多径损耗, 以及突发噪声等无线环境特性进行综合考虑.

(3)现有研究的数据采多在1个月之内, 在研究场景更加真实化、模型复杂化的趋势下, 需要对特定频段进行更长时间尺度上的数据采集与整理. 深度学习近年来之所以快速发展, 变种繁多, 完备的公共数据集和统一性能评判标准或许是一个很好的推动力. 现阶段在CR结合深度学习的研究中, 众多研究者的方案在不同的数据集上表现了优异性能, 或者很好地解决了他们所面临的问题. 在较热门的一般性的应用场景中建立完备的数据库和性能评价指标, 或许有助于加深CR和深度神经网络结合的深度, 从而有利于特殊和具体部署场景下的结合.

在如今频谱资源紧缺及现有频谱利用率的不足的矛盾局面下, 先前的众多研究已经表明, CR显然是解决这一矛盾的有效方法之一, 并且也取得了一定的理论成果. 本文简要探讨了深度学习技术在CR中的应用, 介绍了包括卷积神经网络(CNN), 循环神经网络(RNN), 深度信任网络(DBN)等典型深度学习模型在CR中预测、感知、功率分配等场景的应用及存在的问题. 不难看出, CNN在挖掘信号射频结构特征方面表现出了不错的特性, 在无线电感知、识别方面表现优异; 而递归神经网络适用于挖掘无线电时间序列上的使用规律. 但应用场景并不绝对, 比如结合了卷积运算的ConvLSTM可以处理无线电用户的结构和时序特征, 但复杂的卷积和递归运算网络导致训练不易收敛. 因其模型较高的复杂度和很好的多维数据的处理能力而倾向于在统一的融合中心部署. 由于对完备的有标记的训练数据的依赖, CNN还较少应用于认知无线电的决策过程. 而结合奖励机制的深度强化学习已将卷积网络运用到认知无线电的资源分配算法. 在现实应用中, 海量数据的采集相对容易, 而对数据进行人工标注往往较为繁琐. 深度置信网络、自编码机是深度学习中应用较为普遍的非监督模型, 借助于非监督模型找到更好体现数据内在规律的特征表示, 可以辅助监督模型; 而只需少量样本的半监督模型亦可在认知网络中应用, 以利用无法逐一标注的大量射频数据, 从而增强模型的泛化能力.

目前CR的思想已在其他领域获得实际应用[73], 虽然只是CR设想的一小部分功能, 但我们相信,CR所构想的全部功能将会逐步实现. 在此背景下, 将深度学习与CR相结合既是新的思路, 也是合理的趋势.