基于深度学习的自动调制识别方法综述

张茜茜，王 禹，林 云，桂 冠*

(1.南京邮电大学 通信与信息工程学院，江苏 南京 210003；2.哈尔滨工程大学 信息与通信工程学院，黑龙江 哈尔滨150001)

0 引言

自动调制识别(Automatic Modulation Recognition,AMR)是信号检测和解调之间的重要步骤，它的目的是在不了解信号先验调制信息的情况下，通过信号处理技术识别出接收信号的调制类型，其在许多无线通信场景中均发挥着重要的作用[1]。在军事领域中，AMR广泛用于信号监测、干扰识别和电子对抗等方面[1-4]；在民用领域中，AMR广泛应用于无线电管理、频谱感知和软件无线电等场景中[5-6]，因此AMR技术被国内学者广泛关注并且深入研究。传统的AMR主要分为基于似然函数的方法[7-8]和基于特征提取的方法[9-10]。基于似然函数的识别方法理论上确保了识别结果在贝叶斯最小误判代价准则下是最优的,然而该方法计算复杂度高且对模型失配和参数偏差比较敏感，在实际的复杂电磁环境中很难实现[11-12]。而基于特征提取的方法由经典模式识别理论衍生而来，其本质可视为一种映射关系，即从信号空间映射到特征空间。具体来说：一方面，把高维的接收信号空间映射到维数尽可能小的特征空间，以降低复杂度；另一方面，提取的特征应尽可能地显示出不同调制类型之间的差异，以取得更好的识别性能。虽然基于特征提取的方法不是最优的，但如果能提取到足够多的有效特征，性能也会接近最优且容易实现。

近年来，人工智能(Artificial Intelligence,AI)的发展日益成熟，其中机器学习(Machine Learning,ML)和深度学习(Deep Learning,DL)成为AI研究的主流，并在图像识别[13]、语音识别[14]和自动驾驶[15]等应用领域呈现出压倒性的优势。通常，基于 ML的AMR方法，如决策树(Decision Tree,DT)[16]、K最邻近(K-Nearest Neighbor,KNN)[17-18]、支持向量机(Support Vector Machine,SVM)[19-21]等采用模型驱动的方法，该方法所提取的特征需要一定的专业知识与经验，并且还需要得知调制池的先验信息。一旦假设的信号模型或噪声模型与实际的信号或噪声不匹配，就会发生误判别。而基于DL的AMR方法采用数据驱动的方法[22]，该方法所使用的网络比以前的神经网络深得多，它在无需人工干预的情况下从原始数据中自动提取复杂的特征并做出有效的识别决策，即通过端到端的方式提取和识别信号特征。最近一些研究表明，DL方法可以克服ML的一些障碍并在AMR领域中实现最先进的性能，因为它具有从不同调制格式中学习辨别特征的优异能力[23]。此外，DL方法已普遍应用于各种通信技术中，如波束形成[24]、非正交多址接入[25-26]和信道估计[27]等。基于DL的AMR方法具有强大的特征提取能力和分类回归能力，能够有效地对调制信号进行预测和识别。

DL方法在大数据驱动下，依靠自主学习分析数据规律。概括出更多层面更有代表性的数据特征，从而脱离了对特征工程的依赖，在图像、语音等任务上取得了超过其他算法的效果。基于DL的AMR方法主要包括卷积神经网络(Convolutional Neural Network,CNN)、循环神经网路(Recurrent Neural Network,RNN)和自动架构搜索(Automatic Architecture Search,NAS)等方法。CNN作为一种重要的具有深层结构且包含卷积计算的前馈神经网络，其通过权值共享和稀疏连接来降低模型的复杂度，并从接收信号中自动提取特征信息，发现接收样本中的特征规律，从而实现调制信号的有效识别[28]。RNN有一个内存来存储它已经从之前的输入数据中学到的输出，它可以处理一段时间内的向量序列[29]。但是 RNN 存在短期记忆问题，而长短时记忆(Long and Short Term Memory,LSTM)作为RNN的一种优化算法可以保留较长序列数据中的重要信息，忽略不重要的信息，从而解决RNN 短期记忆的问题。NAS可以认为是一种任务驱动的方法，该方法可以根据样本集自动设计出优异的深度神经网络(Deep Neural Network,DNN)模型，而无需大量的专业知识和反复的试验，降低成本的同时，甚至会发现人类专家之前未曾提出的网络结构[30]。

本文将近年来提出的AMR方法按照经过预处理后的信号表示方式分为三类：

第一类是直接从接收到的信号中提取专家经验特征，然后再利用神经网络进行识别。Hassank等人[31]将连续小波变换的高阶统计矩作为特征集，输入到多层前馈神经网络进行识别，并利用主成分分析(Principal Component Analysis,PCA)降低网络复杂度，以提高识别器的性能。Li等人[32]提出了一种基于抗噪声处理和深度稀疏滤波CNN模型的甚高频信号调制识别方法,首先提取采样信号的循环谱并用低秩表示，然后采用稀疏滤波对CNN进行训练，以高模型的泛化能力。

第二类是直接将同相正交(In-Phase Quadrature,IQ)信号作为神经网络输入数据。 Wang等人[22]设计的CNN模型可以在时变信噪比(Signal to Noise Ratio,SNR)条件下学习IQ样本的特征，该CNN模型具有更强大的识别能力，且在实际应用中具有更高的鲁棒性。Liu等人[33]提出了一种双向卷积选通递归深度网络架构，其将CNN、门控循环单元(Gated Circulation Unit,GRU)和DNN三种网络各自的优点结合起来，从而实现高精度的调制识别。文献[34]提出了一种用于AMR的经济且高效的CNN，其输入为IQ分量。

第三类是将采样得到的IQ信号转换为图像的形式，如星座图、时频图和循环谱图等，这样就将信号识别问题转换为图像识别问题，然后利用计算机视觉(Computer Vision,CV)领域中的DL算法对其进行识别。为了在困难的调制类型上获得更高的精度，文献[35]设计了基于星座图的模型，实验结果表明，即使在低SNR的情况下，该模型也能有效地识别出16QAM和64QAM。文献[36]将接收信号转换为时频图像，并采用多模融合模型对手工特征与图像特征进行融合，其采用ResNet作为特征提取器。文献[37]提出一种基于CNN二维循环谱图的AMR方法，仿真结果表明，该系统能有效地识别出RadioML2016.10a数据集中的11种调制信号，且在较高的识别精度下，只占用较低的内存和计算开销。

1 系统模型和问题描述

AMR系统模型如图1所示。在发射端，输入信息i(t)经过调制得到调制信号s(t)。s(t)在传输过程中会受到信道衰落和噪声干扰的影响。在接收端，接收信号x(t)表示为：

图1 基于DL的AMR系统模型

x(t)=s(t)*h(t)+n(t)，

其中，h(t)代表多径信道，n(t)代表加性噪声。

基于DL的AMR方法可以同时实现特征提取和识别，从而摆脱复杂且困难的人工特征设计部分。具体而言，基于DL的AMR通常分为两个阶段：在第一个阶段中，对接收到的信号进行预处理，预处理是指对采集到的信号进行分析和处理，以获得良好的信号表示(如振幅、相位、星座图或更复杂的特征)；在第二个阶段中，利用CNN、RNN和NAS等DL算法来自动提取信号特征并预测信号的调制类型。前一个阶段比较耗时，但可以事先离线执行。而第二个阶段花费时间少，但需要在线执行，这有助于在复杂多变的电磁环境中进行实时的AMR。如图2所示，本文分别综述数据集、信号的表示方式和基于DL的算法。

图2 基于DL的AMR方法总体组织结构图

1.1 数据集

在数据驱动的DL模型中，训练、验证和测试神经网络都需要海量的信号数据。一些研究人员使用Matlab模拟的数据集[38-39]，而另一些研究人员更喜欢使用一些开源数据集[40- 42]。文献[40]提出了一项关于ML在无线电信号处理领域新兴应用的调查，并合成了RadioML 2016.10A数据集。该数据集基于GNU Radio环境生成，包含11种调制信号，每种调制信号包括20种SNR，每种SNR有1 000个样本，每个样本有I和Q两路信号，每路信号包含128个采样点。此外，这个数据集有一个更大的版本，叫做RadioML 2016.10B[41]。文献[42]介绍了一个更具挑战性的调制识别数据集RadioML 2018.10A，它包含24种调制方案，每种调制信号包括26种SNR，每种SNR有4 096个样本，每个样本有I和Q两路信号，每路信号包含1 024个采样点。表1总结了关于数据集的调制方案、SNR范围、样本总量以及影响因素。Zhang等人[38]提出了一种适用于5G NR系统的通用信道数据集生成器，该数据集生成器可以根据用户的需求设置不同的信道参数，也可以生成大量的多输入多输出(Multiple Input Multiple Output,MIMO)信道。West等人[39]介绍了一种用于训练神经网络的新数据集，以执行宽带信号识别。

表1 数据集总结

1.2 信号表示方式

在基于DL的调制识别中，将接收到的信号输入神经网络之前，需要对信号进行预处理，从而以恰当的形式作为神经网络的输入数据。现有的基于DL的调制识别算法的信号表示主要分为专家特征表示、序列表示和图像表示三大类，表2对这三类信号表示及其特点进行了概述。

表2 信号表示方式及特点概述

1.2.1 专家经验表示

在特定条件下专家经验特征(包括瞬时参数统计特征、高阶统计量特征和频谱特征等)能够取得较好的识别效果，但该特征依赖于专家设计和信号条件。文献[43]将瞬时特征和高阶统计特征等手动提取的特征与CNN提取的上下文特征串联，以解决11种不同类型的调制识别任务。文献[44]中特征提取结构由两个组件构成：第一部分从接收信号中提取四阶累积量，第二部分从接收到的IQ信号中提取极坐标。此外，作者在低SNR条件下，通过使用深度信念网络平台和尖峰神经网络平台，克服与DL体系结构相关的执行延迟问题，有助于提高分类精度。文献[45]对于每种调制方案，针对不同的SNR值提取不同的频谱特征(如最大频谱功率密度、瞬时相位标准差、直接瞬时值的标准偏差等)。基于所提取的有效特征，训练神经网络以识别不同的调制类型。Kim等人[46]提出了DNN的模型，且从基带信号中提取的21种不同特征来识别具有低浅层结构的BPSK、QPSK、8PSK、16QAM和64QAM信号。文献[47]讨论了从接收到的复杂信号中提取的5种特征，这些特征是通过在不同调制方案下改变SNR获得的，作者采用了前馈神经网络和概率神经网络进行调制识别。Yao等人[48]使用小波变换峰值搜索对16QAM和64QAM进行识别，仿真结果表明，在SNR为10 dB时，平均识别率提高了11.5%。

1.2.2 序列表示

接收信号通常可以用IQ序列和振幅相位(Amplitude Phase,AP)序列来表示。文献[40]首次提出利用IQ序列进行基于DL的调制识别，其识别了11种调制信号(包括8种数字调制类型和三种模拟调制类型)。随后，许多研究人员选择使用现有的IQ信号数据集作为CNN的输入。文献[49]使用纯IQ数据进行模拟实验，论证了CNN、残差网络(ResNet)等网络结构在调制识别任务中的性能，首次提出识别精度不受网络深度的限制。文献[50]使用由两个卷积层和三个全连接层组成的CNN来处理正交频分多址(Orthogonal Frequency Division Multiple Access,OFDMA)系统中的IQ序列，以实现对接收信号高鲁棒的AMR。此外，文献[51]消除了OFDM系统中载波相位的有害影响，以进一步提高识别的精度。在文献[52]中，超长IQ序列被划分为多个子序列，以适应不同的序列长度，并运用迁移学习来提高再训练效率。文献[53]研究了在MIMO系统中，使用多个天线接收的IQ序列的协作调制识别，与传统的专家设计特征方法相比，基于CNN的协同AMR方法具有更好的性能。

Chen等人[54]通过提取AP信息和数据增强操作，使得DL模型具有更强的泛化能力和更高的鲁棒性。Rajendran等人[55]提出，通过将IQ数据转换为AP信息并使用LSTM模型，以实现良好的识别准确率，该模型能够自动从训练数据中获得信号的时间特征，而无需人工提取专家特征。Zhang等人[56]提出了基于CNN-LSTM的AMR双流结构，一个流从原始的IQ信号中提取局部原始时间特征，另一个流从AP信息中学习空间知识。从两个流中训练的特征成对交互，丰富了特征的多样性，进一步提高了模型的性能。Zhang等人[57]提出一种预处理方法，即通过将输入数据从IQ序列转换为AP序列，并针对此AP序列设计了一个带有残余块的CNN，从而形成了一个具有高识别精度的AMR系统。文献[40]提出了用于AMR的CNN模型，其中CNN通过使用IQ数据进行训练，该方法优于基于专家特征的传统方法。此后，Kulin等人[58]采用CNN模型对接收信号的AP信息进行操作，并获得了轻微的性能改进。

1.2.3 图像表示

得益于DL在CV领域取得了杰出成就，许多研究人员热衷于将信号识别问题转换为图像识别问题[59]。Zhang等人[60]提出了一种基于CNN的AMR方法，该方法使用短时傅里叶变换(Short Time Fourier Transform,STFT)将各种信号转换为时频图像数据集。文献[36]利用平滑伪Wigner-Ville分布和Born Jordan分布将接收到的信号分别转换为二维频谱相关函数图和星座图，然后将这些图像级联来生成融合特征。此外，采用CNN分类器以获得更多的判别表示，从而改善了最终调制识别性能。Zhang等人[61]提出了一种基于Choi-Williams分布(Choi-Williams Distribution,CWD)的波形盲识别方法，首先将接收到的信号通过CWD转换为二维图像；然后使用图像二值化和图像去噪算法将它们转换成二值图像。Yan等人[62]提出将接收信号从循环频域变换到图像域，用来表征原始信号的鲁棒特征，从而获得比现有方法更好的识别精度。文献[63]进行了一项实验，根据信号的二次和四次方的傅里叶变换的图像对相移键控调制信号进行识别。实验表明，该方法能够良好地识别出低阶相移键控信号。林等人[37]提出了一种利用CNN对接收信号的二维循环谱图进行识别的方法。

Luan等人[64]提出将柯西分数星座图作为脉冲噪声的鲁棒性特征，并设计了一种基于洗牌单元和选通递归单元作为识别器的轻量级结构，该方法在不损失性能的情况下，降低了计算复杂度。Wang等人[35]利用在星座图上训练的CNN来识别前一个CNN无法区分的16QAM和64QAM信号。Zhang等人[65]提出一种多尺度CNN用于信号星座图的调制识别。为了克服现有成像方案的不足，开发了卷积灰度图像。仿真结果表明，当SNR为4 dB时，平均识别准确率约为97.7%，优于其他方法。Kumar等人[66]提出了基于星座密度矩阵的调制识别算法，并使用基于经典ResNet-50的转移学习和Inception V2深度学习模型对信号星座密度生成的彩色图像进行训练。文献[67]使用多个类似星座的图像作为数据集，并采用经典AlexNet和GoogLeNet的转移学习进行调制识别。

2 基于DL算法的AMR方法

2.1 基于CNN的AMR方法

典型的CNN结构如图3所示，输入是经过预处理后的信号数据，输出是识别结果。输入数据经过若干个卷积层和池化层后，在全连接层中实现与输出目标之间的映射[68]。CNN的本质上是一种输入到输出的映射。只要用已知的模式对CNN加以训练，网络就具备了输入和输出之间的映射能力，而不需要输入和输出之间精确的数学表达式。CNN的核心思想是局部连接、权值共享、池化操作和多层使用，这使其具有更好的泛化能力和鲁棒性，从而易于训练[1]。CNN从最初的2012年AlexNet横空出世[69]到2014年VGG[70]席卷世界以及2015年ResNet[71]奠定了该领域的霸主地位，网络模型变得原来越深，而且也得以证明，越深的网络拟合效果越好，但网络相应的参数量急速增加。随后，出现一些以牺牲少的准确率为代价的轻量化网络以及为完成不同识别任务而设计的组合网络，比如分布式学习、迁移学习和CNN-LSTM等模型，不但降低了参数量和计算开销，同时也满足高精度的识别要求。

图3 CNN的典型结构

Wang等人[35]设计了两个CNN来识别不同的调制模式(包括BPSK、QPSK、8PSK、GFSK、CPFSK、PAM4、16QAM和64QAM)，系统结构如图4所示[35]。

图4 系统结构

前一个CNN在IQ采样信号上进行训练，并采用随机失活(Dropout)代替池化操作，以获得更好的性能，但此网络只能将QAMs与其他调制类型区分开。后一个CNN在星座图上进行训练，以区分16QAM和64QAM信号。仿真结果表明，与基准方法相比，该方法可以获得更好的识别准确率。

Gu等人提出了一种基于两个CNN的盲信道识别辅助的广义AMR方法，其系统架构如图5所示[72]。前一个CNN在IQ采样信号上进行训练，以区分盲信道是视距(Line of Sight,LOS)信道还是非视距(Non Line of Sight,NLOS)信道。后一个CNN分别在LOS和NLOS信道条件下进行训练，以识别信号的调制类型(包括2FSK、DQPSK、16QAM、4PAM、MSK和GMSK)。仿真结果表明，作者所提出的广义AMR方法明显优于传统基于高阶累积量的AMR方法。

图5 盲信道识别辅助的广泛AMR的系统结构

Zhang等人提出了一种基于CNN的鲁棒AMR方法来识别不同的调制类型(包括FSK、PSK和QAM)，系统结构如图6所示[73]。CNN在混合SNR数据集上进行训练，以在不同SNR环境下提取特征。该方法在混合SNR(范围为-5～5 dB)下用同一个CNN识别调制类型，不仅减少了设备内存还不需要精确的SNR估计。仿真结果表明，作者所提出的基于广义CNN的体系结构比传统的基于固定CNN的体系结构具有更高的鲁棒性。

拉力试验过程中，试验机下部夹头夹持夹具保持固定，上部夹头夹持夹具往+Z方向持续提拉，使载荷不断达到91000 N。

(a) SNR=j dB的样本训练固定CNN的AMR方法

文献[9]提出了一种基于循环熵向量(Cyclic Correntropy Vector,CCV)的长短时记忆密集连接网络(Long Short-term Memory Densely connected network,LSMD)的AMR方法。该方法首先从接收信号中提取包含循环平稳二阶特征和高阶特征的CCV，然后将提取的CCV特征放入数据驱动的LSMD中，该LSMD是由LSTM和密集网络(DenseNet)组成的。文献[74]所提出的体系结构设计为计算轻量卷积结构，它可以通过降低计算复杂度，以考虑认知无线电网络的实时通信，并采用跳连接来提高模型的识别准确率。Huang等人[75]提出了一种基于网格星座矩阵的AMR方法，该方法将接收信号中提取的网格星座矩阵作为对比全卷积网络(Contrast Full Convolution Network,CFCN)的输入。仿真结果表明，与现有方法相比，CFCN在训练时间较短的情况下具有更好的识别精度。Fu等人[76]提出了一种基于模型聚合和轻量化的分布式学习的AMR方法。其中，轻量化设计采用可分离CNN (Separable-CNN,S-CNN)，该网络利用可分离卷积层代替标准卷积层，并切断大部分全连接的层。仿真结果表明，与CNN相比，S-CNN的复杂度降低了90%以上，使得训练效率更高，而识别准确率降低了不到1%。表3总结了基于CNN的AMR方法。

表3 基于CNN的AMR方法总结

2.2 基于RNN的AMR方法

如图7所示，RNN与传统神经网络最大的区别在于每次都会将前一次的输出结果y，带到本次的隐藏层h中，并于本次输入数据x一起训练,其中，W{Wx,Wh,Wy}表示共享权重参数。RNN能够从输入信号中学习时序信息，通过参数共享以降低网络规模和计算成本。LSTM作为RNN的一种优化算法可以保留较长序列数据中的重要信息，忽略不重要的信息，从而解决RNN 短期记忆的问题。

图7 RNN的典型结构

文献[81]中提出了一种最先进的基于LSTM的AMR方法，并将旋转、翻转和高斯噪声这三种增强方法应用于DL算法的训练阶段和推理阶段。类似地，文献[82]针对AMR研究了RNN和LSTM。首先，将接收到的信号转换成两个归一化矩阵，作为RNN的输入。然后，利用四层双通道LSTM提取IQ信号分量和AP信号分量的序列相关特征。Zhang等人[83]提出了IQ样本和调制信号的四阶累积量的组合，然后将组合向量输入到CNN和LSTM分类器中。文献[84]提出了卷积长短时DNN、LSTM和ResNet三种结构，并通过PCA和子采样技术最小化训练数据集的大小来减少训练时间，同时使分类精度损失最小。仿真结果表明，这三种结构在高SNR下实现了约90%的分类精度。表4总结了基于RNN的AMR方法。

表4 基于RNN的AMR方法总结

2.3 基于NAS的AMR方法

NAS是解放人力的一种新途径，它可以针对需要解决的问题自动搜索到最佳的网络结构。NAS主要分为搜索空间、搜索策略和性能评估策略这三个维度，如图8所示。

图8 NAS方法的概述

NAS的原理是给定一个称为搜索空间的候选神经网络结构集合，用某种策略从中搜索出最优网络结构，神经网络结构的优劣即性能用某些指标如精度、速度来度量，称为性能评估[88]。

Wei等人[89]提出将基于可微的NAS方法应用于AMR领域。该方法首先在IQ采样信号上通过梯度下降的方法有效地搜索出基于单元堆叠的最优架构。然后，在不同SNR环境下训练搜索到的最优网络，以准确识别出BPSK、QPSK、8PSK、16QAM、2FSK、4FSK、8FSK和MSK这8种调制信号。实验结果表明，基于梯度优化的网络搜索方法比基线网络具有更好的识别精度，并且在不失精度的情况下，使用了较少的参数和内存。

Zhang等人[90]提出通过Wigner-Ville分布将信号转换为时频图像，然后通过基于NAS方法搜索到最优神经网络，以识别出不同种类的时频图像。具体来说：首先在时频图像上通过基于单元的搜索空间和基于梯度的搜索策略得到CNN；然后通过性能评估不断调整网络和参数，以获得最优的CNN；最后训练搜索到的最优的CNN，以准确识别出Barker、B-FM、LFM、Rect、CPFSK、DSBAM、GFSK和SSB-AM这8种信号。实验结果表明，该方法可以在低参数和浮点运算的情况下达到最优的识别精度。

Du等人[91]提出了一种基于可变网络NAS的信号识别方法。信号经过STFT转换成时频图像，该时频图像作为搜索和训练模型的数据集，通过提取信号的时频特征对不同的信号进行识别。该方法利用“块单元”结构和基于控制器的RNN,根据外部环境自动设计模型,特别是，在平衡NAS框架中还提出并使用了一个平衡函数，作用于RNN控制器，在搜索理想模型时考虑验证准确率和计算预算。通过采用渐进策略设计简单和复杂的子模型，从而进一步提高搜索过程的效率。实验结果表明，固定结构网络通常不适用于可变数据集，所提出的平衡函数可以优化搜索策略，并且可以找到精度和效率都很高的模型，这优于仅使用精度标准搜索到的网络模型。所提出的平衡NAS框架的鲁棒性和稳定性也得到了定量验证。

3 未来研究方向

(1) 信号数据集

现有的大部分生成数据集是通过模拟真实环境得到的，而在实际通信环境中,收集/感知获取可靠的数据集样本比较复杂，特别是带有标签的数据集。对于深度神经网络来说，训练样本通常成本高昂且困难。未来，调制识别算法需要克服此困难，研究开集识别技术以识别未知目标，研究无监督识别技术以识别非合作通信场景中海量无标签信号样本，研究针对极少量数据的小样本识别技术。

(2) DL模型构建

DL在图像、语音等任务上的成功很大程度上得益于新的神经网络结构的出现，如ResNet、Inception、DensNet等。但是设计出高性能的神经网络需要大量的专业知识与反复调试，成本极高。因此，根据输入数据自动搜索最优且轻量化的神经网络架构值得深入研究探讨。此外，DL的“黑箱”特性限制了深入研究模型的运行机理，针对此问题，DL可视化(包括数据可视化、网络结构可视化和训练过程可视化等)值得深入研究探讨。

(3) AMR的应用拓展

未来，可以根据调制识别获得的部分信号先验信息，来支撑辐射源个体识别处理，精准识别出信号所属的辐射源，为无线电频谱监测提供重要支撑。此外，通信频谱逐渐迈向毫米波、太赫兹等高频段，导致通信频谱与传统的雷达频谱相重叠。因此，如何识别出通信感知一体化系统中的雷达信号、通信信号等电磁信号也是一个重要的研究方向。

4 结论

DL在AMR领域越来越流行并已取得了杰出的成果。本文介绍了DL模型的基本原理和发展，并从数据集、信号表示和DL算法三个角度综述了基于DL的AMR最新研究进展。从神经网络的输入数据类型来看，大多数识别方案将原始数据、专家特征和图像等形式作为网络输入，研究者们设计适当的网络以充分学习信号表示，从而获得更高的识别准确率。此外，本文也讨论了需要进一步深入研究的研究方向和开放性课题。