邹旭东 杨伍昊 郭潇威 孙 杰 郑天依
(1.传感技术国家重点实验室,中国科学院空天信息创新研究院,北京 100190;2.齐鲁空天信息研究院,山东济南 250132)
近年来,得益于信息技术与传感技术的快速发展,传感技术在物联网、泛在传感等新兴领域中的应用也取得一定突破[1]。成千上万的传感器节点产生的海量传感数据也随之爆炸式地积累起来,并且消耗着越来越多的传输带宽、存储容量和能量。这就要求信息处理终端能够高效、低功耗地处理信息。然而,传统基于冯·诺伊曼架构的计算范式的计算效率又受限于电子器件性能和速度的物理极限。这种矛盾激发了人们对高效的新型计算范式进行探索。其中,人工神经网络[2]以其较强的自学习适应性,并行信息处理能力和非线性映射能力等特点,已经被广泛应用于模式识别[3]、图像识别[4]、目标检测[5]、人工智能[6]等应用领域。同时,人工神经网络以其良好的特征提取能力,模式识别与分类能力也成功吸引了同样需要对信号进行分类、识别和提取的雷达信号处理领域的研究人员,成为近几年在复杂电磁环境、低信噪比情况下对复杂多样的雷达信号脉内调制类型进行识别、分类的有力工具[7-12]。通常,雷达信号的处理手段主要包括雷达信号特征的分类、识别和提取。但是,在外界电磁干扰情况下,雷达信号的特征,如载波频率、脉冲幅度、脉冲波形等容易受到噪声的影响,从而给信号的识别和分类带来极大困难。因此,在复杂电磁环境下,对雷达信号的高效信息处理成为现代雷达应用领域最为突出的挑战之一。
然而,在应用人工神经网络对雷达信号进行处理的过程中,往往需要用到复杂的神经网络结构。人工神经网络在处理大规模网络时,其网络连接权值的训练往往需要使用复杂且耗时的算法。并且标准的前馈神经网络由于网络神经元之间成有向树的分布,不存在环路,因此难以处理与时序相关的数据。虽然通过改变神经元的网络拓扑结构,增加环路结构可以构成递归神经网络,使其具备处理与时序相关数据的能力,但是,由于历史信息在递归神经网络内部会随着时间逐渐消退,使得传统的基于梯度下降的训练算法不仅时间代价昂贵,且容易陷入局部最优值,难以对其进行训练。针对这个问题,一种基于递归神经网络的改进型计算范式被提出,即储备池计算(Reservoir Computing,RC)[13-14]。储备池计算通常由输入层、储备池层和输出层组成。其中,储备池通常是一个随机连接的非线性节点网络,能将输入数据非线性地映射到高维空间,从而使输入的特征能够通过简单的算法(如线性回归)有效地读出。在训练过程中,储备池包含的随机连接的非线性节点网络保持不变,只需要训练输出权值。这种特殊的拓扑结构和训练策略,使其根本上绕开了基于梯度下降的学习算法的缺陷。使用简单的线性回归算法训练输出权值,保证了所取得的极值点是全局最优点。因此,相比于递归神经网络,储备池计算模型具有训练简单,高效,不存在局部最优情况等优势。更重要的是,储备池层非线性节点网络不变的拓扑结构可以方便地通过各种具有非线性响应和衰减记忆(fading memory)的动力学系统来硬件实现[15-16]。通常情况下,主要有两种储备池结构的硬件实现方式:一种是随机连接的大量非线性节点网络;一种是单个非线性节点搭配一个延迟反馈回路的延迟反馈型非线性动力系统。相比而言,延迟反馈型非线性动力系统由于只需要一个非线性器件和一个具有延迟反馈功能的控制回路,从而更容易硬件层面的实现。并且,这种延迟反馈型的储备池计算已经成功在诸如振荡电路[15]、自旋电子学器件[17-19]、忆阻器[20-24]、光电器件[25-27]以及微机电(Micro-Electro-Mechanical Sys⁃tem,MEMS)谐振器[28-30]等体系中实现。在这些已有报道中,基于各种非线性系统的硬件储备池计算的分类、预测能力也在相应的通用分类、预测数据集的基准测试中得到了有效验证。此外,储备池计算易于实现、易于训练的特点以及其强大的分类预测能力也为低信噪比环境下运动目标的低功率雷达微波多普勒(Micro-Doppler,MD)特征识别[31],提高实时线性频率调制(Linear frequency modulated,LFM)脉冲波形识别的效率[32],提高合成孔径雷达(Synthetic aperture radar,SAR)图像分类、信息处理的效率[33]等方面提供了强有力的工具。
但是,储备池计算的分类能力、时序预测能力与储备池非线性节点网络的拓扑结构、非线性动态丰富度、神经元之间的连接强度等均有关系。针对不同的任务,有不同的储备池非线性节点网络的适用结构以及参数优化方法。而以上这些,在现有报道的文献中鲜有报道和讨论,特别是基于MEMS 谐振器的硬件储备池计算针对不同任务的适用结构以及优化方法,更是空白。
本论文在前期对MEMS 谐振器非线性响应深入研究的基础上,根据MEMS 谐振器不同的非线性响应特性设计并搭建了两种储备池计算的拓扑架构,即基于MEMS 双端固支梁谐振器的延迟反馈型储备池计算拓扑结构[30]以及没有延迟反馈结构的混合非线性(Hybrid Nonlinear,HNL)储备池计算拓扑结构[29]。前期工作虽然已经分别对两种拓扑架构进行了介绍。本文重点将针对两种结构的储备池计算对不同任务的适用性展开深入讨论,并尝试对雷达信号处理领域中的线性频率调制脉冲波形进行特征分类和提取,为雷达信号处理提供新的思路和方法,也为MEMS 传感技术与雷达信号处理技术的交叉融合进行积极探索。
本论文储备池层非线性节点由具有非线性响应的双端固支硅微梁谐振器构成。谐振器尺寸,振动模态、幅频响应特性等通过有限元仿真软件COMSOL 进行仿真,其非线性响应特性通过MatLab中Simulink仿真工具进行搭建。谐振器的工艺加工依托我们实验室的4 寸MEMS 工艺线,通过标准的3 块掩模板工艺,在绝缘衬底上硅(Silicon on Insula⁃tor,SOI)晶圆上相继经过金属电极制备、硅结构图形化和刻蚀、背面牺牲层释放等标准SOI 工艺流程制备而成[30]。
MEMS硅微谐振器由于硅材料固有的非线性刚度效应、尺寸效应以及加工制备工艺误差等的影响,具有丰富的非线性效应[34-37]。这些非线性效应为基于MEMS 硅微谐振器的储备池计算硬件实现方案提供了诸多可能。
图1是平行板静电驱动检测的双端固支梁谐振器结构示意图。以双端固支梁为研究对象,对其进行振动力学分析,其运动微分方程如公式(1)所示:
图1 平行板静电驱动检测的双端固支梁谐振器结构示意图Fig.1 Schematic of clamped-clamped beam resonator with parallel plate electrostatic drive detection
在较大静电驱动作用下,其非线性响应主要表现为Duffing 非线性(Duffing Nonlinear,DuNL)。同时,在欠阻尼二阶微分动力系统中,系统从被激励到稳态振荡,去掉激励后由稳态振荡开始衰减到静态的过程中,也分别对应非线性响应。我们将此非线性定义为瞬态非线性(Transient Nonlinear,TNL)[29]。因此,当MEMS双端固支硅微梁谐振器被驱动到非线性响应状态,作为储备池层非线性节点时。其非线性响应主要受Duffing 非线性和瞬态非线性的影响,如图2 所示。T1 阶段表示系统从被激励到稳态振荡的过程,T3阶段表示系统在没有外界输入情况下从稳态振荡衰减到静态的过程,这两个阶段,谐振器处于由Duffing 非线性和瞬态非线性共同主导的非线性响应状态,我们将其成为混合非线性(Hybrid Nonlinear,HNL)。T2阶段表示谐振器稳定振荡状态,T4阶段表示静态,这两个阶段,谐振器所表现出的非线性响应主要是Duffing非线性。
图2 谐振器从被激振到稳态再衰减至静态过程中非线性响应示意图Fig.2 Schematic of nonlinear response of resonator from excited to steady state and then attenuation to static state
利用双端固支硅微梁谐振器稳态振荡的非线性响应作为储备池计算非线性节点的非线性映射,为其搭配适当的延迟反馈结构,即可构成一个延迟反馈型储备池非线性节点网络。连同对输入信号进行预处理的输入层以及可以对虚拟节点状态进行后处理的输出层一同构成延迟反馈型储备池计算,如图3所示。
图3 单非线性节点单延迟反馈型储备池计算结构示意图Fig.3 Schematic of RC with single nonlinear node and single delay loop
原始输入数据在输入层经过采样保持处理后得到输入信号I(t),然后再利用一个与储备池内非线性虚拟节点数同维度的随机掩码(Mask)函数将其调制,再与输入增益β相乘后输入到储备池中的非线性节点。随机掩码(Mask)函数的调制一方面消除了时序输入数据自身的对称性,另一方面也给反馈环中每个虚拟节点赋予随机且固定的权重,使得输入数据乘以掩码函数之后形成具有不同权重的虚拟节点数据。因此,输入层中随机掩码(Mask)函数对输入数据的调制大大增加了储备池计算的非线性丰富度,对提高系统的分类与预测能力起到了至关重要的作用。
经过预处理的输入数据在储备池层作用于MEMS 谐振器,驱动工作在非线性响应状态的谐振器运动。谐振器的响应信号一部分进入到输出层,一部分通过延时反馈回路延迟一段时间后,与当前时刻的输入信号叠加后一同输入到MEMS 谐振器中,继续影响下一刻的输出信号。MEMS 谐振器在外部激励作用下的非线性响应将输入数据映射到高维空间。MEMS谐振器的本征衰减特性保证了延迟反馈环上虚拟节点之间的状态前后有一定关联,谐振器的本征衰减时间与虚拟节点之间的时间间隔也决定了这种关联的强弱,从而决定了系统的记忆能力。
储备池层虚拟节点的状态函数输入到输出层,在输出层,通过给每一个虚拟节点分配一个输出权值,可以得到目标输出:
其中W为待训练输出权重矩阵,x(t)为储备池状态输出向量,y(t)为预测值,如果将目标真值记为则训练的目标只需要通过线性回归算法训练出使目标输出与实际输出y(t)之间的归一化均方误差最小的W即可。通常,可以利用公式(2)对应的损失函数取最小值对应的W即可。公式(2)对应的损失函数为:
与传统神经网络算法相比。这种只需要用简单的线性回归算法训练输出权值,中间储备池非线性节点网络的连接状态保持不变,极大地提高了计算效率。
在此基础上,还可以通过在储备池层增加非线性MEMS 谐振器接口的数量、增加延迟反馈环的数量来分别提高系统的非线性丰富度和线性丰富度,从而可以针对不同的任务类型搭建不同延迟反馈型储备池计算的拓扑架构,如图4 所示。蓝色部分表示系统的输入层,橙色部分代表储备池非线性映射层,绿色部分为RC 结构的输出层。三种结构的输入层与输出层相同,输入层将数据预处理之后输入到储备池非线性映射层,输出层将储备池映射层的输出数据存储并使用线性回归的方法进行训练与测试。他们的区别在于储备池映射层的组成不同。非线性物理节点的加入提高了系统的非线性丰富度,从而提高了系统的分类能力。延迟反馈环的增加提高了系统的线性丰富度,使相邻虚拟节点间线性组合的能力增强,从而为系统长时记忆能力拓展了提升空间[38]。
图4 三种不同拓扑结构的延迟反馈型储备池计算.(a)单非线性物理节点单延迟反馈型储备池计算;(b)单非线性物理节点双延迟反馈型储备池计算;(c)双非线性物理节点(耦合MEMS谐振器)双延迟反馈型储备池计算Fig.4 Delay-based RC with three different topologies.(a)RC with single nonlinear physical node and single delay loop;(b)RC with single nonlinear physical node and double delay loop;(c)RC with double nonlinear physical nodes(coupled MEMS resonators)and double delay loops
在以上储备池计算架构中,由于延迟反馈控制以及输入掩码函数的加入,使得储备池非线性节点网络只需要一个或少量具有非线性响应的硬件系统即可构建。但是,延迟反馈控制的延迟时间以及掩码调制也一定程度上损失了计算效率。为此,本论文在深入理解构成储备池非线性节点网络的两个必要条件,即非线性响应和衰减记忆特性的基础上。结合图2所示MEMS 谐振器典型的混合非线性响应过程。创新地提出了一种新型的无延迟反馈的单非线性物理节点储备池计算拓扑结构,如图5所示。
图5 基于MEMS双端固支梁谐振器的混合非线性无延迟反馈型储备池计算架构Fig.5 Nondelay-based RC architecture with hybrid nonlinearity based on MEMS clamped-clamped beam resonator
与传统的延迟反馈型储备池计算架构类似,这种储备池计算架构也由输入层、储备池层和输出层构成。工作时,作为非线性物理节点的谐振器被驱动至图2所示T1阶段,谐振器处于由Duffing非线性和瞬态非线性共同主导的混合非线性响应状态。这种混合非线性响应,可以将每一个顺序输入的数据非线性映射至高维空间,同时,由于谐振器瞬态响应的本征衰减特性,在本征衰减时间(2Q/ω,Q为谐振器的品质因数,ω为谐振器的本征圆频率)内输入进来的数据之间也会存在一定的关联。类比延迟反馈结构储备池计算的掩码调制过程,我们称这一过程为自掩码(Self-Masking)。这样,每一个输入数据都可以视为一个神经元节点(虚拟节点),因此,相比于传统的延迟反馈型储备池计算架构,图5所示架构可以在不需要掩码函数调制以及延迟反馈控制的情况下,仅利用MEMS 谐振器本身的非线性响应即可实现储备池结构的非线性映射和衰减记忆能力。从而提高储备池计算的处理效率[29]。但是,由于输入数据之间的关联强度只能通过改变输入数据的长度和谐振器的品质因数来调节,而谐振器的品质因数调节范围有限,所以这种架构的储备池计算虽然可以高效地胜任图像分类等任务,但是在需要长时记忆的时序预测任务中性能将会受到一定限制。
根据第3部分所提出的基于MEMS 双端固支梁谐振器不同的储备池计算架构,系统实现主要包括四部分:MEMS 谐振器的设计与加工制备;MEMS 谐振器的驱动检测接口电路;信号采集、解调、包络检波、降采样以及相关数据存储、逻辑运算等数字控制电路;数据集训练、测试与评估系统。
图6 是根据图3 所示延迟反馈型储备池计算架构实现的硬件系统架构示意图。蓝色部分为数据采集(Data Acquisition,DAQ)控制模块,左侧为模拟输入部分,右侧为模拟输出信号读取部分。右上角为DAQ 的实物图,其尺寸为20 cm×18 cm。绿色部分为电路单元模块,共分为三小部分。第一部分为MEMS 谐振器输出信号处理电路,其中包括跨阻放大器(Transimpedance Amplifiers,TIA)、电压放大器、带通滤波器和包络检波器等。第二部分为分压电路,为反馈控制提供反馈增益。第三部分为加法器,将反馈回路的输出信号与NI采集卡的输入信号相加,然后一起输入到MEMS 谐振器中。黄色部分为STM32F407 单片机模块,在数字域将包络输出信号进行延时处理。右下角为STM32F407 单片机最小系统板的实物图,其尺寸为9.5 cm×6.8 cm。紫色部分为直流电压源,为MEMS 谐振器提供直流偏置电压。
图6 基于MEMS双端固支梁谐振器的延迟反馈型储备池计算硬件架构示意图Fig.6 Schematic of hardware architecture of delay-based RC based on MEMS clamped-clamped beam resonator
图7 是根据图5 所示基于MEMS 双端固支梁谐振器的混合非线性无延迟反馈型储备池计算硬件系统架构示意图。类似地,利用TIA、电压放大器、带通滤波器和包络检波器等搭建输入层和输出层的信号处理电路。黑色框内是NI 6366 X 数据采集卡、MEMS 双端固支梁谐振器及其接口电路的实物图。
图7 基于MEMS双端固支梁谐振器的混合非线性储备池计算硬件架构示意图Fig.7 Schematic of hardware architecture of RC with hybrid nonlinearity based on MEMS clamped-clamped beam resonator
通常,雷达信号的处理手段主要包括雷达信号预测、图像识别、脉冲波形、信号特征的分类和提取等。为验证本论文提出的储备池计算架构具备在雷达信号处理领域中应用的潜力。分别利用NARMA预测任务、MNIST-手写数字图像识别、线性频率调制脉冲波形识别与特征提取等评价基准对本论文所提两种不同储备池计算硬件架构进行实验验证。
NARMA 数据集是机器学习领域中运用最广泛的预测类数据集之一。在此预测任务中,目标是预测白噪声驱动的m阶非线性自回归移动平均方程(Nonlinear Auto Regressive Moving Average Equation of Order,NARMA)的结果,公式如下:
其中,u(n)为随机产生的输入噪声信号,其范围为[0,0.5]。y(n)为n离散时刻的输出信号。由递推关系,输出值y(n)不仅与当前输入值u(n)有关,还与m-1 个时刻前的输入值u(n-m+1)有关。因此,此任务需要预测系统拥有较强的记忆能力。基于此,我们利用长时记忆能力更好延迟反馈型储备池计算架构进行预测。
在此预测任务中,我们以1000个时间步长序列训练NARMA 数据集,并在随后的1000 个时间步长序列中进行测试。采用归一化均方误差(Normal⁃ized Mean Squared Error,NMSE)评估预测结果的性能。在仿真实验中,分别利用图4 所示的三种延迟反馈型储备池计算结构对阶数为1,2,5,10 的NARMA 数据集进行预测。通过对储备池计算系统虚拟节点个数、输入增益、反馈回路增益等参量优化后,最终得到如图8 所示结果。图中四种颜色分别代表了阶数为1,2,5,10 的NARMA 数据集测试结果,横坐标为图4 所示三种不同的延迟反馈型储备池计算架构,纵坐标为评价指标NMSE。如图所示,评价指标NMSE随着阶数的升高而显著升高,说明阶数越高,数据集的预测难度越大。NARMA 阶数相同的情况下,延迟反馈型储备池非线性物理节点与延迟反馈环越多,即对应于储备池非线性节点网络的动态丰富度越高,评价指标NMSE的值越低,系统的预测能力越好。
图8 不同MEMS储备池计算架构在NARMA测试任务中的错误率比较Fig.8 Comparation of error rates of different MEMS RC architectures in NARMA task
在硬件系统实验中,我们利用图6 所示延迟反馈型储备池计算硬件架构在10 阶NARMA 数据集上进行测试,得到了NMSE=0.114 的结果。通过与光学储备池计算系统和软件储备池计算系统的横向对比,本论文提出基于MEMS 谐振器的延迟反馈型储备池计算已经达到同类储备池计算架构在此任务中的最优水平,如表1所示。
表1 不同储备池计算架构在NARMA10数据集上测试结果对比Tab.1 Comparation of testing result of different MEMS RC architectures in NARMA10 dataset
MNIST(Mixed National Institute of Standards and Technology)手写数字识别数据集是测试神经网络分类能力普遍使用一种基准任务。该数据集总共包含6 万个训练样本和1 万个测试样本,每个样本由一个28×28个灰度值矩阵组成。
此分类任务由于样本为图像,且样本量巨大。所以我们利用我们提出的更适合分类任务的无延迟反馈控制的混合非线性储备池计算架构对其进行测试。实验中,我们从数据库中随机选择25000个样本作为实验数据集,其中22500 个样本构成训练集,2500 个样本构成测试集。为了进一步验证系统的鲁棒性,我们在实验数据集的灰度图上添加了不同信噪比(Signal to Noise Ratio,SNR)的高斯白噪声(Additive White Gaussian Noise,AWGN),模拟不同的噪声干扰,如图9所示。
图9 添加不同信噪比高斯白噪声后的数据样本情况Fig.9 Data sample after adding AWGN with different SNR
最后,利用图5 和图7 所示混合非线性储备池计算架构分别从仿真和实验上对此实验数据集进行测试,结果如图10 所示。可以看出,信噪比在8以上时,仿真和实验结果几乎一致,分类准确率均超过了80%。信噪比低于8 时,同等条件下实验结果优于仿真结果,因为实验中谐振器的振动过程存在能量耦合与叠加的现象,在噪声干扰下,更容易被实际有用信号的动态响应掩盖,因此即使在噪声很大的情况下,系统的分类准确率仍然高于75%;而仿真实验却无法真实模拟器件的真实振动情况,因此对噪声信号也会有一定的响应,导致系统的分类能力随着噪声的增多而降低。因此,基于MEMS 双端固支梁谐振器的混合非线性储备池计算硬件架构不仅在此图像分类任务中展现了较高的准确率,也表现出其优异的抗噪声干扰的鲁棒性。
图10 不同高斯白噪声干扰下混合非线性储备池计算架构在MNIST-手写数字识别数据集上的分类准确率Fig.10 Classification accuracy of RC with hybrid nonlinearity architecture on MNIST-handwritten digit recognition dataset under different AWGN
线性频率调制(Linear frequency modulated,LFM)脉冲波广泛应用于雷达、声纳、超声、通信等领域。一个典型的LFM脉冲波可以描述为:
其中,f0是初始频率,t时刻的瞬时频率为f0+2kt,2k即频率啁啾(frequency chirp),决定了瞬时频率的变化率。LFM 脉冲波形识别任务的目标是在一段由两种不同的LFM 脉冲波按周期随机排列的信号中,正确区分出两种不同的信号,并且提取出相应的瞬时频率。
本论文采用的两种LFM 脉冲波信号x1(t)、x2(t)相应的瞬时频率f1(t)、f2(t)分别表示如下:
其中,t∈[0,1],输入信号x(t)由LFM 脉冲波信号x1(t)、x2(t)依次拼接组成,每个周期包含50个散点。此分类任务的目标是,当LFM 脉冲波信号为x1(t)时,输出为1;当LFM 脉冲波信号为x2(t)时,输出为0;并通过线性回归提取出相应的瞬时频率f1(t)、f2(t)。
考虑到此任务样本量不大,所以运用图3 所示单非线性节点单延迟反馈型储备池计算架构对其进行处理。实验中,参数选择如下:θ=0.1 ms,N=50,λ=0.0001,α=0.9,β=3.6,Vdc=20 V,Vac=2 V。实验结果如图11 所示,图11(a)为LFM 脉冲波形识别结果,黑色实线为原始输入,蓝色虚线为真值目标信号,红色虚线为RC 系统的输出预测信号,波形识别准确度为100%。图11(b)为FM 脉冲波瞬时频率提取结果,提取结果与瞬时频率的真实值基本吻合。为了更精确的对比系统性能,采用归一化均方误差(NMSE)来评估预测结果的性能,其中波形识别中NMSE=0.029,瞬时频率提取中NMSE=0.042,均达到了较高的水平。
图11 (a)LFM脉冲波形识别结果;(b)LFM脉冲波瞬时频率提取结果Fig.11 (a)Results of LFM pulse waveform recognition;(b)Results of instantaneous frequency extraction of LFM pulse wave
本论文基于对MEMS双端固支梁谐振器非线性响应的研究与讨论,提出在MEMS 谐振器从静止状态被驱动到非线性振动过程中,主要的非线性响应包括Duffing 非线性和瞬态非线性。进而根据不同的非线性响应特征并在深入理解构成储备池非线性节点网络的两个必要条件的基础上,设计并搭建了两种储备池计算的拓扑架构,并进行了系统实现。然后,面向雷达信号处理中信号预测、图像识别、雷达信号特征分类和提取等应用需求。针对性地选择了NARMA 预测任务、MNIST-手写数字图像识别、LFM脉冲波形识别与特征提取等评价基准对本论文所提两种不同储备池计算架构进行实验验证。其中,基于MEMS 双端固支梁谐振器的延迟反馈型储备池计算架构在1 阶、2 阶、5 阶、10 阶NARMA 预测任务中归一化均方误差(NMSE)均小于0.12,达到了其他同类硬件储备池计算系统的最优水平;在LFM 脉冲波形识别与特征提取任务中也实现了100%的识别正确率。基于MEMS 双端固支梁谐振器的混合非线性储备池计算架构在MNIST-手写数字图像识别任务中分类准确率达到75%以上,并且展现了非常优异的抗噪声干扰的鲁棒性。实验结果不仅展示了本论文所提的两种不同储备池计算架构在分类、预测任务中的优异性能,也验证了它们在不同测试任务中各自的适用性。同时,实验结果也充分展示了基于非线性MEMS谐振器的储备池计算硬件系统在雷达信号预测、分类与特征提取等应用领域中的应用潜力,为复杂电磁环境下,雷达信号处理提供新的有力工具,为MEMS 传感技术与雷达信号处理技术的交叉融合进行积极探索。