基于时频信息融合网络的非干扰呼吸检测方法①

沈建飞 陈益强 谷 洋

(*移动计算与新型终端北京市重点实验室 北京 100190)(**中国科学院计算技术研究所 北京 100190)(***中国科学院大学 北京 100049)

0 引 言

针对生理信号的非干扰感知研究，受到越来越多的重视，因为其可以在不对用户产生任何干扰的前提下，进行基本的生理信号采集。同时，非干扰感知的方法对于特定场景，如睡眠监测等方面有特殊的优势。

呼吸是较常用的生理信号，目前呼吸的传统检测方式有阻抗式、光电容积脉搏波描记、呼吸感应体积描记、心电信号提取法等方法。这些方法虽然测量结果较准确，但是都需要与用户有直接的身体接触，将传感器或面罩紧贴皮肤进行检测[1]，大幅降低了用户在检测过程中的舒适度，只适用于短时间内的检测，无法满足用户对生理信息的长期监测需求。尤其是对睡眠中的呼吸检测和烧伤病人、部分皮肤病人的生理数据检测，接触式的方法都会对用户造成一定的负面影响，甚至二次伤害[2-6]。

非干扰的呼吸检测，目前的研究主要集中于使用视频[7]、热力图[8]、超声波[9]、WiFi[10,11]、雷达[12-14]等方式来实现对用户生理参数的收集，再通过信号处理、信号识别等技术提取周期信息，实现呼吸频率的实时检测。其中，通过雷达方式进行呼吸检测的方法，在用户相对静止的情况下有更好的识别效果，因电磁波能够穿透衣物、被褥，直接传播到人体表面[15]，因此其能够更直接地检测到人体胸腔的振动，计算得到更准确的呼吸信息[16]。通过雷达检测呼吸的方法，根据其信号发射和接收方式的不同又可进行细分，比较主流的方式为如下几种：多普勒雷达(Doppler radar)[17-19]，它通过发射和接收连续的定频电磁波，利用多普勒效应来进行检测；调频连续波雷达(frequency modulated continuous wave radar，FMCW Radar)[20,21]，通过发射和接收持续调频的连续电磁波，分析接收信号频率的变化来实现检测；超宽带雷达(ultra-wideband radar，UWB Radar)[22,23]通过发出超宽带脉冲电磁波来进行呼吸检测。其中，由于对周期信号有很好的识别效果，多普勒雷达是非干扰呼吸检测中使用较多的检测方案。

基于多普勒雷达的呼吸检测方法，利用电磁波信号被用户身体反射时产生的多普勒效应(Doppler effect)，来提取出用户的呼吸信息[24]。目前国内外的研究多从数字信号处理角度进行分析，通过线性、非线性解调雷达信号后，结合呼吸频率的先验信息进行呼吸的检测[25]。但环境干扰是影响识别精度的重要因素，传统的信号处理方法，在实际环境中很难保证呼吸的精准鲁棒识别。

目前，在模式识别领域，机器学习方法已经得到了广泛的应用，其在图像识别[26-28]、数据分析[29,30]等方面已经实现很好的识别结果。在基于雷达的呼吸检测领域，已有的研究主要集中在通过信号处理方法识别到呼吸频率后，结合机器学习方法进一步对用户的睡眠、情绪等状态进行分类[31,32]研究。而本文针对雷达识别过程中的环境干扰问题，结合机器学习的回归模型，提出了使用时频融合网络模型直接对呼吸频率进行识别的方法。

本文的主要创新点和贡献归纳如下。

(1) 针对多普勒雷达的呼吸信号检测，提出了基于神经网络直接获得用户呼吸频率的识别模型。

(2) 提出了通过长短期记忆网络(long short-term memory，LSTM)提取时域信息，使用选带傅里叶变换(zoom fast Fourier transform，ZoomFFT)提取精细化频域信息，然后融合神经网络模型，来对呼吸频率进行识别的方法。

(3) 提出了使用局部加权回归平滑(locally weighted scatterplot smoothing，Lowess)的后处理算法来对模型的输出进行滤波，得到稳定鲁棒的呼吸频率识别结果。

(4) 采集真实雷达数据，对时频融合网络模型进行了多角度的实验测试，实验结果表明该模型对于不同距离、不同朝向和不同个体的呼吸都可以进行有效的识别。

1 基于多普勒雷达的呼吸信号检测原理

基于多普勒雷达的呼吸信号检测方法，主要通过连续波(continue wave，CW)雷达发射模块和正交接收器来完成雷达信号的发射和接收，正交接收器的使用是为了去除NULL点问题(NULL点会导致信号变化幅度过小，不利于对信号进行分析)[33]，其整体原理如图1所示。由图可知，系统通过信号源产生定频电磁波信号，经由发射器持续发射，当电磁波传播到达人体表面后，会有部分的电磁波被人体吸收，但是大部分的信号会被人体的皮肤和组织反射回来，最终被雷达的接收器接收。

图1 多普勒雷达测量原理图

在本文中，设定信号源的发射频率为f，波长为λ=c/f，其中c为光速，同时考虑发生元器件产生的噪声φ(t)，则发射信号T(t)可以用如下公式表示：

T(t)=cos(2πft+φ(t))

(1)

当电磁波信号T(t)传播距离d0到达人体表面后，经由人体表面反射，部分信号被接收器接收。在此将由于呼吸和心跳引起的胸腔位移定义为xr(t)，由心跳引起的胸腔位移定义为xh(t)，则最终的胸腔位移为两者的叠加x(t)=xr(t)+xh(t)。因此，接收到的信号可以近似表示为

(2)

从上式可以看出R(t)为一个增加了延时和幅值减小版本的T(t)，其中Ar为幅度减少的系数。胸腔运动x(t)与d0、延时后的相位噪声φ(t-2d0/c)共同构成R(t)的相位信息。雷达接收到的信号将通过一个前置放大器(low noise amplifier，LNA)对信号进行放大，并通过混频器将接收到的信号与发射信号混频，混频器的输出端，使用低通滤波器去除载波信号2πft和因混频产生的高频信号，只剩下中频信号，该信号即包含了由x(t)引起的相位变化。

由于本文使用了正交接收器，R(t)被分成2个分量，其中一个分量与发射信号混频，另外一个分量与相位延迟90 °的发射信号进行混频。最终得到一对标准正交的基带信号Bi(t)和Bq(t)，分别表示为

(3)

(4)

式中θ=4πd0/λ+θ0，包含了目标和雷达的距离d0及初始相位θ0，Δφ(t)表示剩余的振荡器相位噪声。由式(3)和式(4)可知Bi(t)和Bq(t)有90 °相位差别，保证接收到的信号至少有一个基带信号在非NULL点上。接下来将对I和Q通道的信号进行分析，得到呼吸的频率xr(t)。

实际环境中噪声Δφ(t)的影响往往会很大，如图2(a)所示，当有低频干扰时，传统快速傅里叶变换(fast Fourier transform，FFT)方法和峰值检测法会导致呼吸率识别出错。以往规避这种风险的方式是采用带通滤波或加入上下限，但当低频噪声较高时，问题依然无法避免。如图2(b)中所示，在对传统频域信号使用峰值检测时，预期的识别呼吸频率为实线所圈出的频率，但识别结果很容易被虚线圈出的低频区域所影响，导致识别结果如图2(c)所示，出现大的偏差。

图2 基于多普勒雷达的传统呼吸识别方法

因此本文中将使用时频信息融合网络实现对I和Q通道信号的分析，使用LSTM网络来对时序信号中的周期信息进行提取，使用ZoomFFT来提取频域信息，通过融合时频域信息来增强呼吸率的识别精度。

2 LSTM网络

LSTM网络是一种特殊的循环神经网络(recurrent neural networks，RNN)。LSTM网络的提出，是为了解决普通RNN网络在训练中出现的梯度消失和梯度爆炸问题，通过引入门逻辑，识别输入信号中时间间隔较长或者延迟较长的信息。因此该种网络对于时序信号处理有很好的效果，其在包括自然语言处理、视频处理、手写识别等场景中都获得了很好的识别效果[34]。也正因其对于周期信号的有效识别，本文引入LSTM网络来对呼吸这种明确的周期信号进行识别。

LSTM网络由Hochreiter和Schmidhuber[35]在1997年提出，通过不断演进，分别增加了遗忘门[36]和窥视孔连接[37]。本文中将使用演进后的LSTM网络进行模型构建，单个的LSTM单元[38]如图3所示。从图中可以看到，LSTM模型包含3个门逻辑即输入门(input gate)、遗忘门(forget gate)、输出门(output gate)，输入，细胞(Cell)，输出激活模块，以及窥视孔连接(peephole connection)，单元的输出同时返回连接到输入和各个门，实现一个循环网络。针对神经网络中一个LSTM层，假设其xt为在t时刻的输入向量，N为LSTM单元的数量，M为输入信号的数量，那么LSTM层将会产生如下的权重。

输入权重：Wz,Wi,Wf,Wo∈RN×M

循环权重：Rz,Ri,Rf,Ro∈RN×N

窥视孔权重：pi,pf,po∈RN

偏差权重：bz,bi,bf,bo∈RN

针对t时刻LSTM单元，其各节点的矢量计算公式如下。

输入：zt=g(Wzxt+Rzyt-1+bz)

输入门：

it=σ(Wixt+Riyt-1+pi⊙ct-1+bi)

遗忘门：

ft=σ(Wfxt+Rfyt-1+pf⊙ct-1+bf)

细胞：ct=zt⊙it+ct-1⊙ft

输出门：

ot=σ(Woxt+Royt-1+po⊙ct-1+bo)

输出：yt=h(ct)⊙ot

其中σ、g、h分别为逐点运算的非线性激活函数，通常门逻辑的激活函数为逻辑回归函数(logistic sigmoid)，输入输出激活函数为反余切函数(hyperbolictangent)。同时在LSTM层中使用了逐点乘积运算，在式中表示为⊙[38]。

图3 LSTM网络单元[38]

从以上LSTM的流程可以看出，通过门逻辑和细胞状态的存储，以及上一时刻状态的加入，即可以实现循环网络的功能。在网络训练过程中，反向传播需要对各个门逻辑和输入输出的传递误差都进行分析，因此其需要确定的参数较多，训练时间较长，具体过程在此不做赘述，可参考文献[34,38]。

3 时频信息融合网络方法

3.1 信号预处理

雷达接收到经过混频的I和Q通道模拟信号，将接入模拟到数字信号转换模块(analog to digital，AD)，实现模拟信号到数字信号的转换。但是由于实际使用中的I和Q通道信号非常微弱，因此通常的方法是在AD转换模块前置1个信号放大器，这样可以增加有效信号的幅值，降低外部信号的干扰。

(1) 模拟信号预处理

针对雷达I和Q通道信号的前置放大器在本文中为2级放大电路。第1级放大电路放大10倍，选择该放大倍数是由于经过混频后的信号会有一定的直流偏置，导致信号的基准电压偏高，需要控制放大倍数保证信号电压幅值在放大器上下限范围内。第1级放大电路和第2级放大电路使用电容连接，滤除直流偏置，只保留更关心的交变信号。第2级放大电路将交变信号放大，由于通过多普勒效应产生的低频信号有比较强的周期性的，因此对于这部分周期信号的放大显得尤为重要。经过2级模拟放大后的信号将进入AD转换器，实现模拟到数字的转换，并通过USB线连接到个人电脑(PC)进行数据采集。整体流程如图4所示。

(2) 数字信号预处理

针对I和Q通道的数据，首先使用常见的滤波方法来进行信号处理，滤除噪声。由于I和Q通道信号的主要成分是人体的胸腔振动(呼吸和心跳)信息。而人的呼吸频率在每分钟10～30次，其对应的频率比较低，因此对于信号首先进行一次低通滤波，滤除高频噪声，降低噪声影响，然后将数据输入识别模型进行呼吸频率的识别。

图4 模拟信号预处理

3.2 基于时频信息融合网络的识别模型

I和Q通道的数据，在本模型中将从时域角度和频域角度分别进行分析，并最终融合进行呼吸频率识别，网络模型结构见图5。

图5 时频信息融合网络结构

(1) 时域信息提取

将预处理后的I和Q通道数据，作为2个维度信号输入到LSTM网络，从时域角度提取周期信息。为了降低网络复杂度和噪声信号的影响，增强呼吸信号的识别，需要将原始高采样率的信号降采样。呼吸信号主要包含在频率为3 Hz以下的信号中，由奈奎斯特采样定律可知，只需要保证采样频率高于6 Hz即可保留相关的低频信息，但为了同时保证能更好地提取细节信息，经过多次实验，降采样的采样频率在本实验中设定为20 Hz。I和Q通道的时域数据，经过设定窗口时间的截取，形成固定长度的数据，输入LSTM网络层，然后接入全连接层，进行时域信息的提取，成为融合的第1个输入，见图5中左边部分。

(2) 频域信息提取

针对频域信息，将I和Q通道的时域信号转换到频域，作为融合的第2个输入，从频域角度识别呼吸的频率信息。常见的频域信号提取方法为快速傅里叶变换(FFT)，但是其在低频部分的分辨率很低，因此本文中使用ZoomFFT方法来对呼吸时序信号进行处理，将呼吸对应的频率范围细化，得到更关心的呼吸频率范围内信息。

ZoomFFT方法的基本原理是将初始信号进行复调制，将时序序列转变为复序列，利用傅里叶变换的频移性质把选频段的中心频率移至0频，再通过低通抗混叠滤波和整数倍抽取，最后对抽取后的信号做FFT分析和频率调整，即得到选频段的细化频谱[39]。通过ZoomFFT获得的I和Q双通道的频域数据将经过卷积神经网络(convolutional neural network，CNN)进行特征提取，通过全连接层连接，最终成为融合的第2个输入，见图5中右边部分。

(3) 信息融合

时域信息和频域信息将在最后进行融合，获取对应的周期和频率信息，融合提取有效特征，相互印证和补充，最终实现呼吸频率的准确识别。

3.3 鲁棒呼吸频率检测方法

通过基于时频信息融合网络的呼吸识别实验(见4.3节)可知，时频信息融合网络模型对个别用户的识别效果不佳，可能会在一定时间内产生波动。因此本节基于局部加权回归平滑法(Lowess)，提出了一种鲁棒呼吸频率检测方法。该方法基于时频信息融合网络模型的识别结果，通过局部加权回归平滑法来过滤模型的输出，实现鲁棒平稳的呼吸率检测。

局部加权回归平滑方法(Lowess)具体如下。

一般的线性回归，是对离散输入x(i)和输出y(i)选取合适的加权参数θ，使得损失函数最小：

(5)

而局部加权回归平滑法，不关注所有的数据，而是关注当前预测点相邻数据的分布，减少了较远数据的干扰。具体的为损失函数增加权值ω(i)，使得优化的目标变为

(6)

经典地定义权重参数ω(i)：

(7)

可以看到，ω(i)为一个钟形函数，其中x(i)为当前点的向量，x为其他点的向量，σ为设定的方差。x(i)距离x越近，其权值越接近于1，距离越远越接近于0，进而实现对数据的局部加权回归[40,41]。呼吸频率的变化非常符合这种局部特性，因此在时频信息融合网络模型后加入局部加权回归平滑，可以有效地降低识别误差，提高识别精度。

3.4 与传统方法对比

采用时频信息融合网络模型对雷达数据进行分析，是从时域角度提取周期信息，从频域角度获取频率信息，最终融合2种信息进行最终的结果识别。这种方法的信息维度比采用单一的传统信号处理更多，有助于提取隐层信息，防止因为噪声干扰导致的识别偏差，而实验结果也验证了这一点。

对比经典的频域处理方法，使用神经网络模型进行回归分析，能够更好地实现复杂非线性信号的分析。而且可以从多个特征维度，对信号进行分析，更加全面地应对不同距离、不同角度导致的信号变化。从实验结果也可以看出，对比其他信号处理方法，使用时频信息融合网络模型的识别结果精度更高、更稳定。

4 实验结果及分析

4.1 数据采集

针对本文的实验，采集了7名志愿者(6名男性，1名女性)的220 min有效数据，分别对坐姿静止状态下不同朝向(前后左右)、不同距离(0.5 m、1 m、2 m、3 m)进行了多场景的雷达数据采集，如图6所示。雷达采集方案是使用RFbeam公司的ST200实验平台和K-MC1商用微型雷达模块来进行数据采集[42]。该模块包含1个发射天线和1个接收天线，发射频率为24 GHz，输出I和Q共2通道信号。ST200平台通过USB连接至PC端，采用LabVIEW[43]环境进行实时数据采集和保存。

参考的呼吸信号，采用Vernier公司的LabQuest 2[44]平台进行采集，使用了呼吸计传感器获取呼吸的原始数据。

(a) 实验场景设定

(b) 数据采集现场

4.2 呼吸频率识别效果

本节针对时频信息融合网络对呼吸频率识别效果进行实验。实验使用志愿者在静止时的数据，包含不同朝向和不同距离。由于本文的学习方法不同于直接进行信号处理的方法，需要将整体数据进行划分，将所有数据随机划分为测试集和验证集，进行交叉验证，本实验使用10折交叉验证(10 fold cross validation)来对模型的效果进行验证。

针对雷达接收到的连续数据，首先对其进行分帧，即按照固定窗口大小来进行截断，构成多个帧，再进行验证。在本实验中，根据呼吸周期的特点和经验，将窗口大小设置为35 s，并采用滑动窗口的方式分帧，滑动步长设置为3 s。对比方法有FFT方法、ZoomFFT方法、CZT(chirp z-transform)方法和小波变换方法将时域信号转变成频域信息，再通过峰值检测构成的传统频域测量方法；用自相关方法，从时域信号角度进行呼吸识别的传统方法；使用Bootstrip[45]，增加随机噪声重构信号，来识别呼吸的方法。对比指标为常用的平均误差(mean absolute error，MAE)和均方根误差(root mean square error，RMSE)，具体结果见表1。

通过表1可知，对比传统方法，基于时频信息融合网络的识别误差最小、识别效果最好，详见“时频信息融合网络模型(10折交叉验证)”项。同时，为了考量模型的泛化能力，继续采用留一法(leave one subject out, LOSO)进行验证，结果详见表1“时频信息融合网络模型(LOSO)”项。可知采用留一法识别结果虽有所降低，但依然有最好的识别效果，识别精度高于其他方式，平均误差和均方根误差都最小。

4.3 不同个体的呼吸识别

为了进一步验证模型的普适性，本节采用留一法(LOSO)来对模型进行验证，通过对采集到的7个人数据进行逐次详细分析，检验模型的泛化能力。该方法为取其中一个志愿者的数据进行模型测试，其他志愿者数据进行模型训练，以模拟在现实生活中，将设备和模型应用于一个新用户时的识别效果。

在实验中使用了最常见的FFT方法，以及在前面测试中表现较好的小波变换方法作为对比，使用识别呼吸频率的RMSE值进行判断。最终实验结果如图7所示，通过该图可知虽然每个不同的个体都有差异，但是基于时频信息融合网络识别的结果，在所有方法中均有较低的平均识别误差，且有最小的标准差。

表1 不同方法的模型识别结果(次/min)

图7 针对不同个体、不同方法的呼吸频率识别效果

志愿者7和志愿者1是识别精度最高和最差的2个志愿者，进一步对2者数据提取和分析，见图8。通过该图可知对于志愿者7，呼吸识别效果最好，基本逼近参考呼吸频率，大部分呼吸频率在20次/min附近。对于志愿者1，识别模型结果变化较大，体现出模型对特定状态下的识别结果有一定偏差，但是整体形势趋于稳定，后续将通过基于局部加权回归平滑法的鲁棒识别模型进行优化，具体实验结果见4.6节。

(a) 志愿者7的模型识别结果

(b) 志愿者1的模型识别结果

4.4 距离对模型识别的影响

雷达发射的无线电信号，由于距离越远，其在传播时的衰减也就越大，尤其对于24 GHz的无线电波，其在空间内传输的衰减比低频信号更大。因此，雷达距离人体的距离，将严重地影响雷达接收到的回波信号的强度，也对识别模型增加了更高的识别挑战。在本实验中，雷达至人体的距离被分别设定为0.5 m、1 m、2 m、3 m，以验证不同距离对于模型识别结果的影响，识别结果如表2所示。

表2 距离对模型识别结果的影响(次/min)

通过实验结果可知，对于1～2 m范围内模型识别效果最好，当距离过近时身体各个部位都会出现比较强的反射，很有可能会导致不同相位信号相互叠加干扰，因而导致在过近距离识别效果不佳。当识别距离变得更远时，接收到信号的强度会随着雷达到人体的距离增加而快速降低，而且由于其接受的是人体反射信号，因此将以2倍的距离降低，最终导致雷达接收到的有效信号泯灭在噪声信号中，导致识别结果误差变大。

4.5 朝向对模型识别的影响

人体在呼吸过程中会产生胸腔的位移变化，但是胸腔的位移在不同的方向上会有很大的区别，比如在呼吸过程中，人胸腔的前向位移变化最大，左右朝向的位移变化次之，背部朝向的位移最弱，这是由于胸腔本身的组织结构决定的。因此，对于雷达从不同朝向进行呼吸检测识别十分有必要。

所以在本实验中，分析了雷达放置在不同的方位，距离1 m朝向实验者时的识别效果。实验采用留一法(LOSO)进行验证，即将特定朝向的数据作为测试数据，其他数据作为训练数据，进行训练和测试。实验结果如表3所示。

表3 朝向对模型识别结果的影响(次/min)

通过识别结果可以看到对于正后方的识别准确度更高，误差更小，具体原因可能由于在1m距离，正后方的胸腔运动更加趋近于平面的往复运动，而且腹部运动的反射会更小，胸腔发射信号更明显，因此其识别效果会更好。

4.6 鲁棒呼吸检测方法的识别效果

鲁棒呼吸检测方法，适用于对独立个体进行分别识别的情况，因此使用留一法(LOSO)进行数据分析。具体的实验结果如表4所示，通过该表可知，基于局部加权回归平滑法(Lowess)的鲁棒呼吸检测模型能够提高最终的呼吸频率识别精度，降低误差。

表4 鲁棒检测方法的识别效果(次/min)

通过对每个人的识别精度进行逐个分析(见图9，虚线为仅基于时频信息融合网络的识别结果作为对比)，可见对于本身误差较大的个体，鲁棒检测方法能够有效降低其识别误差。但是对于误差较小的用户，识别精度有所下降，原因可能在于通过加权回归后，由于部分准确识别点会受相邻不准确点的干扰，产生错误偏移。但该影响有限，从模型的整体识别误差变化看，可以明显看出基于局部加权回归平滑后的识别结果更佳。特别的，针对志愿者1的呼吸频率识别(见图10)，对比图8(b)可知鲁棒检测方法的加入，使其识别呼吸频率的波动明显降低，整体呼吸频率的识别精度进而提高。

图9 不同个体使用鲁棒检测方法的识别效果

图10 志愿者1使用鲁棒检测方法的识别结果

4.7 不足和展望

基于时频信息融合的识别模型在没有使用任何先验知识，即没有个性化的数据参与训练时，对新用户的呼吸识别效果有可能较差。后续将针对用户个性化数据在线更新展开研究，对识别模型架构进行更多的探索。同时，未来将基于目前的研究成果，设计和实现基于雷达的呼吸频率实时检测系统，并将其与睡眠、异常检测等事件结合，实现对用户健康的全面感知。

5 结 论

本文提出了基于时频信息融合网络非干扰呼吸检测方法，该方法通过雷达采集用户胸腔信号，融合I和Q通道信号的时域特性和频域特性，结合Lowess方法，实现对呼吸频率的精准、鲁棒检测。该方法对比其他常用信号处理方法的识别效果更好，有较强的泛化能力，对于不同距离、不同朝向和不同个体的呼吸都可以进行有效的识别。