基于域自适应网络的跨场景摔倒检测算法研究

马永连,张登银

(南京邮电大学 物联网学院,江苏 南京 210023)

0 引 言

当下,国内社会老龄化问题严重,独居的中老年人在缺少看护的情况下,在室内摔倒后果通常会很严重,甚至可能会导致死亡[1]。采用摄像头监控[2]的方式无法在无光环境中正常工作,并且会侵犯人们的隐私,而穿戴设备[3]在实际应用时因忘记佩戴设备以及有限的电池容量对使用者不太友好。无线信号不受光的限制[4],不侵犯人们的隐私,并且容易获取。Seifeldin[5]在2013年首次提出了基于WiFi信号接收强度RSSI(Received Signal Strength Information)的室内人体行为识别系统,但是研究者发现RSSI存在以下缺陷:(1)RSSI衡量的是多径信号传播的叠加效应,无法区分多条信号传播路径;(2)RSSI位于媒体访问控制(Medium Access Control,MAC)层,不包含可学习的物理层信息[6]。因此,近些年来,RSSI在无线感知方面逐渐被信道状态信息(Channel State Information,CSI)[7-10]所替代。C. Han等人提出的摔倒检测系统Wi-Fall[7]是第一个使用CSI进行摔倒检测的,作者利用CSI的归一化标准差、信号强度偏移等七个特征作为联合特征,利用局部异常分量检测无线信号的异常变化,并通过SVM算法对动作进行分类。

然而不同室内布局带来的多径效应的差异,使得上述摔倒检测系统无法实现跨场景使用,即在源域场景训练得到的摔倒检测模型应用到目标域时,检测精度会急剧下降。针对于跨场景检测的需求,诸如RT-Fall[9]等摔倒检测方法,当环境改变后会出现明显的性能下降。FallDeFi[10]使用STFT提取CSI中的时频特征,使用SVM实现准确的摔倒检测。为了确保摔倒检测系统能够适应环境变化,作者还设计了一种鲁棒的顺序前向选择算法挑选能够适应环境变换的特征,在环境发生变化时,取得了接近80%的平均精度,使得跨场景识别成为可能。域自适应的思想现已被证明在计算机视觉、语音增强等领域拥有巨大潜力,在摔倒检测、行为识别等研究中并不常见。SignGAN[11]引入了一个基于标准的生成对抗网络(GAN)的域自适应网络,该网络可以将源域的真实样本转换为具有目标域样式的目标域,消除了特定环境和用户的影响,最终达到了91.25%的平均检测精度。

该文提出了一种新的摔倒检测域自适应框架DA-Fall,该框架结合了两种领域自适应策略。一是通过最小化域差异的距离度量将源域与目标域迁移到同一子空间,以弥合源域和目标域。另一种策略是使用域对抗训练来提取域不变特征,即在特征提取器和域判别器之间采用极小极大博弈。DA-Fall关键思想是联合训练特征提取器和域判别器,域判别器尝试区分源域和目标域的数据,而特征提取器尝试混淆判别器,在域对抗训练过程中,该文使用最大均值差异(MK-MMD)作为域对抗损失的正则化项,进一步最小化域偏移。因此,针对高精度的跨场景摔倒检测,该文的主要贡献如下:

首先,在所提出的摔倒检测系统中,引入了域鉴别器和域混淆自适应层进行对抗性训练。该算法通过引入依赖于应用差异的相对值的相对鉴别器来优化对抗训练,从而更好地反映域间差异;

其次,将多核架构下改进的MMD作为域对抗损失的正则化项,在模型的梯度更新中添加约束,进一步减小域间的混合分布(边缘分布和条件分布)距离,从而促进整体迁移学习的效果。

1 系统设计

该文旨在解决跨场景摔倒检测问题。在源域中可以获得大量有噪CSI信号及其标签(即含有尽可能少的噪声干扰的CSI信号),在目标域中只有有噪CSI信号。该文的目标是通过域自适应方法提高摔倒检测模型对目标域的检测性能。基准模型为特征编码器-解码器结构,并将CSI特征作为模型的输入和输出来执行回归任务。最终将在实际环境中采集的有噪CSI信号通过适配的自适应模型以获得估计的干净CSI特征,并将其输入CNN网络中进行分类。摔倒检测系统DA-Fall架构如图1所示。

图1 系统架构

1.1 信号预处理与特征提取

系统第一部分为信号预处理与特征提取,其中信号预处理主要分为去噪和降维两个阶段:该文使用Hampel滤波器去除远离相邻数据的异常值,具体来说,它使用移动平均窗口查找异常值并将其替换为数据的均值,从而消除无效数据的负面影响。异常值去除后,CSI数据中残留大量噪声,由于人体活动引起的Wi-Fi信号变化主要集中在低频分量,而噪声主要存在于高频分量,巴特沃斯低通滤波器在通带内具有最大的平坦特性,不会对运动造成的信号波动产生太大的扭曲,因此,该文使用巴特沃斯低通滤波器消除高频分量并保留低频分量。该文采用主成分分析(Principle Component Analysis,PCA)进行信号的降维,PCA是把给定的一组相关变量通过线性变换转为另一组各维度线性无关的变量的技术,能在基本保留原始数据重要信息的基础上降低数据维数,进而提取数据的主特征分量。

特征提取方面,该文沿用了文献[9]从实时捕获的CSI流中提取的8个特征进行活动分类:(1)归一化均方差(STD);(2)中值绝对偏差(MAD);(3)信号强度偏移;(4)四分位范围(IR);(5)信号熵;(6)信号变化速度;(7)时间滞后;(8)功率下降比(PDR)。

1.2 域自适应网络

1.3 CNN分类器

摔倒检测系统的最后一个组件是基于CNN的分类器。该文有大量不同类别环境的标签数据,这些数据被输送到CNN网络进行分类。在实际检测阶段,从目标域的噪声信号中提取CSI特征,并在通过自适应摔模型得到估计的干净CSI特征,最终输入到基于CNN的分类器。具体CNN网络结构包含卷积层、批量正则化层、激活层、池化层、Dropout层等结构。

实际检测阶段,采集到目标域环境中带有噪声的信号,同样通过预处理并进行特征提取,通过适配的域自适应模型以获得估计的干净的CSI特征,最终输入到训练好的CNN分类器得到最终的识别结果。

2 提出的跨场景摔倒检测算法

2.1 相对生成对抗网络(RGAN)

标准的生成式对抗网络(Generative Adversarial Network,GAN)[12]由蒙特利尔大学的Ian J. Goodfellow等人提出,其核心思想为:生成器与判别器之间相互对抗竞争,二者通过极大极小博弈。一方面,生成器不断生成假样本,另一方面,鉴别器不断提高区分真假样本的判别能力。在此过程中,通过损失函数不断更新生成器和鉴别器的参数,直到两者达到动态平衡,即判别器无法判断输入的样本是真实的还是虚假生成的。GAN可被如下定义:

LD=-Exr～P[logσ(C(xr))]-

Exr～Q[log(1-σ(C(xr)))]

LG=-Exf～Q[log(1-σ(C(xf)))]

(1)

其中,P和Q分别是真实样本和假样本的分布,E(·)为期望运算,C(x)将非转换层表示为D(x)=σ(C(x)),是一个sigmoid函数。

(2)

(3)

该文将相对鉴别器用于域对抗训练。将原先鉴别器所依赖的真实、虚假数据对替换为来自源域和目标域的样本。理论上,RGAN使鉴别器只依赖相对值进行差分,从而避免了鉴别器可能的偏差,并使梯度更加稳定,这有利于域对抗训练。此外,与标准GAN鉴别器相比,相对鉴别器可以更好地反映源域数据和目标域数据之间的距离,这有助于缩短域间距离。

该文引入了文献[14]中提出的梯度惩罚正则化方法,来惩罚批评者相对其输入的梯度范数,以避免训练过程中出现的梯度的极端情况(梯度消失和爆炸)。使用对随机样本的梯度范数具有惩罚约束的软版本来实现梯度惩罚:

(4)

2.2 多核最大均值差异(MK-MMD)

最大均值差异MMD通过核双样本检验比较两个数据集之间的分布,它是迁移学习中最常用的有效度量[15]。MMD使用核映射方法将两个分布的关键统计特征嵌入到高维可再生核希尔伯特空间(RKHS)。然后计算核平均嵌入之间的距离。

令P(xS)和P(xT)分别为源域和目标域CSI特征的边缘分布,其MMD可以表示为:

MMD2(X,Y)=D[P(xS),P(xT)]=

(5)

其中,EP(XS)(·)和EP(XT)(·)分别表示XS和XT的边缘分布为P(xS)和P(xT)时的期望运算,由于无法计算源域和目标域所有CSI的总体均值(即期望运算),该文通过计算源域与目标域CSI的样本均值将上式近似为:

D[P(xS),P(xT)]=

(6)

(7)

经典的MMD基于单核变换,单个内核不够灵活,无法充分描述不同的分布。其仅可以减小源域CSI特征与目标域CSI特征之间的整体差异性,但无法保证源域与目标域中同一类CSI特征的差异性最小化。

基于多核架构,该文将多个核函数组成的子空间映射来组合各个子空间不同的特征映射能力,从而更加准确地获得高维组合空间的特征表达[16]。多个特征核k可以定义为G个核的凸组合:

(8)

2.3 提出的算法

在源域中,该文可以采集丰富的样本并进行标记,但是由于不同室内环境下的多径效应,它们与目标域样本分布不一致。此外,目标域的样本不包含标记。因此,仅仅通过微调[17]直接将源域中训练出的原始模型应用在目标域是不可行的。假设存在一个高维特征空间,可以分别代表源域和目标域的关键特征。然后,这种域不变特征可以缩短源域和目标域之间的边缘分布距离。针对以上目标,结合2.1与2.2中所提到的RGAN与MK-MMD,设计了基于摔倒检测模型的域自适应框架,如图2所示。

图2 域自适应框架

框架主要由四部分组成:将CSI特征嵌入高维特征空间的特征编码器(Enc(θEnc))、用于预测无噪情况下干净的CSI特征的特征解码器(Dec(θDec))、用于计算基于MK-MMD损失的自适应层和用于计算域对抗损失的域鉴别器(D(θD))。这里θEnc、θDec和θD是网络中的参数,自适应层仅用于计算MK-MMD度量,不会参与网络的梯度更新。具体流程如下:

步骤1:对源域样本(带有干净标签)和目标域样本(未标记)分别进行去噪、降维、特征提取以获得CSI特征。然后,它们被发送到编码器以获得XS和XT:

XS=Encoder(θEnc,CSIS)

XT=Encoder(θEnc,CSIT)

(9)

XS和XT按以下三个方向进行处理,第一种方式将标记的XS发送到解码器以重建估计的CSI特征,然后使用源域标签计算平均绝对损失(MAE),最小化MAE可以使模型最适合源域数据集,以此来衡量源域回归任务的表现:

(10)

步骤2:计算XS和XT的多核最大均值差异损失(LMK-MMD)。通过最小化LMK-MMD,可以使XS和XT的分布尽可能接近,最终使编码器产生针对不同域中噪声的域不变特征。

LMK-MMD=MKMMD2(xS,xT)≜

(11)

步骤3:XS和XT被发送到域鉴别器,它可以看作是源域和目标域之间的分类器,其最后一层是一个密集层,其中一个单元使用sigmoid函数作为激活值为0-1的鉴别器的输出用于计算相对对抗损失LD:

(12)

最小化LD实际上意味着鉴别器可以更好地区分来自源域和目标域的样本。该阶段的目标是在编码器和鉴别器之间进行极小极大博弈。如上所述,鉴别器通过训练以获得对样本更精确的判断,然而编码器则用于提取源域和目标域之间的域不变特征来混淆鉴别器。如果鉴别器无法区分XS和XT,则说明从源域到目标域的迁移学习是成功的。为了实现极小极大博弈,该文在鉴别器和编码器之间插入了一个梯度反转层(GRL)。在前向传播过程中,GRL充当恒等变换,以保持输入不变。在反向传播期间,GRL从后续级别获取梯度并将其符号更改为-λ,以在编码器和鉴别器之间形成对抗。

使用梯度下降法更新整个网络的参数,使用Adam算法[18]进行训练,总体更新规则如下:

(13)

其中,α为学习率,权重参数λ和μ用于平衡判别器损耗和MK-MMD损耗对编码器参数更新的影响。

在整个网络的参数更新过程中,通过编码器与判别器的对抗,期望编码器产生域不变特征。引入的MK-MMD损失可以看作是域对抗性损失的整体正则化项,即在模型的梯度更新中添加约束,使其能够向减小域间混合分布距离的方向更新,从而促进整体迁移学习的效果。

3 实验结果与讨论

3.1 实验设置

该文在一个卧室布局的室内WiFi环境中进行实验,分别在阳台部署了AP-1、MP-1,卧室部署了AP-2、MP-2,洗手间部署了AP-3、MP-3。AP为商用路由器作为发射端,MP则为配备英特尔5300网卡的笔记本电脑作为接收端,发包率为100 pkts/s。它们通过一发三收提供3个无线链路,共90个子载波。笔记本电脑在Ubuntu环境下安装了CSI-tool进行数据采集分析工作。在上述环境中,共安排了10位实验人员(其中男生6位,女生4位),每位人员分别在阳台、卧室、洗手间中做弯腰、蹲下、坐下、躺下、摔倒等动作各20次。

3.2 权重参数的分析与选取

在本次实验当中,分析了两个域自适应损失的权重参数λ和μ对系统性能的影响。首先,在不引入多核最大均值差异损失(MK-MMD Loss)的情况下,分析了相对鉴别器损失权重λ对训练的影响。

3.2.1 权重参数λ对损失曲线的影响

分别对权重参数λ取值0.05、0.1、0.15、0.2进行实验。图3显示了权重参数λ对三种损失曲线的影响,即来自源域和目标域的编码特征之间的MK-MMD度量损失(暂时不参与训练,仅用于显示效果)曲线、重建的目标域样本(测试集中不包含样本)的鉴别器损失曲线和损失曲线。

图3 权重参数λ相应的损失曲线

当权重参数λ较小时(λ=0.05),相对鉴别器的损失将持续减少,并在一定迭代次数后收敛到最小值。这将导致梯度消失,使相对鉴别器无法为特征编码器提供合理的指导。在训练的初始阶段,特征编码器的能力相对较弱,并且它在鉴别器也较弱的同时,仍然可以区分来自源域和目标域的样本。但是,权重较小,因此对抗性训练不足。这使得相对鉴别器的训练快速饱和,后续网络进一步重新调整难以进行。因此,λ=0.05的目标损失曲线收敛到较高的位置。

区间[0.05,0.2]内加权参数λ的增大对相对鉴别器损耗的影响更为明显,随着该区间内权重λ的增大,鉴别器损耗曲线上升并最终收敛在较高值,这表明通过权重参数λ加强相对鉴别器与特征编码器之间的对抗在一定程度上有利于域不变特征的生成,但当参数λ继续增大,尽管判别器损耗仍然上升,但目标域的损耗曲线并没有进一步降低。这表明此时特征编码器无法学习更多的目标域知识,域对抗训练也无法通过增加权重参数达到更多可转移的特征,因此将λ=0.15固定为相对鉴别器损失的权重,以获得更好的自适应性能。

3.2.2 权重参数μ对损失曲线的影响

在接下来的阶段中,将MK-MMD作为权重λ=0.15的域对抗损失的正则化项。图4所示的三个损失曲线将用于分析权重参数μ对系统性能的影响。参数在{0,0.01,0.05,0.1,0.15}中取值。此外,μ=0表示没有引入MK-MMD。

图4 权重参数μ相应的损失曲线

从MK-MMD损失曲线的趋势可以看出,引入MK-MMD作为正则化项可以有效地降低源域和目标域之间的MK-MMD度量,当权重参数较小时(μ=0.01),这并不可观。然而,当权重增加时,影响会扩大,相对鉴别器的损失也增加,表明域间对抗加强,目标域损失的减少已经证明,MK-MMD损失的引入使模型朝着产生域不变特征的方向优化,与鉴别器权重λ相比,模型对MK-MMD权重μ更具鲁棒性。当μ值高于0.05时,虽然MK-MMD损失仍有所降低,但相对鉴别器的损失没有增加,目标域损失也没有减少,表明此时增加MK-MMD的权重参数不能进一步加强域间对抗以达到更好的自适应效果。为了平衡MK-MMD和相对鉴别器的损失,最终分别选择λ=0.15,μ=0.05作为权重。

3.3 评估指标

为了验证提出的摔倒检测系统DA-Fall的性能,将敏感性和特异性两个标准用于性能评估。其中,敏感性定义为正确检测出摔倒的概率:

(14)

而特异性定义为正确检测到除摔倒以外的其他活动的概率:

(15)

其中,TP、TN、FP、FN分别代表真阳性、真阴性、假阳性、假阴性的数量。敏感性和特异性证明了DA-Fall系统检测摔倒的能力。评估结果基于各系统分别在室内阳台、卧室、洗手间三个场景的检测平均值。具体结果展示在图5中。

(a)敏感性

3.4 评估结果分析

从上节实验结果可以看出,文中系统的检测精度在不考虑环境迁移的情况下,与WiFall、RT-Fall和SignGAN等都能达到90%以上的检测精确度,当检测系统被移动到一个未经训练的场景时,从图中很明显能看出WiFall以及RT-Fall出现了检测精度骤降的情况。由于WiFall使用局部异常因子来检测人在环境中的摔倒活动,对环境的变化更加敏感,但无法细分具体动作,因此无论在哪个房间,识别度都不是很高。而检测系统SignGAN仍然能达到平均83%以上的检测精度,得益于其引入的与文中相似的基于GAN的域自适应网络,该网络可以将源域的真实样本转换为具有目标域样式的目标域,消除了特定环境和用户的影响。

提出的系统DA-Fall引入了域鉴别器和域混淆自适应层来进行对抗性训练,其通过引入依赖于相对值的相对鉴别器来优化对抗训练更好地反映域间差异,并将多核MMD(MK-MMD)作为域对抗损失的正则化项,在模型的梯度更新中添加约束,进一步减小域间差异和域间的分布距离,促进了整体迁移学习的效果。最终DA-Fall在原场景(数据及训练充分)中达到了96.83%的精度,在新场景中仅需要少量数据即可达到91.03%的精度。

4 结束语

在提出的摔倒检测系统中,引入了域鉴别器和域混淆自适应层进行对抗性训练。首先,该算法通过引入依赖于相对值的相对鉴别器来优化对抗训练,从而更好地反映域间差异。其次,将基于多核架构的最大均值差异作为域对抗损失的正则化项,进一步减小了域间的边缘分布距离。通过实验分析证明了该算法的优越性。